Introducción a la Medición de Resultados

45
Introducción a la medición de los resultados de la formación corporativa Debra McKinney Gehman

description

Introducción a la Medición de Resultados

Transcript of Introducción a la Medición de Resultados

Page 1: Introducción a la Medición de Resultados

Introducción a la medición de los resultados de la formación corporativa

Debra McKinney Gehman

Page 2: Introducción a la Medición de Resultados

Objetivos

• Lograr con una visión general y articulada sobre el tema.

• Diferenciar la “moda” de la “sustancia”.• Poder hablar con los directivos de su

empresa de manera profesional sobre el tema.

• Contar con información inicial y fuentes de profundización, si desea iniciar.

Page 3: Introducción a la Medición de Resultados

PRIMER CAPÍTULO

La gerencia estratégica y la medición

Page 4: Introducción a la Medición de Resultados

“[…] mientras la mayoría de los directivos de empresa creen firmemente que el aprendizaje es crucial, algunos tienen serias dudas si la capacitación en la cual invierten constantemente produce el aprendizaje que verdaderamente apoya al negocio.”

Running Training Like a Business, David Van Adelsberg & Edward A. Trolley, Berrett-

Koehler Publishers, San Francisco, 2000, p. 3

Page 5: Introducción a la Medición de Resultados

ENFOQUES DIFERENTES

• Contenido

• Costo• Conocimiento• Volumen• Participantes

• Resultados del negocio

• Retorno• Desempeño• Valor• Mercado

Ibid., p.12

Page 6: Introducción a la Medición de Resultados

REGLAS DE JUEGO DIFERENTES

• Demanda asegurada

• Operar dentro del presupuesto

• Sostenido por la organización

• Éxito = actividad

• Convivir con riesgo• Maximizar

utilidades

• Sostenido por el cliente

• Éxito = resultado

Ibid., p.13

Page 7: Introducción a la Medición de Resultados

Sus factores de éxito en C&D• Aclarar razón de existencia

del área: crear valor• Partir de la estrategia de la

empresa• Alinearse y enfocarse• Responder a las

necesidades de sus clientes principales

• Aplicar una seria disciplina de negocios

Ibid., p. 20

Page 8: Introducción a la Medición de Resultados

MITOS Y MIEDOS

“No puedo medir los resultados de la formación.”¿Cómo puede afirmar que agrega valor?

“No sé qué información recolectar.”Con buen diseño, ya es sencillo.

“No necesito justificarme; ya gozo de credibilidad.”Evaluamos la función, no al individuo. Las

crisis no respetan las reputaciones.“Medir el progreso hacia los objetivos es

suficiente.”Los objetivos enfocan el contenido. ¿Cuál

es el impacto?

Page 9: Introducción a la Medición de Resultados

MITOS Y MIEDOS“Mi jefe no lo pide. ¿Por qué revolver avisperos?Sin datos objetivos, su trabajo depende de

la opinión de alguien.“Hay demasiados variables.”

Aísle las variables que su área controla. “Si no puedo calcular el ROI, no vale la pena.”No se emplea ROI para 100% de los casos.“Probablemente costaría demasiado.”

¡Cuesta más no hacerlo!

Jack J. Phillips, Handbook of Training Evaluation and Measurement Methods, 2nd. Ed., Gulf Pubishing Co., Houstin TX, 1991, pp. 1-5.

Page 10: Introducción a la Medición de Resultados

¡Ud. necesita un plan!

• ¿Qué va a evaluar? ¿Para qué?• ¿A quiénes va a evaluar?

¿Participantes? ¿Docentes? ¿Diseñadores? ¿Individuos? ¿Equipos de trabajo?

• ¿Cuándo va a evaluar?¿Antes? ¿Durante? ¿Después? ¿Una vez? ¿Periódicamente?

• ¿Qué hará con los resultados?

Page 11: Introducción a la Medición de Resultados

¡Ud. necesita un plan!

¿Quiénes reciben los resultados?¿Para qué le sirven a Ud.? ¿A la

empresa?¿A los participantes? ¿A sus jefes?

La medición y la evaluación son medios, no fines en sí mismos.

¡Si no tiene un plan, no empiece!

Page 12: Introducción a la Medición de Resultados

SEGUNDO CAPÍTULO

Algunos conceptos básicos

Page 13: Introducción a la Medición de Resultados

B/C, ROI… ¿de qué estamos hablando?

Vr. beneficios totales del programaVr. costos totales del programa

Vr. beneficios netos programa Vr. costos totales programa

X 100

Page 14: Introducción a la Medición de Resultados

Las fórmulas anteriores nos indican que…• Debemos ser capaces de manejar

elementos básicos de costeo.• Requerimos un sistema sencillo para

que todas las personas en nuestra área puedan ingresar datos pertinentes.

• Debemos adoptar una actitud de gestión activa y propositiva en nuestra área, en vez de la tradicional postura reactiva a necesidades.

Page 15: Introducción a la Medición de Resultados

EFICIENCIA EFICACIA

MEDICIÓN

Page 16: Introducción a la Medición de Resultados

EFICIENCIA• Encontrar y revelar costos

escondidos.• Reducir costos agresivamente.• Construir y mantener sistemas y

procesos confiables.• Operar como un costo variable, no

como un gasto fijo.• Ser flexible y oportuno.

Van Adelsberg & Trolley, op. cit. p. 20.

Page 17: Introducción a la Medición de Resultados

EFICACIA

• Se relaciona con el valor percibido y la ganancia tangible.

• Hay que segmentar sus clientes – participantes, supervisores, directivos - porque tienen sus propias prioridades.

• Se relaciona con la estrategia organizacional,

• Trata cada intervención como una transacción de negocios.

Ibid., pp. 37-44

Page 18: Introducción a la Medición de Resultados

EFICIENCIAEFICACIA

MEDICIÓN

Estrategia(plan estructurado) Gestión

(costos, procesos)

Mida lo importante

Page 19: Introducción a la Medición de Resultados

¿MEDICIÓN SUBJETIVA U OBJETIVA?

• Objetivo = real, verdadero, sin sesgo, impersonal, alejado de sentimientos y percepciones personales.

• Subjetivo = afectado por las opiniones, limitaciones o sesgos de las personas que interpretan los hechos.

Aún cuando existan hechos, las explicaciones son subjetivas. LOS

NEGOCIOS EMPLEAN MUCHAS MEDICIONES SUBJETIVAS.

Scott B. Parry, Evaluating the Impact of Training, ASTD, Alexandria VA, 1997, p. 82.

Page 20: Introducción a la Medición de Resultados

¿COMPROBACIÓN O CORRELACIÓN?

• “Comprobación” tiene tintes jurídicos, e implica la posibilidad de encontrar una relación causa-efecto.

• “Correlación” tiene un sentido estadístico e implica causas multi-variables.

Estamos trabajando con gente.¿Qué nos sirve? ¿Qué es posible?

Page 21: Introducción a la Medición de Resultados

¿MEDICIÓN O CONFIANZA?

“[Cuando los directivos piden pruebas] creemos que realmente buscan confianza. Después de todo, si se sintieran seguros que la capacitación satisfaciera las necesidades importantes y estratégicamente significativas del negocio, ¿pegarían la mesa y exigirían valor precisamente medido? Creemos que no.”

Van Adelsberg & Trolley, op. cit.., p. 17.

Page 22: Introducción a la Medición de Resultados

VALIDEZ Y CONFIABILIDAD

• La objetividad de los datos puede establecerse al revisar su VALIDEZ (si es verídico) y su CONFIABILIDAD (replicabilidad)

• Un resultado puede ser CONFIABLE (aparece repetidas veces), sin ser VÁLIDO (verídico).

¡Ojo con las conclusiones alegres!“echar números” no garantiza las

respuestas. Parry, op.cit.

Page 23: Introducción a la Medición de Resultados

¿QUÉ CONCLUIMOS DE TODO ESTO?• La medición y la evaluación resultante son

herramientas valiosas de gestión. Otorgan credibilidad a nuestras actividades.

• El hecho de tener una respuesta numérica no significa que ésta sea “verdadera” ni “mejor”.

• En nuestro campo, la medición subjetiva es útil y la correlación es más común que la comprobación.

• La medición toma tiempo y cuesta dinero. Midamos lo que vale la pena, con profesionalidad. Si no sabe, ¡infórmese!

Page 24: Introducción a la Medición de Resultados

TERCER CAPÍTULO

Una introducción a las herramientas

Page 25: Introducción a la Medición de Resultados

Primero, no todas las fallas no son remediables mediante la capacitación

HUMAN PERFORMANCE IMPROVEMENT

MEJORA DEL RENDIMIENTO HUMANO

Page 26: Introducción a la Medición de Resultados

MEJORA DEL RENDIMIENTO HUMANO: LOS PRINCIPIOS BÁSICOS

• Emplea un enfoque sistémico y basado en resultados.

• Enfoca logros en vez de comportamientos.

• Considera a la organización como un sistema.

Ethan Sanders, “What is HPI?” en George M. Pisurich, ed., HPI Essentials. ASTD, Alexandria VA 2002, pp. 2-7.

Page 27: Introducción a la Medición de Resultados

Análisis del

negocio

Análisisdel

desempeño

Análisis de causa•Conocimiento•Motivos•Recursos físicos•Estructura/pro- cesos• Información•Bienestar

BrechaSelección deintervención

Implementaciónde

intervención

Evaluacióndel resultado

Estado realdesempeñ

o

HPI in the Workplace, ASTD, Alexandria, VA, 2000, II-5

Page 28: Introducción a la Medición de Resultados

Segundo, tenemos que entender cómo se evalúa los resultados de la formación.

Los cuatro niveles de Donald Kirkpatrick

1. Reacción2. Aprendizaje3. Comportamiento4. Resultado

Donald L. Kirkpatrick, Evaluating Traing Programs: The Four Levels, Berrett-Koehler, San Francisco, CA, 1996, p. 23.

Page 29: Introducción a la Medición de Resultados

Reacción: “¿Cómo le pareció?”

• Ventajas– Fácil de

desarrollar y aplicar

– Respuesta inmediata

– Permite tomar acciones inmediatas

• Peligros– Complacencia

inapropiada– Inferir lo que no se

preguntó– “Calificar al

cirujano”

Page 30: Introducción a la Medición de Resultados

Aprendizaje: “¿Qué aprendió?”

• Identifica conocimientos, habilidades y/o actitudes desarrolladas o mejoradas.

• Ventajas similares al nivel 1.• Requiere pruebas pre/pos siempre;

se aconseja grupos de control cuando sea práctico.

Page 31: Introducción a la Medición de Resultados

Comportamiento: “¿Lo puede hacer solo en el puesto de trabajo?”

• Problemas– Resistencia

organizacional– Imposibilidad de

predicción individual

– Continuidad o reversión

• Consideraciones– Cuándo evaluar– Con qué

periodicidad evaluar

– Cómo evaluar

Page 32: Introducción a la Medición de Resultados

Resultados: “¿Se logró algún cambio en la organización?”

• Resultados concretos y claros• Beneficio- costo• Evidencia o comprobación• Documentación

Page 33: Introducción a la Medición de Resultados

La “gran pelea” - ¿4 niveles ó 5?

• Kirkpatrick dice que ROI es parte del nivel 4: resultado

• Phillips dice que el ROI es el nivel 5, y que nivel 4 es cualitativo.

No importa mucho, mientras seamos Consistentes al reportar en la empresa.

Page 34: Introducción a la Medición de Resultados

Tendencias de evaluación por nivel

• Nivel 1 100% programas• Nivel 2 50%• Nivel 3 30%• Nivel 4 20%• ROI 10%

Jack J Phillips, ed., Measuring Return on Investment, vol 1, ASTD, Alexandria VA. 1998, p. 3

Page 35: Introducción a la Medición de Resultados

Tercero, independiente del número de niveles, necesitamos un proceso para llevar a cabo la medición y la evaluación resultante.

Page 36: Introducción a la Medición de Resultados

Modelo para el proceso de valoración

Recolectardatos

Aíslar los efectos de

capacitación

Convertir datos a valor

monetario

Tabular costo delprograma

Calcular ROI

Identificar beneficiosintangibles

Instrumentosevaluación

Propósitoevaluación

Momento deevaluación

Niveles deevaluación

Jack J. Phillips, Return on Investment, Gulf Publishing Co., Houston TX, 1997, p. 25

Page 37: Introducción a la Medición de Resultados

CUARTO CAPÍTULO

¡La medición es el medio, no el fin!

Page 38: Introducción a la Medición de Resultados

Prepare el camino• ¿La organización ya expresó interés en el tema?• ¿Existe una infraestructura formal

de medición en su organización? ¿Está familiarizado con él?

• ¿Cuenta con una “padrino” organizacional para esta actividad?

• ¿Cuáles son sus propios conocimientos y habilidades en este campo? ¿Necesita prepararse más?

Page 39: Introducción a la Medición de Resultados

Este es un proyecto, y necesita un equipo

• Definición y capacitación del equipo de trabajo

• Definición de políticas• Definición de metas y cronograma• Desarrollo de herramientas de apoyo• Implementación de piloto• Capacitación personal ARH y gerentes• Implementación gradual• Monitoreo y comunicación de resultados

Page 40: Introducción a la Medición de Resultados

Revise la calidad de sus insumos• Análisis de necesidades – las

actividades innecesarias o irrelevantes no agregan valor.

• Diseño instruccional – objetivos claros• Implementación de buena calidad.

Entra basura… …sale basura

Page 41: Introducción a la Medición de Resultados

Puede reportar sus datos de muchas maneras…

• Informes “corrientes”• Cuadro de mando integral (balanced

scorecard) y variantes (information dashboard, HR scorecard, etc.)

NO SE DEJE CONFUNDIR EN EL PROCESO DE MEDICIÓN Y EVALUACIÓN DE LA

FORMACIÓN POR ESToS elementos DE GESTIÓN. Son la forma, no el fondo.

Page 42: Introducción a la Medición de Resultados

Fourth National Bank

2004 Tablero de mando - Capacitación y desarrollo

Gerente: Kirkpatrick

No. Estrat. Categoría Resultados mensuales

A   Medidas financieras/ de producción Real Meta Estado Cambio

1   Utilidad por acción 1,62 1,72   -

2   Retención de clientes 88% 94%   -

3   Lealtad de clientes (dispuesto a referir) 72% 85%   igual

4   Retención de empleados 92% 92%   +

5   Lealtad de empleados (intención quedarse) 95% 95%   +

6   Costo capacitación/empleado $ 230 $ 200   -

7   Gastos del departamento 320k 300k   igual

             

B   Medidas de clientes Real Meta Estado Cambio

1   Tasa de ventas cruzadas 6 a 1 4 a 1   -

2   Calidad del perfil del cliente 65% 90%   nuevo

3   Seguimiento del jefe a capacitación 90% 95%   -

4   Entrevistas de inducción realizadas 40 42   +

5   Notas evaluación nivel 3   para determinar    

6   Solicitudes de consultoría interna 14 12   igual

             

C   Medidas de sistemas internos Real Meta Estado Cambio

1   Observaciones sesiones de coaching 16 14   +

2   Sesiones de apoyo de coaching con gerentes 16 15   igual

Excede meta   +

Cumple meta   igual

Alerta   -

Requiere ayuda   nuevo

Facsímil incompleto

Page 43: Introducción a la Medición de Resultados

Para informarse…

• American Society for Training and Development www.astd.org

• International Society for Performance Improvement www.ispi.org

Page 44: Introducción a la Medición de Resultados

¿Estamos preparados?

Page 45: Introducción a la Medición de Resultados

Debra McKinney [email protected]

Tel. ofc. 571-243-4166, 571-243-6888