8/18/2019 02 Evaluacion ROI
1/22
1
Gestión de la formación en base al modelodel retorno de inversión
Evaluación de los programas de
formación en base al Modelo del Retorno
de Inversión
Jaime Moreno Villegas: [email protected]
Septiembre de 2013
1. Enumerar las funciones claves de la gestión estratégica del proceso deformación.
2. Enumerar los niveles de evaluación de los programas de formación.
3. Determinar el nivel de evaluación de un programa de formación.
4. Planificar la evaluación de los programas de formación en los cinconiveles.
5. Usar la metodología ROI para evaluar los programas de formación.
6. Identificar programas de formación que tengan impacto y retorno deinversión.
7. Realizar mejoras al proceso de detección de necesidades decapacitación para que identifique programas que puedan ser medidos enel nivel de impacto y retorno de inversión.
Al final del módulo los participantes estarán en la capacidad de:
Objetivos de aprendizaje
© 2013. Jaime Moreno Villegas. 2
8/18/2019 02 Evaluacion ROI
2/22
2
1. Reacción
2. Aprendizaje
3. Aplicación
4. Impacto
Mide la satisfacción de los usuarios con el program a
Mide el aprendizaje de los participantes
Mide si los participantes aplican lo aprendido en su t rabajo
Mide el impacto o cambio en los resultados
Mide el retorno económico de la inversión5. ROI
© 2013. Jaime Moreno Villegas. 3
Los 5 niveles de evaluación
La reacción y percepción que tienen los participantes del evento y sus
características a la finalización del mismo.
Conferencia: Finanzas personales en época de crisi s
Al final de la conferencia, los participantes calificarán al menos con 4 / 5 las siguientes afirmaciones:
1. La exposición del conferencista fue clara y comprensible.
2. El contenido de la conferencia fue muy útil.
3. Aplicaré las recomendaciones presentadas.
4. Usaré el material que se entregó en la conferencia.
Los ítems de reacción tienen que enfocarse más al contenido del evento y la
Intención de aplicación, antes que al desempeño del instructor.Se recomienda que el 100% de cursos y eventos se evalúe en este nivel.
© 2013. Jaime Moreno Villegas. 4
Reacción
8/18/2019 02 Evaluacion ROI
3/22
3
Las acciones que los participantes están en capacidad de realizar como consecuencia del programa de formación.
Al final de este módulo los participantes estarán en capacidad de:
Formular objetivos de aprendizaje
Acción o desempeño
a ejecutar Objeto de la acción
Todo curso debería tener objetivos de aprendizajeentre el 40% y 60% de cursos deben evaluarse en este nivel
© 2013. Jaime Moreno Villegas. 5
Aprendizaje
Las acciones que los participantes llevarán a cabo en su trabajo,
después del programa de formación.
Cursos Objetivos de aplicación (N3)
Técnicas de entrevistaAplicar las técnicas de entrevistas en al menos el 90% de lasentrevistas de forma inmediata
Rediseño de p rocesos Rediseñar el 100% de los procesos del área hasta fin de año
Habilidades de negociaciónUsar las habilidades de negociación en al menos el 80% detransacciones con los proveedores
Asesoría comercialAsesorar a todos los clientes de acuerdo a las técnicas aprendidasen el curso
Si resulta difícil plantear objetivos N3 a un curso, pregúntese:¿Es pertinente este curso? ¿beneficia a la organización?
Entre el 20% y 40% de cursos deben evaluarse en este nivel.
© 2013. Jaime Moreno Villegas. 6
Aplicación o transferencia
8/18/2019 02 Evaluacion ROI
4/22
4
Cursos Objetivos de impacto (N4)
Técnicas de ventas Incrementar el volumen de ventas en un 10%
Estrategias de marketing Aumentar la participación de mercado en un 5%
Elaboración de pólizas de seguroReducir el tiempo de emisión de las pó lizas. Actual 24 horas,meta: 12 horas.
Mejoramiento de la calidad de productos Reducir el índice de defectos por unidad en un 10%
Los resultados que se esperan como consecuencia delcurso y que serán medidos por indicadores de gestión
previamente identificados.
No todos los cursos de formación se miden en este nivel, pero tenga en cuentaque a partir de este nivel, la capacitación tiene un valor estratégico.Entre el 10% y 20% de cursos deben evaluarse en este nivel.
© 2013. Jaime Moreno Villegas. 7
Impacto
Cursos Objetivos de impacto (N4)
Técnicas de ventasUn año después del curso por cada dólar invertidoesperamos un retorno de $ 2.2 dólares
Estrategias de marketingUn año después del curso se espera una relaciónbeneficio – costo de al menos 1.5
Mejoramiento de la calidad de productosUn año después del curso se espera un retorno deinversión del 200%
El retorno económico esperado de la inversión efectuada
Se puede calcular ROI siempre que hayan existido impactos positivos (N4),los beneficios puedan ser costeados y se hayan registrado la categoría decostos del programa. Entre el 5% y 10% de cursos deben evaluarse en este nivel.
© 2013. Jaime Moreno Villegas. 8
Retorno de inversión
8/18/2019 02 Evaluacion ROI
5/22
5
Desempeño del instructor Objetivos y contenidos delprograma
MaterialesRecursos audiovisuales Logística
Instalaciones
Desde el punto de vista del Modelo ROI, la información más crítica de estaevaluación es:
Intención de Aplicación Nivel de autoeficacia
Favorabilidad del entorno
© 2013. Jaime Moreno Villegas. 9
Evaluación de reacción
• La predisposición inicial que tieneel participante para aplicar loaprendido en su trabajo.
Intención deAplicación
• El grado de seguridad que tiene el
participante en sus propiascapacidades para aplicar loaprendido.
Nivel de Auto-eficacia
• La percepción del participanterespecto a las facilidades quebrinda el entorno de trabajo paraaplicar los aprendizajes.
Favorabilidaddel entorno
© 2013. Jaime Moreno Villegas. 10
Reacción, cont.
8/18/2019 02 Evaluacion ROI
6/22
6
Pienso aplicar lo aprendido en mi trabajo.Los conceptos, herramientas y metodologías que he aprendido son aplicablesa mi trabajo.El curso me ha generado algunas ideas que pienso aplicar en mi trabajo.
Estudios han demostrado que la “intención de aplicación” es uno de lospredictores de la transferencia real al trabajo. Mayor intención, mejorprobabilidad de aplicación.
© 2013. Jaime Moreno Villegas. 11
Reacción, cont.
Intención deAplicación
Me siento listo o preparado para aplicar lo aprendido en mi trabajo.Este curso ha aumentado mi seguridad con el tema.
Tengo la seguridad de que me irá bien cuando aplique lo aprendido en mi trabajo.
Estudios han demostrado que si la intención de aplicación se acompaña deun bien nivel de autoeficacia, la probabilidad de transferencia es mayor
© 2013. Jaime Moreno Villegas. 12
Reacción, cont.
Nivel de Auto-eficacia
8/18/2019 02 Evaluacion ROI
7/22
7
Dispongo del tiempo necesario para aplicar lo aprendido en mi trabajo.Dispongo de los recursos necesarios para aplicar lo aprendido en mi trabajo.Considero que mi jefe o compañeros me pueden apoyar en aplicar lo aprendido.Pienso que mi entorno de trabajo favorece la aplicación de aprendizajes.
Los estudios sugieren que cuando la percepción respecto al entorno de trabajoEs negativa, las posibilidades de aplicación están seriamente limitadas, a pesar
de los dos factores anteriores.
© 2013. Jaime Moreno Villegas. 13
Reacción, cont.
Favorabilidaddel entorno
4,2
4,2
2,8
3,5
3,1
4,6
4,5
4,3
4,7
Satisfacción general
Logística
Favorabilidad del entorno
Autoeficacia
Intención de aplicación
Materiales
Objetivos y contenidos
Metodología
Desempeño del instructor
Evaluación de Reacción
Curso: Coaching EjecutivoN = 14
5 = total acuerdo4 = de acuerdo3 = mediano acuerdo2 = en desacuerdo
1 = total desacuerdo
¿Cuál es su pronóstico respectoa las posibilidades de aplicación deeste curso en el trabajo?
© 2013. Jaime Moreno Villegas. 14
Reacción, cont.
8/18/2019 02 Evaluacion ROI
8/22
8
Al final del programa los participantes estarán en capacidad de:
1. Consultar y encontrar información en el Código del Trabajo.2. Identificar los tipos de contratos de trabajo.3. Calcular la jornada laboral de acuerdo al tipo de contrato.4. Elaborar el rol de pagos.5. Calcular las provisiones de ley.6. Calcular liquidaciones.7. Explicar derechos y obligaciones del empleado y del empleador.
Las tareas donde la persona debe ser competente son los objetivos de
formación del programa
Curso: Legislación Laboral
© 2013. Jaime Moreno Villegas. 15
Aprendizaje
Desempeño a evaluar
Condiciones bajo las queefectuará el desempeño
Criterios, estándares onormas de evaluación
Evaluaciónde
aprendizaje
Método de evaluación
Elementos para evaluar
Compara el desempeño del participante contra unos estándares dedesempeño o normas de competencia previamente establecidas.
La evaluación de aprendizaje también se conoce como:1. Evaluación referida al criterio.2. Evaluación contra estándares de desempeño.3. Evaluación de competencia laboral.
© 2013. Jaime Moreno Villegas. 16
Aprendizaje, cont.
8/18/2019 02 Evaluacion ROI
9/22
9
ObjetivosCognoscitivos
ObjetivosProcedimentales
Definir los cinco niveles de evaluación de los programas.
Instalar un censor de carga.
ObjetivosAfectivos
Sustentar las razones por las cuales uno está a favor o en contra delsuicidio asistido.
Tipos de Objetivosde Aprendizaje
© 2013. Jaime Moreno Villegas. 17
Aprendizaje, cont.
ObjetivosCognoscitivos
ObjetivosProcedimentales
Pruebas de conocimientosPruebas técnicasPruebas oralesAnálisis de casos
Juegos de rolesPruebas de desempeño ySimulaciones con el usode listas de chequeo yrúbricas de evaluación
INSTRUMENTOS Y CRITERIOS DE EVALUACIÓN DEL APRENDIZAJE
Son las respuestas correctasde la pregunta o del caso Estándares de proceso
Estándares de resultadoEstándares mixtos
© 2013. Jaime Moreno Villegas. 18
Aprendizaje, cont.
8/18/2019 02 Evaluacion ROI
10/22
10
El grado en que los participantes aplican en su trabajo los
conocimientos y habilidades aprendidos, para mejorar su desempeño y
aumentar la efectividad organizacional
Aprendizaje Aplicación en eltrabajoTransferencia
Si la gente no aplica lo que aprende, la capacitación sirve de poco
© 2013. Jaime Moreno Villegas. 19
Aplicación
1 •Aprendizaje
2 •Aplicación
3 • Impacto y ROI
Cadena de valor de la formación
© 2013. Jaime Moreno Villegas. 20
Aplicación, cont.
8/18/2019 02 Evaluacion ROI
11/22
11
50 jefes van a un curso de “formación de instructores”.Después de un año solo 5 de ellos han realizado cursos en lainstitución.
Un grupo de personas va al curso de “mejoramiento deprocesos”. Seis meses después se encuentra que no se harealizado el mejoramiento de ningún proceso.
Un grupo de gerentes asiste al curso “formulación deobjetivos e indicadores de gestión”. A los tres meses se
constata que ninguno de ellos ha formulado objetivos niindicadores para sus áreas.
© 2013. Jaime Moreno Villegas. 21
Aplicación, cont.
Aprendizaje enel programa
Resultadose impacto
APLICACIÓN
La “Aplicación de los Aprendizajes” es elpuente indispensable para que la capacitación
tenga impacto y retorno de inversión
© 2013. Jaime Moreno Villegas. 22
Aplicación, cont.
8/18/2019 02 Evaluacion ROI
12/22
12
Generalizar las
aplicaciones
Aplicar demaneracontinua
en eltrabajo
Aplica r enel trabajo
Practicarpara
establecerel
desempeño
Adquirir elconocimiento para el
uso
Adquirirconocimien
to
PROCESO DE APRENDIZAJE DESEMPEÑO EN EL TRABAJO
El proceso de transferencia del aprendizaje
© 2013. Jaime Moreno Villegas. 23
Aplicación, cont.
1 Aprender las características de la retroalimentación
2 Aprender los pasos de la retroalimentación
3Hacer juegos de roles con otros participantes para ensayar los pasos de laretroalimentación
4 Aplicar los pasos de la retroalimentación en una situación real con uncolaborador
5Continuar las retroalimentaciones de manera regular con todos loscolaboradores
6Sobre los principios de la retroalimentación, delegar y empoderar a losempleados para tener un mejor impacto en el desempeño del grupo
CURSO: Retroalimentación del desempeño Dirigido a: Jefes
Aprendizaje Desempeño
© 2013. Jaime Moreno Villegas. 24
Aplicación, cont.
8/18/2019 02 Evaluacion ROI
13/22
13
Características delindividuo
DiseñoInstruccional
Características delentorno y la cultura
organizacional
Aprendizaje enel programa
Aplicaciónen el trabajo
Factores que afectan la aplicación
© 2013. Jaime Moreno Villegas. 25
Aplicación, cont.
Antes del evento
Dice que irá, pero no va.
Acepta asistir pero con
reticencia.No tiene claro a lo que va.
Durante el evento
Aprende cosas que no
necesita en su trabajo.
Abandona el evento porquelo vienen a buscar.
Después del evento
Aprendió algo pero no se siente
seguro de aplicar. Aprendió, pero el ambiente de
trabajo impide la aplicación.
Aprendió, pero su jefe y sus pares
no le animan ni le apoyan.
Falta de
transferencia
Transferencia
TRANSTEMPORALIDAD
DE LAS BARRERAS A LA
TRANSFERENCIA
© 2013. Jaime Moreno Villegas. 26
Aplicación, cont.
8/18/2019 02 Evaluacion ROI
14/22
14
Actores Antes Durante Después
Gerentes Enviar comunicación sobre laimportancia del programa.
Asistir a la clausura delevento para agradecer yanimar al grupo para querealice las apl icaciones.
JefesMantener reunión conparticipantes para motivarlosal programa.
Los jefes de cada áreavisitan a su equipo en la horadel almuerzo para agradecery reforzar su participación enel curso
Mantener reunión con losparticipantes para revisarplan de acción.
Apoyar la ejecución del pl an.
RecursosHumanos
Enviar información detalladadel programa.
Ayudar al instructor aentregar y explicar el u so delos planes de acción
Comunicar el período en elque se harán lasevaluaciones de aplicación
Participante
Participar en la reunión del
jefe y leer la informaciónenviada por recursoshumanos.
Completar el plan de acciónen el programa.
Mantener reunión con el jefe
para pulir plan de acción.Solicitar apoyo al jefe cuandosea necesario
Instructor Proponer posibles objetivosde aplicación a losparticipantes para revisión.
Reservar tiempo para que losparticipantes elaboren el plande acción y orientarles sobrela manera de completar elformato.
© 2013. Jaime Moreno Villegas. 27
Planificar las acciones de aplicación
El área de formación debe formar a la persona que maneja personas(supervisores, jefes, gerentes, etc.) para que desempeñen el papel de“agentes de transferencia”.
Objetivos de Aprendizaje, N2
Aprender las estrategias de transferenciaque se pueden aplicar antes, durante ydespués de los eventos de formación,para que los colaboradores apliquen loaprendido en el trabajo.
Objetivos de Apli cación, N3
Aplicar las estrategias de transferenciaen el 100% de los casos donde loscolaboradores asistan a programasde formación.
Formación de agentesde transferencia
© 2013. Jaime Moreno Villegas. 28
Aplicación, cont.
8/18/2019 02 Evaluacion ROI
15/22
15
Los instructores internos de la organización:
1. Definirán objetivos de aprendizaje orientados al desempeño.2. Formularán los objetivos de aplicación de los cursos que dicten.3. Sugerirán las estrategias de transferencia de los cursos que dicten.4. Indicarán a los agentes de transferencia las condiciones
organizacionales necesarias para la transferencia.
POLÍTICA ORGANIZACIONALDE CAPACITACIÓN
Subsistema de Instructores Internos
© 2013. Jaime Moreno Villegas. 29
Aplicación, cont.
NivelOrganizacional
Impacto
Tangiblea. Tiempob. Volumenc. Calidadd. Costos
Intangiblea. Satisfacciónb. Motivaciónc. Compromisod. Otros
Programas de nivel 4se miden en el nivelde impacto.
ROI
© 2013. Jaime Moreno Villegas. 30
Impacto
8/18/2019 02 Evaluacion ROI
16/22
16
© 2013. Jaime Moreno Villegas. 31
Impacto
Análi sis de Imp acto Esmalt e: Defec to s po r Uni dad: Cásca ra de Naran ja
0
5
10
15
20
25
Ene-07 Feb-07 Mar-07 Abr-07 May-07 Jun-07 Jul-07 Ago-07 Sep-07 Oct-07 Nov-07 Dic-07 Ene-08 Feb-08 Mar-08 Abr-08 May-08 Jun-08
ALínea Base
enero - mayo 2007promedio = 9.6
Período de formación y evaluación
junio 2007
BPeríodo de Impacto
jul io 2007 - ju nio 2008promedio = .167
Posible mejoraM = B - A
-9.433 = .167 - 9.6
© 2013. Jaime Moreno Villegas. 32
Impacto
8/18/2019 02 Evaluacion ROI
17/22
17
An ális is d e Im pac to : P rom edi os Mens ual es d e Ven tas
0,00
50.000,00
100.000,00
150.000,00
200.000,00
250.000,00
300.000,00
Meses
V o l u m e n d e v e n t a s
Series1 134.63 120.52 169.58 171.83 150.86 151.06 182.45 174.58 208.77 183.85 217.33 196.78 205.60 246.84 241.44 222.29 206.19
ENERO/2007
FEBR
EO/2007
MARZO/2007
ABRIL/2007
MAYO/2007
JUNIO/2007
JULIO/2007
AGOSTO/20
SEPTIEMBR
OCTUBRE/2
NOVIEMBRE/
DICIEMBRE/
ENERO/2008
FEBRERO/2
MARZO/2008
MAYO/2008
JUNIO/2008
ALINEA BASE
PROMEDIO = $ 171 858.40
BINTERVENCIÓN(Capacitación)PROMEDIO =$ 224 477,02
Inicio de lacapacitación
Fin de lacapacitación
PERIODO DEINTERVENCIÓN
Mejora = B - A$ 52 618,62
© 2013. Jaime Moreno Villegas. 33
Impacto
Grupos decontrol
Análisis detendencias
Múltipleslíneasbase
Estimaciónde
expertos
Métodos de aislamiento de los efectosdel programa
© 2013. Jaime Moreno Villegas. 34
Impacto
8/18/2019 02 Evaluacion ROI
18/22
18
Grupo APromedio de ventas
40 (experimental)
Grupo BPromedio de ventas
40 (control)
Recibe cursode capacitación
No recibe cursode capacitación
Promedio de ventasdespués de un año
60
Promedio de ventasdespués de un año
40
La mejora de 20 puntos se debe al curso de ventas
Grupos de Control
© 2013. Jaime Moreno Villegas. 35
Impacto
100
90
80
70
60
50
40
30
20
10
0
1 2 3 4 5 6 7 8 9 10
V o l u m e n d e v e n t a s
Líneabase
Curso deventas
X = 40
Real
Pronosticada
X = 40
X = 60
brecha
Punto decorte
Análisis de tendencias
© 2013. Jaime Moreno Villegas. 36
Impacto
8/18/2019 02 Evaluacion ROI
19/22
19
Tasa de selección
0
5
10
15
20
25
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
A B
Costos de reclutamiento
0
2
4
6
8
10
1 2 3 4 5 6 7 8 9 10 11 12
N u m e r o
A B
Tiempo de Ciclo
0
10
20
30
40
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
# dias
A B
Múltiples líneas base
© 2013. Jaime Moreno Villegas. 37
Impacto
Probables factores deinfluencia
Porcentaje deinfluencia
Porcentaje deconfianza o
seguridad en laestimación
Porcentaje deinfluenciaajustado
Demanda inusitada delproducto
10% 60% 6%
Efecto de la publicidad 26% 80% 21%Condicionesmacroeconómicas favorables
10% 50% 5%
Curso de ventas 54% 70% 38%
TOTAL100%
(debe sumar 100%)(no debe
sumar 100%)
Estimación delgrupo de expertos
© 2013. Jaime Moreno Villegas. 38
Impacto
8/18/2019 02 Evaluacion ROI
20/22
20
Estimación del grupo de expertos: 38%
Mejora = punto de corte - línea base60 – 40 = 20 (mejora)20 x 0.38 = 7.6 = 8
Los expertos estiman que de los 20 puntos de mejora, unos 8 puntosse deben a la influencia del curso de ventas.
Se trata de una estimación bastante conservadora
© 2013. Jaime Moreno Villegas. 39
Impacto
ROI% =
Beneficios Netos del Programa
Costos del ProgramaX 100
Donde:Beneficios Netos del Programa =
Beneficios del Programa – Costos del Programa
© 2013. Jaime Moreno Villegas. 40
Retorno de inversión
8/18/2019 02 Evaluacion ROI
21/22
8/18/2019 02 Evaluacion ROI
22/22
• Reacción
• % de programas conpronóstico positivo deaplicación
Aprendizaje
• % de programas concambios significativos deconocimientos
© 2013. Jaime Moreno Villegas. 43
KPIs del proceso de formación
• Aplicación
• % de programascon aplicación
positiva
Impacto
• % de programas conimpacto positivo
ROI
•Retorno acumuladode la inversión
© 2013. Jaime Moreno Villegas. 44
KPIs del proceso de formación