Post on 14-May-2020
1
MANUAL PARA LA EVALUACIÓN DEIMPACTO EN PROGRAMAS DEFORMACIÓN PARA JOVENES
2
Prólogo
Los datos sociodemográficos actuales para América Latina y el Caribe,permiten inferir que persistirán dos características relevantes: el elevadoporcentaje de menores de 24 años, que hoy representan el 50% de lapoblación y las condicionantes de la pobreza estructural (39% de los habitantesde la región se encuentran por debajo de la línea de pobreza, según CEPAL1998): la extrema segmentación ya tradicional de las sociedades y laimplementación de cambios estructurales en el modelo de desarrollo con altastasas de desempleo.
Se plantean nuevos paradigmas en las políticas sociales: la “universalizaciónde los derechos” mediante la educación universal y la “igualdad deoportunidades” con acciones puntuales dirigidas a los grupos vulnerables,buscando su inserción laboral. (Corvalán , 1996; Jacinto, 1999; Querubín citadapor Jacinto, 1998). En el nuevo paradigma de las políticas sociales, los jóvenesadquieren un valor trascendente y un rol preponderante, al constituir el recursoestratégico del desarrollo integral de la sociedad (Gallart y Jacinto, 1998),siendo la educación, la formación y la capacitación las llaves para laconstrucción individual y social (Arocena, 1996).Lentamente va abriéndose camino en la sociedad toda la convicción de lanecesidad de buscar soluciones a la exclusión, mediante la construcción de unnuevo contrato social (Jacinto, 1999) que cimiente la transformación productiva,la democratización plena y la modernización social.
En relación con la institucionalidad en el campo de la formación y lacapacitación profesionales en la Región y desde los cuarenta, se desarrollaronlas Instituciones de Formación Profesional (IFP) con representación tripartita enel ámbito de la educación no formal orientada a la recalificación de trabajadoresy las instituciones de Educación Técnica Media (ETM) en el sistema educativoformal dirigida a la formación de técnicos de nivel intermedio. La priorización dela competitividad y la productividad, en el nuevo paradigma del trabajo, junto ala expansión del empleo por debajo de lo esperado encuentran a las IFP y ETMtransformando y modernizando su gestión y sus estrategias de capacitaciónbasadas en competencias laborales.
Asimismo desde finales de los ochenta y con el fuerte apoyo del BancoInteramericano de Desarrollo (BID), se impulsó en la región la implementaciónde experiencias de capacitación laboral para jóvenes en situación dedesempleo estructural o de alto riesgo social. La experiencia pionera sedesarrolló con un amplio marco institucional en Chile (Programa Chile Joven)desde donde se extendió a otros países, con adaptaciones según laspeculiaridades nacionales: Argentina (Proyecto Joven), Colombia (Programa deCapacitación Laboral para Jóvenes), Uruguay (Opción Joven luego Projoven),entre otros.
3
El conocimiento interactivo y la posible articulación de ambos modeloscolaborarían a esclarecer parte de los interrogantes planteados en lasevaluaciones y los seguimientos de estos Programas (Castro; Verdisco, 1999)
El modelo exige cambios sustanciales en todos los actores involucrados, conrenovación de las prácticas por parte de los organismos gubernamentales que,a través de los Ministerios de Trabajo, diseñan las políticas de empleo(Weinberg, 1998).
Al centrarnos en el proceso de monitoreo, seguimiento y evaluación, seconstatan grandes debilidades con escasa sistematización, lo que lleva a lamultiplicidad y la repetición, sin retorno de información ni potenciación delimpacto real. Falta rigor metodológico en los objetivos y en la definición decada etapa, con carencia de investigación evaluativa, dificultad en el registro deinformación, estadísticas borrosas poco confiables, que impiden medir eltrasvase y sustitución de poblaciones, entre otras variables de confusión. Eldiseño es complejo por la multiplicidad de indicadores y dimensiones a valorar.
Sin embargo, la convicción de que el incremento de la capacitación favorece laproductividad y la competitividad, con el consiguiente crecimiento de laeconomía y del empleo, obliga a continuar este camino ( Castro, 1997)buscando nuevos arreglos entre todas las alternativas posibles y profundizandoel perfil de las instituciones más adecuadas para planificar y ejecutar. Es ungran desafío, porque se trata de una población altamente vulnerable, difícil deretener en el Programa, con marcadas carencias en sus credencialeseducativas y psicosociales.
El encargado de la ejecución de estos Programas debe poseer competenciasevaluativas, técnico-pedagógicas y de gestión y administración, junto al anclajeen la instancia local cercana a la población objetivo.
En el amplio y heterogéneo sector de los ejecutores de los programas, sedestaca un grupo que con su vasta experiencia en la lucha por la capacitacióny contra la pobreza integra organizaciones de base, sindicatos, ong y poseeprofundos vínculos con los jóvenes desfavorecidos, pero presentan ciertafragilidad en las competencias evaluativas y gerenciales. Se hace necesarioposibilitarles el acceso al conocimiento y habilidades en la conducción de unproceso evaluatorio organizado con etapas sistematizadas y claras. Apareceuna nueva figura: el formador de formadores.
4
Introducción
La idea central de este manual es servir como herramienta concreta que facilitelos procesos de evaluación.
Metodológicamente, el manual se orienta en varios sentidos: ¿Qué se mide?¿Cómo se mide? ¿Cuándo se mide? ¿Quién mide? ¿Por cuánto tiempo semide?, explicitando las ventajas y desventajas de las distintas opcionesmetodológicas, en aproximaciones sucesivas de ensayo-error a la realidad,para hacer objetivables y replicables los resultados de la evaluación.
Para ello, se estructura en cuatro capítulos que ofrecerán:
! Capítulo 1 - resumen general de lo que han sido las principalesevaluaciones de programas de jóvenes, con el objetivo de dar a conocer losprincipales aspectos evaluados, las carencias, y los elementos a desarrollarcon mayor profundidad.
! Capítulo 2 - revisión teórica sobre el concepto de "evaluación de impacto".¿Qué es?, ¿para qué sirve?, ¿cómo suele hacerse?, ¿cuándo se hace?.
! Capítulo 3 - herramientas para la evaluación de impacto. ¿Qué se mide?,¿cómo se mide?, ¿cuáles son las principales variables e indicadores aconsiderar?.
! Capítulo 4 - ejemplo de aplicación: simulación de una evaluación deimpacto.
La estrategia de evaluación incluida en el diseño del manual es reflejo de lacomplejidad conceptual y metodológica propia de estos Programas conabundantes dimensiones, variables e indicadores. El manual aventura unaorientación global, particulizable a cada caso, con aplicaciones prácticas parala instancia local.
A lo largo del manual, se recuerda una y otra vez que en el aterrizaje de loscontenidos a cada Programa particular, se debe apostar a la creatividadvinculada al conocimiento de la realidad concreta en la que trabajamos, sinolvidar el rigor metodológico para que los guarismos medidos en función de losobjetivos del Programa aporten datos creíbles, basamento para los ajustes delas políticas. Se presentan diseños metodológicos con etapas claras a seguir:
1) Tipo de estudio: distintos tipos de estudio y su comparación, modo deselección del más adecuado al Programa particular (se presentanvarios modelos prácticos);
2) Universo y muestra: definición y descripción de las características deluniverso y la muestra, estrategia de selección según la situación dada(se presentan varios modelos prácticos);
5
3) Métodos, instrumentos, y procedimientos en la recolección de datos:distintos tipos; ventajas y desventajas de cada tipo, grado deaplicabilidad, validez y confiabilidad, condiciones ineludibles de unbuen instrumento, diseño de los instrumentos (se presentan variosmodelos prácticos: la observación, la entrevista, la encuesta), pretest oprueba del instrumento, ajustes, reproducción del instrumento;
4) Tabulación y análisis: su planificación, selección de dimensiones yvariables a ser presentadas, relaciones entre ellas (cruzamientosbuscados y modo de obtenerlos según los objetivos planteados),enfoques de análisis apropiados según evaluaciones formativas ysumativas; cuantitativas, cualitativas y mixtas.
¿A quién va dirigido este manual?. Siguiendo a Freyssint (1994), podríamosindagar y ahondar en el perfil del evaluador, ya que la utilidad prevista delmanual es justamente reforzar las instancias de la evaluación. En términosgenerales los evaluadores pueden ser:
1) el (los) principal(es) responsable(s) del proyecto, inserto(s) en laUnidad Organizativa Central;
2) evaluador(es) externo(s);
3) actores directamente involucrados en la ejecución, en el ámbito local(ejecutores directos).
El presenta manual se dirige al tercer grupo, en la prosecución delreforzamiento institucional local, en la figura del formador de formadores.
Planteada así, es una evaluación horizontal y vertical, de tipo participativa,valorada como ámbito de aprendizaje, en el que sería saludable que seinvolucre activamente todos los actores (beneficiarios, grupos control,oferentes, encargados de las pasantías, representantes del barrio donde seasienta el programa). Esta elección del potencial evaluador explica, en granmedida, el fuerte apoyo práctico del manual y asentado en contenidos teóricos:todas las áreas temáticas presentarán un abordaje teórico-práctico.
Durante su confección, se tuvo especial cuidado en tratar de sortear losescollos en las definiciones políticas y metodológicas, detectadosreiteradamente por evaluadores externos de estos Programas (Castro, 1997;Ramírez, 1998; Jacinto, 1999).
Por último, si el manual logra el objetivo de fortalecer las aptitudes evaluatoriasde los formadores, colaborará a adecuar los Programas según integralidad,relevancia y pertinencia, mediante el fortalecimiento institucional.
6
Índice del Capítulo 1
"Antecedentes evaluatorios de programas de capacitación para jóvenes"
1.1- Aspectos generales1.2- Revisión de las evaluaciones y de las metodologías evaluatorias
empleadas1.3- Lecciones aprendidas en relación a los procesos evaluatorios de los
programas de capacitación
7
Capítulo I
“Antecedentes evaluatorios de programas de capacitación para jóvenes”
Resumen: La propuesta de este capítulo es recorrer las principalesevaluaciones llevadas a cabo dentro y fuera de la Región, intentando identificarcuáles aspectos fueron evaluados y cuales sería necesario desarrollar.
1.1. Aspectos generales
El Estado, como elemento amalgamador e inclusivo de todos los ciudadanos,es el responsable general del Programa, quedando en sus manos: el diseñoglobal y operacional, la convocatoria y selección de capacitadores, el apoyotécnico y docente, el monitoreo, el financiamiento y la evaluación a distancia dela ejecución.
El desarrollo del Programa presupone una fuerte presencia institucional, en uncontexto socioeconómico favorable y con lineamientos consistentes orientadosal desarrollo de recursos humanos y con políticas sociales claras contra lapobreza y la exclusión. Este punto obliga a clarificar los objetivos deintervención.En 1995,1 Grubb (OIT, Ginebra) presentó los resultados de las evaluacionessobre la eficacia de los programas de entrenamiento laboral en EstadosUnidos. Gran parte de su informe gira en torno a una única pregunta: ¿losprogramas triunfaron o fracasaron?. Una lectura convencional de lasevaluaciones arroja que gran parte de los programas produjeron un incrementoleve, pero estadísticamente significativo, del empleo; y al analizar la relacióncosto-beneficio, los beneficios sociales sobrepasaron a los costos, aunque nosiempre. Grubb, al igual que otros evaluadores, señala que uno deberíaconcluir que estos programas han sido exitosos y deberían continuar. Sinembargo, remarca que los éxitos, desde el punto de vista práctico, soninsuficientes, si el programa es visto como una salida al desempleo, ya que susefectos decaen rápidamente con el tiempo y sus beneficios son de corta vida.En América Latina y el Caribe, se remarcó desde los inicios, la especialconveniencia de realizar evaluaciones para poder entender por qué algunosprogramas son exitosos y otros no y de este modo tener elementos para hacerrecomendaciones que permitan remediarlos y hacerlos más efectivos. Lasevaluaciones y auditorías externas o internas fueron conducidas en la Regiónpor los organismos centrales del Proyecto, por evaluadores externos y/o porrepresentantes de las instituciones financiadoras.
1 En relación con la historia de las evaluaciones en los programas de capacitación laboral, Grubb marcaun hito en la aplicación de la metodología cuantitativa en el COMPREHENSIVE EMPLOYMENT ANDTRAINING ACT (CETA) de 1973, continuado por JOB TRAINING PROGRAMES ACT (JTPA) de1983. Ambos en Estados Unidos.
8
1.2. Revisión de las evaluaciones y de las metodologías evaluatoriasempleadas
Las metodologías evaluativas utilizadas centraron en sí mismas gran parte delos escollos: problema que reiteran una y otra vez los evaluadores de losdistintos países de la Región, en diferentes momentos ( Castro, Gallart, Jacinto,Ramírez). En este sentido, se han intentado evaluaciones cuantitativas,cualitativas y mixtas. Entre las primeras, se diseñaron modelos cuasiexperimentales y realmente experimentales; ambos compuestos por grupos“participantes” y grupos de “control” con iguales atributos y características(edad, género, raza, instrucción, experiencia en el mercado de trabajo), que secomparan mediante métodos analíticos. La forma de integrar los gruposexperimentales verdaderos ha aparejado dificultades casi insalvables, entre losevaluadores, algunas de claro contenido ético, dado que proponer un grupocontrol puro, implica de antemano dejar fuera de los beneficios de lacapacitación a algunos jóvenes igualmente carenciados. Ante este dilema, elgrupo control se cubrió con voluntarios y más tarde con una tercera opciónmetodológica que consiste en abrir una inscripción mayor que los nichos decapacitación y en forma aleatoria, configurar el grupo “beneficiario” y el grupo“control”. Así mismo, y en un mecanismo más aceptable desde el punto devista ético, se propuso constituir el grupo de control con aquellos jóvenesinscriptos en el programa y que por alguna razón personal no hicieron el cursoy la capacitación. Recientemente se presentó otra alternativa consistente enseleccionar a los jóvenes del grupo de control por avecinamiento (cercanía delugar de residencia) a los beneficiarios.A pesar de todas estas dificultades, se constata un criterio unánime en cuantoa la necesidad absoluta del grupo de control. Grubb señaló la aparición(durante y luego del programa) de tres efectos: efectos de la selección, efectosde la maduración y efectos de la regresión.
- los efectos en la selección: (la elegibilidad), los programas puedenseleccionar los individuos con problemas para emplearse: bajo nivel deinstrucción, historia laboral pobre, comportamientos inadecuados,escasa motivación, drogadictos, violentos, (efecto negativo de laselección).La variabilidad en el modo de selección es tan vasta que enturbia lamedición del impacto (tanto a favor como en contra), haciendo dudosaslas conclusiones si no existe un verdadero grupo control.Abundando, en el efecto de la elegibilidad se debe considerar siempreque las características de los candidatos al programa varían según latasa de desempleo: cuando el desempleo cae, los jóvenes máspreparados encuentran trabajo y entonces los programas de formacióndeben esforzarse muchísimo para reclutar y reclutan a los jóvenesmenos capacitados; si, por el contrario, el desempleo es alto, los jóvenesmás capacitados se inscriben en el programa.
- los efectos de la maduración: los jóvenes beneficiarios pueden adquirircompetencias globales, técnicas, incrementar su conocimiento delmercado laboral, modificar su perfil psicosocial, abandonar adicciones y
9
actitudes violentas por el simple paso del tiempo, ya que se vantransformando en adultos.Estas transformaciones pueden mejorar la empleabilidad.
- los efectos de la “regresión a la media”: entre los beneficiarios delprograma pueden haber jóvenes desempleados transitoriamente (porcausas coyunturales) y que se inscriben en el curso para incrementar sucapacitación. La empleabilidad posterior no es , por lo tanto atribuiblesolo al programa.
Grubb concluye que los métodos verdaderamente experimentaleseliminan los tres tipos de efectos, al constituirse un grupo testigo ocontrol que sufre los mismos efectos, de modo que toda diferencia en elempleo del joven beneficiario después del programa de capacitaciónpuede atribuirse al programa más que a otras causas.A pesar de estas ventajas, los métodos experimentales presentan unaserie de problemas que no siempre se pueden resolver y tienen que vercon:
- Los métodos experimentales a veces tratan al programa como una cajanegra, con un fuerte enfoque estadístico: la variable “y” (aprendizaje) escausada por la variable “x” ( participacion en el programa) y no avanzanmás, cuando sería más abarcativo y holistico plantear la evaluacióncomo un problema programatico que determine qué tipo de servicios,ofrecidos a qué tipo de individuos reducen el desempleo y la pobreza.
- Aún más: los métodos experimentales mejor diseñados se transformanen métodos cuasi-experimentales debido al comportamiento norandomnizado de los grupos experimentales, ya que algunos de losjóvenes beneficiarios se desinteresan, se aburren, abandonan, y así losque egresan forman parte del grupo más motivado en capacitarse.
- Una evaluación experimental que asigne voluntarios al azar para unprograma de capacitación o para un grupo de control, no usa el azarpara otros puntos de interés (psicosociales, comportamentales,actitudinales.
- La evaluación experimental a uno y dos años de finalizado el programaes imprescindible para medir el impacto de las competencias, realmenteincorporadas y duraderas: seguir los dos grupos (beneficiarios y control)luego de varios años permite eliminar la variable de confusión aportadapor el tiempo (efecto de maduración), en este sentido, hay que señalarque los modelos experimentales son caros y se han cumplido, por lotanto, por periodos cortos con posterioridad a la finalización de loscursos: 30 meses, 3 años, 4 años; el más largo por 6 años ( Friedlandery Burtless, 1995). Todo lo abundado anteriormente muestra el complejoentramado de las evaluaciones cuantitativas. Junto a ellas, aparecieronlas formas alternativas para profundizar, perfeccionar y facilitar lasevaluaciones, en las que destacaron los modelos etnográficos, los queproveyeron las miradas y las reflexiones hacia adentro, sobre por quéun programa fue exitoso ( o al menos así lo vivieron los diferentesactores involucrados).
10
Estos modelos se han nutrido de observaciones prolongadas de los programas,junto a entrevistas y encuestas en profundidad a los participantes (ejecutores,beneficiarios, empresarios de pasantías, financiadores) al igual que de relatosde la vida cotidiana de los programas, en el estilo de historias de vida, o de “undía cualquiera”: se describe el acontecer cotidiano del programa, mostrando losengranajes de la socialización en el intercambio recíproco e interrelacionado delos diferentes actores: las denominadas investigaciones cualitativas deestudios de casos (Jacinto, 1999). La metodología cualitativa aportó, congrandes dificultades, la forma de implementación de los programas, su marchay sus retrocesos o bloqueos.
En relación con los beneficiarios, este diseño cualitativo intentó medir, conresultados variables, el grado de satisfacción y el cambio en la empleabilidad.Algunas evaluaciones aportaron resultados altamente positivos, aunque paraotros evaluadores el tema de las modificaciones psicosociales y el incrementoen la capacitación fueron datos “impresionistas” más que sistemáticos, difícilesde asir; porque ¿cómo se midió el cambio de comportamiento?, ¿cómo semidió el aumento del empleo?, ¿es real o hay un efecto perverso dedesplazamiento y sustituciones? (Grubb 1995, Jacinto 1998, Gallart 2000).
Asimismo, se han evaluado cualitativamente, a las empresas responsables delas pasantías, utilizando como variables el tipo de actividad; la antigüedad yestabilidad y el tamaño de la empresa. Los indicadores del tipo de actividadposibilitaron vislumbrar si la capacitación era acorde con los nichosocupacionales y la política global de empleo; pero además, cuál sectorempresarial estaba realmente interesado y comprometido con el programa,para después ahondar en las razones subyacentes para que eso sea así. Encuanto a la antigüedad y estabilidad, su análisis clarificó los nexos con lacomunidad, la capacidad de participación y la vitalidad de la empresa. De modoespecial, permitió descubrir rápidamente las empresas "montadas" "hechas amedida" para el programa (fenómeno similar al que sucede con los oferentes "amedida"). En general, las evaluaciones de las empresas de pasantías han sidopoco sustanciosas y pormenorizadas, hecho señalado por los propiosevaluadores. Este es un punto difícil y que se debe repensar en profundidad.
En cuanto a las instituciones capacitadoras, los procesos evaluatorios hanpuesto sobre el tapete puntos fuertes y débiles. Estos últimos englobados en lallamada " crisis de los oferentes" ya tratada extensamente en la introducciónde este manual, y que no repetiremos aquí,. Las evaluaciones facilitaron laadopción de variables en cuanto a integralidad, relevancia y pertinencia en losrequisitos de las licitaciones para las ECAS (Empresas CapacitadorasAdjudicatarias).
Por otra parte, y en una mezcla de metodologías cuanti y cualitativa, se midió lafocalización y la cobertura del programa, tratando de detectar el corrimiento delos beneficios hacia jóvenes de otras capas sociales. Ambas midieron,relacionando el número de jóvenes que cumplen los requisitos para serbeneficiarios potenciales, los que se inscriben y los que finalizan los cursos. Envarios países, se comprobaron desfasajes por mala focalización, debida engran medida a escasa inserción en la instancia local, donde residen los jóvenes
11
hacia los que va dirigido el programa e inadecuado uso de las vías deentretejido social, y los medios de comunicación. Se constataron grandesdificultades para reclutar (ni qué decir de retener) a los jóvenes con mayorescarencias, a los que muestran conductas de alto riesgo (alcohol, drogadicción,violencia, criminalidad) a los residentes en el medio rural, a las adolescentesmujeres, a los pertenecientes a minorías étnicas o religiosas. En todos estoscasos, los evaluadores atribuyeron los fallos a mala orientación del programa:el impacto (inserción laboral) se asocia de un modo inverso con el grado devulnerabilidad de los jóvenes (Ramírez, 1999).
1.3. Lecciones aprendidas en relación a los procesos evaluatorios delos programas de capacitación
¿Qué se evaluó?
1a) Respecto a los jóvenes beneficiarios, se evaluó: focalización, impacto (mediantelos cambios actitudinales, la inserción laboral, la reanudación de la formacióneducativa, el incremento de la autoestima, el grado de satisfacción, la participaciónciudadana) pero con escasos intentos de medir el impacto, metódica ysistemáticamente configurando un grupo de control.
1b) Respecto a los ejecutores, se midieron especialmente los aspectos globales,parciales de control administrativo, y de capacitación técnico-pedagógica en lasECAS. Asimismo se valoró el clima de satisfacción en la tarea ejecutada y serelevaron las insatisfacciones y dificultades explícitas.
1c) Respecto a las empresas donde se cumplen las pasantías: se midió de modoirregular la calidad de la oferta de la pasantía, el tamaño de las empresas, laestabilidad y la sincronía con el mercado laboral vigente.
12
¿Qué no se midió o se midió insuficientemente?
2a) Se midió inadecuadamente el impacto sobre el bienestar de losbeneficiarios, por comparación con un grupo de control. El incremento en elbienestar, debido al valor agregado en las variables Empleo (inserción laboral,satisfacción laboral, aplicación de competencias, tipo de trabajo), Ingresos yCiudadanía, podría configurar junto a ciertos cambios psicosociales elobjetivo principal del programa y por tanto, su medición es un reto ineludible.
2b) ) No se cumplió una verdadera evaluación, tratando de descubrir si existencontrataciones posteriores, en las mismas empresas que brindan laspasantías, para saber si el programa sirve como fuente de mano de obrabarata.
2c) No se midió la fuerza institucional y la pertinencia que tienen los oferenteso empresas ejecutoras, mediante la evaluación del tamaño de la empresa, suhistoria y antigüedad en esta función, su permanencia en el tiempo, suestabilidad, su integración en un equipo multidisciplinario consolidado detrabajo administrativo y técnico-pedagógico, el grado de contacto eintegración con la instancia local, su experiencia y resultados anteriores.
2d) Aunque queda claro que entre los objetivos del programa no se debenincluir la generación de empleos, de por sí, muy difícil de medir ya que éstadepende de decisiones de alta política y de variables macroeconómicas, sedebería evaluar el impacto del programa sobre algunas definiciones de políticade Estado.
Por último, dada la complejidad de los problemas sociales y la variedad de losprogramas de capacitación no es llamativo que quede siempre la impresión deque restan aspectos sin evaluar, así como opiniones disímiles en la definiciónde los objetivos de los programas: ¿inserción laboral o inserción social?,¿cuáles competencias son el objetivo a adquirir para los jóvenes?. Se valoraaltamente el retorno a la educación, como medida positiva de impacto delprograma, pero ¿cuánto tiempo permanecerá en un sistema educativo que, enalguna medida lo expulsó anteriormente?. Si se consigue una reinsercióneducativa consistente, ella constituye un logro más sustantivo que unacapacitación puntual. Por todo lo anterior debe procurarse la evaluación delimpacto real en egresados en el mediano y el largo plazo, porque, ¿de quéotro modo puede asegurarse que estos programas no son de corto aliento en elmejoramiento de la empleabilidad y en los cambios psicosociales de losjóvenes carenciados?.
Dada la rica y larga experiencia acumulada en la Región, se valoriza lanecesidad prioritaria de evaluar las acciones socialmente compensatoriasllevadas a cabo. La evaluación permitirá saber si los modelos implementados
13
son los más adecuados o si se hace necesario, buscar otras alternativas parareforzar la inclusión de todos los integrantes de una sociedad democrática.
Sería aconsejable implementar evaluaciones internas y externas, en las queparticiparan todos los actores involucrados en esta compleja problemática.
La evaluación sistemática, ordenada y planeada previamente a laimplementación de cada etapa permite como mecanismo retroalimentadoraportar la visualización de los aciertos y de los errores, para reforzar losprimeros y para corregir los segundos. Sin evaluación no se conoce el destinode los jóvenes capacitados, no se sabe la calidad de la capacitación comopalanca de inserción social, se desconoce el costo y el beneficio del proyecto yno se puede medir el impacto como dinamizador social. Es decir, no se conoceel grado de cumplimiento de los objetivos marcados.
14
Índice del Capítulo 2
“La evaluación de impacto: tipos, modelos teóricos y proceso técnico”
2.1. Concepto de evaluación2.2. Tipos de evaluación.
Tipos de evaluación: Pseudoevaluación; evaluaciones verdaderascuasiexperimentales y experimentales; evaluaciones mixtas,cuanticualitativas.
2.3. Ciclo de vida del proceso.2.4. Evaluación de impacto2.4.1. Concepto2.4.2. Utilidad2.4.3. Proceso técnico2.4.3.1. Toma de decisión y estructuración organizativa.2.4.3.2. Marco de referencia.2.4.3.3. Selección de evaluadores y planeación de la evaluación2.4.3.4. Implementación y gestión.2.4.3.4.1- Modelo teórico CIPP2.4.3.4.2- Modelo respondente2.4.3.5. Difusión de resultados2.4.3.6. Proceso técnico de la evaluación de impacto
15
Capítulo 2
“La evaluación de impacto: tipos, modelos teóricos y proceso técnico”
RESUMEN
-Se presenta el marco conceptual sobre el proceso de evaluación, bajo suforma tradicional y las sucesivas modificaciones hasta arribar a la definiciónactual.
-Se describen, como señalizaciones previas al encuadre de la evaluación deimpacto las diferentes metodologías de evaluación: las pseudo evaluaciones;las evaluaciones cuantitativas cuasi experimentales y experimentales; y lasevaluaciones mixtas cuanticualitativas; estas últimas en su debate innovadorcon un enfoque holístico, socioantropológico.
-A continuación, se marca el momento de la realización de la evaluación, segúnel ciclo vital del proceso (al inicio del proyecto, al finalizar y un año después definalizado).-Ambos puntos (tipo y momento de la evaluación), son base del concepto de laevaluación de impacto y su utilidad, que se tratan seguidamente.
-Finalmente, se desarrollan las etapas básicas que componen la evaluación deimpacto, junto al perfil de los evaluadores y los beneficiarios, concluyendo conel desarrollo de la planeación y ejecución del modelo CIPP ( contexto, insumo,proceso, producto o impacto), del modelo respondente (centrado en el cliente);y remarcando por último, el modelo práctico propuesto por este manual(proceso técnico de la evaluación de impacto)
2.1. CONCEPTO DE EVALUACIÓN
Evaluar constituye un proceso sistemático, metódico y neutral que hace posibleel conocimiento de los efectos de un programa, relacionándolos con las metaspropuestas y los recursos movilizados (Jacinto y Gallart). Asimismo ysiguiendo a Stufflebeam, se podría decir que la evaluación es un proceso quefacilita la identificación, la recolección y la interpretación de informaciones útilesa los encargados de tomar decisiones y a los responsables de la ejecución ygestión de los programas.
Tal como se señaló en el capítulo 1, desde los primeros intentos de evaluar losprogramas de educación y de capacitación (alrededor de 1930), losprocedimientos evaluatorios han ido creciendo en complejidad metodológica.Han ido, además ganando espacios y relevancia hasta volverseimprescindibles en todo proyecto que desee conocer el funcionamiento y losresultados de su accionar en forma clara y transparente. Un proceso de estetipo facilita la contundencia de la experiencia para la retroalimentación y losreplanteos o como antecedente válido para otros emprendimientos.
Al concepto original de Stufflebeam, Scriven agregó dos señalamientos:
1- La evaluación debe enriquecerse con juicios de valor que adjetiven elcurso del programa, remarcando si la sociedad, el programa y losjóvenes se beneficiaron con las acciones implementadas.
2- Es recomendable agregar una evaluación sin referencia estricta a losobjetivos, ya que pueden aparecer hechos imprevistos y el evaluadorestá obligado a estar muy alerta respecto a lo que vaya surgiendo.
Freyssinet graficó las relaciones entre objetivos (metas); recursos asignados;dispositivos utilizados y resultados obtenidos (impacto) (ver cuadro 1).
CUADRO 1
Adecuación Criterios Eficiencia de asignación
R
F
2
SpcvLpLdd
1
D
RECURSOS
S S
OBJETIVOESULTADOS
Coherencia
UENTE: Freyssinet1
.2. TIPOS DE EVALUAC
egún la estructuración yueden clasificarse en: uantitativas puras (cuasieerdaderas mixtas o cuantica objetividad y la indeperimera división entre pseuda metodología y las herrame las evaluaciones verdaispositivos cuantitativos y/o
Freyssinet, citado por JacE CAPACITACIÓN DE JÓ
Imputa
IÓN
el enfoque elegidos, lpseudo evaluaciones, xperimentales y experimualitativas.ndencia del evaluador eo evaluaciones y evaluacientas empleadas dan luderas: presencia de gru cualitativos. (Ver cuadro
into y Gallart. LA EVALUVENES DESEMPLEADO
DISPOSITIVO
bilidad
os procesos evaluatoevaluaciones verdadeentales) y evaluacion
n su trabajo hacen aiones verdaderas.gar a la bifurcación denpo de control y uso
2).
ACIÓN DE PROGRAMS, 1998.
IMPACTOS
16
riosrases
la
trode
AS
17
CUADRO 2
ENFOQUES DE LA EVALUACION
Pseudoevaluaciones En ellas, se cumple un proceso evaluatorio, perocon fuerte injerencia de alguna de las partescomprometidas con el proyecto y que presionapara que aparezcan resultados preestablecidos.El evaluador no actúa neutralmente.
EvaluacionesExperimentales y Cuasi-
experimentales
Son evaluaciones exclusivamente cuantitativas.Este diseño exige que se constituya un grupo decontrol (tarea ardua y compleja). Se mide elimpacto por comparación estadística entre elgrupo de control y el grupo beneficiario de lasacciones del programa.
Se miden: incremento del bienestar de losbeneficiarios, según Empleo (empleabilidad,inserción laboral posterior, tipo de trabajo,satisfacción laboral) Ingresos y Ciudadanía.Asimismo, puede medirse focalización,deserción, retención, cobertura.
Evaluaciones VerdaderasMixtas Cuanti-Cualitativas
El abordaje mixto permite tener los datosseñalados en el grupo anterior y agrega el aportecualitativo.Entre estos:" cambios actitudinales" cambios psicosociales" autoestima" empleabilidad" necesidad y satisfacción con el programa
Puede medirse también el impacto sobre losrestantes actores (capacitadores, empresarios,informantes claves de la población).
Se utilizan los estudios de casos, lasobservaciones, las entrevistas enprofundidad.
El aporte mixto ayuda a entender más por quéunos programas son exitosos y otros fracasan
18
FUENTE: Elaboración propia a partir de:-Grubb, W. N.: Evaluating job training programs in the United States: evidenceand explanations; Ilo, Geneva, 1995.
2.3. CICLO DE LA VIDA
¿Cuándo se cumple la evaluación?
El ciclo de la vida del programa abre las distintas posibilidades (ver cuadro 3):
CUADRO 3
MOMENTOS DE REALIZACIÓN DE LA EVALUACIÓN
EXANTESe cumple antes del inicio de la ejecución.Se evalúan el contexto socioeconómico e institucional; losproblemas identificados; las necesidades detectadas; la poblaciónobjetivo; los insumos; las estrategias de acción.
INTRASe desarrolla durante la ejecución del programa.Se evalúan las actividades del proceso mientras estas se estándesarrollando, identificando los aciertos, los errores, las dificultades.
POST Se corresponde con la finalización inmediata de la ejecución delproyecto, detectando, registrando y analizando los resultadostempranos.
EXPOST Se realiza tiempo después (meses o años) de concluida laejecución. Evalúa los resultados mediatos y alejados, consolidadosen el tiempo.
Al tratar la evaluación de impacto, indicaremos su momento al inicio (ANTE), alfinalizar (POST) y tiempo después de finalizar (EXPOST), el proyecto.
2.4. EVALUACIÓN DE IMPACTO
En este apartado, se tratan el concepto, la utilidad y el proceso técnico de laevaluación de impacto.
2.4.1. Concepto
Bajo la denominación de evaluación de impacto se entiende el procesoevaluatorio orientado a medir los resultados de las intervenciones, en cantidad,calidad y extensión según las reglas preestablecidas.La medida de los resultados, característica principal de la evaluación deimpacto, permite comparar el grado de realización alcanzado con el grado derealización deseado.Compara, de esta forma, la planeación con el resultado de la ejecución.
19
La evaluación de impacto abarca todos los efectos secundarios a la planeacióny a la ejecución: específicos y globales; buscados (según los objetivos) o no;positivos, negativos o neutros; directos o indirectos ( la puesta en marcha delprograma puede generar por sí misma efectos sobre los directamenteinvolucrados hasta la sociedad toda).Durante décadas, la idea predominante era “evaluar es medir”, dándole pesoúnicamente a las dimensiones e indicadores cuantitativos. Actualmente, laevaluación de impacto es valorada como un proceso amplio y global, en el queal abordaje cuantitativo se agregan técnicas cualitativas.
2.4.2. Utilidad de la Evaluación de Impacto
La evaluación de impacto, al medir los resultados permite:- Registrar y analizar todas las experiencias (positivas y negativas),
mediante la comparación en el grupo control, sistematizándolas.- Evaluar el contexto socio-económico y político en que se da la
experiencia.- Identificar los actores involucrados y su peso específico en los
resultados.- Estudiar la articulación interinstitucional y público-privado.- Ofrecer estudios de costo-beneficio.- Concertar aportes de los técnicos en gestión, mediante la difusión de la
información proveniente de la evaluación y su posterior discusión entretodos los responsables de la gestión.
- Informar de forma clara y objetiva a los responsables de la toma dedecisiones sobre la marcha de los programas; esta retroalimentaciónpromueve el reforzamiento institucional.2
2.4.3. Proceso Técnico.
Antes del inicio del proceso de la evaluación se deben tener presentes lossiguientes señalamientos:- Es necesario “saber lo que se desea saber” sobre el programa y acordarloentre todas las partes involucradas (autoridades nacionales y regionales,responsables del programa, ejecutores, empresarios y agentes sociales) paraque los encargados de la planeación y ejecución de la evaluación conozcan deantemano la cantidad y la calidad de la información que se desea recopilar, laprofundidad del análisis a la que serán sometidos los datos y la difusión y usoque se les dará a los resultados.
El acuerdo propuesto evita la confusión metodológica y las falsasexpectativas.3
2 En la discusión de “que es lo público y que es lo privado”, varios autores (Gallart, Ramírez, Ibarrola)sostienen que “público” enmarca las políticas que favorezcan a toda la sociedad en defensa del biencomún. En este camino aconsejan que el Estado sería el único que debería normatizar reglas claras dejuego en el diseño global y el desarrollo de los programas. La información a los responsables de lasdecisiones, a partir de evaluaciones de buena calidad, cobra destacada magnitud a la hora de dar a luz estemarco regulatorio. (“Lo público y lo privado en la formación del trabajo”, Seminario, Bogotá, 1998). Enese sentido, la evaluación de impacto evita el riesgo de que los programas arranquen siempre de ceroprecariamente, sin recoger ninguna experiencia anterior, algunas de décadas (Castro y Verdisco, 1999).Se trata además de crear mecanismos de rendición de cuentas (Ramírez, 1999).
20
- Es imprescindible la mayor claridad en la definición de cada etapa paraevitar la confusión metodológica y la falta de sistematización que impide medirel impacto real.- Se debe buscar la menor complejidad posible para que la evaluación tengaun costo accesible.
Finalmente, dada la enorme complejidad de los factores en juego, no existenmodelos ideales de planeación ni de prácticas de evaluación: existen guías,marcos, lineamientos que se deben adaptar a cada programa.4
Las etapas básicas de la evaluación son:- toma de decisión respecto al cumplimiento de la evaluación y suestructuración;- constitución del marco de referencia;- selección de evaluadores y planeación de la evaluación (incluyendo
costos, organigrama y cronograma);- implementación y gestión;- difusión de resultados;
2.4.3.1. Toma de decisión y estructuración organizativa
En esta etapa, se lleva a cabo el acuerdo citado previamente entre losdiferentes actores y su compromiso con la evaluación, clarificando lasresponsabilidades y las orientaciones del proceso.
2.4.3.2. Constitución del marco de referencia.
Los términos de referencia que dan origen al marco-guía del proceso, incluyenun resumen del programa de capacitación y su implementación y un resumendel contenido de la evaluación que se propone (metodología, organigrama,costos, beneficiarios, cronograma).
3 Monrealzia., J: “desde nuestro punto de vista la evaluación exige, dentro de unos principios básicos deobjetividad y neutralidad, un acuerdo previo entre los diversos agentes implicados sobre el contenido y elalcance de la misma. Interesa tanto el grado de satisfacción de los propios gestores de las políticas o el desus propulsores, siempre que los procesos establecidos proporcionen información que apunten hacialíneas de mejorar en futuras programaciones”. (Incluido en Cuadernos de trabajo “Organización y diseñode los procesos de evaluación” de CIDEC, Donostia, San Sebastián).4 Varios autores se han referido a este punto: Ramírez, J: “La realidad de la práctica de los programasrepresenta en buena medida un desafío en términos del diseño de estrategias de evaluación. Estas debendar cuenta de la complejidad que conlleva la adecuada evaluación de estas intervenciones a partir de lamultiplicidad de dimensiones involucradas. La captación de loa beneficiarios de los programas implica unconjunto de instancias, con sus correspondientes efectos en términos de selección dentro de la poblaciónfocalizada. Esto impone dificultades y un conjunto de restricciones en cuanto a los diseños de evaluacióna aplicar, si es que se pretende lograr desentrañar relaciones causales sólidamente fundadas a partir de lainformación procesada”.Grubb, señala que, los diferentes tipos de programas dan la variabilidad de la metodología empleada,poniendo como ejemplo, el programa CETA de 1970, (ya citado).Jacinto y Gallart: “las estrategias puestas en juego siempre serán una forma de aproximación a larealidad”, (ya citada).El CIDEC: “en términos generales, el proceso de evaluación debe diseñarse, organizarse y aplicarse deforma adaptada a los rasgos específicos del programa a evaluar y su contexto organizacional ysocioeconómico”, (ya citado).
21
2.4.3.3. Selección de evaluadores y planeación de la evaluación.
La evaluación depende del principal responsable del programa que es eldecisor político y el diseñador. El evaluador debe estar calificado y libre depresiones en su tarea.Es conveniente validar la formación de evaluadores, sensibilizándolos para latarea de conocer el know how del programa. Puede tratarse de técnicosexternos especializados o de responsables internos de la gestión (intermedia ode base) que se capacitan en las herramientas de la evaluación de impacto.5
Finalmente, la evaluación participativa involucra a todos los actores, al igualque las auto evaluaciones periódicas.
La evaluación se dirige:- A la población objetivo (jóvenes carenciados y desempleados);- Al gobierno;- A los empresarios que aportan la empresa para la pasantía;- A las ECAS;- A la población local, donde se inserta el programa (informantes claves).
Una de las primeras preocupaciones que surgen a la hora de construir losprocesos de evaluación es la necesidad de superar los enfoques mástradicionales, los que sitúan a la evaluación como el contraste estricto entreobjetivos y resultados.La planeación se efectiviza mediante la caracterización de las fases del ciclodel programa de evaluación, con sus tiempos correspondientes en uncronograma-guía.Debe, además, recoger los criterios del acuerdo-marco generado a partir de ladecisión de realizar la evaluación, incluidos en los términos de referencia ytransformarlos en los subprogramas a ser evaluados (organigrama) y en lasdimensiones e indicadores a medir, junto a la selección de las herramientas autilizar- (este punto será ampliado posteriormente al presentar los modelostécnicos de evaluación). 6
5 -Ramírez Guerrero, señala que: “La disponibilidad de técnicos con una adecuada preparaciónprofesional en materia de evaluación constituye una dificultad para el logro de mejores resultados. Noobstante lo anterior, cabe señalar el importante aporte que en este terreno ha significado la cooperacióntécnica brindada fundamentalmente por parte de organismos internacionales. En clave prospectiva, ladinamización del papel de los ámbitos académicos de la región- vía un mayor relacionamiento de losmismos con los organismos de los responsables de los programas- es un camino que, a partir de algunasexperiencias ensayadas, abre perspectivas para interesantes actividades de complementacióninstitucional”.- El grupo de CIDEC, ya citado, por su parte: “ La calidad de la evaluación depende, en buena medida,de tres factores: la capacidad del grupo de pilotaje para especificar adecuadamente sus necesidades yexpectativas en torno a la evaluación, la designación de un equipo de evaluadores cualificado y elestablecimiento de una comunicación fluída entre el grupo de pilotaje y los evaluadores”.6 Gallart indica que: “la evaluación exige no sólo definir los objetivos de los programas en términosmensurables y alcanzables, sino que tiene que tener en cuente las condiciones de ingreso de loscapacitados, sus antecedentes familiares, educativos y ocupacionales. Más aún es conveniente que los
22
2.4.3.4. IMPLEMENTACION Y GESTION
La etapa de implementación debe estar anclada en una serie de requisitos que,junto a la convicción por parte de todos los involucrados de que la evaluaciónes una instancia de aprendizaje, permiten gestionar una evaluación de buenacalidad que genere conclusiones transparentes. Ellos son:
- La evaluación debe ajustarse a los términos de referencia- El diseño metodológico debe ser apropiado para el tipo de programa
implicado, según los objetivos propuestos- Las herramientas para la recolección de datos deben hacer que estos
sean confiables- Los sistemas de análisis propuestos deben ser los adecuados para la
metodología utilizada.
MODELOS TEÓRICOS PARA LA IMPLEMENTACION DE LA EVALUACIÓNDE IMPACTO (Modelo CIPP y Modelo de evaluación respondente)
2.4.3.4.1. Modelo CIPP (propuesto por Stufflebeam y Shinkfield)
Este modelo organiza el proceso de la implementación según cuatrodimensiones y sus correlaciones (ver cuadro 4):
C: Contexto
I: INPUT, Insumos
P: Proceso
P: Producto (Impacto)
CUADRO 4
ProductoProceso
Contexto
Input
FUENTE: Centro de Investigación y Documentación sobre problemas de laEconomía, el Empleo y las Calificaciones Profesionales (CIDEC) . Modificado.
resultados sean observados en el mediado plazo y en varios momentos en el tiempo, para poder analizarsu impacto en las trayectorias de los individuos”.
23
Contexto
Esta dimensión se nutre de los datos globales socioeconómicos ysociolaborales nacionales y locales, con énfasis especial en las políticas deempleo para jóvenes.
Input (Insumos)
Identifica y valora los recursos disponibles (humanos, materiales y financieros)antes del programa; los objetivos y las estrategias planteadas según losrecursos disponibles; las estrategias implementadas; los recursos asignados yutilizados, el soporte normativo y las intervenciones realizadas.
Proceso
Incluye la interrelación dinámica entre las estructuras del programa y losdiversos actores, generando un sistema vincular: “medio ambiente delprograma”.Se evalúa especialmente por técnicas cualitativas.
Producto (resultados e impactos en relación a los objetivos)
Los productos (indicadores) se pueden caracterizar según:
- eficacia: medida de los logros en un tiempo determinado;- eficiencia: medida de los logros en un tiempo determinado, según los
recursos utilizados;- cobertura: proporción entre los jóvenes que accedieron al programa y el
total de jóvenes carenciados y en situación de desempleo;- pertinencia: grado de satisfacción de las necesidades especificas de los
jóvenes beneficiarios;- adecuación: correlación entre los objetivos y los recursos disponibles;- coherencia: grado de correspondencia entre los objetivos y los
dispositivos;- imputabilidad: medida de causalidad o de fuerte asociación entre los
dispositivos y los resultados.
(ver cuadros 1 y 5)
24
CUADRO5
JUZGAR EL VALOR DE UN PROGRAMA
SOCIEDAD ACCIÓN PÚBLICA
NECESIDADES
Utilidad
RESULTADOS
EFECTOS
Pertinencia
Eficacia
Eficiencia
IMPACTOS
OBJETIVOSESPECÍFICOS
GLOBALES
MEDIOSRECURSOS
Eficacia
INTERVENCIONES REALIZACIONES
FUENTE: Centro de Investigación y Documentación sobre problemas de laEconomía, el Empleo y las Calificaciones Profesionales (CIDEC).
Las cuatro dimensiones del modelo CIPP se relacionan con cuatro niveles dedecisión, que a su vez se corresponden con cuatro etapas de la evaluación(ver cuadro 6).
25
CUADRO 6
Niveles y etapas de la evaluación en los cuatro componentes del CIPP.
Niveles de decisión Etapas de evaluación
C Decisiones de ProgramaObjetivosEvaluación deContenidos o Contexto.
I Decisiones de PlaneaciónProcedimientosplaneados.Evaluación de entrada,Input, Insumos
P Decisiones deImplementación
Procedimientosefectuados, reales.Evaluación de Proceso.
P Decisiones de RelevamientoResultados.Evaluación de Productoso Impactos.
FUENTE: elaboración propia.
En cada una de las cuatro etapas de la evaluación correspondientes a cadanivel de decisión (que se acaban de presentar) se recogen y analizan datosespecíficos (ver cuadro 7).
26
CUADRO 7
Etapas de la evaluación y Datos respectivos
Etapas de la evaluación Datos a recoger y analizar
C
Evaluación deContenidos o deContexto
Datos globales queproporcionan los fundamentos
para los objetivos delprograma.
! indicadores socioeconómicos.! indicadores sociolaborales.! políticas de capacitación y
empleo para jóvenes.
I
Evaluación de Input oInsumos
Datos que proporcionan elfundamento para la elección delmodo de utilización de losrecursos disponibles para lograrlos objetivos (Humanos,Materiales, Financieros)
P
Evaluación de Proceso Datos de la marcha delprograma.Registro de la relación entre loprogramado y lo real.Datos sobre la interacción detodos los actores involucrados ylos roles desempeñados.Dinámica de grupo del proyecto(decisores, gestores,beneficiarios, población).
PEvaluación de Productoso Impacto
Datos sobre logros reales ysu relación en los objetivosdel programa. ImpactoLos logros alcanzados se midenen los beneficiarios, decisores(gobierno), empresarios,ejecutores, población.
FUENTE: elaboración propia.
El modelo CIPP desentraña el entretejido y las inter-relaciones de la totalidadde los componentes, en un enfoque sistémico, con adecuaciones permanentes.Su representación en el espacio podría corresponder a una imagen espiraladahelicoidal de complejidad y perfeccionamiento crecientes, en los que todas lasdimensiones se concatenan posibilitando la readecuación de cada etapa delprograma (ver cuadro 8).
27
CUADRO 8
Modelo CIPP
Interrelación de las Etapas de la Evaluación
Contexto Identificación de un problema
Formulación de objetivos
Valoración de los Insumos disponibles
Estrategias para la acción
Proceso de implementación
Productos Procedimientos empleados oResultados (Impacto)
FUENTE: elaboración propia.
2.4.3.4.2. MODELO EVALUATIVO RESPONDENTE O CENTRADO EN ELCLIENTE propuesto por STAKE, construido sobre aportes deTYLER (citados en cuaderno de CIDEC).
Tyler remarcó la noción de que la evaluación mide comparando resultadosdeseados y resultados hallados, posteriormente Stake recogió ese concepto ylo hizo extensivo a los antecedentes y a las acciones, recalcando que se debenregistrar tanto los resultados directos como indirectos los logros planeados ylos accidentales. Asimismo se deben recoger y analizar datos de merito y devalor entre todos los actores: los evaluadores deben estar compenetrados dellenguaje explicito e implícito de los participantes. Las dos tareas principales sonla descripción y el juicio; es así que el conocimiento sobre la población permiteal evaluador comprender los logros y las dificultades en profundidad.Esta practica evaluativa se basa fundamentalmente en técnicas cualitativas 7, aunque no descarta los datos concretos. 7 En el cuaderno de trabajo del CIDEC se señala: “Para Stake, los evaluadores son buscadores de laverdad, pero algunos se toman su papel demasiado en serio, puesto que existen muy pocas verdadesobjetivas en la evaluación, si es que existe alguna. En cambio señala que existen realidades múltiples, locual quiere decir que la verdad, reside en los ojos del observador”.
28
Por otra parte, considera especialmente útiles la evaluación interna y las autoevaluaciones.La estructura funcional del modelo “basado en el cliente” está presentado porStake en forma de reloj, mostrando como cada paso desencadena el siguiente,mediante el uso de las técnicas descriptas: la observación detenida y lasentrevistas abiertas, privilegiando el vínculo y la empatía.
2.4.3.5. DIFUSIÓN DE RESULTADOS
La diseminación de las conclusiones de la evaluación, en relación con suextensión, alcance y profundidad, debe ser acordada al inicio del proceso talcomo ya fue señalado. Este acuerdo es el sostén de la confidencialidad, que esjunto a la transparencia, dos exigencias básicas de toda difusión.Resguardando la confidencialidad, el informe final completo está dirigido a lasinstancias centrales de decisión y responsables últimos de la puesta en marchade la evaluación.Todos los restantes informes se adecuarán en cantidad y calidad de lainformación según aprobación del grupo central.En cuanto a la transparencia se debe tratar de preservar la objetividad, volcaren el informe todas las conclusiones y juicios de mérito y valor basados enevidencias claras y sin retoques: se debe tener especial cuidado de que elinforme derive de los hallazgos de la evaluación.El informe final incluye: la presentación de los datos; el análisis de los datos; lainterpretación de los datos; las conclusiones, las recomendaciones y losanexos con bibliografía.El informe final es un documento que presenta en forma sistemática, ordenadae integral, los hallazgos y su discusión: lo que aporta el significado a los datosencontrados por comparaciones con otras evaluaciones o por la consultabibliográfica.
2.4.3.6. PROCESO TÉCNICO DE LA EVALUACIÓN DE IMPACTO
Como último punto de este capítulo, se presenta un cuadro que marca loscuatro pasos que se seguirán en este manual, con su descripción y losproductos correspondientes a cada paso. Este cuadro funge como nexo ypresentación del capitulo tres.
29
CUADRO 9
La evaluación del impacto del programa
Proceso técnico
PASO DESCRIPCIÓN PRODUCTOPrimer Paso
Identificar el valor de lasvariables al inicio delprograma
Dimensionar los otrosactores del programa deformación
Dimensionar el contextodel programa
Ia) Variables Objetivo delPrograma en los jóvenesdesfavorecidos:
1. Bienestar dado por:empleo, ingresos,ciudadanía;
2. Competenciasgenerales, técnicas ypsicosociales
I)b- El Estado- Los ejecutores (ECAS)- Los empresarios
I)c Variables socioeconómicas Variables sociolaborales: El Empleo ("el mundo del trabajo")
Ia) ¿Qué se va a modificar?Dimensiones y variables deinicio de los jóvenesbeneficiarios y del grupo decontrol.
I)b ¿Con quiénes?Dimensiones y variables delos otros actores del programade formación
I)c ¿En qué contexto?Dimensiones y variables decontexto del programa deformación
II)c ¿Cómo se va a modificar?Dimensiones y variables delprograma de formación
Segundo Paso
Identificar el valor de lasvariables:
Al finalizar el programa yun año después definalizado
- En gobierno- En empresarios- En ECAS- En los jóvenes beneficiarios
y en el grupo de control
1) Bienestar: - Empleo- Ingresos- Ciudadanía
2) - Competencias generales- Competencias técnicas
- Competencias psicosociales
Dimensiones y variablesfinales
30
Tercer paso
Comparar las variablesiniciales con las variablesfinales
Recolección de datoscuantitativos y cualitativos:
- Diseño cuantitativo congrupo de control mide elimpacto debido a laintervención (competenciase inserción laboral en losjóvenes), censos-encuestas-tests
- Diseño cualitativo:entrevista en profundidad,análisis documental,observación
- Mixto
Datos cuantitativos ( estudiosanalíticos) Utilizando lavariación porcentual; medianteel mecanismo de:
- comparar la poblaciónbeneficiaria con un grupode control
Datos cualitativos (estudiosdescriptivos y exploratorios):A su vez , la descripciónfenomenológica del programa ytodos sus actores, aporta lavisión socio antropológica enprofundidad
- Informe de análisis de datoscuantitativos
- Informe descriptivo de datoscualitativos
Cuarto Paso
Interpretar (presentar ydiscutir) los datosobtenidos
Datos sobre impacto, logros,dificultades y fallas:
El informe debe ser claro ytransparente.Los resultados deben serveraces y apoyarse en basessólidas.La difusión de los resultados seenmarca en las basesacordadas antes del inicio de laevaluación
Resultados – ImpactoRecomendacionesInforme final
31
Índice del Capítulo 3
"Medición del Impacto"
3.1. Introducción3.2. Concepto de variableTipos de variables3.3. Variables de la evaluación3.3.1. Identificación de las variables de la evaluación de impacto.3.3.2. Cómo se mide el impacto3.3.2.1. En los beneficiarios3.3.2.1.1. Variable “Empleo”3.3.2.1.2. Variable “Ingresos”3.3.2.1.3. Variable “Rol ciudadano”3.3.2.1.4. Relevamiento de la variable “Bienestar” y sus componentes3.3.2.1.5. Datos aportados por métodos cualitativos3.5.2.1 En el gobierno3.5.2.1 En los empresarios3.5.2.1 En las ECAS (entidades de capacitación adjudicatarias)3.5.2.1 Impacto global o general3.4 Universo y Muestras
Anexo I
3.5- Cómo se mide: Las herramientas utilizadas para medir el impacto3.5.1- Metodología cuantitativa3.5.1.1- Aspectos generales3.5.1.2- Herramientas de la metodología cuantitativa3.5.2- Metodología cualitativa3.5.2.1- Aspectos generales3.5.2.2- Herramientas de la metodología cualitativa3.5.3- Metodología mixta
Anexo II
3.6- Herramientas para los beneficiarios y el grupo de control3.7- Herramientas para el gobierno3.8- Herramientas para los empresarios3.9- Herramientas para las ECAS
32
Capítulo 3
“Medición del Impacto”3.1- Introducción:
Este capítulo está dedicado al desarrollo del proceso técnico de la evaluaciónde impacto de los programas de capacitacion para jóvenes. Dicho proceso secompone de cuatro fases; que cruzaremos con el cuadro final del capítulo dos.
1era fase: - Identificación de un problema:“Jóvenes desempleados pertenecientes a clases carenciadas”
Momento EX - ANTE (antes del programa)
2da fase: - Propuesta de una solución al problema identificado:“Se oferta el diseño de un programa de capacitación compensatoria, quepresupone más horas de formación, más instituciones capacitadoras, másofertas de cursos, más docentes”.
Momento EX - ANTE (antes del programa)
3era fase: -Ejecución del programa propuesto:“ Etapa operativa o implementación”
Momento INTRA (durante el programa)
4ta fase: -Evaluación de impacto: Se observan los resultados, que constituyenuna descripción fáctica y al analizarlos, se miden los efectos del programa. Esa partir de la medida de los efectos que se conforma el impacto, mediante lacomparación de la evolución de ciertas variables asociadas a la situación de ungrupo de beneficiarios y de un grupo de control o de los beneficiarios consigomismos en momentos diferentes (al inicio, al finalizar y un año después de lafinalización).
Como se observa en el proceso técnico de la evaluación de impacto,seguiremos los lineamientos seleccionados al final del capítulo 2, en relacióncon los cuatro pasos que integran dicho proceso. La idea de esta presentaciónes mantener un hilo conductor que facilite el nexo teórico práctico de cada unode los componentes del manual.
3.2-Concepto de variable
Una variable es un atributo que no es fijo, sino que cambia (varía) en supresencia, ausencia o magnitud. Las variables que se estudian quedanidentificadas desde que se acuerda el marco y profundidad del procesoevaluatorio, el problema a evaluar y su magnitud. Este nivel de definición de lasvariables es muy abstracto, lo que obliga a su operacionalización para hacerlasmedibles.
33
La medición, tal como se viene estudiando, es la calificación o la cuantificaciónde las variables que permite clasificarlas según los diferentes hechosestudiados.
Tipos de variables
Variables cuantitativas: son las que pueden ser medidas numéricamente y portanto, los hechos estudiados se distribuyen a lo largo de una escala. Seclasifican en continuas y discontinuas:
• las continuas son aquellas cuya escala de medición se divideinfinitamente
• las discontinuas (o discretas) se miden sobre una escala de valoresque se corresponde a un numero finito o limitado
3.3- Variables de la evaluación
La medida del impacto en los programas de capacitación se evalúa en losbeneficiarios, en el grupo de control, en el gobierno, en los empresarios y enlos ejecutores. Con el fin de mantener el orden en la exposición, sepresentarán esas variables tal como aparecen en el último cuadro del Capítulodos (cuadro nº 9).
3.3.1. Identificación de las variables de la evaluación de impacto.
Se incluyen bajo esta denominación todas las características que, al sermedidas antes y después del programa, y mediante su comparación, dan elpeso del impacto del proyecto (ver paso 2 del cuadro de referencia).
La representación del mecanismo metodológico de la evaluación de impacto seincluye en el cuadro que cierra el capitulo 2 y se podría esquematizar comosigue:
CUADRO 1
INPUT OUTPUTPRODUCTOSVARIABLES PROGRAMA VARIABLES
DE ENTRADA DE SALIDA
EFECTOS
IMPACTO
34
El impacto se mide sobre:
1) Los jóvenes: Según incremento del bienestar, compuesto por empleo,ingresos y rol ciudadano.
2) El gobierno: Según la promulgación o generación de definiciones enpolíticas cristalinas en formación, capacitación y empleo, acordes a lascondiciones sociales. Estas definiciones incluyen legislación, oficinas públicasespecializadas, préstamos internacionales y normas de calidad de los cursos.
3) Los empresarios: Según valoración del compromiso y la participación enla creación de organismos bi o tripartitos de consulta; producción de normas decalidad ( la orientación de la pasantía según la demanda y el mercado detrabajo, el nivel técnico, la evaluación interna de la pasantía) y el grado dereclutamiento de los beneficiarios como mano de obra en la empresa.
4) Las ECAS (Entidades de Capacitación adjudicatarias): Segúnsustentabilidad (antecedentes en otras ejecuciones); nivel de calidad (segúnnuevos currículos, evaluación interna, formación docente) articulacionesverticales y horizontales.
CUADRO 2VARIABLES DE IMPACTO
Medidas a la entrada y a la salidaBENEFICIARIOS GOBIERNO EMPRESARIOS ECAS- BienestarSegún:
1) Empleo,integrado por: inserciónlaboral,satisfacciónlaboral y tipode trabajo
2) Ingresos3) Rol
ciudadano
1) Legislación2) Normas de
calidad de loscursos
3) Políticas decapacitacióny de apoyo apréstamosinternacionales
4) Oficinaspúblicasespecializadas
1) Compromiso yparticipaciónen la creaciónde organismosbi o tri partitosde consulta
2) Normas decalidad, segúnpertinencia(poradecuación ala demanda) yevaluacióninterna
3) Reclutamientoy retención dejóvenes
1) Sustentabilidad en el tiempo(Institucionalidad)
2) Nivel decalidadsegún:
-Nuevos currículos -Evaluación interna -Formación y calificación docente -Pertinenciadel curso 3)Articulaciones -Horizontales - Verticales
35
3.3.2. ¿Cómo se mide el impacto?
A continuación, se presentan los mecanismos prácticos de medida del impactoen cada uno de los 4 actores señalados. Se observará que la numeración delas variables se corresponden con la de las preguntas en los instrumentos (VerAnexo II)
3.3.2.1. En los beneficiarios
Evaluar los logros de los beneficiarios en la formación implica medir valoragregado en el bienestar según la variación en empleo, ingresos y ciudadanía.
Las medidas se deberían realizar en el corto, mediano y largo plazo para podervalorar el largo aliento o la efimeridad de los efectos. Asimismo, lacomparación, base del concepto de impacto se mide los beneficiarios frente aun grupo control, en iguales períodos: al inicio, al finalizar y un año después dela finalización del proyecto.
La variable bienestar es una variable compleja constituida por las variables:empleo, ingresos y ciudadanía. (Ver Cuadro 3).
CUADRO 3
Medida del impacto sobre jóvenes beneficiarios8 y grupo de control
Grupo deBeneficiarios
Grupo de Control
Variables ALINICIO
ALFINAL
ALAÑO
ALINICIO
ALFINAL
ALAÑO
DIFERENCIAPORCENTUAL
Variable complejaBienestar
ALINICIO
ALFINAL
ALAÑO
EMPLEO: (Variable)Indicador“Inserción laboral“Todo tipo de trabajoremunerado, sea porcuentapropismo, porcontrato o empresa familiar
EMPLEO: (Variable)Indicador:Satisfacción laboral:Como se siente respecto altrabajo (tareas que realiza)
8 Los jóvenes beneficiarios se miden consigo mismos, utilizando las mismas variables del cuadro. Semiden solo en el beneficiario al inicio, al final y un año después de finalizado. Se valora porcentualmentey se obtiene la diferencia porcentual positiva o negativa.
36
EMPLEO (variable)Indicador: Tipo de trabajoValoración de calidad deltrabajo según necesidadesy expectativas (protecciónsocial y sanitaria, ingresosestabilidad y horario)
INGRESOS: (Variable)Remuneración del empleo
ROL CIUDADANO:(Variable)Se destaca larevalorización de laciudadanía como factor decohesión democrática.Participación enorganizaciones barriales,gremiales, comunitarias,deportivas, juveniles,políticas y religiosas.
3.3.2.1.1. Variable: empleo
Debemos señalar que en este apartado se incluyen tanto los indicadores deimpacto cuantitativo y de impacto cualitativo referentes al empleo. La hipótesisprincipal del programa es que la capacitación agregada produce un aumento dela empleabilidad, con consecuentes probabilidades incrementadas deconseguir empleo, de mantener el empleo, de mejorar los ingresos laciudadanía y por lo tanto, el bienestar.
La variable empleo se constituye por los tres indicadores siguientes: inserciónlaboral; satisfacción laboral; y valoración de la calidad del trabajo segúnnecesidades y expectativas. Además se discrímina según edad, sexo,necesidades básicas, nivel de instrucción, experiencia laboral anterior.
37
Indicadores CategoríasNo (desocupado)* Inserción laboralSí (con ocupación)Ningunapocabuena
* Satisfacción laboral
Muy buena Si
Protección social NoProtección sanitaria Si NoEstabilidad Si NoIngresos suficientes Si NoHorario adecuado Si No
* Valoración de la calidaddel trabajo segúnnecesidades yexpectativas (tipo detrabajo)
Para la recolección de estos datos, se recurre a los instrumentos del Anexo II(tal como citaremos en cada caso en particular): cuantitativos y cualitativos.
Indicadores cuantitativos de la variable Empleo
Inserción laboral
La inserción laboral se valora por la presencia o ausencia de trabajo delbeneficiario y del control, en tres momentos: al inicio; al finalizar; y a un año definalizado el programa. En la primera aproximación solo se investiga si tiene o no trabajo. El volcadode datos se hace como se presenta a continuación; y con la siguiente formula:
Inserción laboral = número de empleados x 100número de participantes en el programa
Medición en los beneficiarios del impacto del programa según elindicador “inserción laboral” (correspondiente a la variable empleo)
TIENE TRABAJO Valor para losBENEFICIARIOS
Valor paraGRUPO DE CONTROL
AL INICIOAL FINAL
38
DESPUÉS DE - 1 año (c)
MEDIDA DEL IMPACTO
• Al finalizar elprograma
Diferencia porcentual• Al año de finalizado
el programaDiferencia porcentual
Nota: Se utilizan formularios similares al presentado de “inserción laboral”para los otros indicadores de la variable empleo (“satisfacción laboral” y “tipo detrabajo”)
Momento de la medición: esta variable y sus indicadores se miden antes delinicio del programa, cuando este finaliza y al año de finalizado. Se mide tantoen el grupo de beneficiarios como en el grupo de control.
Proceso de medición del impacto: El impacto se mide según la diferenciaporcentual que existe en las medidas del grupo de beneficiarios y del grupo decontrol. Se presenta la formula del cálculo de impacto:
valor de la Medidadel impacto = valor del indicador en el grupo de beneficiarios-indicador en el grupo de control
valor del indicador en el grupo de control
Ejemplo: Indicador inserción laboral de la variable empleo
En los egresados el 80% tiene inserción laboral al año de finalizado el curso.
Medida del impacto= 80-60 = 20 = 0,33 60 60
Interpretación del resultado: el grupo de beneficiarios del curso presenta, al añode finalizado el mismo, un 33% mayor de inserción laboral que el grupo decontrol.
3.3.2.1.2. Ingresos: Se recoge el dato del ingreso en moneda nacional ,cumpliendo igual mecanismo en cuanto al tiempo.
La fórmula para el cálculo del impacto sobre “ingresos” no utiliza porcentajes:
Ingresos en M/N calculada en beneficiarios-ingresos en M/N en grupo de control = Porcentaje de variación
ingresos en moneda nacional en grupo de control
39
Medición en los beneficiarios del impacto del programa, según la variable“Ingresos”
INGRESOS EN MONEDANACIONAL (M/N)
Valor para losBENEFICIARIOS
Valor paraGRUPO DE CONTROL
AL INICIOAL FINALDESPUÉS DE - 1 año
MEDIDA DEL IMPACTO! Al finalizar el
programa! Al año de
finalizado elprograma
Porcentaje de Variación
Variable de ingresos discriminado
Al igual que para inserción laboral, es muy aconsejable llevar adelantecapítulos especiales en la recolección de datos, según edad, sexo,necesidades básicas, nivel de instrucción y antecedentes laborales.
Estos datos y su análisis son la base del conocimiento profundo del impacto enlos diferentes integrantes de la sociedad, haciendo sobresalir los puntos en losque se debe reajustar el programa según poblaciones especificas.
3.3.2.1.3. Rol ciudadano
Se destaca la revalorización de la ciudadanía como factor de cohesióndemocrático, en la participación y presencia activa de cada integrante de lasociedad
Indicadores: Categorías
- Participación en organizaciones barriales Sí / No- Participación en organizaciones gremiales Sí / No- Participación en organizaciones comunitarias Sí / No- Participación en organizaciones deportivas Sí / No- Participación en organizaciones juveniles Sí / No- Participación en organizaciones políticas Sí / No- Participación en organizaciones religiosas Sí / No
40
A su vez, todos los indicadores de la variable "rol ciudadano" se discriminan ensubgrupos, según edad, sexo, satisfacción de necesidades básicas , nivel deinstrucción, experiencia laboral
3.3.2.1.4 Variable compleja “Bienestar” (Tabla de Resumen) y relevamiento delos datos respecto a las variables componentes de bienestar y de losdatos básicos de los jóvenes.
Tabla de resumen de la variable “Bienestar”
Beneficiarios Grupo de control Comparación
Beneficiarios
Bienestar
INICIO FINAL % INICIO FINAL %
Grupo de control
I) Variación“empleo”:- Variación
inserciónlaboral
- Variaciónsatisfacciónlaboral
- Variación tipode trabajo
II) Variación “Ingresos”
III) Variación “Rol ciudadano”
Se presenta a continuación la formula de recoleccion de los datoscorrespondientes a las variables integrantes de la variable global, compleja“bienestar”. Se manejarán dos tipos de instrumentos: las encuestas y lasentrevistas en profundidad (ver anexos).En el Anexo II, se incluye la encuesta para beneficiarios y grupo de control, querelaciona las variables con las preguntas tal como sigue:
CUADRO 4Preguntas de Formulario correspondientes a cada variable
Variables Nº de pregunta/s en elformulario para jovenes
15, 25 23, 25
1-Empleo- inserción laboral- satisfacción laboral- tipo de trabajo 17, 18, 19, 20, 21, 25
Bienestar
2- Ingresos 14, 16, 25
41
3- Rol ciudadano 28
Edad 3
Sexo 2
Necesidades Básicas 6, 7
Nivel de instrucción 8, 9, 10, 11, 12
Datos básicos
Experiencia laboral anterior 13
3.3.2.1.5 Datos aportados por métodos cualitativos
En los beneficiarios2 y en el grupo control, se completa la medida del impacto,con preguntas abiertas y observación, según técnicas de relevamiento y análisis que se tratarán en el apartado 3.5.2 de este capítulo.
El enfoque es como ya se señaló, mixto cuanticualitativo, holístico.Los indicadores cualitativos permiten valorar otros aspectos de la variableBienestar, que aportan una visión más abarcativa del fenómeno, apoyando unentendimiento y una retroalimentación de mejor calidad.
Para la recolección de estos datos se recurre a entrevistas en profundidadrealizadas a los jóvenes. El eje temático gira en torno a cambios actitudínalesrespecto al trabajo, al posicionamiento en los períodos de búsqueda de empleoy a las necesidades y expectativas, a su valoración de las competenciasnecesarias para una buena inserción laboral (educación formal, programas decapacitación, redes, otros). En cuanto a la inserción social (inclusión), se midenlas:
Competencias Psicosociales (características actitudinales y comportamentales)
Indicadores - autoestima- creatividad- elaboración de proyectos
2 Gallart señala que la dificultad en “...la superación del rol interno tendiente a mejorar la convivenciainstitucional y la contención de los jóvenes y adolescentes, para proyectar ese aprendizaje al mundointerno, transformándolo en competencias sociales de empleabilidad”.Tal como argumenta Milos : “...los procesos de formación para el trabajo de jóvenes vulnerables debenresponder a desafíos múltiples, que no se agotan en la obtención de un puesto de trabajo o un empleo.Creemos que comprometen también aspectos de formación general que les aseguren una inserción socialmás amplia de la cual dependen sus posibilidades de ejercer sus derechos ciudadanos y de contribuir aldesarrollo cultural de la sociedad a la que pertenecen”.
42
- inserción social- ámbitos de los procesos de socialización (la familia, la calle,
los pares, las instituciones, otras)- participación activa en grupos sociales, artísticos, religiosos,
deportivos, barriales, culturales- incremento de los espacios sociales- creación de nuevas redes sociales (con otros jóvenes, con
instituciones, servicios, lugares de trabajo)
Se entrevista a los beneficiarios, al finalizar el proyecto y al año de finalizado, yse recogen datos descriptivos y fenomenológicos en una mirada retrospectiva.La comparación es del joven consigo mismo, en etapas distintas de su vida(¿cómo era antes del programa?, ¿cómo era en cuanto finalizó el programa?,¿cómo es un año después de finalizado el programa?.
3.3.2.2. En el Gobierno:
Mide especialmente el impacto, valorando el papel principal del gobierno en elproyecto, normatizador, regulador y supervisor de las actividades.
Las variables de impacto en el gobierno se deberían medir al finalizar elproyecto, al año y luego, en períodos más largos ya que las definiciones enpolíticas de gobierno se pueden adoptar en plazos dilatados. (Ver en Anexo IIel numeral 3.7).
a) Respaldo Legal: Según la variable (1) “promulgación de leyesespecificas”b) Nivel de Calidad: según la variable (2) “procedimientos que asegurenla calidad de la capacitación ofertada (cumpliendo el papel normativo ysupervisor del Estado)c) Marco Político: según la variable(3) “grado de explicitación en elinterés sobre la capacitación juvenil y sobre los prestamosinternacionales”d) Creación de instituciones estatales especificas según la variable (4)“definición de instituciones adscriptas”Las categorías para estas cuatro variables son:
Sí (presencia)No (ausencia)
Se miden al inicio, al final del proyecto y hasta varios años después, yaque el impacto medido como “modificaciones” sobre el gobierno (al igualque en las empresas y las ECAS) suele requerir tiempos másprolongados
}
43
CUADRO 5
Medida del impacto sobre el Gobierno
Variables (al final, uno, dos y... “x” añosdespués)
Sí No
1- RESPALDO LEGAL:Promulgación de leyes normativas especificas sobreformación y capacitación juvenil
2- ASEGURAMIENTO DE CALIDAD:Procedimientos que aseguren la calidad de lacapacitación ofertada.
3- MARCO POLÍTICO:-Facilitación de mecanismos de financiamiento de loscursos-Prestamos internacionales:Existencia de interés político hacia préstamosinternacionales relacionados con estos temas-Creacion de Instituciones específicas:Creación de instituciones especializadas en el tema de lacapacitación para jóvenes desfavorecidos
3.3.2.3. En los empresarios
El impacto del programa sobre las empresas de pasantía medido al final y unaño después de la terminación implica la detección del mejoramiento de unaserie de variables cualitativas, según la percepción de los empresarios,(referencia: Anexo II; numeral 3.8)
Tipos de Impacto: (Ver cuadro 6)
A) Compromiso y participación, según las variables "Creación de organismobipartito o tripartito de consulta" y participación de la empresa en caso deexistir dicho organismo
B) Nivel de calidad, según las variables aplicación y relacionamiento de lacapacitación con los nichos ocupacionales y "evaluación interna de lacalidad de la pasantía"
C) Reclutamiento y retención de jóvenes, según la relación entre cuántospasantes recibió la empresa y cuántos permanecieron en ella a los 6meses, al año. ¿Existe retención y reclutamiento?
D) Compromiso y participación, según las variables (1)9 "Creación deorganismo bipartito o tripartito de consulta" y participación de la empresa encaso de existir dicho organismo
E) Nivel de calidad, según las variables (2) aplicación y relacionamiento de lacapacitación con los nichos ocupacionales, (3) "evaluación interna de lacalidad de la pasantía"
9 Los números se corresponden a la numeración de las preguntas en la pauta de la entrevista a empresarios(Ver anexo II)
44
F) Reclutamiento y retención de jóvenes, según la relación entre cuántospasantes recibió la empresa y cuantos permanecieron en ella a los 6meses, al año. ¿Existe retención y reclutamiento?
45
CUADRO 6
Medida del impacto sobre los empresarios
Variables (al final, de uno a varios añosdespués)
Sí No
- CREACIÓN DE ORGANISMO BI O TRIPARTITO DECONSULTA
- PARTICIPACION DE LA EMPRESA EN ESEORGANISMO
- PERTINENCIA (Nivel de Calidad):Relación de la capacitación con los requerimientos delos puestos de trabajo en la empresa
EVALUACIÓN INTERNA;- existencia de evaluaciones internas de las pasantíasen las empresas
- SUSTENTABILIDAD EN EL TIEMPO Y ARTICULACIONES
- NORMAS DE CALIDAD
RECLUTAMIENTO Y RETENCION DEJÓVENES:
Porcentaje de los trabajadores actuales de la empresaegresados del programa.Relación entre la cantidad de pasantes recibidos por laempresa y cuántos permanecieron en ella al año y variosaños de finalizado el programa
Reclutamiento%
Retención%
3.3.2.4. En las ECAS
Las variables a investigar para medir el impacto en las entidades decapacitación son especialmente dos que tienen que ver con la empleabilidadde los beneficiarios y la pertinencia del curso teórico-práctico. El impacto quesobre ambos actores tuvo el desarrollo del programa se articula con el objetivoprincipal(inserción laboral de los jóvenes). Las visiones modificadas deempresarios y ejecutores en cuanto a la empleabilidad y a la pertinenciaretroalimentan nuevos emprendimientos(formativos y laborales)
Por otra parte, resulta muy adecuado indagar la actuación, que como piezasclaves, les correspondió a las ECAS en la capacitación a través de entrevistasen profundidad. Resultan informantes muy calificados por su contacto cercanoa la población objetivo. ¿ Cómo se evalúan a sí mismos como capacitadores?¿Cómo son evaluados por otros informantes calificados(autoridades delprograma, especialistas en empleo y capacitación de jóvenes, líderescomunitarios)?. (Referencia Anexo II; numeral 3.9).
46
Tipos de Impacto: (Ver Cuadro 7)
A) Institucionalidad: medida como sustentabilidad, antecedentes departicipación en programas similares, asociaciones de ECAS.
B) Nivel de Calidad: medida según elaboración de nuevos currículos,evaluación interna, creación de ámbitos de perfeccionamiento técnicodocente, pertinencia, según orientación desde la demanda, focalización,orientación especialmente práctica.
C) Articulación o Redes con: otras ECAS, empresarios (para pasantías),instancias centrales, instancias locales.
Las articulaciones o coordinaciones en la participación se presentan condiversas interconexiones, tales como:
Articulaciones interinstitucionales (entre lo público y lo privado)
Articulaciones verticales entre:
- Las instancias centrales y las periféricas: grupo central de decisión yejecutores.
- Las instituciones educativas formales y ejecutores.
Articulaciones horizontales:
- Intersectorial (Trabajo, Educación, Bienestar Social)- Entre capacitadores de diferentes proyectos.- Entre docentes encargados de la teoría y los de la pasantía en la
empresa.- Entre el ejecutor y los sistemas de información del mercado de trabajo,
colocación, orientación vocacional, asesoría en gestión administrativa.- Entre todos los actores del programa y la sociedad civil (promoción,
difusión).
47
CUADRO 7
Medida del impacto sobre las ECAS
Variables (al final, de uno o varios años) Sí No
INSTITUCIONALIDAD:Creación de asociaciones de entidades capacitadoras
INSTITUCIONALIDAD:Antecedentes en otras ejecuciones del programa.Continuidad como ejecutores
NIVEL DE CALIDAD:Cambios o elaboración de nuevos currículos
NIVEL DE CALIDAD:Se realizan evaluaciones internas
NIVEL DE CALIDAD:Se realizan cursos de perfeccionamiento en la calificacióntécnica, docente y pedagógica de los ejecutores
NIVEL DE CALIDAD:Pertinencia del curso orientado según:- nichos ocupacionales- perfil de la población objetivo
ARTICULACIÓN CONEmpresarios, Instancias centrales y locales:Existencia de articulaciones:- horizontales con otras ECAS, con las empresas
encargadas de las pasantías, con la población local- verticales con las oficinas públicas especializadas en
formación y capacitación de jóvenes- con las instancias centrales del programa
3.3.2.5. Impacto general o global del proyecto
El impacto general implica una tarea de análisis de los impactos particularescorrespondientes sobre los jóvenes beneficiarios, el gobierno, las empresas ylas ECAS. Y en ese sentido, se informa el impacto respectivo a cada área. Noes posible una sumatoria simple, dado que en jóvenes se mide el impacto enporcentajes positivos o negativos (diferencias porcentuales) al relacionar dospoblaciones o a los jóvenes consigo mismo en dos etapas cronológicasdiferentes. Pero, en los otros tres actores (gobierno, empresarios y ECAS) sevalora presencia o ausencia de ciertos hechos.
Por tanto, la definición y utilización de variables cuantitativas y cualitativasimposibilita un resultado numérico final, o suma simple de los impactos en cadauno de los actores.
Ejemplo se podría analizar y concluir que un proyecto tuvo un impacto positivoen los jóvenes beneficiarios de 33% en empleo, 20% en ingresos y 15 % enciudadanía en relación con el grupo de control. Mientras que en lo concernienteal impacto sobre el gobierno se crearon normas de aseguramiento de calidad,sin otro impacto positivo según las restantes variables del gobierno. De igualmodo se manejan las conclusiones en torno a empresarios y ECAS.
48
Finalmente, las variables de impacto en el grupo de jóvenes se discriminan poredad, sexo, nivel de instrucción, necesidades básicas insatisfechas,experiencia laboral anterior, facilitando el análisis y la identificaciónretroalimentadora de en qué grupos se tienen los mejores impactos. Estefeedback clarifica qué tipo de proyecto y para quién es más útil. Se podríahipotetizar que a menor nivel de instrucción el impacto en “empleo”, “ingresos”y “rol ciudadano” es menor. Si la hipótesis resultara positiva, la conclusión seríaque el proyecto evaluado no aporta valor agregado destacable, si estáncarentes las competencias básicas. En caso que así fuera, sería necesariobuscar otras propuestas o soluciones en la formación y la capacitación.
3.4. Universo y Muestras
Universo de Beneficiarios:Está constituido por todos los jóvenes que egresaron del curso de capacitación
Muestras:La muestra es el grupo en que se realiza el estudio, facilita profundizar en lasvariables a menor costo y en menor tiempo, dando más control sobre lasvariables.
Para poder generalizar los resultados alcanzados en la muestra a todo eluniverso, ella debe ser representativa de esa población. Para eso:
1) Debe reunir los caracteres fundamentales que existen en el universo enrelación con la variable a estudiar.
2) El tamaño muestral debe ser proporcional al tamaño del universo: amayor tamaño de población, menor porcentaje requiere la muestra,siempre que la variabilidad de la variable no sea excesiva.
Con el fin de lograr todo lo señalado se utilizan técnicas aleatorias, llamadastipos de muestreo.
El tipo de muestra a utilizar en el manual es el probabilístico con un muestreoaleatorio simple, para la selección del 10% de los jóvenes beneficiarios. Coneste fin se puede usar una tabla de números aleatorios estándar.Asimismo, puede recurrirse dentro de los muestreos probabilísticos, al llamadomuestreo sistemático. De la lista total de beneficiarios ( en la que cada jovenestá numerado por su inscripción) se define el intervalo para un 10% deluniverso (se toma uno de cada diez) siguiendo estrictamente el orden de lalista.
La muestra de los beneficiarios debe estar configurada de forma tal quepermita controlar del modo más riguroso posible las múltiples variables que serelacionan con la inserción laboral juvenil.
Este diseño facilita el aislamiento de los efectos de las condicionesmacroeconómicas sobre el empleo de los jóvenes, ya que al hacercomparables el grupo de beneficiarios y el grupo de control, identifica el peso
49
relativo en la modificación de la inserción laboral atribuible al programa. Elcontrol de las múltiples variables relacionadas al empleo será posible en lamedida que las muestras( del grupo de beneficiarios y del grupo de control)sean comparables entre sí y sean representativas de los universos respectivos.Para este fin, se aplica un diseño aleatorio estratificado, según las siguientesvariables de estratificación: edad, sexo, NSE, nivel de instrucción y experiencialaboral para cada caso, volviéndolos comparables.
Configuración del grupo de control:
La configuración del grupo de control para el manual de CINTERFOR implicó eltransito por una serie de opciones , planteándose dudas en los diversos pasosmetodológicos, que están enmarcados en los aspectos ya tratados en capítulosanteriores (citas de varios autores en cuanto a la necesidad y a la dificultad deesta etapa).
Se han estudiado y aplicado diversos mecanismos para seleccionar dos gruposde jóvenes con características equivalentes (edad, sexo, nivel de instrucción,historia laboral, NSE), siendo uno beneficiario del programa y el otro “testigo”no beneficiario. (Muestra de beneficiarios y muestra de control).
Para el diseño del grupo de control, este manual propone dos metodologías:
1) Se selecciona como controles aquellos jóvenes inscriptos en el Programa,pero que no se presentaron al curso.El grupo de control es representativo del universo de jóvenes no participantesya que su selección se cumple al azar dentro del total de inscriptos: abandonanpor razones personales.
2) Se toma aleatoriamente una submuestra de la muestra de beneficiarios. Apartir del lugar de residencia de cada integrante de esta submuestra, se abreun empadronamiento de vecinos de la misma manzana, en el supuesto de queel avecinamiento homogeniza el NSE y los efectos de la difusión local delprograma.
A partir de la vivienda del beneficiario, y siguiendo el sentido horario, seselecciona la 5ta vivienda. El joven propuesto para control debe habitar esavivienda y llenar una serie de condiciones: estar dentro del tramo etario delprograma; estar desocupado y no haber recibido educación formal nicapacitación durante el tiempo de duración del programa.
En ambos métodos de selección, con el objetivo de preservar lasequivalencias, se entrevista a los posibles candidatos a integrar el grupo decontrol (con entrevistas estructuradas y por entrevistadores adiestrados)relevando los datos básicos: edad, sexo, nivel de instrucción, satisfacción delas necesidades básica, estado civil, historia laboral anterior. Para reforzar lacomparabilidad (y aislar al máximo los efectos extra-programa) se aplica unmecanismo de filtro: para ingresar y permanecer en el grupo de control, eljoven no debe haber recibido ninguna capacitación laboral, ni concurrido a
50
ninguna Institución educativa formal, durante el período de implementación delprograma.
51
Anexo I
3.5. Cómo se mide: Las herramientas de la evaluación de impacto
La selección de las herramientas de la evaluación es la llave de una buenasistematización de los datos, eslabón previo a una clara metodología en suanálisis y por ende, a la contundencia de las conclusiones aplicables al procesoretroalimentador.
La selección debe tener en cuenta los acuerdos institucionales, los objetivosplanteados, los recursos y el tiempo disponibles, recordando que no existe unmodelo único en la teoría ni en la práctica de la evaluación.
La flexibilidad del diseño busca el aterrizaje particularizado al programa amedir.
Pasar de la teoría a la práctica implica definir la situación de partida y haceridentificables todos los efectos surgidos durante el proceso de formación(directos e indirectos; deseados o indeseados; previstos e imprevistos).
En ambas (interna y externa) se lleva a cabo una medición de entrada y otra desalida. Las técnicas empleadas abordan un enfoque cuantitativo, cualitativo omixto.
3.5.1. Metodología cuantitativa
Se tratarán las metodologías por separado
3.5.1.1. Aspectos generales
Desde la década de los setenta, se comienzan a utilizar en Estados Unidospara evaluar los programas de educación y capacitación, estudios cuantitativoscuasi experimentales y experimentales verdaderos. (Ver capítulo 1).
3.5.2.1 Herramientas de la metodología cuantitativa
Bajo esta denominación se incluyen los instrumentos que posibilitan larecolección de los datos cuantitativos
Cuestionario
Es un método en el que se elabora un formulario impreso que es llenadodirectamente por el entrevistado, con o sin la presencia del investigador ypuede ser entregado por correo. Este último punto genera una de susdificultades: la pérdida de cuestionarios, su no devolución. Además nojerarquiza las preguntas y no es adaptable a cada caso en particular. Es debajo costo y lleva poco tiempo recoger datos sobre muchos sujetos.
52
El contenido de las preguntas se orienta según los objetivos de la evaluación,el marco teórico, las variables seleccionadas y la hipótesis del programa de quelas competencias y la empleabilidad mejoran con el curso de capacitación. Laformulación de las preguntas debe ser clara, dirigida a lo que realmente sequiere saber.
Encuesta por entrevista cerrada
La encuesta permite obtener información de los actores proporcionada por ellosmismos sobre: conceptos, opiniones, actitudes, prácticas y sugerencias.
La entrevista parece ser más eficaz que el cuestionario, por el juegointerpersonal creado, ya que aporta una dinámica más completa: elentrevistador explica con claridad y detenimiento los motivos de la pesquisa yexplicita qué tipo información busca. Este aspecto es especialmente útil en unapoblación, con dificultades en la comprensión de la lectoescritura.
La entrevista estructurada o cerrada está estandarizada en cuanto a laformulación y el orden de las preguntas, para las que se ofrecen un númerolimitado de respuestas.
Las preguntas están contenidas en un formulario, con respuestashabitualmente codificadas para facilitar el análisis. Todo ello conduce a que seauna técnica fácil de implementar para el entrevistador, quien no requiere unentrenamiento exigente. Es de bajo costo, pero la información está limitada a lopreestablecido.
3.5.2.1. Metodología cualitativa
Luego de una breve caracterización de esta metodología, se presentan lasherramientas especificas.
3.5.2.1 Aspectos generales
Al grupo de la metodología cualitativa, pertenecen los estudios de casos oetnográficos, con enfoque socio antropológico, gracias al uso de entrevistasabiertas en profundidad, de análisis de documentos y de observaciones. SegúnBerger y Luckman el aporte de las técnicas cualitativas se centra en laperspectiva exploratoria de la fenomenología de la vida cotidiana y de lasexperiencias vividas.
En los programas de formación, ellas dan profundidad a la comprensión de losdatos cuantitativos, proveyendo mejores insights sobre los “por qué” de latrayectoria seguida más allá de la planeación inicial, al girar en torno a lossentimientos, las impresiones y las interpretaciones personales de todos y cadauno de los involucrados.
53
3.5.2.1 Herramientas de la metodología cualitativa
Se presentan los instrumentos utilizados en la recolección de los datoscualitativos
Entrevistas en profundidad
La entrevista abierta no estructurada o semiabierta es más flexible que laestructurada o cerrada, aunque requiere mayor inversión en recursoseconómicos, en entrenamiento y en tiempo. Las preguntas se esbozan en unaguía de ayuda y el entrevistador es libre de modificar el orden de las preguntas,haciendo hincapié en las que resulten de mayor interés en cada caso particular.
La guía está pautada en sus contenidos con los indicadores de las variablesdependientes e independientes, según objetivo y marco teórico. Elentrevistador se presentará con una consigna en la que explicará alentrevistado los motivos de la entrevista (cómo y para qué es la investigación) ysolicitará la autorización para realizarla y registrarla (y si es posible, y no rompeel clima, grabarla).
La medida de las competencias psicosociales es ámbito especial de lametodología cualitativa, ya que fácilmente se levantan barreras por tocar elmundo íntimo. La flexibilidad, la agilidad y el dinamismo dependerán de ladestreza del investigador, quien puede llegar a recrear un clima muy facilitador.Es conveniente evitar las preguntas directas que dificulten la fluidez del vínculo,tratando de soslayar las que hagan que el entrevistado se sienta cuestionado oimpulsado a responder con las normas socialmente aceptadas. Este puntotiene que ver especialmente con algunas de las competencias psicosociales(exclusión, marginación, adicciones, delincuencia), para las que seríaaconsejable pesquisas indirectas de tipo proyectivo (“¿qué te gustaría para tuhijo o para tu hermano menor?” o “¿cómo te gustaría ser en el futuro?”),relacionándolas a temas concretos. Es asimismo, recomendable para reforzarla confiabilidad y la veracidad de los datos, la reiteración de la indagación delos diversos indicadores en diferentes momentos del encuentro y con distintastácticas.
Otro aspecto relevante se refiere al mantenimiento de la “distancia óptima”. Laafectividad se pone en juego en cualquier relación humana: la entrevista, comotodo vínculo, genera sentimientos, conscientes como inconscientes, en elentrevistado y también en el entrevistador. Las emociones inconscientes seconocen como transferencia (o actitud), o contra transferencia (ocontractitud).La transferencia es la actualización en le entrevista de actitudes,sentimientos y roles provenientes del pasado , por parte del entrevistado, haciael entrevistador. La contratransferencia es el proceso similar en elentrevistador, hacia el entrevistado.
Al continuar abundando en el juego interdinámico de la entrevista, aparece queesta no solamente es un tipo de relación humana, sino que posee ciertaespecificidad: uno de los integrantes está en un rol y en actitud técnica y el otrodesconoce la técnica. Esta asimetría debe ser observada por el entrevistador,
54
así como su propia contratransferencia convirtiéndola en un elemento detrabajo. Esto se logra manteniendo un encuadre fijo, que convierte alguna delas variables en constantes. Estas son lugar y tiempo de la entrevista, rol yactitud técnica y los objetivos del entrevistador. Estos no deben ser modificadospor la afectividad consciente o inconsciente, positiva o negativa hacia elprograma y/o hacia el entrevistado. Ese es el encuadre: el entrevistador almantenerse en ese rol fijo y neutral, deja sus emociones fuera de la entrevistacreando un clima de cordialidad neutra, que le permita acercarse alentrevistado para poder comprenderlo, a través de la empatía (capacidad deponerse en el lugar del otro) y la escucha (el arte de escuchar y observar larealidad).
Para el análisis posterior de los datos de la entrevista, es imprescindible que,inmediatamente después a su finalización, el entrevistador registre los sucesosque le hayan llamado la atención, así como el detalle de la distancia óptima , elencuadre y el clima creados.
El análisis de la entrevista abierta es, por supuesto, de mayor complejidad quela estructurada, requiriéndose en ocasiones la colaboración de antropólogos,pedagogos, sociólogos, psicólogos, para su interpretación, en aras de unacomprensión y un conocimiento más profundos, bases de una mejorretroalimentación. Este aporte multidisciplinario junto a los cuidados en latécnica: distancia óptima, encuadre, empatía, minimizarán los efectismosimpresionistas, las proyecciones emocionales y los preconceptos, favoreciendola objetividad y jerarquizando la metodología cualitativa como herramienta derecolección de datos.
La observación
Es el registro visual del mundo real de la sociología del cuerpo y del trabajo,con pautas preestablecidas y que al igual que los otros instrumentos derecolección, contemple los objetivos, el marco teórico y las variables.
La observación debe ser profunda y prolongada buscando la sistematizaciónmediante un esquema previamente elaborado y relevando los aspectos mássignificativos de la realidad.
Según la integración del investigador al medio a ser observado, se dividen enparticipante (participativa) y no participante (no participativa). En la primera, elobservador está integrado al programa total o parcialmente: esto hace que elconocimiento sea mayor, pero que el involucramiento afectivo atente contra laobjetividad. En la no participante, el observador es externo al programa y sibien este hecho favorece la valoración objetiva, se debe estar alerta paradetectar las modificaciones de la realidad inducidas por una presencia extraña.
Por otra parte, las observaciones pueden considerarse estructuradas(sistemáticas, reguladas) o no estructuradas ( simples, no reguladas). En formasimilar a lo que sucede en las entrevistas: la estructurada guiada por líneas
55
muy pautadas, favorece la recolección y el análisis de los datos, pero el aportea la comprensión se ve empobrecido si se la compara con las no estructuradas.
El observador, al finalizar, debe registrar por escrito los aspectos nocontenidos en la indagación, el contexto detallado en que transcurrió laobservación, sus impresiones respecto a la eficiencia del método y suaplicación concreta. Las puntualizaciones para el cumplimiento estricto de loselementos técnicos y de la ayuda de otras disciplinas que se presentaron parala entrevista en profundidad son valederas también para la observación.Atenerse a ellas, ayuda a validar los datos y a jerarquizar las herramientas.
Análisis de documentos institucionales
Los productos de las articulaciones horizontales y verticales del programa, asícomo los aislados pertenecientes a una única instancia, deben ser analizadosen su vertiente cualitativa, con profundidad y detenimiento. Posiblementeaporten una parte sustancial de la trayectoria del programa. Durante suanálisis, debe preservarse la objetividad para sopesarlos adecuadamente,manteniendo las exigencias técnicas señaladas para la entrevista enprofundidad ya que en un documento también hay un interlocutor.
3.5.3. Metodología mixta 1
Los estudios cualitativos pueden proveer explicaciones profundas para loshallazgos de los estudios cuantitativos; permiten realizar una descripciónexhaustiva de la capacitación, una valoración de las empresas, plantear nuevashipótesis y variables; aportan la visión cercana al programa y a los actoresLos estudios cuantitativos son los únicos que pueden medir el impacto sobre laempleabilidad (empleo y su tipología; búsqueda) y sobre algunas de lascompetencias técnicas de los beneficiarios.
La evaluación mixta, favorece la potenciación de los resultados, ya que lastécnicas cualitativas permiten profundizar los datos de las fuentes estadísticasy generar una retroalimentación de calidad.
1 Ramírez sostiene que: “Resulta recomendable intentar complementar la información a partir deinvestigaciones que, recurriendo a técnicas de investigación cualitativa, busquen aproximarse a laconstrucción de “conexiones de sentido” que permitan contrastar las evidencias derivadas de lainformación obtenida a través de relevamientos de base estadística. Por esta vía se enriquecería lainterpretación que las evaluaciones permiten, lo que redundara en un mejor ajuste de la operativa de losprogramas. Así, elementos como intereses de los jóvenes –parcialmente estudiados en encuestas desatisfacción con los programas-, sus percepciones en relación con la educación y su predisposición arecibir formación posterior, podrían ser incorporados más afinadamente a la planificación de las accionesa desarrollar.”
56
ANEXO II
3.6. Herramientas para los beneficiarios y el grupo de control
Entrevista a beneficiarios y grupo de control para medir el impacto delprograma en los beneficiarios. Este formulario se aplica al inicio del programa,a la finalización y luego de un año de terminado. La comparación de losresultados arroja el real impacto del programa:
ENCUESTADOR: _________________________FECHA: _________________________________
Relación con el programa:1. Beneficiario2. Control
1. Nombre completo
2. Sexo
a) Hombreb) Mujer
3. Edad
4. ¿Cuál es tu estado civil?
a) Unión libreb) Casado/ac) Divorciado/ad) Separado/ae) Viudo/af) Soltero/a
5. ¿Tenés hijos?
a) Sí, ¿Cuántos? ______ ¿Cuántos a tu cargo?: ______b) No
6. ¿Cuántas personas (familiares) viven contigo?7. -¿Cuál es tu relación con el jefe de hogar?
1 - Jefe
57
2 - Cónyuge3 - Hijo/a4 - Padre/madre, Suegro/a
5 - Otro familiar 6 - Otro no pariente ____________
8. ¿Cuál es el ingreso familiar por mes?
_______________ en moneda nacional
9. ¿Asistes a establecimiento educativo?
a) Síb) No
10. ¿Cuál es el mayor nivel educativo que has alcanzado?
a) Primariab) Secundariac) Escuela Técnica Carrera: _____________________________d) Universidad Carrera: _____________________________e) Otro ¿Cuál?: ______________________________f) Sin instrucción
11. ¿Cuál es el último año aprobado? ______________________________
12. ¿Completaste dicho nivel?
a) Síb) No
13. Además de la educación formal, ¿has asistido o asistes a algún otro curso?
a) Sí, ¿Cuál? __________________________________________________b) No
14. Antes de participar en el programa, ¿trabajaste alguna vez?
a) Síb) No (pase a la pregunta 15)
15. ¿Cuál era la remuneración en el trabajo anterior al programa?
58
_________________ en moneda nacional
16. Actualmente, ¿estás trabajando?
a) Síb) No (pase a la pregunta 26)
17. ¿Cuál es la remuneración en el trabajo actual?
___________________ en moneda nacional
18. ¿Consideras que la remuneración es adecuada para el trabajo querealizas?
a) Síb) No
19. En el trabajo actual, ¿tienes beneficios sociales?
a) Síb) No
20. Tu trabajo actual es
a) Permanenteb) Zafralc) Ocasionald) Otro _______________________________________________________
21. ¿Cuántas horas trabajas por semana?
22. ¿Estás conforme con el horario?
a) Síb) No
23. ¿Cómo conseguiste el trabajo actual?
59
a) Recomendación de la empresa de la pasantíab) Contrato en la empresa de la pasantíac) Avisos en la prensad) Vinculación de familiares o amigose) Otro, ¿Cuál? ______________________________________________
23. ¿Estás satisfecho con el trabajo actual?
a) Sí, ¿por qué?b) No, ¿por qué?
24. ¿Estás buscando otro trabajo?
a) Síb) No (pase a la pregunta 27)
25. ¿Cuál es el motivo principal para buscar otro trabajo?
a) Para ganar más dinerob) Para tener mejor capacitaciónc) Para sentirse mejord) Para tener más estabilidad laborale) Para tener beneficios socialesf) Otro: ______________________________________________________ ______________________________________________________
26. ¿Cuál es la razón principal por la que no estás trabajando?
a) Busca y no encuentrab) Quiere seguir estudiandoc) Por enfermedadd) Otra: _______________________________________________________ _______________________________________________________
27. Señala tres condiciones principales para aceptar un trabajo
a) Salariob) Horarioc) Beneficiosd) Estabilidade) Otro: _______________________________________________________ ________________________________________________________
60
28. Participas en:
28.1. Organizaciones barriales
a) Síb) No
28.2. Organizaciones gremiales
a) Síb) No
28.3. Organizaciones políticas
a) Síb) No
28.4. Organizaciones deportivas
a) Síb) No
28.5. Organizaciones juveniles
a) Síb) No
28.6. Organizaciones religiosas
a) Síb) No
28.7. Organizaciones comunitarias
a) Síb) No
61
Luego de la entrevista anterior, se plantean preguntas abiertas para recogerdatos cualitativos en la búsqueda de la evaluación de impacto mixta,cuanticualitativa.Se sugiere un punteo de los puntos a profundizar:
• Antes de integrarse al programa de capacitación:
# ¿Cómo se sentía?- En general, respecto al trabajo y a los ingresos (tuviera o no
trabajo e ingresos)- Si se planteaba buscar trabajo, o volver a estudiar- En el tiempo libre- En una entrevista laboral- Con las redes que tenía; ¿cuáles eran?- En relación con su familia, respecto al trabajo y a los ingresos- En relación a sus amigos, respecto al trabajo y a los ingresos- En su rol social, ¿qué espacios sociales tenía?- Autoestima- Elaboración de proyectos personales
• Al finalizar y al año de finalizado el programa:
- ¿Cómo se siente (en todos los puntos anteriores)?- ¿Ha notado cambios? ¿Cuáles?- ¿Cómo valora el programa?- ¿Qué características cree que son necesarias para la inserción
laboral?- ¿Qué propuestas haría, buscando posibles soluciones?
Por último, el entrevistador (ya finalizado el encuentro con el joven), registra porescrito los datos más significativos de la realidad que detectó durante laentrevista, mediante una observación simple, no estructurada. (Ver 3.5.2.2).
3.7. Herramientas para el gobierno
Entrevista a informantes calificados para medir el impacto del programa en elgobierno( este formulario se aplica al inicio del programa, a la finalización,luego de un año, y también luego de varios años de terminado). Lacomparación de los resultados arroja el real impacto del programa:
62
ENCUESTADOR:_________________________FECHA:_________________________________
Datos básicos
1.- Nombre completo:
__________________________________________
2.- Edad
__________________________________________
3.- Profesión:
__________________________________________
4.- Ocupación actual:
__________________________________________
5.- Cargos anteriores:
__________________________________________
En el último año
1.- ¿ Se adoptaron políticas de priorización en trabajojuvenil por parte del Estado?
__________________________________________
2.- ¿ Existen ámbitos regulares de integración de losorganismos Públicos de educación y de trabajo?
__________________________________________
3.- ¿ Los organismos gubernamentales de educación ytrabajo implementaron normas nacionales de seguimiento,monitorización y evaluación ?
__________________________________________
4.- ¿El gobierno ha creado instituciones especializadas enlos temas anteriores?
__________________________________________
5.- ¿ Se han impulsado políticas compensatorias enformación y capacitación para jóvenes carenciados? Ypara carenciados desempleados?
__________________________________________
6.- ¿ Ha existido interés político hacia préstamosinternacionales relacionados con estos temas?
__________________________________________
7.- ¿ Se han formulado normas de calidad en lacapacitación ofertada?
__________________________________________
63
3.8. Herramientas para los empresarios
Entrevista a informantes calificados para medir el impacto del programa en losempresarios( este formulario se aplica al inicio del programa, a la finalización yluego de un año de terminado. La comparación de los resultados arroja el realimpacto del programa):
ENCUESTADOR:_________________________FECHA:_________________________
Datos básicos
1.- Nombre completo:
_______________________________
2.- Edad
_______________________________
3.- Profesión:
_______________________________
4.- Ocupación actual:
_______________________________
5.- Cargos anteriores:
_______________________________
En el último año*
1.- ¿Existe un reforzamiento institucional de lasempresas propiciando la creación y participación enorganismos bi o tripartitos de consulta?_______________________________________
2.- En relación con la sustentabilidad en el tiempo ola precariedad de la experiencia, ¿cuánto hace quelas empresas tienen continuidad como lugar depasantía para el programa ?________________________________________
3.- En cuanto a las redes,¿ Las empresas quebrindan pasantía tienen articulaciones horizontalescon otros servicios productivos, otras empresas yoferentes?; ¿Y tienen articulaciones verticales conlas oficinas públicas especializadas en formación ycapacitación de jóvenes? ; ¿ y con las instanciascentrales del programa?________________________________________
4.- En cuanto a la pertinencia de la pasantía ¿estase orienta desde la demanda o desde la oferta?________________________________________
5.- Mediante el mecanismo de la pasantía ¿ lasempresas reclutan y retienen a algunos de losbeneficiarios?________________________________________
6.- ¿Se han delineado normas de calidad en lasempresas responsables de la pasantía?________________________________________* Encuestador: si el entrevistado es dueño de una delas empresas de la pasantía formular la preguntareferida únicamente a su empresa: registrar tamañode la empresa y Rama de Actividad
64
3.9. Herramientas para las ECAS
Entrevista para medir el impacto del programa en las ECAS( este formulario seaplica al inicio del programa, a la finalización y luego de un año de terminado.La comparación de los resultados arroja el real impacto del programa):
ENCUESTADOR:____________________________FECHA:____________________________
Datos básicos
1.- Nombre completo:
__________________________________
2.- Edad
__________________________________
3.- Profesión:
__________________________________
4.- Ocupación actual:
__________________________________
5.- Cargos anteriores:
__________________________________
En el último año
1.- ¿Existe un reforzamiento institucional de las ECASresponsables de la ejecución según nuevas estrategias alrespecto? (Nuevos currículos, evaluación interna,focalización)__________________________________________
2.- En relación con la sustentabilidad en el tiempo o laprecariedad de la experiencia, ¿Cuánto hace que lasECAS tienen continuidad como ejecutores del programa ?__________________________________________
3.- En cuanto al nivel de calidad ¿ Usted cree que elprograma permitió un mejoramiento en la calificacióntécnica, docente y pedagógica de las ECAS?__________________________________________
4.- ¿ Ha habido cambios en la capacidad de gestión,evaluación y administración de las ECAS?__________________________________________
5.- ¿El programa ha significado un incremento en lacapacidad de negociación de las ECAS?__________________________________________
6.- ¿Se han cumplido por parte de las ECAS las etapas ylos tiempos acordados en el programa?¿ Mejoró el controlfinanciero?__________________________________________
7.- ¿En cuanto a la calidad del curso se ha orientadosegún:
7a.- los nichos ocupacionales?7a.- perfil de la población focalizada?7a.- orientación especialmente práctica?__________________________________________
65
8.- En cuanto a las redes,¿ Las ECAS tienen articulacioneshorizontales con otras ECAS, con las empresasencargadas de las pasantías, con población local ?; ¿Ytienen articulaciones verticales con las oficinas públicasespecializadas en formación y capacitación de jóvenes? ;¿ y con las instancias centrales del programa?__________________________________________
9.- ¿ Usted cree que la presencia del programa haaumentado la compenetración de las ECAS con losobjetivos del mismo ?.__________________________________________
66
NIVEL EDUCATIVO
1. ¿Asistes a establecimiento educativo?
a) Síb) No
2. ¿Cuál es el mayor nivel educativo que has alcanzado?
a) Primariab) Secundaria 1er. cicloc) Secundaria 2do. ciclod) Formación Docente Carrera: ______________________________________e) Universidad Carrera: ______________________________________f) UTU Carrera: _______________________________________g) Otro ¿Cuál? ________________________________________h) Sin instrucción
3. ¿Cuál es el último año aprbado? ______________-
4. ¿Completó dicho nivel?
a) Síb) No
5. Además de la educación formal, ¿ha asistido o asiste a algún otro curso?
a) Síb) No (pase a la pregunta 7)
6. ¿Podrías indicarme cuál/cuáles cursos realizaste, la duración de cada uno de ellos, ysi los has completado?
(Registre hasta 3 cursos. Si el entrevistado realizó más de 3 cursos, seleccioneaquellos de mayor carga horaria)
Curso Duración Lo completó? Sí No______________________________________________________________________________________________________________________________________________________
67
7. ¿Cuál es SU relación con el jefe de hogar?
a) Jefeb) Cónyugec) Hijo/ad) Padre/madre, suegro/ae) Otro familiarf) Otro no pariente ______________________
Para la confección del grupo de control, se proponen dos metodologías:
1) Se selecciona como controles aquellos jóvenes inscriptos en el Programa,pero que no se presentaron al curso.
2) Se toma aleatoriamente una submuestra de la muestra de beneficiarios. Apartir del lugar de residencia de cada integrante de esta submuestra, se abreun empadronamiento de vecinos de la misma manzana, en el supuesto de queel avecinamiento homogeniza el NSE y los efectos de la difusión local delprograma.
A partir de la vivienda del beneficiario, y siguiendo el sentido horario, seselecciona la 5ta vivienda. El joven propuesto para control debe habitar esavivienda y llenar una serie de condiciones: estar dentro del tramo etario delprograma; estar desocupado y no haber recibido educación formal nicapacitación durante el tiempo de duración del programa.
68
IMPACTO
Jóvenes beneficiarios10 y Grupo de Control
Grupo de Control Grupo de jóvenesbeneficiarios
Variable compleja“ bienestar”, compuesta por
INICIO FINAL ALAÑO
INICIO FINAL ALAÑO
DIFERNCIAPORCENTUAL
EMPLEO:Inserción laboral:Si se encuentra empleado
EMPLEO:Satisfacción laboral:Como se siente respecto altrabajo (tareas que realiza)
EMPLEO:Experiencia laboralanterior:Presente o ausente
EMPLEO:Variación de calidad deltrabajo según necesidadesy expectativas (protecciónsocial y sanitaria,estabilidad y horario)
INGRESOS:Remuneración del empleo
ROL CIUDADANO:Participación enorganizaciones barriales,gremiales, comunitarias,deportivas, juveniles,políticas y religiosas.
GOBIERNO
Variables (al final, de uno a varios añosdespués)
Sí No
RESPALDO LEGAL:Promulgación de leyes especificas sobre capacitaciónjuvenil
ASEGURAMIENTO DE CALIDAD:Procedimientos que aseguren la calidad de lacapacitación ofertada.
MARCO POLÍTICO POR EXPLICITACION DE INTERESEN:-Capacitación:Existencia de políticas compensatorias en formación ycapacitación para jóvenes desempleados.-Prestamos internacionales:Existencia de interés político hacia préstamosinternacionales relacionados con estos temas
CREACIÓN DE INSTITUCIONES ESPECIFICAS:Creación de instituciones especializadas en el tema delos jóvenes desempleados
10 Los jóvenes beneficiarios se miden consigo mismos, utilizando las mismas variables del cuadro. Semiden solo en el beneficiario al inicio, al final y un año después de finalizado. Se valora porcentualmentey se obtiene la diferencia porcentual positiva o negativa.
69
EMPRESARIOS
Variables (al final, de uno a varios añosdespués)
Sí No
CREACIÓN DE ORGANISMO BI O TRIPARTITO DECONSULTA
PARTICIPACION DE LA EMPRESA EN ESEORGANISMO
PERTINENCIA (Nivel de Calidad):Relación de la capacitación con los requerimientos delos puestos de trabajo en la empresa
EVALUACIÓN INTERNA (Nivel de Calidad):Existencia de evaluaciones internas de las pasantías enlas empresas
RECLUTAMIENTO YRETENCION DE JÓVENES:
Porcentaje de los trabajadores actualesde la empresa egresados del programa.Relación entre la cantidad de pasantesrecibidos por la empresa y cuántospermanecieron en ella al año y dosaños de finalizado el programa
Reclutamiento %
Retención
ECAS
Variables (al final, de uno o varios años) Sí No
INSTITUCIONALIDAD:Creación de asociaciones de entidades capacitadoras
INSTITUCIONALIDAD:Antecedentes en otras ejecuciones del programa.Continuidad como ejecutores
NIVEL DE CALIDAD:Cambios o elaboración de nuevos currículos
NIVEL DE CALIDAD:Se realizan evaluaciones internas
NIVEL DE CALIDAD:Se realizan cursos de perfeccionamiento en la calificacióntécnica, docente y pedagógica de los ejecutores
NIVEL DE CALIDAD:Pertinencia del curso orientado según:- nichos ocupacionales- perfil de la población objetivo
ARTICULACIÓN CONEmpresarios, Instancias centrales y locales:Existencia de articulaciones:- horizontales con otras ECAS, con las empresas
encargadas de las pasantías, con la población local- verticales con las oficinas públicas especializadas en
formación y capacitación de jóvenes- con las instancias centrales del programa
70
Índice del Capítulo 4
4.1. Descripción de una población simulada para aplicación práctica de laevaluación de impacto
4.2. Medida del impacto del proyecto sobre los egresados4.2.1. Medida del impacto sobre la variable “empleo"
4.2.1.1. Medida del impacto sobre la variable “inserción laboral”4.2.1.2. Medida del impacto sobre la variable “satisfacción laboral”4.2.1.3. Medida del impacto sobre la variable ·”tipo de trabajo”
4.2.2. Medida del impacto sobre la variable “ingresos”4.2.3. Medida del impacto sobre la variable “rol ciudadano”4.2.4. Resumen y medida del impacto global sobre la variable “bienestar”4.2.5. Medida del impacto en egresados, según datos cualitativos
4.3. Medida del impacto del proyecto sobre otros actores4.3.1. Medida del proyecto sobre el gobierno4.3.2. Medida del impacto sobre los empresarios4.3.3. Medida del impacto del proyecto sobre las ECAS
71
Índice de las Tablas del Capitulo 4
Tabla Nº 1- Descripción de la muestra de egresados y de grupo de control
Tablas Nº 2- “Inserción laboral” en egresados y en grupo de control:
Tipo 2 A: Al inicio del proyecto
Tipo 2 B: Al finalizar el proyecto
Tipo 2 C: Al año de finalizado el proyecto
Tabla Nº 3: Medida del impacto sobre “inserción laboral “, al finalizar el proyecto,según diferencias porcentuales entre egresados y grupo de control
Tabla Nº 4: Medida del impacto sobre “inserción laboral” al año de finalizado elproyecto, según diferencias porcentuales entre egresados y Grupo de Control
Tablas Nº 5: “Satisfacción laboral” en ocupados del grupo de egresados y del grupode control
Tipo 5 A: Al inicio del proyecto
Tipo 5 B: Al finalizar el proyecto
Tipo 5 C: Al año de finalizado el proyecto
Tabla Nº 6: Medida del impacto sobre “satisfacción laboral” al finalizar el proyecto,según diferencias porcentuales entre egresados y grupo de control
Tabla Nº 7: Medida del impacto sobre “satisfacción laboral” al año de finalizado el proyecto, según diferencias porcentuales entre egresados y grupo decontrol
Tablas Nº 8: “Tipo de trabajo” en egresados y grupo de control:
Tipo 8 A: Al inicio del proyecto
Tipo 8 B: Al finalizar el proyecto
Tipo 8 C: Al año de finalizado el proyecto
Tabla Nº 9: Medida del impacto sobre “tipo de trabajo” al finalizar el proyecto, según diferencias porcentuales entre egresados y grupo de control
Tabla Nº 10: Medida del impacto sobre el “tipo de trabajo” al año de finalizado el proyecto, según diferencias porcentuales entre egresados y grupo decontrol
72
Tablas Nº 11: “Ingresos” en egresados y grupo de control:
Tipo 11 A: Al inicio del proyecto
Tipo 11 B: Al finalizar el proyecto
Tipo 11 C: Al año de finalizado el proyecto
Tabla Nº 12: Medida del impacto sobre “ingresos” al finalizar el proyecto, segúnvariación (en porcentaje) del ingreso promedio en egresados y grupo de control
Tabla Nº 13: Medida del impacto sobre “ingresos” al año de finalizado el proyecto,según variación (en porcentaje) del ingreso promedio en egresados y grupo de control
Tablas Nº 14: “Rol ciudadano” en egresados y grupo de control:
Tipo 14 A: Al inicio del proyecto
Tipo 14 B: Al finalizar el proyecto
Tipo 14 C: Al año de finalizado el proyecto
Tabla Nº 15: Medida del impacto sobre “rol ciudadano” al finalizar el proyecto, según diferencias porcentuales entre egresados y grupo de control
Tabla Nº 16: Medida del impacto sobre “rol ciudadano” al año de finalizado elproyecto, según diferencias porcentuales entre egresados y grupo de control
Tabla Nº 17: Resumen de la medida del impacto global del programa sobre“Bienestar”, según diferencias porcentuales entre egresados y grupo de control
73
CAPITULO 4
“Aplicación práctica del manual, según un caso simulado para medir el impactoen los jóvenes, en el gobierno, en las empresas y en las ECAS”.
En este capítulo, se presenta una población ficticia que posibilitará la aplicacióndel manual y que incluirá una demostración del uso de las herramientasmetodológicas propuestas (cómo se seleccionan, cómo se recaban y sepresentan los datos, cómo se interpretan los resultados) en los jóvenesbeneficiarios y en el grupo de control; en el gobierno; en las empresas y en lasECAS.
4.1. Población simulada – Descripción
El universo correspondiente al curso de capacitación está compuesto por40.000 jóvenes beneficiarios, con una muestra del 10% (4000 jóvenes)
TABLA 1
Descripción de población ficticia de egresados y de grupo de control.
VARIABLES INDICADORES MUESTRA DE GRUPO DEBENEFICIARIOS
GRUPO DECONTROL
NÚMERO ---- 4000 1800
SEXO MasculinoFemenino
22001800
1000800
EDAD De 15 a 19 añosDe 20 a 24 años
12002800
5501250
ESTADO CIVIL
-Soltero-Casado/Unión libre-Separado/Divorciado-Viudo
2700850450
1200400200
NECESIDADESBÁSICASINSATISFECHAS
-Sí-No
11002900
5001300
NIVEL DEINSTRUCCIÓN
-Primaria-Secundaria-Escuela Técnica Media-Terciario- Ninguno
12801700900120
60074040060
HISTORIALABORALPREVIA ALCURSO
-Sí
-No
2400
1600
1100
700
74
La muestra está conformada por 4000 jóvenes egresados del proyecto y sedescribirá tomando en cuenta las características siguientes: sexo, edad, estadocivil, satisfacción de las necesidades básicas, nivel de instrucción, historialaboral, (ver tabla 1).
Los 4000 jóvenes de la muestra, se distribuyen de la siguiente manera: a) sexo:2200 son del sexo masculino y 1800 del femenino; b) edad: se configurarondos tramos etarios: de 15 a 19 años cumplidos, compuesto por 1200 jóvenes yde 20 a 24 años cumplidos con 2800 jóvenes; c) estado civil: solteros, 2700;casados o en unión libre, 850; separados o divorciados 450 jóvenes. No seregistró ningún caso de viudez; d) necesidades básicas: insatisfechas en 1100jóvenes y satisfechas en 2900; e) nivel de instrucción: se incluyen 1280beneficiarios que cursaron primaria (completa o incompleta); 1700 consecundaria (completa o incompleta); 900 con institutos técnicos medios oescuelas técnicas o tecnológicas (completa o incompleta) y 120 con estudiosterciarios (completa o incompleta); f) historia laboral anterior al proyecto: 2400han trabajado en alguna oportunidad y 1600 no lo han hecho nunca.
En la misma tabla, se observa en la última columna los valores de estasmismas variables para los 1800 jóvenes que integran el grupo de control.El grupo de control se obtuvo de jóvenes inscriptos para el curso y que pordiferentes motivos no lo llevaron a cabo. 1
La distribución de las variables personales posee un peso similar en ambosgrupos lo que permite asegurar el apareamiento de las dos poblaciones.
4.2. Medida del impacto del programa sobre los egresados
Se trabajará con los datos ficticios correspondientes a las dos poblaciones:egresados y grupo de control.
Recolección de datos
Tal como se explicitó en el capítulo tres, se utilizan en la recolección de datospara los jóvenes los instrumentos (encuesta y guía de entrevistas enprofundidad) que aparecen en el anexo de dicho capítulo.
Presentación de datos e interpretación de resultados
Con el fin de marcar un camino claro en la aplicación práctica del manual, semantendrá en la presentación y la interpretación , el orden metodológicopropuesto en el capítulo tres para medir el impacto sobre el bienestar de losjóvenes, de acuerdo a las tres variables: Empleo, Ingresos y Rol Ciudadano.En todas ellas se seguirán los pasos del siguiente proceso: (en total seispasos)
1 El método para seleccionar el Grupo de Control también podría haber sido por avecinamiento, tal comose describe en “universo y muestra”, en el capitulo 3 de este manual.
75
I- una primera tabla (titulada: “el nombre de la variable” en egresados yen grupo de control), con las frecuencias absolutas (número dejóvenes que cumplen la condición de la variable), en ambaspoblaciones y medidas en tres momentos distintos: al inicio delproyecto, al finalizar y un año después de finalizado. Se presentacomo “modelo de primera tabla”, tipo “A”, “B” y “C”.
II- Descripción y comentarios sobre la tabla anterior
III- Una segunda tabla (titulada: medida del impacto sobre “tal variable”,al finalizar el proyecto según diferencias porcentuales en egresados ygrupo de control) . Se presenta como “modelo de segunda tabla”
IV- Descripción, interpretación y análisis de los datos y los resultados enel impacto (incluidos en esta segunda tabla) global y discriminado, alfinalizar el proyecto
V- Una tercera tabla (titulada: medida del impacto sobre “tal variable” alaño de finalizado el proyecto, según diferencias porcentuales enegresados y grupo de control). Se presenta como “modelo de terceratabla”.
VI- Descripción, interpretación y análisis de los datos y los resultados enel impacto (incluidos en esta tercera tabla) global y discriminado, alaño de finalizado el proyecto
76
77
Modelo de primera tabla (para los pasos I y II).
El modelo de primera tabla tiene tres tipos (A, B y C), según el momento demedición
Titulo: “Variable x”, en egresados y grupo de control
Cuando Egresados Grupo de ControlAl inicio delproyecto(Tabla tipo A)
Valores globalesen frecuenciasabsolutasDiscriminación por:- sexo- edad- estado civil
- necesidadesbásicas
- nivel deinstrucción
- historia laboralValores globalesAl finalizar el
proyecto(Tabla tipo B)
Discriminación por:- sexo- edad- estado civil
- necesidadesbásicas
- nivel deinstrucción
- historia laboral
Valores globalesAl año definalizado elproyecto(Tabla tipo C)
Discriminación por:- sexo- edad- estado civil- necesidades
básicas- nivel de
instrucción- historia laboral
78
Modelo de segunda y tercera tabla (para los pasos III y IV, si la medida es alfinalizar el proyecto, o para los pasos V y VI, si es al año de finalizado)
Título: Medida del impacto sobre la “variable x” en “tal momento” (al finalizar oal año de finalizado), según diferencias porcentuales en egresados y en grupode control.
Egresados Grupo de Control Diferencia porcentual ImpactoNombre de lavariable
Número dejóvenes
Porcentaje Número dejóvenes
Porcentaje %Egresados - %Control =Impacto % Control
Valor globalDiscriminado por:- sexo- edad- estado civil- necesidades
básicas
- nivel deinstrucción
- historia laboral
El cálculo de los porcentajes a partir de las cifras incluidas en la primera tablase cumple mediante una regla de tres simple. Para facilitar el cálculo, seencabeza cada columna (de egresados y de grupo de control), con el númerode jóvenes que conforman el 100%.
Ejemplo: para la variable “inserción laboral”:
Si 4000 es el 100% para egresados de los cuales 2800 tienenocupación, al finalizar el proyecto11, tenemos que:
4000 ___ 100%2800 ___ x
De donde x = 2800x100= 70% 4000
El 70% de los egresados tiene inserción laboral al finalizar el proyecto.
A su vez, si 1800 es el 100% para el grupo de control y de ellos, 600 tieneocupación al finalizar el proyecto, se plantea que:
1800 ___ 100% 600 ___ x
De donde x = 600 x 100 = 33,3%
11 Recuérdese que se mide en tres momentos: al inicio, al final y al año de finalizar el proyecto
79
1800
Al finalizar el proyecto el 33,3% de los jóvenes del grupo de control tieneninserción laboral.
Una vez calculado, el porcentaje en egresados y en grupo de control, elporcentaje de variación se obtiene aplicando la fórmula (ya presentada en elCapítulo 3):
Porcentaje de variación: % IL e - %IL g c que corresponde a: % IL g c
Porcentaje de inserción laboral en egresados – Porcentaje de inserción lab. en grupo de control Porcentaje de inserción laboral en grupo de control
El porcentaje de variación puede ser negativo o positivo.
En el ejemplo que estamos viendo, tenemos:
Variación porcentualen la inserción laboral = 70% - 33,3% = + 1,1global. 33,3%
La interpretación de este resultado podría ser que el proyecto contribuye amejorar la inserción laboral en + 1,1 (o sea 110%), al finalizar el proyecto.
Este impacto global se ve complementado por el estudio del impactodiscriminado, según ciertas variables, que se calcula con igual mecanismo dela diferencia porcentual.(Tal como se presentará en la Tabla nº 3)
4.2.1. Medida del impacto sobre la variable “empleo”
La variable empleo, es compleja, integrada por las variables: inserción laboral,satisfacción laboral y tipo de trabajo. En cada una nos referiremos a los seispasos del proceso ya presentado.
4.2.1.1. Medida del impacto sobre la variable “inserción laboral”
Para iniciar el primer paso, damos lugar a las tablas 2 A, 2 B, 2 C; en las quefiguran los valores en frecuencias absolutas de la inserción laboral.
80
TABLA 2-A
“INSERCIÓN LABORAL” EN EGRESADOS Y EN GRUPO DE CONTROLAl inicio del proyecto
EMPLEADOS SÍ EGRESADOS GRUPO DE CONTROLTotales12 700 300
Sexo: Masculino Femenino
500200
200100
Edad: 15-19 años 20-24 años
100600
50250
Estado Civil: Soltero Casado/Unión libre Divorciado/Separado Viudo
200300200---
5020050---
Necesidades Básicas Insatisfechas:Sí
No200500
100200
Nivel de Instrucción: Primaria Secundaria Escuela Técnica Terciaria Ninguno
150300150100---
501505050---
Historia laboral anterior: Sí No
600100
200100
TABLA 2-B
“INSERCIÓN LABORAL” EN EGRESADOS Y GRUPO DE CONTROLAl finalizar el proyecto
EMPLEADOS SÍ EGRESADOS GRUPO DE CONTROLTotales13 2800 600
Sexo: Masculino Femenino
18001000
450150
Edad: 15-19 años 20-24 años
6002200
200400
Estado Civil: Soltero Casado/Unión libre Divorciado/Separado Viudo
2300300200---
5005050---
Necesidades Básicas Insatisfechas:Sí
No3002500
50550
Nivel de Instrucción: Primaria Secundaria Escuela Técnica Terciaria Ninguno
800120075050---
10028020020---
Historia laboral anterior: Sí No
18001000
400200
12 Se incluyen los jóvenes que responden aifrmativamente a la pregunta: "actualmente, ¿está empleado?"13 Se incluyen los jóvenes que responden aifrmativamente a la pregunta: "actualmente, ¿está empleado?"
81
TABLA 2-C
“INSERCIÓN LABORAL” EN EGRESADOS Y EN GRUPO DE CONTROLAl año de finalizado el proyecto
EMPLEADOS SÍ EGRESADOS GRUPO DE CONTROLTotales14 3300 800
Sexo: Masculino Femenino
20001300
550250
Edad: 15-19 años 20-24 años
8002500
300500
Estado Civil: Soltero Casado/Unión libre Divorciado/Separado Viudo
2600500200---
60015050---
Necesidades Básicas Insatisfechas:Sí
No2003100
50750
Nivel de Instrucción: Primaria Secundaria Escuela Técnica Terciaria Ninguno
9801420800100---
21030025040---
Historia laboral anterior: Sí No
22001100
600200
La descripción y el análisis de la Tabla 2-A (2º paso), arrojan que, al inicio delproyecto, los egresados ocupados eran 700 de un total de 4000 y en el Grupode Control aparecían 300 en una población de 1800. Como vemos larepresentación de los jóvenes ocupados era de 17,5% en egresados y de16,7% en Grupo de Control. Algo similar ocurre en los porcentajes dediscriminación, concluyendo que al inicio del proyecto ambas poblacionesestaban pareadas.
14 Se incluyen los jóvenes que responden aifrmativamente a la pregunta: "actualmente, ¿estás empleado?"
82
En cuanto a la medida del impacto, pasamos al tercer paso. Se trabajará con latabla nº 3 correspondiente a la finalización del proyecto.
TABLA 3
Medida del impacto sobre “inserción laboral” al finalizar el proyecto, segúndiferencias porcentuales entre egresados y grupo de control.
EGRESADOS GRUPO DECONTROL
Cantidad dejóvenes
4000
Porcentaje100%
Cantidadde jóvenes
1800
Porcentaje100%
PORCENTAJE DEVARIACIÓN
Inserción laboral global 2800 70% 600 33,3% 70-33,3= + 1,1 33,3
Sexo: Masculino
Femenino
1800
10002800
45%
25%70%
450
150600
25%
8,3%33,3%
45-25= + 0,8 25
25-8,3= + 2,01 8,3
Edad: 15 a 19 años
20 a 24 años
600
22002800
15%
55%70%
200
400600
11,1%
22,2%33,3%
15-11,1= + 0,35 11,1
55-22,2= + 1,47 22,2
Estado civil:
-Soltero
-Casado-Unión libre
-Separado-Divorciado
-Viudo
2300
300
200
---________
2800
57,5%
7,5%
5%
---_______
70%
500
50
50
---________
600
27,8%
2,75%
2,75%
---________
33,3%
57,5-27,8= + 1,07 27,8
7,5-2,75= + 1,71 2,75
5-2,75= + 0,89 2,75
Necesidades básicasInsatisfechas
Satisfechas
300
25002800
7,5%
62,5% 70%
50
550600
2,75%
30,55%33,3%
7,5-2,75= +1,73% 2,75
62,5-30,5= + 1,05 30,5
Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
800
1200
750
50
---________
2800
20%
30%
18,8%
1,2%
---________
70%
100
280
200
20
---_________
600
5,5%
15,6%
11,1%
1,1%
---________
33,3%
20-5,5= + 2,64 5,5
30-15,6= +0,92 15,6
18,8-11,1= +0,69 11,1
1,2-1,1= +0,09 1,1
Historia LaboralAnterior
Si
No
1800
10002800
45%
25%70%
400
200600
22,2%
11,1%33,3%
45-22,2= + 1,03 22,2
25-11,1= + 1,25% 11,1
83
El cálculo de todos los porcentajes incluidos en la tabla es, como ya se señaló,con regla de tres simple, usando 100%, en el encabezamiento de las columnasde los egresados y grupo de control.
La diferencia porcentual que mide el impacto muestra que el proyecto tiene alfinalizar:
- un impacto positivo de un 110% (+1,1) sobre la inserción laboral entodos los egresados
- un impacto positivo para ambos sexos, siendo muy favorable a lasmujeres: 201% (+2,01), frente a los hombres: 80% (+0,80)
- un impacto positivo en todas las edades, con marcado predominio de losmayores: 147% (+1,47), ante un 35% (+0,35) en los de 15 s 19 años.
- Un impacto positivo cualquiera sea el estado civil, con diferenciasfavorables al grupo “casado – unión libré: 171% (+1,71)
- Un impacto positivo en todos los niveles de instrucción, estén o nosatisfechas las necesidades básicas, con predominio en NBI (173%frente a NBS 105%)
- Un impacto positivo en todos los niveles de instrucción, pero con diversopeso, en un rango de: casi ausente en “terciaria” a muy fuerte en“primaria” 264% (+2,64), seguida por “secundaria” 92% (+0,92)
- Un impacto positivo, sin diferencias destacables, exista o no experiencialaboral anterior
Conclusiones de “inserción laboral” al finalizar
El estudio sobre la inserción laboral medida al finalizar el proyecto, permiteconcluir que el impacto es francamente positivo en los egresados de 20 a 24años, con necesidades básicas insatisfechas, casados, con primaria, sindiferencias por antecedentes laborales, existiendo una tendencia muy favorablea las mujeres.
Éstas serían las variables del grupo que recibe el mejor impacto sobre suinserción laboral, inmediatamente de finalizado el proyecto.
84
TABLA 4
Medida del impacto sobre la “inserción laboral” al año de finalizado el curso,según diferencias porcentuales entre egresados y grupo de control.
EGRESADOS GRUPO DECONTROL
Cantidad dejóvenes
4000
Porcentaje100%
Cantidadde jóvenes
1800
Porcentaje100%
PORCENTAJE DEVARIACION
Inserción laboral global 3300 82,5% 800 44,4% 82,5-44,4= + 0,86 44,4
Sexo: Masculino
Femenino
2000
13003300
50%
32,2%82,5%
550
250800
30,5%
13,9%44,4%
50-30,5= + 0,64 30,5
32,5-13,9= + 1,34 13,9
Edad: 15 a 19 años
20 a 24 años
800
25003300
20%
62,5%82,5%
300
500800
16,7%
27,7%44,4%
20-16,7= + 0,20 16,7
62,5-27,7= + 1,26 27,7
Estado civil:
-Soltero
-Casado-Unión libre
-Separado-Divorciado
-Viudo
2600
500
200
---__________
3300
65%
12,5%
5%
---________
82,5%
600
150
50
---________
800
33,4%
8,3%
2,7%
---________
44,4%
65-33,3= + 0,95 33,3
12,5-8,3= + 0,51 8,3
5-2,7= + 0,85 2,7
Necesidades básicas
Insatisfechas
Satisfechas
200
31003300
5%
77,5%82,5%
50
750800
2,7%
41,7%44,4%
5-2,7= + 0,85 2,7
77,5-41,7= + 0,86 41,7
Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
980
1420
800
100
3300
24,5%
35,5%
20%
2,5%
82,5%
210
300
250
40
800
11,6%
16,7%
13,9%
2,2%
44,4%
24,5-11,6= + 1,11 11,6
35,5-16,7= + 1,13 16,7
20-13,9= + 0,44 13,9
2,5-2,2= + 0,14 2,2
Historia LaboralAnterior Si
No
2200
11003300
55%
27,5%82,5%
600
200800
33,3%
11,1%44,4%
55-33,3= + 2,65 33,3
27,5-11,1= + 1,48 11,1
85
La diferencia porcentual arroja que al año de finalizado, el proyecto muestra:
- un impacto positivo de un 86% (0,86) sobre la inserción laboral en el totalde los egresados;- un impacto positivo para ambos sexos, 64% (+0,64) para el géneromasculino y 134% (+1,34) para el femenino;- un impacto positivo en todas las edades, pero francamente superior en elgrupo de 20 a 24 años: 126% (+1,26), mientras que para el grupo situadoentre 15 y 19 años, tenemos 20% (+0,2);- un impacto positivo en cualquier estado civil, solteros: 95% (+0,95);casados: 51% (+0,51); separados-divorciados: 85% (+0,85);- un impacto positivo similar para los jóvenes egresados con necesidadesbásicas satisfechas o insatisfechas;- un impacto positivo en todos los niveles educativos, pero con diferenciasmarcadas en cuanto al peso del impacto: casi ausente para terciario , regularpara escuela técnica y los porcentajes más altos (111% y 113%), paraprimaria y secundaria.- un impacto positivo, exista o no exista experiencia laboral anterior (265% y148%), pero con una inclinación favorable, para los que trabajaron en algunaoportunidad.
Conclusiones de “inserción laboral” al año
El análisis de estos datos y su comparación con los obtenidos al finalizar elproyecto muestran que los resultados se han consolidado: el impacto siguesiendo positivo y algo inferior al medido al finalizar el curso. Se refuerza latendencia favorable a los jóvenes de 20 a 24 años, a las mujeres (aunque lasdiferencias con los hombres se acortan), y a los niveles de instrucción baja.
Se modifica, además, el peso de pertenecer a grupos con necesidades básicasinsatisfechas (ambos grupos son ahora similares) y aparece como favorecedorel antecedente de haber trabajado previamente.
Por tanto, el proyecto muestra menor impacto en los jóvenes con algunas delas siguientes características: menores de 20 años, casados, o con nivel deinstrucción alto.
Estas conclusiones facilitan la selección de la población objetivo favorable altipo de proyecto evaluado y aquellos jóvenes en que debe intentar otrassoluciones, ya que el impacto es muy pobre sobre ellos.
86
14.2.1.2 Medida del impacto sobre la variable “satisfacción laboral”
Continuando con el mismo orden en la presentación y análisis de datos, secomienza por las frecuencias absolutas (primer paso)
TABLA 5-A
“Satisfacción laboral en ocupados del grupo de egresadosy del grupo de control”Al inicio del proyecto
OCUPADOS EGRESADOS GRUPO DE CONTROLTrabajan 700 300
Satisfacción laboral: Sub-total: Sí 240 100Sexo: Masculino Femenino
140100
7030
Edad: 15-19 años 20-24 años
50190
2080
Estado civil: Soltero Casado/Unión libre Divorciado/Separado Viudo
10010040---
403030---
Necesidades Básicas Insatisfechas: SíNo
20220
4060
Nivel de Instrucción: Primaria Secundaria Escuela Técnica Terciaria Ninguno
70705050---
20403010---
Historia laboral anterior: Sí No
140100
8020
87
TABLA 5-B
“Satisfacción laboral” en egresados y grupo de controlAl finalizar al proyecto
OCUPADOS EGRESADOS GRUPO DE CONTROLTrabajan 2800 600
Satisfacción laboral: Sub-total: Sí 1500 200Sexo: Masculino Femenino
1000500
100100
Edad: 15-19 años 20-24 años
3001200
50150
Estado civil: Soltero Casado/Unión libre Divorciado/Separado Viudo
1200200100---
1504010---
Necesidades Básicas Insatisfechas: SíNo
1001400
40160
Nivel de Instrucción: Primaria Secundaria Escuela Técnica Terciaria Ninguno
15090040050---
20809010---
Historia laboral anterior: Sí No
900600
15050
TABLA 5-C
“Satisfacción laboral” en egresados y grupo de controlAl año de finalizado el proyecto
OCUPADOS EGRESADOS GRUPO DE CONTROLTrabajan 3300 800
Satisfacción laboral: Sub-total: Sí 2000 300Sexo: Masculino Femenino
1200800
200100
Edad: 15-19 años 20-24 años
4001600
50250
Estado civil: Soltero Casado/Unión libre Divorciado/Separado Viudo
1600300100---
2009010---
Necesidades Básicas Insatisfechas: SíNo
1001900
50250
Nivel de Instrucción: Primaria Secundaria Escuela Técnica Terciaria Ninguno
2001100600100---
4010013030---
Historia laboral anterior: Sí No
1500500
200100
88
En estas tablas , se destaca en primer lugar, que dado que la variable ainvestigar es “satisfacción laboral”, solamente se trabaja con los jóvenes quetrabajan en ambas poblaciones. De este modo en cualquiera de los tresmomentos de relevamiento de datos (al inicio, al final o al año de finalizado), el100% estará representado por el total de los que tienen inserción laboral, talcomo se destaca en los encabezamientos de las tablas 6 y 7.
TABLA 6
Medida del impacto sobre “satisfacción laboral” al finalizar el proyecto, segúndiferencias porcentuales entre egresados y grupo de control.
EGRESADOS GRUPO DECONTROL
Cantidad dejóvenes
Porcentaje Cantidad dejóvenes
Porcentaje PORCENTAJE DEVARIACIÓN
Trabajan 2800 100% 600 100% -----
Satisfacción laboralglobal
1500 53,5% 200 33,3% 53,5-33,3 = + 0,61 33,3
Sexo: Masculino
Femenino
1000
500
35,7%
17,8%53,5%
100
100
16,65%
16,65%33,3%
35,7-16,6= + 1,15 16,6
17,8-16,6 = + 0,07 16,6
Edad: 15 a 19 años
20 a 24 años
300
1200
10,7%
42,8%53,2%
50
150
8,3%
25%33,3%
10,7-8,3= + 0,29 8,3
42,8-25= + 0,71 25
Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
1200
200
100
---
42,8%
7,2%
3,5%
---__________
53,5%
150
40
10
---
25%
6,7%
1,6%
---________
33,3%
42,8-25= + 0,71 25
7,2-6,7= + 0,07 6,7
3,5-1,6= + 1,19 1,6
Necesidades básicasInsatisfechas
Satisfechas
100
1400
3,5%
50%__________
53,5%
40
160
6,7%
26,6%________
33,3%
3,5-6,7= - 0,48 6,7
50-26,6= + 0,88 26,6
89
Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
150
900
400
50
----
5,4%
32,1%
14,3%
1,7%
---__________
53,5%
20
80
90
10
---
3,3%
13,4%
15%
1,6%
---________
33,3%
5,4-3,3= + 0,64 3,3
32,1-13,4= + 1,40 13,4 14,3-15= - 0,05 15 1,7-1,6= + 0,06 1,6
Historia LaboralAnterior
Sí
No
900
600
32,1%
21,4%53,5%
150
50
25%
8,3%33,3%
32,1-25= +0,3 25
21,4 –8,3 = + 1,58 8,3
La diferencia porcentual de la última columna, que mide el impacto, señala queel proyecto muestra:
- un impacto positivo de un 61% (+0,61) sobre la satisfacción laboral en eltotal de los egresados;- un impacto positivo en ambos sexos, pero casi nulo en el femenino;- un impacto positivo en todas las edades con franco predominio en los de20 a 24 años;- un impacto positivo franco entre los solteros y separados; mientras que escasi ausente en casados;- un impacto positivo si las necesidades básicas están satisfechas, peronegativo en los jóvenes con jóvenes con NBI;- un impacto positivo para los que cursaron secundaria, bajo para primariacasi nulo en terciaria y negativo en escuela técnica;- un impacto positivo exista o no experiencia laboral, siendo mayor elimpacto si esta está ausente.
Conclusiones de “satisfacción laboral” al finalizar
El análisis sobre la satisfacción laboral, percepción subjetiva del joven enrelación a la ocupación que desarrolla muestra que el proyecto es sin dudaspositivo, a su finalización, si se trata de jóvenes del sexo masculino, de 20 a 24años, solteros o divorciados, con NBS, con nivel de instrucción de secundaria ysi no trabajaron anteriormente.
Este resulta ser el perfil más favorable para lograr satisfacción laboral, luego decumplido el curso.
No es así, entre los restantes en los que el impacto positivo es bajo e inclusose vuelve negativo.
90
5º y 6º paso
Se presenta la tabla con los datos tomados al año de finalizado el curso.
TABLA 7
Medida del impacto sobre “satisfacción laboral” al año de finalizado el proyecto,según diferencias porcentuales entre egresados y grupo de control.
EGRESADOS GRUPO DECONTROL
Cantidad dejóvenes
Porcentaje Cantidad dejóvenes
Porcentaje PORCENTAJE DEVARIACIÓN
Trabajan 3300 100% 800 100%
Satisfacción laboralglobal
2000 60,6% 300 37,5% 60,6-37,5 = + 0,62 37,5
Sexo: Masculino
Femenino
1200
800
36,4%
24,2%
60,6%
200
100
25%
12,5%
37,5%
36,4-25= + 0,46 25
24,2-12,5= + 0,94 12,5
Edad: 15 a 19 años
20 a 24 años
400
1600
12,1%
48,5%
60,6%
50
250
6,3%
31,2%
37,5%
12,1-6,3= + 0,92 6,3
48,5-31,2= +0,55 31,2
Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
1600
300
100
----
48,5%
9,1%
3%
---__________
60,6%
200
90
10
---
25%
11,3%
1,25%
---________
37,5%
48,5-25= +0,94 25
9,1-11,3= -0,19 11,3
3-1,25= +1,4 1,25
Necesidades básicas
Insatisfechas
Satisfechas
100
1900
3%
57,6%
60,6%
50
250
6,3%
31,2%
37,5%
3-6,3= -0,52 6,3
57,6-31,2= + 0,85 31,2
91
Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
200
1100
600
100
---
6,1%
33,3%
18,2%
3%
---________
60,6%
40
100
130
30
---
5%
12,5%
16,3%
3,7%
---________
37,5%
6,1-5= +0,22 5
33,3-12,5= +1,66 12,5
18,2-16,3= +0,12 16,3
3-3,7= -0,19 3,7
Historia LaboralAnterior
Sí
No
1500
500
45,4%
15,2%
60,6%
200
100
25%
12,5%
37,5%
45,4 -25= + 0,82 25
15,2-12,5= + 0,22 12,5
Se observa que la diferencia porcentual permite afirmar que al año definalizado, el proyecto arroja:
- un impacto positivo global del 62% (+0,62)- un impacto positivo en ambos sexos, con diferencias porcentualesfavorables a las mujeres- un impacto positivo en todas las edades, con un peso mucho mayor, entrelos menores- un impacto positivo para los solteros y divorciados; y negativo entre loscasados- un impacto positivo muy alto si existen NBS y negativo si es un joven conNBI- un impacto positivo franco si la instrucción es secundaria, bajísimo paraprimaria y escuela técnica y negativo para terciaria- un impacto positivo franco si el joven trabajó anteriormente y positivo peromuy bajo en caso de no existir experiencia laboral
Conclusiones de “satisfacción laboral” al año
Los resultados al año refuerzan las consecuencias del proyecto y lo marcan.
Es así que, se mantienen los jóvenes con mayor impacto para su “satisfacciónlaboral”; éstos son divorciados y solteros, con NBS y nivel de instrucciónsecundaria. Pero aparecen algunos cambios: hay diferencias por sexo en elimpacto a favor femenino, y éste se vuelve altamente favorable en caso deexistir experiencia laboral anterior, y tener de 15 a 19 años.
92
En el análisis de esta variable resalta que al igual que en “inserción laboral”, elproyecto evaluado demuestra ser inadecuado en jóvenes con niveles deinstrucción alto, al igual que si las NB están insatisfechas, se consolida larecomendación de otras propuestas alternativas, y que posiblemente deban serdiferentes, para ambos (“terciaria” “NBI”), ya que se corresponden con perfilesde capacitación, recursos y redes totalmente diferentes. Parecería que elproyecto no llega a cubrir ambos extremos de NSE, y los que a él se asocian.
4.2.1.3. Medida del trabajo sobre la variable del “tipo de trabajo”
Para la variable de “tipo de trabajo” y su categorización, se empleó aloperacionalizarla, las siguientes condiciones:
- contrato permanente- seguridad social- horarios adecuados- remuneración aceptable
Como se verá, algunos son objetivables y otros según percepción del joven.
Para simplificar el ejemplo de aplicación de la evaluación, se plantearon doscategorías:
Tipo de trabajo “bueno” si cumplía tres o cuatro de las condiciones descriptas y“malo” si eran de cero a dos.
TABLA 8-A
“Tipo de trabajo” en egresados y en Grupo de Control.Al inicio del proyecto
EGRESADOS GRUPO DE CONTROL
Ocupados 700 300
Categoría del trabajo:Bueno 200 90
Sexo: Masculino
Femenino
150
50
60
30Edad: 15 a 19 años
20 a 24 años
50
150
30
60
93
Estado civil:
-Soltero
-Casado/Unión libre
-Separado-Divorciado
-Viudo
50
80
70
---
20
40
30
---Necesidades básicas
Insatisfechas
Satisfechas
20
180
10
80Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
20
40
50
90
---
10
20
20
40
---Historia LaboralAnterior
Sí
No
150
50
60
30
TABLA 8-B
“Tipo de trabajo” en egresados y grupo de controlAl finalizar el proyecto
EGRESADOS GRUPO DE CONTROL
Ocupados 2800 600
Categoría del trabajo:
Bueno 1000 100Sexo: Masculino
Femenino
600
400
70
30Edad: 15 a 19 años
20 a 24 años
150
850
10
90
94
Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
700
200
100
---
60
20
20
----Necesidades básicas
Insatisfechas
Satisfechas
20
980
5
95Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
50
300
600
50
---
10
30
40
20
---Historia LaboralAnterior
Sí
No
600
400
75
25
TABLA 8-C
“Tipo de trabajo” en egresados y grupo de controlAl año de finalizado el proyecto
EGRESADOS GRUPO DE CONTROL
Ocupados 3300 800
Categoría del trabajo:
Bueno 1500 200Sexo: Masculino
Femenino
1000
500
150
50Edad: 15 a 19 años
20 a 24 años
200
1300
30
170
95
Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
1000
350
150
---
100
60
40
---Necesidades básicas
Insatisfechas
Satisfechas
50
1450
0
200Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
100
700
600
100
---
10
50
100
40
---Historia LaboralAnterior
Sí
No
900
600
150
50
En esta tabla al igual que sucedió en “satisfacción laboral” se trabajóúnicamente con los jóvenes con trabajo y se ven los valores en frecuenciasabsolutas.
96
TABLA 9
Medida del impacto sobre “tipo de trabajo” al finalizar el proyecto, segúndiferencias porcentuales entre egresados y Grupo de Control.
EGRESADOS GRUPO DECONTROL
Cantidaddejóvenes
Porcentaje Cantidadde jóvenes
Porcentaje PORCENTAJE DEVARIACIÓN
Trabajan 2800 100% 600 100%
Categoría del Trabajo:
Bueno 1000 35,7% 100 16,7% 35,7-16,7= +1,14 16,7
Sexo: Masculino
Femenino
600
400
21,4%
14,3%_________
35,7%
70
30
11,7%
5%________
16,7%
21,4-11,7= +0,83 11,7
14,3-5= +1,86 5
Edad: 15 a 19 años
20 a 24 años
150
850
5,4%
30,3%__________
35,7%
10
90
1,7%
15%________
16,7%
5,4 -1,7= +2,18 1,7
30,3-15= +1,02 15
Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
700
200
100
---
25%
7,1%
3,6%
---__________
35,7%
60
20
20
---
10%
3,3%
3,3%
----________
16,6%
25-10= +0,5 10
7,1-3,3= +1,15 3,3
3,6-3,3= +0,09 3,3
Necesidades básicas
Insatisfechas
Satisfechas
20
980
0,7%
35%__________
35,7%
5
95
0,8%
15,8%________
16,6%
0,7-0,8= -0,13 0,8
35-15,8= +1,22 15,8
Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
50
300
600
50
1,8%
10,7%
21,4%
1,8%
10
30
40
20
1,7%
5%
6,6%
3,4%
1,8-1,7= +0,06 1,7
10,7-5= +1,14 5
21,4 –6,6= +2,24 6,6
1,8-3,4= -0,47 3,4
97
-Ninguna --- ---__________
35,7%
--- ---________
16,7%Historia LaboralAnterior
Sí
No
600
400
21,4%
14,3%35,7%
75
25
12,5%
4,2%________
16,7%
21,4 –12,5= + 0,71 12,5
14,3-4,2= +2,40 4,2
La diferencia porcentual de la última columna destaca que el proyecto, alfinalizar tuvo en relación al “tipo de trabajo”:
- un impacto positivo de 114% (+1,14) para todos los egresados- un impacto positivo en ambos sexos, francamente mayor entre lasmujeres- un impacto positivo en todas las edades, muy favorable a los de 15 a 19años- un impacto positivo en cualquier estado civil, con un franco predominio delos casados- un impacto positivo con NBS y negativo si se trata de NBI- un impacto positivo si la instrucción es “escuela técnica”, seguido por“secundaria”. Para “primaria” casi nulo y negativo para “terciaria”- un impacto positivo exista o no experiencia laboral, con mayor peso si notrabajó anteriormente
Conclusiones de “Tipo de trabajo” al finalizar
Los resultados sobre “tipo de trabajo”, con contenidos objetivos y subjetivosdelinean un perfil favorable para un trabajo catalogado “bueno”, dado por estosatributos: de 15 a 19 años, NBS, escuela técnica o secundaria, casados,mujeres y sin experiencia laboral.
No arrojan diferencias por sexo ni por experiencia laboral
Paso 5 y 6: medida del impacto al año
Para estos pasos trabajamos con la tabla de diferencias porcentuales
TABLA 10
Medida del impacto sobre “tipo de trabajo” al año de finalizado el proyecto,según diferencias porcentuales entre egresados y Grupo de Control.
98
EGRESADOS GRUPO DECONTROL
Cantidaddejóvenes
Porcentaje Cantidadde jóvenes
Porcentaje PORCENTAJE DEVARIACIÓN
Trabajan 3300 100% 800 100%
Categoría del Trabajo:
Bueno 1500 45,5% 200 25% 45,5-25= +0,45 25
Sexo: Masculino
Femenino
1000
500
30,3%
15,2%__________
45,5%
150
50
18,8%
6,2%________
25%
30,3-18,8= +0,61 18,8
15,2-6,2= +1,45 6,2
Edad: 15 a 19 años
20 a 24 años
200
1300
6,1%
39,4%45,5%
30
170
3,8%
21,3%________
25%
6,1-3,8= + 0,61 3,8
39,4 –21,3= +0,85 21,3
Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
1000
350
150
----
30,3%
10,6%
4,5%
----45,4%
100
60
40
12,5%
7,5%
5%
-----________
25%
30,3-12,5= +1,42 12,5
10,6-7,5= +0,41 7,5
4,5-5= -0,1 5
Necesidades básicas
Insatisfechas
Satisfechas
50
1450
1,5%
44%45,5%
0
200
---25%
________25%
1,5-1,3= +0,15 1,3
44-23,7= +0,86 23,7
Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
100
700
600
100
---
3%
21,2 %
18,2%
3%
---________
45,4%
10
50
100
40
---
1,3%
6,2%
12,5%
5%
----________
25%
3-1,3= +1,31 1,3
21,2- 6,2= +2,42 6,2
18,2-12,5= +0,46 12,5
3-5= -0,4 5
Historia LaboralAnterior
Sí
No
900
600
27,3%
18,2%________
45,5%
150
50
18,8%
6,2%________
25%
27,3-18,8= +0,45 18,8
18,2-6,2= +1,94 6,2
99
Se observa que el proyecto para “tipo de trabajo”, señala:
- un impacto positivo global de 45% (+0,45), menor al de la finalización- un impacto positivo en ambos sexos, favorable al femenino- un impacto positivo para todas las edades, mayor de 20 a 24 años- un impacto positivo, más marcado en los solteros y negativo en losseparados- un impacto positivo si hay NBS; casi nulo si se trata de NBI- un impacto positivo si la instrucción es “secundaria”, seguida por“primaria”, poco si es “escuela técnica” y negativo si es “terciaria”- un impacto positivo con o sin experiencia laboral, pero favorable si estáausente
Conclusiones de “tipo de trabajo” al año
En relación a un “buen” trabajo, se consolidan al año, algunos hallazgos delfinal del proyecto: el impacto es mayor si se trata de jóvenes, con NBS, sindiferencias por experiencia laboral, mujeres y que cursaron secundaria
Siguen manteniéndose con impacto, los que poseen nivel de instrucción alto.Para ellos el proyecto parece mostrarse una y otra vez como inadecuado, talcomo surgió en “satisfacción laboral” e “inserción laboral”. En cuánto a losjóvenes con NBI el impacto es negativo en “satisfacción laboral” y “tipo detrabajo”, no así para “inserción laboral” en que nos presentan diferenciasmarcadas por NBI
4.5.3. Medida del impacto sobre la variable “Ingresos”
Para la operacionalización de la variable “Ingresos” se recogió el dato enmoneda nacional y así se volcó en la tabla
100
TABLA 11-A
“Ingresos” en egresados y en Grupo de ControlAl inicio del proyecto
EGRESADOS GRUPO DE CONTROL
Trabajan 700 300
Promedio de ingresosen moneda nacional 5200 5000Sexo: Masculino
Femenino
5800
3700
5600
3800Edad: 15 a 19 años
20 a 24 años
2800
5600
2900
5420Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
5000
5300
5250
---
4700
5100
4900
---Necesidades básicas
Insatisfechas
Satisfechas
1200
6800
1100
6950Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
1300
3000
8400
11950
---
1200
2900
8300
11800
----Historia LaboralAnterior
Sí
No
5300
4600
5200
4600
101
TABLA 11-B
“Ingresos” en egresados y en grupo de controlAl finalizar el proyecto
EGRESADOS GRUPO DE CONTROL
Trabajan 2800 600
Promedio de ingresosen moneda nacional 6500 4800
Sexo: Masculino
Femenino
6800
5960
5000
4200Edad: 15 a 19 años
20 a 24 años
4600
6750
4000
5200Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
6400
6700
7350
---
4770
5000
4900
---
Necesidades básicas
Insatisfechas
Satisfechas
3200
6900
2900
4973Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
2000
7580
9000
15000
----
1500
4300
6000
12000
----Historia LaboralAnterior
Sí
No
6800
6000
4900
4600
102
TABLA 11-C
“Ingresos”en egresados y en grupo de controlAl año de finalizado el proyecto
EGRESADOS GRUPO DE CONTROL
Trabajan 3300 800
Promedio de ingresosen moneda nacional 7000 4900
Sexo: Masculino
Femenino
7300
6540
5400
3800Edad: 15 a 19 años
20 a 24 años
4000
7960
3000
6040Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
6915
7400
7100
----
4800
5300
4900
----Necesidades básicas
Insatisfechas
Satisfechas
3500
7226
2800
5040Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
4800
7100
7800
20740
---
2800
4640
6000
11000
---Historia LaboralAnterior
Sí No
El hecho de presentar la variable en moneda nacional obliga a un cambiometodológico en relación al cálculo de la medida del impacto: no se buscan losporcentajes se trabaja con números absolutos. Y la diferencia se valora segúnla variación de los ingresos y esa variación se traduce en porcentaje. Se aplicala fórmula que sigue; trabajando con ingresos promedio de cada grupo:
"Ingresos" en egresados - "Ingresos" en Control="Ingresos" en Control
Diferencia calculada en porcentaje
103
TABLA 12
Medida del impacto sobre “ingresos” al finalizar el proyecto, según variación (enporcentaje) del ingreso promedio en egresados y en grupo de control.
VARIABLES EGRESADOS GRUPO DECONTROL
Variación (en porcentaje) de losingresos promedio
Promedio global de ingresos 6500 4800 6500-4800 = + 35,4% 4800
Sexo: Masculino
Femenino
6800
5960
5000
4200
6800-5000= + 36% 5000
5960-4200= + 41,9% 4200
Edad: 15-19 años
20-24 años
4600
6750
4000
5200
4600–4000= + 15% 4000
6750-5200= + 29,8% 5200
Estado civil:
- Soltero
- Casado/Unión libre
- Divorciado/Separado
- Viudo
6400
6700
7350
---
4770
5000
4900
---
6400-4770= + 34,2% 4770
6700-5000= + 34% 5000
7350-4900= + 50% 4900
---
Necesidades Básicas
Insatisfechas
Satisfechas
3200
6900
2900
4973
3200-2900= + 10,3% 2900
6900-4973= + 38,7% 4973
Nivel de Instrucción
- Primaria
- Secundaria
- Escuela Técnica
- Terciaria
- Ninguna
2000
7580
9000
15000
-----
1500
4300
6000
12000
----
2000-1500= + 33,3% 1500
7580-4300= + 76,3% 4300
9000-6000= + 50% 6000
15000-12000= + 25% 12000
Historia laboral anterior: Sí
No
6800
6000
4900
4600
6800-4900= + 38,8% 4900
6000-4600= + 30,4% 4600
104
Esta tabla permite ejemplificar la formula de cálculo del impacto que estádesarrollada en la última columna, y que muestra:
- Un impacto global positivo: con un incremento de ingresos de un 35,4%de los egresados respecto a los ingresos del grupo de control- un impacto positivo en ambos sexos, mayor en el femenino- Un impacto positivo en todas las edades; más favorable en el grupo de 20a 24 años- un impacto positivo similar en cualquier estado civil, algo mayor endivorciados- un impacto positivo estén o no satisfechas las NB, con un porcentajefrancamente mayor si están satisfechas- un impacto positivo en todos los niveles de instrucción, mayor en“secundaria” y “escuela técnica”- un impacto positivo similar se tenga o no experiencia laboral previa
Conclusiones de “ingresos” al finalizar
En el grupo de egresados se confirma un incremento en el nivel de salariosfrancamente significativos respecto al Grupo de Control, tanto en lo globalcomo en lo discriminativo. Se comprueban variaciones mayores en las mujeres,en la edad de 20 a 24 años, con NBS, “secundaria” y “escuela técnica”.
Finalmente, en los pasos 5 y 6, veremos la variación al año de finalizado elproyecto
TABLA 13
Medida del impacto sobre “ingresos” al año de finalizado el proyecto, segúnvariación (en porcentaje) del ingreso promedio en egresados y en Grupo deControl.
VARIABLES EGRESADOS GRUPO DECONTROL
Variación (en porcentaje) delos ingresos promedio
Promedio global de ingresos 7000 4900 7000-4900 = + 42,9% 4900
Sexo: Masculino
Femenino
7300
6540
5400
3800
7300-5400= + 35,2% 5400
6540-3800= + 72,1% 3800
Edad: 15-19 años
20-24 años
4000
7960
3000
6040
4000-3000= + 33,3% 3000
7960-6040= + 31,8% 6040
105
Estado civil:
- Soltero
- Casado/Unión libre
- Divorciado / Separado
- Viudo
6915
7400
7100
----
4800
5300
4900
---
6915-4800= + 44,1% 4800
7400-5300= + 39,6% 5300
7100-4900= + 44,9% 4900
---Necesidades Básicas
Insatisfechas
Satisfechas
3500
7226
2800
5040
3500-2800= + 25% 2800
7226-5040= + 43,4% 5040
Nivel de Instrucción
- Primaria
- Secundaria
- Escuela Técnica
- Terciaria
- Ninguna
4800
7100
7800
20740
---
3800
4640
6000
19000
----
4800-3800= + 26,3% 3800
7100-4640= + 53% 4640
7800-6000= + 30% 6000
20740-19000= + 9,2% 19000
---Historia laboral anterior: Sí
No
8800
6200
5200
4700
8800-5200= + 69,2% 5200
6200-4700= + 31,9% 4700
Se constatan los resultados que valoran el proyecto con:
- un impacto positivo global en ascenso: 42,9%- un impacto positivo en ambos sexos y francamente mayor en las mujeres- un impacto positivo en todas las edades , sin diferencias entre ellas- un impacto positivo en cualquier estado civil, con resultados similares- un impacto positivo con o sin NB satisfechas, pero que resulta de menorpeso si se trata de NBI- un impacto positivo en todos los niveles de instrucción, con claropredominio en “secundaria” y muy bajo en terciaria- un impacto positivo se tenga o no experiencia laboral anterior, másfavorable si está presente
106
Conclusiones de “ingresos” al año
Se refuerza y consolida la variación del incremento salarial favorable a losegresados globalmente; y dentro de los subgrupos, se ven favorecidas lasmujeres, los que cursaron secundaria, aquellos con NBS y los que poseenexperiencia laboral, no así al finalizar. Nuevamente el grupo con menor impactoEn el grupo total es el nivel de instrucción alto.
4.2.3 Medida del impacto sobre la variable “rol ciudadano”
En la operacionalización de la variable “rol ciudadano” se tuvo en cuenta laausencia o la presencia de participación en diferentes organizaciones de lasociedad civil.
TABLA 14-A
Rol ciudadano en egresados y en grupo de controlAl inicio del proyecto
PARTICIPACIÓN SÍ EGRESADOS GRUPO DE CONTROLTotales 700 300
Sexo: Masculino
Femenino
400
300
200
100Edad: 15 a 19 años
20 a 24 años
200
500
50
250Estado civil:
- Soltero
- Casado-Unión libre
- Separado/Divorciado
Viudo
400
100
200
---
200
40
60
---Necesidades básicas
Insatisfehcas
Satisfechas
100
600
40
260Nivel de instrucción
- Primaria
- Secundaria
- Escuela Técnica
- Terciaria
- Ninguna
100
250
200
150
---
50
100
80
70
---Historia laboral anterior
Sí
No
400
300
180
120
107
TABLA 14-B
“Rol ciudadano” en egresados y grupo de controlAl finalizar el proyecto
PARTICIPACIÓN SÍ EGRESADOS GRUPO DE CONTROLTotales 1400 400
Sexo: Masculino
Femenino
800
600
300
100Edad: 15 a 19 años
20 a 24 años
400
1000
100
300Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
800
400
200
---
200
100
100
---Necesidades básicas
Insatisfechas
Satisfechas
300
1100
50
350Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
200
400
400
400
---
10
100
150
140
---Historia Laboral Anterior
Sí
No
800
600
200
200
108
TABLA 14-C
“Rol ciudadano” en egresados y en grupo de controlAl año de finalizado el proyecto
PARTICIPACIÓN SÍ EGRESADOS GRUPO DE CONTROLTotales 2300 500
Sexo: Masculino
Femenino
1100
1200
300
200
Edad: 15 a 19 años
20 a 24 años
700
1600
200
300Estado civil:
-Soltero
-Casado/Unión libre
-Separado/Divorciado
-Viudo
1700
400
200
---
300
100
100
---Necesidades básicas
Insatisfechas
Satisfechas
500
1800
100
400Nivel de instrucción:
-Primaria
-Secundaria
-Escuela Técnica
-Terciaria
-Ninguna
400
900
600
400
---
10
130
200
160
---Historia Laboral Anterior
Sí
No
1300
1000
300
200
Se presentan los datos en frecuencias absolutas, o sea número de jóvenes quecumplen con la condición de “participación”.
109
TABLA 15
Medida del impacto sobre "rol ciudadano” al finalizar el proyecto, segúndiferencias porcentuales entre egresados y Grupo de Control.
EGRESADOS GRUPO DECONTROL
Cantidadde jóvenes
Porcentaje100%
Cantidadde jóvenes
Porcentaje100%
Porcentjae de variación
Rol ciudadano global 1400 35% 400 22,2% 35-22,2 = + 0,58 22,2
Sexo: Masculino
Femenino
800
600
20%
15%
300
100
16,7%
5,5%
20-16,7 = + 0,2 16,7
15-5,5 = + 1,73 5,5
Edad: 15 a 19 años
20 a 24 años
400
1000
10%
25%
100
300
5,5%
16,7%
10-5,5 = + 0,82 5,5
25-16,7 = +0,5 16,7
Estado civil:
- Soltero
- Casado/Unión libre
- Separado/Divorciado
- Viudo
800
400
200
---
20%
10%
5%
---
200
100
100
---
11,1%
5,55%
5,55%
---
20-11,1 = + 0,8 11,1
10-5,55 = + 0,8 5,55
5-5,55 = - 0,1 5,55
Necesidades básicas
Insatisfechas
Satisfechas
300
1100
7,5%
27,5%
50
350
2,8%
19,4%
7,5-2,8 = + 1,68 2,8
27,5-19,4 = + 0,42 19,4
Nivel de instrucción:
- Primaria
- Secundaria
- Escuela Técnica
- Terciaria
- Ninguna
200
400
400
400
---
5%
10%
10%
10%
---
10
100
150
140
---
0,6%
5,5%
8,3%
7,8%
---
5-0,6= + 7,33 0,6
10-5,5= + 0,82 5,5
10-8,3= +0,2 8,3
10-7,8= +0,28 7,8
Historia laboralanterior Sí
No
800
600
20%
15%
200
200
11,1%
11,1%
20-11,1= + 0,8 11,1
15-11,1= +0,35 11,1
110
La medida del impacto por diferencia porcentual se aprecia en la últimacolumna, como sigue:
- un impacto positivo global 58% (+0,58), para todos los egresados- un impacto positivo para ambos sexos y mayor en las mujeres- un impacto positivo para todas las edades, más favorable en el tramo de15 a 19 años- un impacto positivo en solteros y casados y negativo en divorciados- un impacto positivo con o sin NBS, aunque es menor si se trata de NBS- un impacto positivo en todo el nivel de instrucción, francamente mayor enprimaria- un impacto positivo con o sin experiencia laboral, siendo mayor si trabajóanteriormente
Conclusiones de “rol ciudadano” al terminar
El rol ciudadano se incrementa por efecto del proyecto, en casi todos losegresados y con especial énfasis en: mujeres, jóvenes de 15 a 19 años, conNBI, solteros y casados, si tiene experiencia laboral y con instrucción primaria osecundaria
TABLA 16
Medida del impacto sobre “rol ciudadano” al año de finalizado el proyecto,según diferencias porcentuales entre egresados y grupo de control.
EGRESADOS GRUPO DECONTROL
Cantidadde jóvenes
Porcentaje100%
Cantidadde jóvenes
Porcentaje100%
Porcentaje de variación
Rol ciudadano global 2300 57,5% 500 27,8% 57,5-27,8 = + 1,07 27,8
Sexo: Masculino
Femenino
1100
1200
27,5%
30%
300
200
16,7%
11,1%
27,5-16,7 = + 0,65 16,7
30-11,1 = + 1,7 11,1
Edad: 15 a 19 años
20 a 24 años
700
1600
17,5%
40%
200
300
11,1%
16,7%
17,5-11,1 = +0,58 11,1
40-16,7 = + 1,4 16,7
111
Estado civil:
Soltero
Casado/Unión libre
Separado/Divorciado
Viudo
1700
400
200
---
42,5%
10%
5%
---
300
100
100
---
16,7%
5,55%
5,55%
---
42,5-16,7= + 1,54 16,7
10-5,55= +0,8 5,55
5-5,55= -0,1 5,55
Necesidades básicas
Insatisfechas
Satisfechas
500
1800
12,5%
45%
100
400
5,55%
22,25%
12,5-5,55= + 1,25 5,55
45-22,25= +1,02 22,25
Nivel de instrucción:
Primaria
Secundaria
Escuela Técnica
Terciaria
Ninguna
400
900
600
400
---
10%
22,5%
15%
10%
---
10
130
200
160
---
0,55%
7,2%
11,1%
8,9%
10-0,55= + 17,18 0,55
22,5-7,2= +2,13 7,2
15-11,1= +0,35 11,1
10-8,9= +0,12 8,9
Historia laboralanterior Sí
No
1300
1000
35,5%
25%
35,5%
25%
16,7%
11,1%
35,5-16,7= + 1,13 16,7
25-11,1= +1,25 11,1
Al estudiar la tabla 16, se comprueba que al año de finalizado el proyecto, elimpacto sobre rol ciudadano es:
- un impacto positivo global de 107% (+1,07) para todos los egresados- un impacto positivo para ambos sexos, mayor en el femenino- un impacto positivo para todas las edades, mayor para la franja de 20 a 24años- un impacto positivo para solteros y casados, y negativo en divorciados- un impacto positivo similar, estén o no satisfechas las necesidadesbásicas- un impacto positivo con todos los niveles de instrucción, con un enormepredominio en “primaria”- un impacto positivo haya o no experiencia laboral anterior
112
Conclusiones de “rol ciudadano” al año de finalizado el proyecto
El rol ciudadano se incrementa aún más que a la finalización inmediata delproyecto, destacándose el impacto positivo en las mujeres, en la edad de 20 a24 años y con “primaria” de instrucción.
4.2.5 Resumen y medida del impacto global sobre la variable"Bienestar”
Al transitar el camino de la evaluación del impacto sobre los egresados,recurrimos a enfoques cuantitativos y cualitativos, que habilitanla medida delvalor agregado en el Bienestar de los jóvenes.
Se presenta en primer lugar, un resumen del impacto global medidocuantitativamente (ver tabla 17), del que surge que al finalizar el proyecto: elimpacto resultó positivo en las tres variables componentes del Bienestar(Empleo +0,95; Ingresos +35,4% y Rol ciudadano +0,58; con unacorrespondencia al año de finalizado de +0,64 en Empleo; +42,9% en Ingresosy de +1,07 en Rol ciudadano).
La discriminación por edad, sexo, estado civil, necesidades básicas, instruccióny experiencia laboral se muestran en la tabla Nº 18. Su lectura ya fue tratadaanteriormente, por lo que no ahondaremos en este tema.
El numeral 4.2.5 se ocupará de la presentación de la medida de impacto segúnmetodología cualitativa y por comparación de los beneficiarios consigo mismos.
113
Tabla 17
Resumen del impacto sobre el Bienestar en los egresados, según variaciónglobal
Bienestar Al finalizar el proyecto Al año de finalizado elproyecto
Variación en empleo15
- Inserción laboral
- Satisfacción laboral
- Tipo de trabajo
+0,95
+1,1
+0,61
+1,14
+0,64
+0,86
+0,62
+0,45Variación en Ingresos16 +35,4% +42,9%Variación en Rol ciudadano17 +0,58 +1,07
Tabla 18
Resumen del impacto sobre el bienestar en los egresado, según variacióndiscriminada
Variables Al finalizar elproyecto
Al año de finalizado elproyecto
I. Empleo (diferenciaporcentual)
Inserción laboralSexo: Masculino
Femenino
+0,8
+2,01
+0,64
+1,.34Edad: 15 a 19 años
20 a 24 años
+0,3.5
+1,47
+0,20
+1,26
15 Recordemos que en Empleo y Rol ciudadano, el impacto se calcula por la formula:
% en beneficiarios - %en grupo de control % en grupo de control
En Ingresos se calcula por diferencia simple en moneda nacional y se mide el peso de dicha diferencia enporcentajes16 Ídem17 Ídem
114
Estado civil:
- Soltero
- Casado/Unión libre
- Separado/Divorciado
+1,07
+1,71
+0,89
+0,95
+0,51
+0,85Necesidades básicas
Insatisfechas
Satisfechas
+1,73
+1,05
+0,85
+0,86Nivel de instrucción:
- Primaria
- Secundaria
- Educación Técnica
- Terciaria
+ 2,64
+0,92
+0,69
+0,09
+ 1,11
+ 1,13
+ 0,44
+ 0,14Historia laboral
Sí
No
+ 1,03
+ 1,25%
+ 2,65
+ 1,48Satisfacción laboral
Sexo: Masculino
Femenino
+ 1,15
+ 0,07
+0,46
+ 0,94Edad: 15 a 19 años
20 a 24 años
+0,29
+0,71
+0,92
+0,55Estado civil:
Soltero
Casado/Unión libre
Separado/Divorciado
+0,71
+0,07
+1,19
+0,94
-0,19
+1,4Necesidades básicas
Insatisfechas
Satisfechas
-0,48
+0,88
-0,52
+0,85Nivel de instrucción:
- Primaria
- Secundaria
- Educación Técnica
- Terciaria
+ 0,64
+1,40
-0,05
+0,06
+0,22
+1,66
+0,12
-0,19
115
Historia laboral
Sí
No
+0,3
+ 1,58
+ 0,82
+ 0,22Tipo de trabajo
Sexo: Masculino
Femenino
+0,83
+1,86
+0,61
+1,45Edad: 15 a 19 años
20 a 24 años
+2,18
+1,02
+ 0,61
+0,85
Estado civil:
Soltero
Casado/Unión libre
Separado/Divorciado
+0,5
+1,15
+0,09
+1,42
+0,41
-0,1Necesidades básicas
Insatisfechas
Satisfechas
-0,13
+1,22
+0,15
+0,86Nivel de instrucción:
- Primaria
- Secundaria
- Educación Técnica
- Terciaria
+0,06
+1,14
+2,24
-0,47
+1,31
+2,42
+0,46
-0,4Historia laboral
Sí
No
+ 0,71
+2,40
+0,45
+1,94II. Ingresos
Sexo: Masculino
Femenino
+36%
+41,9%
+35,2%
+72,1%Edad: 15 a 19 años
20 a 24 años
+15%
+29,8%
+33,3%
+31,8%
116
Estado civil:
Soltero
Casado/Unión libre
Separado/Divorciado
+34,2%
+34%
+50%
+44,1%
+39,6%
+44,9%Necesidades básicas
Insatisfechas
Satisfechas
+10,3%
+38,7%
+25%
+43,4%Nivel de instrucción:
- Primaria
- Secundaria
- Educación Técnica
- Terciaria
+33,3%
+76,3%
+50%
+25%
+26,3%
+53%
+30%
+9,2%Historia laboral
Sí
No
+38,8%
+30,4%
+69,2%
+31,9%III. Rol ciudadano
Sexo: Masculino
Femenino
+0,2
+1,73
+0,65
+1,7Edad: 15 a 19 años
20 a 24 años
+0,82
+0,5
+0,58
+1,4Estado civil:
Soltero
Casado/Unión libre
Separado/Divorciado
+0,8
+0,8
-0,1
+1,54
+0,8
-0,1Necesidades básicas
Insatisfechas
Satisfechas
+1,68
+0,42
+1,25
+1,02Nivel de instrucción:
- Primaria
- Secundaria
- Educación Técnica
- Terciaria
+7,33
+0,82
+0,2
+0,28
+17,2
+2,1
+0,35
+0,12-Historia laboralanterior:-sí-no
+0,8+0,35
+1,13+1,25
117
4.2.5 Medida del impacto en egresados, según datos cualitativos
Para configurar la comparación, base de la medida del impacto, es dableimplementarla solamente sobre los beneficiarios, en tres momentos distintosdel ciclo vital del programa: antes del inicio, al finalizar y un año después definalizado.
Se elige al azar un grupo de jóvenes inscriptos para el programa de formación,y se les aplican métodos cualitativos: observaciones y entrevistas abiertas,semiestructuradas, relevando las competencias globales, técnicas ypsicosociales (ver “variables de beneficiarios”), comparando las modificacioneshabidas, según sus propias percepciones y el registro del observador (verapartado del Capítulo 3).
La descripción fenomenológica, propia de la instancia cualitativa, debe abarcar:
- Competencias generales- Inserción laboral: que incluye el “clima” en la obtención de puestos detrabajo:- Tiempo de búsqueda.- Calidad de la búsqueda (selectividad, uso de redes, entrevistas)- Acompañamiento en la búsqueda (¿Por quien?).
- Motivaciones laborales- Actitud hacia el trabajo (cultura del trabajo)- Responsabilidad- Eficiencia- Puntualidad
Competencias Psicosociales (características actitudinales y comportamentales)
Indicadores:- autoestima- creatividad- elaboración de proyectos- inserción social- ámbitos de los procesos de socialización (la familia, la calle, los pares, lasinstituciones, otras)- participación activa en grupos sociales, artísticos, religiosos, deportivos,barriales, culturales- incremento de los espacios sociales- creación de nuevas redes sociales (con otros jóvenes, con instituciones,servicios, lugares de trabajo)- interés en la educación en general- interés en el aprendizaje permanente
118
- reinserción en el sistema educativo- contención interna- expectativas y necesidades- frustración, pasividad, postergación, depresión, violencia- adicciones- exclusión- estigma
Ejemplo práctico para la población ficticia de este manual
La recolección de datos se hizo en una submuestra aleatoria de la muestra debeneficiarios, según la tabla de números aleatorios de Bradford y Austin (seanexa al final): de la muestra de 4000 fichas, se seleccionaron de modosistemático 400, aplicándole la entrevista en profundidad y la observación noparticipante.
Los 400 jóvenes tienen familia de referencia y ninguno duerme en la calle: 180de ellos pertenecen a hogares de extrema pobreza, con NBI, en familias nonucleares, organizadas en torno a la figura de la madre, que es preponderantey da continuidad a la familia, aunque aparece como una figura pasiva, recluídaal hogar y que no trabaja.
De los 180 jóvenes, 66 (sin diferencias por edad o sexo) afirman que notaronun cambio en su situación antes y después del proyecto, que se mantiene a unaño de su finalización. Identifican las modificaciones positivas en:
1) Mejor actitud y “clima” en la empleabilidad, que abarca:
- menor tiempo de búsqueda- mejor preparación para las entrevistas de trabajo- mayor conocimiento de conexiones o redes (en 28 casos fueron
acompañados por los ejecutores del proyecto)- mayor motivación laboral- mayor responsabilidad hacia el trabajo
2) Incremento de las competencias psicosociales en:
- mayor autoestima en los 66 jóvenes ( se sienten más seguros y menosmarcados por el estigma)
- aparición de proyectos personales a mediano y largo plazo (33 jóvenes)- reinserción en el sistema educativo (41 jóvenes)- abandono de adicciones (10 jóvenes), y de actitudes violentas (32
jóvenes)- mayor actividad social, con inserción en nuevos espacios (57 jóvenes)
Los restantes 114 egresados, pertenecientes al grupo de NBI no percibenningún cambio favorable, cualquiera sea el área de competencias investigado,al comparar los tres períodos seleccionados.
119
Algunos (29 jóvenes), afirman incluso que “perdieron el tiempo”, “no nos dieronlo que nos prometieron”, “ganaba más en la calle limpiando parabrisas, que conla beca que me dieron”.En cuanto a los egresados insertados en familias con NBS (180 jóvenes): casitodos (161 casos) declaran el incremento de sus competencias generales ypsicosociales, con mayor peso en las mujeres y los de mayor edad.
Entre los 19 restantes (“impacto neutro o negativo”), se encuentran todos losegresados con nivel de instrucción terciario de la submuestra (11 jóvenes). Seprofundiza con estos últimos, se visualiza que se incorporaron al proyectocomo una forma más de preparación, en una época de alto desempleo, enespera de insertarse en un trabajo más cercano a sus expectativas.
4.3. Medida del impacto sobre otros actores (gobierno, empresarios,ECAS)
Los integrantes de la unidad central, los ejecutores (ECAS), los empresarios(aportantes de las pasantías), la sociedad civil ( integrantes de organizacionesbarriales, religiosas, deportivas, juveniles, educativas formales e informales,entre otras), deben ser buscados por los evaluadores con aproximacionesaleatorias o según el grado de calificación que posean como informantesclaves.
Las herramientas de relevamiento (cualitativas) se adaptarán a cada caso,según lo entienda el evaluador. A partir de ellas se obtendrán datos cualitativossegún las variables en cuestión. Ya se ha señalado la mayor flexibilidad de lasentrevistas no estructuradas o preguntas abiertas incluídas en entrevistassemiestructuradas. (Ver anexo II: herramientas del capítulo tres). La guía esuna ayuda-memoria: la destreza del entrevistador, que además observa, crea,en gran medida, el clima, el encuadre, la distancia óptima, asegurando lamayor objetividad y sistematizacion de los datos.
El enfoque es complejo y para su interpretación es aconsejable recurrir aexpertos de diversas disciplinas.
La medida del impacto, mediante datos cualitativos, es la comparación de loshechos, en tres momentos del ciclo vital del programa (antes, al finalizar, y unaño después de finalizado)18, la descripción evalúa la eficacia y eficiencia delas acciones implementadas, explorando, profundizando y familiarizándose conel programa y sus actores, determinando “cómo es”, “cómo está” tal variable oindicador “x”.
4.3.1. Medida del impacto sobre el gobierno
El impacto sobre el gobierno se mide por los datos recogidos mediante unaentrevista en profundidad, cuyas características, guía y análisis ya fuerontratados. (Ver anexo II del capítulo tres, en numeral 3.7).
18 incluso más años
120
Consta de siete preguntas abiertas que relevan sobre la creación, la supresióny el reforzamiento de:
1. políticas de trabajo juvenil2. ámbitos integrados de educación y trabajo3. normas nacionales de seguimiento, monitorización y evaluación de
los programas de capacitación juvenil4. instituciones especializadas en seguimiento, monitorización y
evaluación de Educación y Trabajo juveniles5. políticas compensatorias en formación y capacitación para jóvenes
carenciados y desempleados6. interés político hacia préstamos internacionales dirigidos a reforzar los
programas de capacitación juvenil7. normas nacionales de capacitación ofertada
A partir de las fuentes (entrevistas a informantes calificados, observaciones,revisión de documentos públicos), se constata a un año de finalizado elproyecto (y por comparación con el inicio y la finalización):
1. Sin cambios en:
- priorización de las políticas del Estado en educación y en trabajo.- presencia del ámbitos regulares integrados por los diversos organismos
gubernamentales responsables de educación y trabajo- articulación intrasectorial de los organismos gubernamentales de
educación y trabajo con los de economía y finanzas y de seguridadsocial
2. Con cambios favorables francos en el interés político hacia prestamosinternacionales dirigidos a:
- creación de instituciones estatales de la juventud- impulso a las políticas compensatorias en educación y trabajo para
jóvenes carenciados que abandonaron el sistema educativo- apoyo al proyecto de formación capacitación para jóvenes carenciados
desempleados
3. Se comienzan a delinear actividades gubernamentales orientadas al:
- cumplimiento del papel normatizador, regulador y evaluador sobre elprograma para jóvenes
- cumplimiento en la elaboración del diseño general del Programa parajóvenes
- cumplimento de la supervisión financiera y de gestión del programa parajóvenes
- instauración de normas nacionales de calidad en la capacitaciónprogramada
121
4.3.2. Medida del impacto sobre los empresarios
La descripción sobre los empresarios proviene de las siete preguntas abiertasincluidas en la guía de entrevista (ver anexo II del capítulo tres).
Se entrevistaron 52 empresarios elegidos al azar, entre las 880 empresasparticipantes.
1. El impacto del programa sobre las empresas de pasantía medido al finaly un año después de la terminación permitió la detección delmejoramiento de una serie de variables cualitativas, según la percepciónde la mayoría (48) de los empresarios. Tales como:
- Institucionalidad: reforzamiento institucional según nuevas estrategias- Sustentabilidad en el tiempo. Menor precariedad.- Redes: Articulaciones horizontales con otros servicios productivos,
empresas y oferentes(ONG, sindicatos, IFP). Verticales con lasoficinas públicas especializadas en formación y capacitación dejóvenes y con las instancias centrales del programa. (42 empresarios)
- El impacto positivo de la institucionalidad, sustentabilidad y redes, esespecialmente percibido por los dueños de empresas grandes yvinculadas al sector “servicios”
2. No detectan ningún cambio favorable a promocionar:
- La flexibilidad de las prácticas y cambios en las mismas, segúnvariaciones del mercado de trabajo (demanda, nichos ocupacionales)
- Las motivaciones, expectativas, necesidades de los empresarios- El grado de interés en la capacitación y en la inserción de jóvenes con el
perfil de la población objetivo del programa (focalización)
3. Todos los empresarios entrevistados coinciden en que se estániniciando ámbitos de:
- Coordinación con los niveles de decisión respecto a las políticas deempleo y de programas de formación y capacitación
Así como la puesta en marcha de normas nacionales de calidad en relación alas pasantías por las empresas.
En cuanto al reclutamiento de egresados como personal permanente de laempresa fue, según los empresarios:
- 0% en el 37% de las empresas- En las restantes 15 empresas, el porcentaje osciló entre 11 %y 26%,
siendo el promedio 17%
122
Se relacionan el tamaño de la empresa y el sector de inserción, se compruebaque el reclutamiento es mayor en las empresas grandes y de servicios (similaral resultado de impacto positivo visto en el punto 1).
4.3.3. Medida del impacto del proyecto sobre las ECAS
Se entrevistaron 63 ejecutores, elegidos al azar según tabla aleatoria,respetando el porcentaje de representación de cada tipología del total de 992ECAS. Tipología (ONG, sindicatos, organizaciones religiosas, barriales,personas físicas independientes)
Total %
ONG 19 30
Sindicatos 6 9
Organizaciones religiosas 8 13
Organizaciones barriales 2 3,6
Empresas de lucro (personas independientes) 28 44,4
___________ 63 100
La entrevista y la observación fueron pautadas según los criterios expuestos enel anexo II del capítulo tres: herramientas.Los resultados fueron:
1. El impacto resultó positivo, en cuanto a favorecer su mejoramiento de:
- Contenido propuesto para los cursos: calidad de la oferta formativa;adecuación con los objetivos del programa; elaboración desde lademanda
- Precio del curso (antes y durante la licitación)- Redes con otros oferentes, con los empresarios, con las instancias
centrales y locales- Compenetración con los objetivos del programa- Manejo de la dinámica grupal- Concientizacion de la problemática de la población objetiva- Empatía con la población objetivo
Este impacto positivo es más marcado si se trata de ONG (17 en 19),organizaciones religiosas (7 de 8) y en las empresas personales (22 en 28),siendo casi nulo en las restantes.
123
2. Los ejecutores consultados no perciben modificaciones favorables, enrelación a:
- Agilidad para los cambios ante las demandas sociales no previstasinicialmente
- Formación técnica- Formación docente pedagógica- Capacidad de gestión y administración (con monitoreo, seguimiento y
evaluación)- Capacidad de negociación- Cumplimiento de etapas y tiempos acordados- Control financiero
En este resultado no se aprecian diferencias marcadas según tipología de laECA.
3. El total de los ejecutores sostienen que perciben un marcado interés, porparte del Estado, en cuanto a la creación de normas nacionales decalidad y al reforzamiento de la institucionalidad, según nuevoscurrículos, evaluación interna o adecuación a la focalización.
Lo anterior estaría encaminado, junto a la presencia del formador deformadores (figura reclamada por la casi totalidad de las ECAS) a subsanar lascarencias expuestas en el numeral 2 .
124