Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

�Una estimación del efecto sobre el rendimientoacadémico de asistir a una universidad pública en

Colombia�

Sebastian LondoñoCarlos MedinaChristian Posso

Banco de la República de Colombia

Junio 19 de 2012

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

1 IntroducciónRelevanciaMercado Laboral ColombianoMotivaciónInstitucionalidad Actual

2 Los DatosFuentes de InformaciónConstrucción bases

3 Estadísticas básicas

4 MetodologíaEstrategia de Identi�cación y Variable ResultadoMetodología MatchingMatching en Diferencias y Corrección del Sesgo

5 Resultados

6 Síntesis de Resultados

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Pregunta

Qué diferencia en el rendimiento académicohace estudiar en una universidad púbica en

relación a una privada?

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Introducción

La relevancia de estudiar la educación superior en Colombia radica en sufuerte in�uencia sobre los resultados del mercado laboral, en especialsobre la productividad, la innovación y tecnología, la generación de nuevosmercados, entre otros.

Los aciertos y desaciertos acontecidos en el sistema de educación superiorcolombiano terminan afectando el comportamiento de los principalesindicadores laborales: Tasa de Desempleo, Tasa de Participación y Tasa deOcupación, entre otros.

De la dinámica presentada en algunos indicadores del mercado laboral,condicionados en los individuos con y sin educación superior, en losúltimos años (1986-2006) se destacan dos elementos importantes:

La educación superior es el determinante del buen desempeño de unapersona en el mercado laboral (Crecimiento, a partir de 1996, en lacobertura de la educación superior) (Posso, 2008)Ha venido creciendo la participación en el mercado laboral deempleados asalariados con educación superior (López y Lasso, 2008)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mercado Laboral Colombiano

Figura : Crecimiento del empleo por nivel educativo, 1984-2010

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Motivación

¾Por qué el interés especí�co en comparar la educación superior pública yla privada?

Muchos autores han planteado que existen diferencias sustancialesentre la educación ofrecida por el sector público y el privado. Tresrazones fundamentales:

1 Diferentes inputs: materiales, infraestructura, calidad de los docentes.2 Institucionalidad: Incentivos de los docentes varían dependiendo del

tipo de educación que se ofrece.3 Rol de los peers (entornos diferentes entre la educación pública y

privada que pueden afectar el rendimiento de los estudiantes) - Lasuniversidades elite incrementan las probabilidades de hacer unposgrado (Eide, Brewer y Ehrenberg, 1998)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Motivación

Diferencias e importancia de la calidad de los profesores de la educaciónpública y privada:

Profesores con mejor desempeño académico y mejores pruebasestandarizadas se desempeñan mejor en el aula (Hanushek, 2002)

Una desviación estándar en la calidad del docente es igual a unquinto de la brecha promedio en el desempeño entre estudiantes deingreso alto y bajo (Rivkin, Hanuskek and Kain, 2001)

Los sistemas de compensación del sector público son rígidos yburocráticos, con compensaciones que muchas veces no distinguenentre niveles ni materias, ni en función del desempeño histórico(Neal, 2002)

Los salarios de los docentes en colegios �charter� y privados varíanmás con sus puntajes del SAT y la calidad de la entidad deeducación superior de la cual se graduaron. Además, éstos vienen demejores IES y reportan mejores resultados en pruebas que losdocentes de IES públicas cercanas (Hoxby, 2002)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Motivación

Incentivos y sistemas de rendición de cuentas

Se desea que los administradores de los colegios públicos puedancompensar mejor a los mejores docentes, pero hay temor a darles ladiscreción para que así lo hagan por temor a que se comporten demanera nepotista o que favorezcan a docentes de su propia �liaciónpolítica (Neal, 2002)

Una forma de hacer la rendición de cuentas a los docentes de loscolegios públicos en Estados Unidos, ha sido evaluando eldesempeño de sus estudiantes mediante pruebas estandarizadas anivel de cada Estado, las cuales Hanushek señala como limitadaspara efectos de los objetivos trazados (Hanuskek, 2002)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Motivación

Incentivos y sistemas de rendición de cuentas

Neal (2002) señala que algunas pruebas estandarizadas a nivel deEstado no arrojan resultados consistentes con los resultados depruebas a nivel nacional, tal y como lo encuentran Koretz (2002) yKlein y otros (2002)

Jacob y Levitt (2003) también presentan evidencia de trampa enpruebas estandarizadas, y particularmente, asociada a cambios en losincentivos a los docentes.

Un sistema masivo de vouchers promovería la competencia entre loscolegios por los estudiantes, lo cual a su vez incentivaría a loscolegios a reclutar a los docentes más capaces, y los movería aevaluar todas las dimensiones relevantes para los padres de familia,cognitivas y no cognitivas (Neil, 2002)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Rol de los compañeros (Peer e�ects)

Ej.: Caso Uniandes vs U Javeriana

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Motivación

De lo anterior, surge entonces la motivación por medir el valoragregado, en términos de rendimiento académico, que la educaciónsuperior pública produce sobre los individuos en Colombia.

Reforma a Ley 30 de 1992

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Tasa de Cobertura Bruta de ES Según Quintil de Ingreso

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Ingresos y Resultados del Icfes de Bachilleres

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Porcentaje de Estudiantes en IES Públicas y Privadas

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Tasas de Deserción y Años para la Graduación

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Nivel Educativo de los Docentes IES Públicas y Privadas

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Número de IES Públicas y Privadas

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Fuentes de información

Instituto Colombiano para la Evaluación de la Educación Superior(ICFES)

Ficha de resultados de las Pruebas Saber 11 (ICFES) 2000- 2003

Puntaje obtenido por 1.989.975 individuos en cada una de lasdiferentes áreas evaluadas (Biología, Matemáticas, Filosofía, Física,Historia, Química, Lenguaje y Geografía)Información básica del colegioCaracterísticas básicas del individuo y su entorno familiar

Ficha de resultados de las Pruebas Saber Pro (ECAES)2004(1)-2007(2)

Puntaje obtenido por 287.093 individuosInformación básica de la Institución de Educación Superior (IES)Características básicas del individuo y su entorno familiar

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Fuentes de información

Ministerio de Educación Nacional (MEN)

Formulario C600: Información detallada a nivel nacional de colegiosó instituciones de educación secundaria. Variables de interés:

Naturaleza del colegio: O�cial, No O�cialTipo de jornadaCarácter de la población: Masculino, femenino ó mixto

Base de datos que contiene información detallada para 333 IES anivel nacional. Variables de interés:

Carácter: Escuela Tecnológica, Institución Tecnológica, InstituciónUniversitaria, Técnica Profesional ó Universidad.Origen: Corporación (No O�cial), Fundación (No O�cial), O�cialDepartamental, O�cial Municipal, O�cial Especial y RégimenEspecial

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Fuentes de información

Consejo Nacional de Acreditación (CNA)

Base de datos que contiene, a nivel nacional, las IES acreditadasinstitucionalmente y los programas de pregrado que se encuentranacreditados.

Con el �n de controlar un poco lo heterogéneas y homogéneas quepueden llegar a ser las universidades públicas y privadas respectivamente,se incluyo la condición de individuo �acreditado� (estudiaron un programaacreditado ó en una IES acreditada institucionalmente) y se construyerondos bases de datos para la realización del ejercicio:

1 Base de datos principal: incluye todos los individuos

2 Base de datos �acreditados�: incluye solo los individuos que cumplencon la condición de acreditación

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Construcción Base de datos principal:

Información del puntaje obtenido en el ICFES en sus diferentes áreas, puntajeobtenido en el ECAES, características del individuo, características del entornofamiliar, características del colegio, características de la IES.

Nuestro supuesto de línea de base es que el ICFES produce una apropiadadistribución de las habilidades y del �background� de los estudiantes que entrana la educación superior, tanto pública como privada. A su vez, el ECAES generauna distribución de las habilidades �nales de los individuos que terminaron laeducación superior

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Construcción Base de datos Acreditados:

Acreditados: Individuos que estudiaron en una IES ó programa depregrado acreditado:

23,752 (67%) individuos estudiaron en una IES acreditada11,920 (33%) individuos estudiaron en un programa de pregradoacreditado

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Estadísticas Básicas

BASE CON TODOS LOS INDIVIDUOS

* Ciudades menores incluidas: Armenia,

Cartagena, Cúcuta, Fusagasugá, Ibagué,

Manizales, Montería, Neiva, Pamplona, Pasto,

Pereira, Popayán, Quibdó, Santa Marta, Tunja

y Villavicencio

BASE CON LOS INDIVIDUOS ACREDITADOS

**Ciudades menores incluidas: Armenia, Cartagena,Cúcuta, Ibagué, Manizales, Montería, Neiva, Pasto,Pereira, Popayán, Santa Marta, Tunja y Villavicencio

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Estadísticas Básicas

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Resultados pruebas ICFES de matemáticas y lenguaje, porcarrera en IES públicas y privadas, acreditadas y noacreditadas

IES públicas: resultados promedio en matemáticas y lenguaje al menos dos puntos superiores(15 a 50 por ciento de una desviación estándar) en 7 a 9 carrerasIES privadas: ventaja de esa magnitud solo en el área acreditada que comprende matemáticas,física y química.

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Subsección 4.1 Estrategia de Identi�cación y VariableResultado

Estimadores Matching de Diferencias en Diferencias (ATT, Abadie andImbens (2002, 2004, 2011)

Variable dependiente: Diferencia en el ranking que cada individuo obtuvoal presentar el ICFES y al presentar las pruebas ECAES:

Yi = QE

i (PuntajeECAES) − Q I

i (PuntajeICFES)

Qi es el percentil incondicionado de cada una de las pruebas.

Variable de tratamiento: indica si el individuo �nalizó la educaciónsuperior en una institución pública:

Ti =

{1

0

si el individuo estudi o en una IES publica

Otro Caso

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

De�nición Rankings

Rankings construidos para la línea de base (comparados con elranking del puntaje del ECAES):

Puntaje promedio del ICFESPuntaje promedio obtenido en Matemáticas, Física y QuímicaPuntaje promedio obtenido en Matemáticas, Física, Química,Lenguaje y BiologíaPuntaje en MatemáticasPuntaje en LenguajePuntaje en BiologíaPuntaje en FísicaPuntaje en QuímicaPuntaje en HistoriaPuntaje en GeografíaPuntaje en Filosofía

Supuesto implícito: individuos no se mueven entre universidades óprogramas.

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Covariables

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Matching en Diferencias y Corrección del Sesgo

Emparejamiento por el vecino más cercano con base en lasco-variables de los individuos (Abadie and Imbens, 2011: permiteobtener el estimador �Bias-Corrected Matching�, BCM)

Dado que: Yi = Yi (1) si Ti = 1, y Yi = Yi (0) si Ti = 0Siendo Yi el resultado �nal (diferencia en el ranking) de los queestudiaron en una IES pública y dado que Yi (0) no lo podemosobservar para los tratados, se hace necesario calcular uncontra-factual que nos permita estimar el ATT(τATT = E [Yi (1)− Yi (0)|Ti = 1]):

Yi (0) =1

M

∑jεJM(i)

Yj si Ti = 1

JM(i) es el conjunto de los M vecinos más cercanos (por co-variables) para elindividuo i . Para la elección del mejor vecino se tiene en cuenta la métrica deMahalanobis, la cual es aplicada a la matriz inversa de las varianzas ycovarianzas muestrales de las co-variables.

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Matching en Diferencias y Corrección del Sesgo

Para reducir el sesgo, el �Bias-Corrected Matching Estimator� ajusta las diferencias entrelos diferentes pareos usando las diferencias entre los valores de sus co-variables. Parahacer los ajustes, se proponen reducir las dimensiones de las co-variables usandométodos de regresión, así el estimador Bias-Corrected para el efecto promedio sobre lostratados estaría dado por:

Estimador ATT:τbcmM,tratado = τ

mM,tratado − β

mM,tratado

τmM,tratado =

1

N1

∑Ti=1

Yi − Yi (0)

βmM,tratado =

1

N1

N∑i=1

Ti

M

M∑m=1

[(µ0(Xi ) − µ0(Xjm (i ))

]

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Matching en Diferencias y Corrección del Sesgo

µ0(Xi ) es un estimador consistente del outcome no observado:µ0(Xi ) = E [Yi (0)|Xi = x]

El ajuste ó corrección del sesgo es simplemente la diferencia promedio entre elvalor predicho del contra-factual (con base en la regresión µ0(x) ) para cadaindividuo tratado con respecto a sus vecinos más cercanos

Abadie and Imbens (2011) demuestran que el estimador BCM es robusto inclusocuando la regresión, µ0(x) , tiene problemas de especi�cación.

Los errores estándar robustos a la heterocedasticidad se estiman siguiendo lapropuesta de Abadie and Imbens (2011, p.10)

Para la selección de los vecinos más cercanos, la propuesta de Abadie andImbens (2011) permite realizar dos acciones fundamentales para la estimación:

Seleccionar el número de vecinos que se desea tener en cuenta (M=4)Escoger algunas variables en las que se desea hacer un énfasis especial parala selección de los vecinos más cercanos. En nuestro ejercicio, dichaselección esta condicionada inicialmente a que el emparejamiento sea lomás exacto posible con base en las siguientes variables: género, edad,puntaje promedio del ICFES, estrato socioeconómico, tipo de calendariodel colegio (A ó B), el carácter del colegio (académico, normalista ótécnico) y la naturaleza del colegio (O�cial ó No O�cial)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Resultados Globales

En cuanto a los resultados obtenidos para el ATT, éstos han sidoresumidos por grupos de carreras que están uni�cadas bajo unamisma disciplina del conocimiento y han sido gra�cados paradiferentes números de vecinos.

A continuación se muestran los grá�cos que resumen los resultadospara el caso en el que se utilizan 4 vecinos de comparación en elmatching.

Los resultados de los ATT ilustrados en los grá�cos han sidoexpresados en términos de desviaciones estándar con el �n de poderinterpretar mejor las magnitudes de los coe�cientes en términos dela variabilidad que hay en cada carrera en los puntajes de las pruebasque fueron utilizadas para medir el valor agregado de la universidadpública y privada (ICFES y ECAES).

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Todas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Todas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Todas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Todas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Todos)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Todos)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Todos)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Todos)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Acreditadas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Acreditadas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Acreditadas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Mujeres (Acreditadas)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Acreditados)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Acreditados)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Acreditados)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Hombres (Acreditados)

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Síntesis de Resultados

Introducción Los Datos Estadísticas básicas Metodología Resultados Síntesis de Resultados

Síntesis de Resultados

Los resultados encontrados para las mujeres evidencian que en 19 de las29 carreras, los estudiantes de universidades públicas se ubican enpercentiles inferiores a los de las instituciones privadas, en 7 carreras seobtienen resultados similares y sólo en 3 de ellas es superior el desempeñode las universidades públicas.Cuando se tienen en cuenta sólo las instituciones acreditadas hay unpequeño cambio a favor de las instituciones públicas, sin embargo, de las27 carreras analizadas estas obtienen resultados negativos para 13 deellas, similares en 10, y sólo superan a las instituciones privadas en 4carreras.Por el lado de los hombres no son muy diferentes los resultados: Para eltotal de ellos, de las 27 carreras estudiadas, las instituciones públicasobtienen peores resultados en 20 de ellas, similares en 5, y solo tienen unmejor desempeño en 2 carreras.Al incluir sólo las instituciones acreditadas, de nuevo hay un cambiopositivo a favor de las instituciones públicas, donde, de las 24 carrerasanalizadas, sólo obtienen resultados inferiores en 9 de ellas, similares en12 y superiores en 3.