El impacto de un programa Un Computador por Niño en el

aprendizaje. Evidencia para Uruguay

•

.................................................Instituto de Economía, FCEyA – UdelaRMayo, 2014

Gioia de Melo, Alina Machado y Alfonso Miranda

Motivación

• La implementación de programas One Laptop per Child (OLPC) se ha expandido

enormemente en los últimos años (Argentina, Uruguay, Perú). Varios países se

aprestan a realizar cuantiosas inversiones al respecto (México, Paraguay, entre

otros).

• Al igual que el Plan Ceibal implementado en Uruguay, estos programas tienen por

objetivo reducir la brecha digital así como mejorar la calidad educativa mediante la

integración de tecnología al aula.

• Sin embargo, la literatura no es concluyente en lo que refiere al impacto de estos

programas en el desempeño académico.

Tipo Estudios Efecto

Negativo (matemática, inglés y rumano)

Positivo (habilidades cognitivas)

Fairlie y Robinson (2013) Sin efecto (matemática, lectura, ciencias y otros)

Vigdor y Ladd (2010) Negativo (matemática y lectura)

Angrist y Lavy (2002) Negativo (matemática)

Machin et al. (2007) Positivo (lectura y ciencias)

Banerjee et al. (2007) Positivo (matemática) desaparece al año

Carrillo et al. (2010) Positivo (matemática) signif. al 10%, sin efecto en lectura

Sin efecto (matemática y lectura)

Positivo (habilidades cognitivas)

Mo et al. (2013) Positivo (matemática) signif. al 10%

Sharma (2012) Negativo (lectura)

Computadoras en el hogar

Computadoras en la escuela

OLPC (uso no guiado)

Software académico en la

escuela (uso guiado)

Cristia et al. (2012)

Malamud y Pop-Eléches (QJE,

2011)

El Plan Ceibal

• Su principal objetivo es promover la inclusión digital entre los niños uruguayos.También apunta a mejorar el aprendizaje utilizando la XO tanto en la escuela comoen los hogares.

• El Plan provee una laptop a cada estudiante y maestro de todas las escuelaspúblicas (primer programa a escala nacional). Originalmente se concentró enEducación Primaria pero en los últimos años se extendió a Educación Media. Enoctubre de 2013 se habían entregado 1 millón de laptops.

• Los estudiantes se llevan la laptop a su casa. Se provee acceso a internetinalámbrico en escuelas y otros espacios públicos (plazas, etc).

• La iniciativa se inició en una provincia piloto en 2007. Durante el primer semestre de2008 la distribución se concentró en los departamentos del oeste del país y duranteel segundo semestre del 2008 en los departamentos del este, llegando a Montevideoy Canelones principalmente en 2009. En octubre de 2009 todos los estudiantes ymaestros de escuelas primarias públicas habían recibido una laptop.

• El criterio de distribución estuvo centrado en cambiar el foco desde la capital alinterior y distribuir las laptops primero en los departamentos del interior donde elacceso a la tecnología era menor que en la capital, Montevideo.

El Plan Ceibal• Desde un inicio se brindaron cursos de capacitación opcionales para maestros

(presenciales y en línea).

• En 2009 la conectividad no permitía a todos los grados de una escuela conectarsesimultáneamente a internet.

• Avances recientes:• Maestro de Apoyo Ceibal• Evaluaciones en línea• Plataforma adaptativa de matemática• Ceibal inglés

• La evaluación realizada en octubre de 2009:• 79% de los directores respondieron que la escuela contaba con acceso a internet.

• 75% de los directores respondieron que menos de 50% de los estudiantes de la escuela

podían conectarse al mismo tiempo.

• 61% de los maestros respondieron que utilizaban una computadora diariamente.

• 44% de los hogares de los estudiantes contaban con una computadora o laptop (no de

Ceibal) y 41% contaba con acceso a internet propio o a través de la red de Ceibal.

• 97% de los estudiantes utilizaba la laptop de Ceibal en su hogar y 71% también utilizaba

otra computadora.

Datos

• Empleamos un panel de aproximadamente 2300 estudiantes de 90 escuelasevaluados en octubre 2006 y octubre 2009.

• Ambas olas incluyen pruebas estandarizadas de matemática y lectura así comocuestionarios a estudiantes, familia, maestros y directores de escuela.

• La primer ola corresponde a la Evaluación SERCE (Segundo Estudio RegionalComparativo y Explicativo), diseñada por la UNESCO e implementada en octubre2006. Los estudiantes analizados en este estudio asistían en ese entonces a tercergrado de primaria.

• La segunda ola corresponde a la V Evaluación Nacional de Aprendizajesimplementada en octubre 2009 por la ANEP. Dentro de las escuelas seleccionadas,ANEP procuró seleccionar una muestra de escuelas que fuera representativa de lasescuelas evaluadas en SERCE 2006. La mayoría asistía a sexto grado de primariapero también se evaluó a aquellos que habían repetido.

• Contábamos con información de nombre completo y número de identificación paraaquellos evaluados en 2009. Ello permitió encontrar a 92% de estos estudiantesen los registros administrativos del Plan Ceibal y obtener la fecha exacta en laque recibieron la laptop.

Estrategia de identificación

• Aplicamos la metodología de diferencias en diferencias.

• Explotamos el hecho de que la entrega de laptops ocurrió durante el período en que serealizaron las evaluaciones y que el criterio de distribución fue geográfico y no basadoen el desempeño académico de las escuelas.

• Contamos con la fecha exacta de entrega de las laptops para más del 90% de losestudiantes. Esto nos permitió emplear una variable de tratamiento continua donde losdías/años de exposición reflejan la intensidad del tratamiento.

• La fecha de entrega de la laptop tiene cierta variación al interior de las escuelas. Ellopermite identificar el efecto del programa neto de la potencial heterogeneidad en latasa en la que las escuelas generan mejoras en el desempeño de los estudiantes(permitimos que cada escuela exhiba una curva de aprendizaje distinta debido aheterogeneidad inobservable variante en el tiempo).

• Dado que la variación del tratamiento al interior de las escuelas es baja, tambiénincorporamos una especificación en la que únicamente permitimos una curva deaprendizaje distinta entre Montevideo y el resto del país.

Metodología

• Comenzamos por estimar el siguiente modelo:

• Donde Yist representa el puntaje del individuo i en la escuela s en la ola t; i=1,…,N,s=1,…,90 y t = 2006, 2009. Tist es la variable de tratamiento que refleja el número de días(normalizado a años) que el estudiante ha tenido la laptop al momento t. Xist soncaracterísticas del estudiante variantes en el tiempo. δt es una variable binaria que indica elaño 2009. ci son efectos fijos a nivel de individuo. Los errores estándar están aglomeradosa nivel de departamento.

• Luego levantamos el supuesto de tendencias paralelas a partir de controlar por laheterogeneidad en el tiempo en relación al período base:

• Incluímos interacciones entre las dummies de escuela y la variable tiempo (πs x δt).

Metodología

• Debido a que la variación del tratamiento al interior de las escuelas no es elevadaestimamos también:

• Donde Montevideo es una variable binaria que identifica las escuelas ubicadas en lacapital.

• Finalmente estimamos una ecuación a nivel de escuela, desechando la variación deltratamiento al interior de las escuelas:

Efectos fijos a nivel de individuoSi no se controla por trayectorias divergentes se observa un efecto positivo y significativo en matemática

10Fuente: Cálculos propios.

ReadingTreatment (days of exposure normalized to years) 0.0428 0.0350 0.0320 0.0319 0.0337 0.0313

(0.051) (0.051) (0.050) (0.051) (0.049) (0.050)Observations 4,114 4,114 4,114 4,114 4,114 4,114Number of students 2,057 2,057 2,057 2,057 2,057 2,057MathTreatment (days of exposure normalized to years) 0.1632*** 0.1619*** 0.1613*** 0.1604*** 0.1632*** 0.1623***

(0.053) (0.053) (0.053) (0.054) (0.054) (0.055)Observations 4,160 4,160 4,160 4,160 4,160 4,160Number of students 2,080 2,080 2,080 2,080 2,080 2,080Time dummies Yes Yes Yes Yes Yes YesNumber of persons at house (time-varying) No Yes Yes Yes Yes YesNumber of rooms at home (time-varying) No No Yes Yes Yes YesDrinkable water at home (time-varying) No No No Yes Yes YesDurable goods at home variables (time-varying) No No No No Yes YesWork (time-varying) No No No No No YesStandard errors are clustered at the province level.*** p<0.01, ** p<0.05, * p<0.1

Seniority (% teachers with less than 5 years of experience) 2005-2006-2007Montevideo*Year 2006 -1.252**

(0.470)Montevideo*Year 2007 -4.999***

(0.601)Observations 6,551Number of schools 2,340Time dummies YesSchool fixed effects YesStandard errors are clustered at the province level.*** p<0.01, ** p<0.05, * p<0.1Source: own estimates using Monitor Educativo (ANEP).

Encontramos evidencia de que habría un cambio en la tendencia según región

Physical violence among students 2006-2009Montevideo* Year 2009 -0.414***

(0.109)Observations 170Number of schools 87Time dummies YesSchool fixed effects YesStandard errors are clustered at the province level.*** p<0.01, ** p<0.05, * p<0.1Source: own estimates using questionnaires to school principals from SERCE 2006 and V Evaluación Nacional de Aprendizajes ANEP

Efectos fijos a nivel de individuo controlando por tendencias divergentes entre escuelas o región

12Fuente: Cálculos propios.

ReadingTreatment (days of exposure normalized to years) -0.0544 -0.0142 0.0104 0.0029 -0.0008 -0.0027 -0.0664

(0.408) (0.402) (0.389) (0.387) (0.395) (0.388) (0.110)Observations 4,114 4,114 4,114 4,114 4,114 4,114 4,114Number of students 2,057 2,057 2,057 2,057 2,057 2,057 2,057MathTreatment (days of exposure normalized to years) -0.1658 -0.1561 -0.1582 -0.1620 -0.1513 -0.1601 0.0394

(0.283) (0.289) (0.279) (0.281) (0.280) (0.282) (0.096)Observations 4,160 4,160 4,160 4,160 4,160 4,160 4,160Number of students 2,080 2,080 2,080 2,080 2,080 2,080 2,080Time dummies Yes Yes Yes Yes Yes Yes YesSchool-time dummies Yes Yes Yes Yes Yes Yes NoMontevideo-time dummy No No No No No No YesNumber of persons at house (time-varying) No Yes Yes Yes Yes Yes YesNumber of rooms at home (time-varying) No No Yes Yes Yes Yes YesDrinkable water at home (time-varying) No No No Yes Yes Yes YesDurable goods at home variables (time-varying) No No No No Yes Yes YesWork (time-varying) No No No No No Yes YesStandard errors are clustered at the province level.*** p<0.01, ** p<0.05, * p<0.1

Panel de escuelas controlando por trayectorias divergentes a nivel regional

13Fuente: Cálculos propios.

ReadingTreatment (days of exposure normalized to years) 0.0879 -0.0124

(0.052) (0.097)Observations 180 180Number of schools 90 90MathTreatment (days of exposure normalized to years) 0.1344** -0.0604

(0.058) (0.122)Observations 180 180Number of schools 90 90Time dummies Yes YesMontevideo-time dummy No YesNumber of persons at house (time-varying) Yes YesNumber of rooms at home (time-varying) Yes YesDrinkable water at home (time-varying) Yes YesDurable goods at home variables (time-varying) Yes YesWork (time-varying) Yes YesStandard errors are clustered at the province level.*** p<0.01, ** p<0.05, * p<0.1

Efectos heterogéneos según educación materna

14Fuente: Cálculos propios.

Reading Math

Treatment (years) -0.0172 -0.0980(0.373) (0.278)

Treatment (years) * Mom's education: Primary school -0.0985 -0.1146(0.079) (0.072)

Treatment (years) * Mom's education: Junior high 0.0134 -0.0181(0.039) (0.064)

Treatment (years) * Mom's education: Secondary school or College 0.0957 -0.1281*(0.070) (0.064)

Treatment (years) * Mom's education is missing 0.0368 -0.1147(0.069) (0.068)

Observations 4,114 4,160Individuals 2,057 2,080Time dummies Yes YesSchool dummies Yes YesSchool trend dummies Yes YesNumber of rooms at home (time-varying) Yes YesDrinkable water at home (time-varying) Yes YesDurable goods at home variables (time-varying) Yes YesWork (time-varying) Yes YesStandard errors are clustered at the school level.*** p<0.01, ** p<0.05, * p<0.1

Posibles razones por las que no se observa un impacto

En 2009 el uso de las laptops en clase no era generalizado.

Las laptops son utilizadas en clase principalmente para buscar información en internet.

In your reading classes: How often do you use the laptop?

In your math classes: How often do you use the laptop?

Every day or almost every day 41.5% 31.8%One up to three times per week 35.0% 24.9%Less than once per week 23.6% 43.2%Source: ANEP 2009.

School HomeSearch information in the internet 43.8% 15.8%Write a text 8.2% 4.3%Spreadsheet 0.4% 0.1%Calculator 0.6% 0.2%Send emails 1.2% 2.2%Browse internet 26.2% 26.5%Play 13.9% 37.3%Chat 2.3% 7.5%Other 3.5% 6.0%Source: ANEP 2009.

Comentarios finales

• En este artículo aplicamos una estrategia de análisis de datos de panel para evaluarel impacto del Plan Ceibal (único programa OLPC aplicado a escala nacionaI) enlectura y matemática.

• Contamos con la fecha exacta de entrega de las laptops para más del 90% de losestudiantes. Dado que la misma tiene cierta variación al interior de las escuelas, esposible controlar por potenciales trayectorias divergentes entre escuelas (permitimosque cada escuela exhiba una curva de aprendizaje distinta debido a heterogeneidadinobservable variante en el tiempo).

• Nuestros resultados sugieren que el Plan no tuvo impacto ni en lectura ni enmatemática. Estos resultados están en línea con la mayor parte de la literatura sobreel impacto de las computadoras en el aprendizaje, en especial con los programas deuso no guiado.

• El hecho de que el uso de laptops en clase no sea generalizado y de que su principaluso es para buscar información en internet, provee algunas pistas acerca de por quéno se observa un impacto en matemática y lectura.

Comentarios finales• Nesta (2012) y Fullan y Langworthy (2013) enfatizan que la tecnología no puede

impactar en el aprendizaje a menos que el proceso de enseñanza aprendizaje seatransformado. En este sentido, el rol de los docentes no debería ser mas transmitirconocimientos sino proveer actitudes de aprendizaje, apoyar el aprendizaje entrepares y apoyar a los estudiantes a convertir la información en conocimiento.

• Recientemente Plan Ceibal ha concentrado sus esfuerzos en incorporar softwareque mejore el aprendizaje y en ayudar a los docentes a hacer un mejoraprovechamiento de las laptops. Los estudiantes analizados en este estudiorecibieron sus laptops cuando Ceibal recién comenzaba a implementarse y por tantono se beneficiaron de los cambios recientes.

• Finalmente, como algunos estudios han señalado, es posible que el uso decomputadoras ayude a desarrollar otras habilidades cognitivas distintas a lasrequeridas en pruebas de matematicas y lectura.