Evaluacion impacto diploma bachillerato internacional › wp-content › uploads › ...Bachillerato...

DOCUMENTODEPOLÍTICAEvaluacióndeImpactodelProgramadeDiplomadeBachilleratoInternacional


Resumen En este documento de política del Ministerio de Educación, se presenta una evaluación de

impacto del programa de diploma de Bachillerato Internacional. Se inicia con una descripción

detallada del programa, para luego presentar una revisión de la literatura sobre estudios

empíricosqueevalúenel impactodeintervencionessimilares.En lasiguienteparteseexplica la

metodologíautilizada.Luegosepresentanlosresultados,endondemediantelacombinaciónde

diferentes metodologías, con el fin de alcanzar una estrategia de identificación creíble, se

encuentraqueelprogramadediplomadebachilleratointernacionaltieneunimpactopositivoen

logrosescolaresymatrícula.Laúltimaparteconcluye.


El programa “Diploma de Bachillerato Internacional”

ElBachillerato Internacional (BI)esunapropuestapedagógicaquebuscapreparara los jóvenes

bachilleresparavivirenelmundoglobalizadoeinterconectadodelsigloXXI;esdecir,buscaque

los estudiantes comprendan diferentes realidades, desarrollen destrezas y adquieran

conocimientosparaafrontarestereto.ElBIfomentaelsentidocríticoylógicodelosestudiantes,

asícomolasuperacióndelosconocimientosadquiridosatravésdelainvestigacióneinnovación

tecnológica

ElProgramadelDiploma(PD)delBI,esunaofertaeducativapropuestaparalosestudiantesque

cursanelBachilleratoenlasUnidadesEducativasPúblicasacreditadascomoColegiosdelMundo

con Bachillerato Internacional (BI). Desarrolla y promueve en sus estudiantes, conocimientos,

habilidades y destrezas encaminadas al trabajo proactivo, cooperativo, solidario, con un

aprendizajesignificativo,culturalycontinuo;promoviendolaformacióndeseresemprendedores

con espíritu investigativo e innovador, con valores éticos, principiosmorales, conciencia social,

culturalyambiental.

Posee altos niveles de exigencia académica e incluye exámenes finales que constituyen una

excelentepreparaciónparael ingresoa lasUniversidadesNacionalese Internacionalesyotorga

uncertificadoavaladointernacionalmenteporlaOrganizacióndeBachilleratoInternacional–OBI,

instituciónreconocidaanivelmundialporsucalidadeducativaintegralyaqueesreconocidapor

Universidadesentodoelmundo.

El Estado ecuatoriano a través del Ministerio de Educación y la Organización de Bachillerato

Internacional de Ginebra, Suiza, suscribieron un Memorando de Acuerdos Mutuos y

Entendimiento, el 9 de febrero de 2006 según el cual se procede a ejecutar el proyecto de

“Inserción de Bachillerato Internacional en colegios fiscales del Ecuador”. El mencionado

documento es el referente legal para el cumplimiento de compromisos académicos,

procedimentales,deinfraestructurafísicaytecnológicayfinancierosdelministeriodeeducación

yloscolegios.

ElproyectotienealcancenacionalyelMinisteriodeEducaciónrealizóunestudioparaseleccionar

loscolegiosenlasdiferentesprovinciasdelpaís,paralocualdeterminócriteriospedagógicos,de


gestión y de relevancia educativa. Aproximadamente 201 colegios fiscales en 19 provincias

conformanelProyectodeBachilleratoInternacional.

Objetivo General:

Promover la implantación e implementación del Programa del Diploma de Bachillerato

Internacionalen500InstitucionesEducativasPúblicasanivelnacional,conlafinalidaddeofertar

elProgramadelDiplomaBI,contribuyendoconelmejoramientode la calidadeducativapara

alcanzarlasmetasdeeficacia,equidadyefectividaddelSistemaEducativoEcuatorianoenel

marcodelBuenVivir.

ObjetivoEspecífico:

Elevarelnivelacadémicoy laformaciónhumanísticade los jóvenesqueaccedena laEducación

Pública Nacional con la inserción del Programa del Diploma BI y su impacto en los Programas

Nacionalesdeesenivel.

Zonasdeintervención:

A nivel Nacional existen 201 Unidades Educativas Públicas ACREDITADAS que se encuentran

ofertandoelProgramadelDiplomadeBachilleratoInternacional(conestudiantesenaula).

Tabla1.ZonasdeintervenciónBI

Zona BachilleratoGeneralUnificado

UEBACHILLERATOINTERNACIONALPúblicas % Privadas %

1 296 21 7,1% 1 0,3%2 177 15 8,5% - 3 367 26 7,1% 3 0,8%4 433 20 4,6% 2 0,5%5 395 27 6,8% - 6 301 21 7,0% 4 1,3%7 309 25 8,1% 1 0,3%8 394 14 3,6% 18 4,6%9 337 32 9,5% 31 9,2%

Total 3.009 201 6,7% 60 2,0%Fuente:ProyectoBachilleratoInternacional-MinisteriodeEducación

Presupuesto: DesdelaimplementacióndelprogramadediplomadeBachilleratoInternacionalenel2010sehainvertidountotaldeUSD29,2millones.


Tabla2.Presupuesto2010-2017

Año Presupuestoasignado Presupuestodevengado2010 210.834,79 120.145,582011 1.101.221,67 1.061.429,452012 1.207.544,59 1.179.141,682013 5.466.271,51 5.235.320,482014 5.657.779,99 5.616.769,562015 2.231.108,10 2.190.037,362016 12.765.582,24 12.669.528,48EneroaJunio2017 5.508.215,85 1.125.385,66Total 34.148.558,74 29.197.758,25Fuente:E-sigefMinEduc2017

Proceso de acreditación: ParaqueuncolegioseaacreditadoenelBIserequiereuntiempode2años(máximo3).El

procesoeselsiguiente:

1. Solicitud por parte de la unidad educativa a la Organización de Bachillerato

Internacional (OBI)

2. La OBI realiza una primera asesoría que incluye una visita física o asesoría virtual.

La organización en esta visita indica los parámetros a cumplir:

• Talleres oficiales de capacitación a directivos, coordinadores BI y

docentes.

• Implementación física: espacios de aprendizaje, biblioteca, oficina BI,

laboratorios(física,química,biología)

• Implementación filosofía BI: políticas, misión, visión, esquemas,

asignaturas y componentes, horarios y cronogramas, plan de acción,

seleccióndeestudiantes,monografía.

• Equipamiento y materiales: bibliografía BI en la biblioteca de la unidad

educativa,material paraprácticasde laboratorio, calculadoras gráficas y

probidadacadémica(asegurartrabajosdemonografíaoriginales)


3. La OBI realiza una verificación donde constata el cumplimiento de estándares de

infraestructura, equipos, materiales, capacitación y emite un informe de cumplimiento

(conrecomendacionesyplazosdecumplimientoencasodenocumplir)

4. Cumplimiento de recomendaciones por parte de la unidad educativa para visita de

autorización.

5. Verificación de cumplimiento de recomendaciones emitidas en informe de la OBI y

acreditación de la unidad educativa.

ElprocesodeacreditacióndeunaunidadeducativatieneuncostodeUSD54.000

Currículo de bachillerato internacional: ElCurrículodelBIestáformadoporseisgruposdeasignaturasqueson:

1. EstudiosdeLenguayLiteratura,enidiomamaterno(LiteraturaenEspañol).

2. AdquisicióndeLenguas(Inglés).

3. IndividuosySociedades(Historia).

4. CienciasExperimentales(seeligeentreBiología,Físicay/oQuímica).

5. Matemáticas(EstudiosMatemáticos).

6. Artes(sepuedetomarunaasignaturadecualquieradelosotroscincogruposenelcasodeEcuadorsetomaEmpresayGestión).

ComocomplementoalgrupodeasignaturasdelProgramadelDiploma,losalumnosBItomantres

Componentes adicionales que les posibilita reflexionar sobre la naturaleza del conocimiento,

permitiéndoleselaborarunproyectoinvestigativoqueamenudo,conllevaactividadesdeservicio

comunitario.

• TeoríadelConocimiento

• Monografía

• Creatividad,ActividadyServicio

Beneficiarios BI:


Enlatablaacontinuaciónsepresentalosresultadosdelosestudiantesevaluadosdesdeel2011,ydeéstos,aquellosestudiantesqueobtuvieronúnicamentecertificadoyaquellosquerecibierondiploma.

Tabla3.BeneficiariosBI

PromocionesDiplomasBI

AñoUEEducativasBI Estudiantes

evaluados Certificados* Diplomas** %Total Sierra Costa

2011 15 7 8 216 187 29 13.4%2012 17 9 8 228 179 49 21.4%2013 18 10 8 251 194 57 22.7%2014 18 9 9 272 209 63 23.1%2015 25 15 10 442 299 143 32.5%2016 142 70 72 2.615 2.245 370 14.1%

Total 4.024 3.313 711 17.7%*AlumnosquenologranobtenerelpuntajemínimoparaobtenerundiplomadeBI(24puntosyaprobareltrabajodeinvestigaciónconnotamínimadeC).SegradúandeBGU,conuncertificadodeparticipaciónBI.

**NúmerodealumnosqueefectivamentesegradúandeBI.

Delatablaanteriorsedesprendequedeuntotalde4.024estudiantesparticipantesenelBI,solo

711obtuvieroneldiplomadeBI.

Revisión de la literatura

ElestudiodeMayer(2008)usamétodosmixtosparainvestigarlarelaciónentreeldiseñodeun

programa universitario riguroso, el programa de Bachillerato Internacional y el índice

socioeconómicode losestudiantes.EncuentraqueelprogramadeBImejoró lapermanenciade

estudiantes afro americanos, latinos y nativo-americanos desfavorecidos económicamente. Sin

embargo, este programa incluyemecanismos de soporte tanto académicos como sociales para

mantenermotivadosalosestudiantes.

Rosefsky(2011)porsuparteinvestigasielestarmatriculadoenelprogramadeBIenlasescuelas

públicasdeChicagomejora los logrosacadémicos, laprobabilidaddegraduaciónydematrícula

universitariadelosestudiantes.Usadatosdematrículade20.422estudiantesdeBIentre2002y

2008conunametodologíadepropensityscorematchingponderadosiguiendoaHirano,Imbensy

Ridder (2003). Encontró impactos positivos y significativos en las tres variables de interés con

mayorimpactoenloshombres,ademásencontróqueelprogramaBIesunaformacostoefectiva

paraincrementarlatasadegraduación.


PoelzeryFeldhusen(1996)compararonatresgruposdeestudiantesendistintosprogramas:alto

nivel, bachillerato internacional, programa de subsidio y programa regular sobre logros en tres

áreasdeestudio,biología, físicayquímica.Lamuestra incluía708estudiantesde7escuelasen

Canadá. Trabajaron un diseño factorial cuasi experimental con varias tomas, los datos se

analizaronusandoANOVA.Seencontróqueen todas lasáreasdeestudioeldesempeñode los

estudiantesdelBIestabaporencimade losprogramas regulares.Pero seencontrabaalmismo

nivelconlosprogramasdealtonivelydesubsidio.

Rosefskyetal.2013evalúanlarelaciónentreserpartedelprogramadeBachilleratoInternacional

ylapreparaciónparalauniversidaddeestudiantesenMéxico.Trabajanconunametodologíade

estudiodecasoen4escuelas.Seentrevistaronadocentes,personaldirectivoyestudiantespara

conocersusperspectivassobreenquémedidaelprogramadeBIpreparaalosestudiantesparala

universidad.Encontraronquelosestudiantescreenqueserpartedelprogramalesayudarápara

gestionar exitosamente los trabajos en la universidad. Los docentes consideran que varios

aspectos de la preparación del BI los prepara para estar en buen nivel en la universidad. Para

complementarlapartecualitativa,realizaronunavinculaciónentrelosdatosdeloscolegiossobre

lascalificacionesfinalesdelosalumnosylamatrículaenuniversidadesconlosdatosdelBIsobre

las asignaturas y los resultados globales de los exámenes. Encontraron que la mayoría de

estudiantesBIsonexitososensusaplicacionesa launiversidadyporende,sematriculanenlas

mejoresinstitucionesdeMéxico.

Wright y Lee (2014) analizan el potencial de las escuelas que pertenecen al programa de

BachilleratoInternacionalpararesponderalasdemandasenChinaencuantoahabilidadesdesus

estudiantes. Trabajaron con unametodología de estudio de caso en 5 escuelas élite de China.

Encontraron que la filosofía de enseñanza del programa de BI llevaba a los estudiantes a

desarrollarhabilidadessobretodoencuantoa losrequerimientoscentrales:creatividad,acción,

servicio,yteoríadelconocimiento.Apesardeestosresultados,semantienendudasacercadela

implementacióndelprogramadeBIenelcontextodelasescuelasenChina.

Lee et al. 2014 intentanmedir el impacto del programa de BI en China con un enfoque en la

preparacióndelestudianteparauniversidadesenelextranjerosobrevariablesdeaprendizajeen

términos de admisión a la universidad, preparación y desempeño. Realizaron un análisis

cuantitativocondatosdelasescuelasydatosdematrículauniversitariadeestudiantesgraduados

deBIalolargodeltiempo(testsANOVAychicuadrado).Ademáscomparandatosdelexamende


BI con nota de ingreso a la universidad usando análisis descriptivo y modelos de ecuaciones

estructurales. Encontraron que el puntaje del programa es un fuerte predictor del puntaje

universitario, lo cual sugiere que un mayor puntaje BI promueve la admisión a una mejor

universidad(controlandoporvariablesdehogar)yalavezsugieremayoréxitoacadémicoensus

estudiosuniversitariosdurantelosdosprimerosaños.

Gurumurthy, U. (2016) examinan correlaciones entre el colegio y el puntaje (GPA) del primer

semestre de universidad tomando una muestra de graduados del programa de BI. Además,

documentaron las perspectivas de los estudiantes en relación a la efectividad del programa en

cuanto apreparaciónpara la universidad. El estudiousóestadísticadescriptiva, coeficientesde

correlación, coeficientes de determinación y diferencias del tamaño del efecto medio. Los

resultadosdemostraronquelosgraduadosdelprogramaBIalcanzaronunpuntajeGPAmásalto

durante su primer semestre en la universidad. Los resultados cualitativos indicaron que por el

currículoexigentedelprograma,losestudiantesestuvieronpreparadosenelprimersemestrecon

habilidades de escritura, resolución de problemas, manejo de tiempo y de estrés en la

universidad.


Metodología

La base de datos utilizada Se cuenta con una base de datos de panel en donde para cada unidad educativa (escuela y/o

colegio)delsistemaescolarecuatorianosetieneinformaciónsobrelogrosacadémicos(quesonel

resultadodelaaplicacióndepruebasoficialesporpartedelMINEDUC),asícomoinformaciónde

matrícula escolar tanto al inicio como al final del año escolar. Adicionalmente se cuenta con

informacióngeneraldelasunidadeseducativas,ubicación(provincia,cantón,parroquia,distritoy

circuito),sostenimiento(fiscal,privada,municipalofisco-misional),zona(urbanaorural),régimen

escolar(sierraocosta),jurisdicción(hispanaobilingüe),modalidad(presencialosemi-presencial),

númerodeprofesores(porsexo),sitieneonorector(odirector),vicerrectoreinspector,número

dealumnos(ainicioyafinaldecadaañolectivoporgrado),ubicación(urbanaorural),número

decomputadorasysicuentaonoconlaboratoriodecomputación, índicesocio-económico,etc.

Paracadaunidadeducativasecuentaconinformacióndesdeel2008hastael2016.

Dado que el objetivo del estudio de impacto es analizar el efecto tanto enmatrícula como en

logrosacadémicos,acontinuaciónsepresenta la informaciónsobre lasvariablesderesultadoa

serusadas.

Informaciónsobrematrícula

Comosemencionóarriba,labasededatosdepanelqueseconstruyeparacadaunidadeducativa

contieneelregistrodelnúmerodeestudiantestantoaliniciodelañocomoalfinaldelañolectivo.

Comparandolasmatrículasdefindeañoparadosañosconsecutivosendosgradosconsecutivos,

entrelosgruposdetratamientoydecontroltendremoselimpactoenmatrículaescolar.Esdecir,

sevaacalcularlatasadepromoción,definidacomo:

𝑃!,! =!!!!,!!!!!,!

Endondelapromociónenelgradog,enelañot,es iguala lamatrículafinaldelañot+1,enel

grado g+1, dividida para lamatrícula final en el año t en el grado t. Se trabaja con la tasa de

promociónpromediaparalosprimeros6añosdebásica,asícomoconlatasadepromociónpor

grado. Se evalúa el impacto en el último año lectivo disponible (2015-2016), y se usa como

variabledecontrolalatasadepromocióndelprimerañodelaseriededatos(2008).


Informaciónsobrelogrosacadémicos

Lainformaciónsobrelogrosacadémicosqueseincorporóenlabasededatoseslasiguiente:

1. PruebaSER2008

Seaplicóenelaño2008demaneracensalaestudiantesdeestablecimientoseducativosfiscales,

fisco misionales, municipales y particulares, en los años: 4to, 7mo, 10mo de básica y 3ro de

bachillerato, en las áreas de Matemática y Lenguaje (se incluyó Estudios Sociales y Ciencias

NaturalesdemaneramuestralenséptimoydécimodeEducaciónBásica).

Se evaluó a un total de 803.065 estudiantes. Las pruebas miden destrezas fundamentales de

dominiosespecíficosdecadaunadelasáreasdeaprendizajeevaluadas.

2. PruebaSERBACHILLER(2014–2016)

A partir del período escolar 2014-2015 el INEVAL realiza exámenes estandarizados a todos los

estudiantesde3rodebachilleratoquehayanaprobadolasasignaturasdelrespectivocurrículode

establecimientoseducativosfiscales,fisco-misionales,municipalesyparticulares.Tienecobertura

nacional, es de carácter censal y está dirigida a estudiantes que aspiran a obtener su título de

bachiller. Se evalúan las asignaturas de matemática, lenguaje, ciencias naturales y estudios

sociales.

En lamedidaenque la implementacióndelBI empezóenel2010, a lapruebademediciónde

logrosdel2008selavaatomarcomoprimeratomaocomolíneadebase.

Dadoquetenemospruebascensalessoloparalosañoslectivos(2014-2015,y2015-2016),solose

podráanalizarelimpactoenlogrosen3ºdebachillerato.

Seevalúaelimpactoenlenguajeymatemáticas,ysetrabajaconpruebasestandarizadas,usando

ladesviaciónestándardelgrupodecontrolparalaestandarización.

Estrategia de identificación

ParaevaluarelimpactodelBIenmatrículayenlogrosacadémicos,sevaautilizardosestrategias

metodológicasparaevaluarelimpactodelasintervencionesanalizadas.

Estrategia1.Diferenciasendiferenciasconefectosfijosypropensityscorematching.


Cuandosetrabajaconunabasededatosdepanel,esdecirquealamismaunidadseleobserva

varias veces en el tiempo, se tiene muchas ventajas respecto a la posibilidad de encontrar

causalidad.Unadelasprincipalesventajas,alobservaralamismaunidadatravésdeltiempo,es

laposibilidaddecorregirporefectosno-observables,quesemantenganfijoseneltiempo.

Siseasumeunmodelolinealdelsiguientetipo:

𝑌!" = 𝛽! + 𝑋ï!𝛽 + 𝑐! + 𝑒!" (1)

En donde el sufijo i se refiere a la unidad (en nuestro caso escuelas), y el sufijo t se refiere al

tiempo.Yiteslavariablederesultado(quepuedeserparticipaciónescolarologrosacadémicos),

Xitesunvectordevariablesdecontrolquecambianeneltiempoono,ciesuncomponentedeno

observablesaniveldeescuelaquenocambiaconeltiempo,yporúltimoeiteseltérminodeerror

idiosincrático. La inclusión del término ci nos permite corregir por efectos no observables

(siemprequeestosseanfijoseneltiempo).Estaúltimaesunadelasprincipalesventajasdelos

modeloseconométricoscondatosdepanel.

Para ver como se corrige por no observables, asumamos, por ejemplo, que tenemos varias

escuelasconinformaciónendospuntosdeltiempo.Sisacamosladiferenciadelasvariablesdel

modeloanteriortenemos:

∆𝑌 = ∆𝑋 𝛽 + ∆𝑒 (2)

Endonde∆𝑌 = 𝑌!! − 𝑦!!;y,∆𝑋 = 𝑋!! − 𝑋!!,∆𝑒 = 𝑒!! − 𝑒!!

Enestecasoelparámetro𝛽sepuedeestimardirectamenteenlaecuación2.

Al hacer la diferencia, el término c desaparece, lo que implica que elmodelo asume que ci es

constanteeneltiempoypermitecapturarlascaracterísticasdeunaunidad(escuela)quesonfijas

y no cambian en el tiempo (como por ejemplo, habilidad y motivación del director y sus

profesores,capacidadadministrativaydelobbyingdesusdirectivosypadresdefamilia,etc.).

Paranuestrocaso,dadoqueelobjetivoesevaluarel impactodeuna intervenciónespecíficaes

convenienteutilizarlasiguienteespecificación:

𝑌!"! = 𝛽! + 𝑋ï!!𝛽 + 𝛼𝑇!" + 𝑌!"#+ 𝑐! + 𝜏! + 𝑒!" (3)


EndondeYit,Xit,ciyeisonlosmismosqueenlaecuación1,𝜏! eselefectotiempoparatodaslas

escuelasenelperíodot.Seincluyeademáscomovariabledecontrolalavariablederesultadoen

líneadebase(2008);y,Titeslavariablequeindicasilaescuelarecibeonoeltratamientoydesde

queañoempezóa recibirlo (esunadummyde interacciónentre ladummyde tratamientoy la

dummy de año de inicio del programa). El impacto de la intervención estaría dado por el

parámetro𝛼.Enesencia, laestrategiade identificaciónsetratadeunmodelodediferenciasen

diferenciasconefectosfijos.

Adicionalmente a lo anterior, debido a que se dispone de importante información en línea de

base(estoesparaelaño2008),sepuedeutilizarlaprobabilidaddeparticipaciónenelprograma

analizado,paraemparejaralasescuelas,conbaseencaracterísticasobservables.Existenmuchas

formas de llevar a cabo el emparejamiento: el vecino más cercano, los cinco vecinos más

cercanos, usando toda la distribución, etc. Desarrollos recientes en la literatura delmétodo de

emparejamiento muestran problemas potenciales con la eficiencia de los estimadores de

emparejamientocuandoseusaunbootstrapparacalcular loserroresestándar (Imbens,2003y

2004;Hirano, Imbens yRidder, 2003).Hirano yotros autores (2003)proponenotramanerade

emparejamientoparaobtenerestimadorestotalmenteeficientes. Setratadeestimarlaecuación

(3)peroutilizandomínimoscuadradosponderados,endondelospesosqueseusanson,1para

lasunidades tratadas, y𝑇 𝑋 ∕ 1 − 𝑇 𝑋 para lasunidadesdecontrol1. Eneste caso𝑇 es la

probabilidadcondicionaldeparticipaciónenelprograma(propensityscore)estimadaapartirde

unmodeloprobit(ecuacióndeselección)delasiguienteforma:

𝑇! = 𝑋′!"!𝜋 + 𝛾𝑌!"! + 𝜐!" (4)

EndondeTiesunadummyquetomaelvalorde1silaescuelaparticipaenelprograma,ydecero

en caso contrario. Xit0 es un vector de variables en línea de base que incluye: la variable de

resultadoparaelaño2008,dummiescantonales,dummiesporrégimen,jurisdicción,modalidad,

jornada,númerodeestudiantesyprofesores,númerodecomputadoras,yunadummyporárea.

Yit0eslavariablederesultadoenlíneadebase.Todaslasvariablessontomadasconlosvaloresen

elaño2008.Porúltimo,vitesuntérminodeerrorquesigueunadistribuciónnormal.1Alusarestaponderaciónseobtieneeltratamientopromedioenlostratados.Sisequiereobtenerel

tratamientopromedioparatodalapoblación,lospesosson )(ˆ/(1 XP paralasunidadestratadas,y))(ˆ(1/(1 XP− paralasunidadesdecontrol.VerHirano,ImbensyRidder(2003).


Endefinitiva,laestrategiametodológicasebasaenunacombinacióndeunmodelodediferencias

endiferenciasconefectosfijos,conunemparejamientoconbaseenlaprobabilidaddeparticipar

enelprograma.Deestaforma,nosaseguramosdecorregirtantoporobservables,comoporno

observables(quenocambieneneltiempo),paraevitarposiblessesgosenlasestimaciones.

Estrategia2.Diferenciasendiferenciasconefectosfijosypipelinecomparison.

Lasegundaestrategiaobviamentetambiénpartedelusode losdatosdepanel.Enestesentido

tambiénseestimaelmodelodediferenciasendiferenciasconefectosfijos(ecuación3),soloque

enestecasoseusarácomogrupodecontrola lasescuelasqueesténen listadeesperapara la

ejecucióndelprogramaanalizado.Esdecir,elgrupodecontrolseránlasescuelasqueyahansido

seleccionadasparaserintervenidasyquedichaintervenciónsedaráenelaño2017(oinclusoa

finales del 2016). Esta estrategia metodológica, conocida como pipeline comparison, permite

corregirlasestimacionesporsesgoporselección(Angrist,1998).Laideaprincipalesquealusarla

estrategiadepipelinecomparisonsecorrigeelefectodevariablesno-observablesenelproceso

de selección; mientras que al usar el modelo de diferencias en diferencias se corrige por no

observables fijos en el tiempo. Por último, al incluir en la regresión todos los controles que

estamos incluyendoenelvectorX,asícomolavariablederesultado,en líneadebase,estamos

tambiéncontrolandoporobservables.


Resultados

Logros académicos Paraempezarsepresentaunacomparacióndemediasentrelasunidadeseducativasquetienen

BIversuslasotrasunidadeseducativas.Sólosetrabajaconunidadesdelsistemapúblico.

Tabla4.Comparacióndemediasenlíneadebaseentretratamientoycontrol

Variable Controls sd Treated Sd p-value

Mate2008 0.017 (0.863) 0.490 (0.754) [0.000]

Lenguaje2008 0.031 (0.808) 0.562 (0.687) [0.000]

Matutina 0.601 (0.490) 0.272 (0.446) [0.000]

Vespertina 0.069 (0.254) 0.000 (0.000) [0.000]

Nocturna 0.005 (0.074) 0.000 (0.000) [0.000]

Matutinayvespertina 0.174 (0.380) 0.329 (0.471) [0.000]

Matutinaynocturna 0.069 (0.253) 0.154 (0.362) [0.000]

Vespertinaynocturna 0.007 (0.081) 0.000 (0.000) [0.000]Matutina,vespertinaynocturna 0.074 (0.262) 0.244 (0.430) [0.000]

Régimensierra 0.432 (0.495) 0.537 (0.500) [0.001]

Sistemahispano 0.998 (0.039) 1.000 (0.000) [0.025]

Presencial 0.996 (0.060) 0.996 (0.064) [0.918]

Accesoterrestre 0.993 (0.081) 1.000 (0.000) [0.000]

Estudiantes2008 547 -673 1.580 -1.136 [0.000]

Docentes2008 29.600 -30.425 78.341 -49.492 [0.000]

Computadoras2008 16.442 -22.481 37.224 -33.095 [0.000]

N 3302 246

Se encuentra diferencias significativas en todas las variables en línea de base, excepto en la

variable de modalidad de estudio. En general, las unidades educativas de tratamiento tienen

mejores pruebas tanto enmatemáticas comoen lenguaje en líneadebase, y sonmuchosmás

grandestantoennúmerodeestudiantes,comodedocentesydecomputadoras.

LuegoderealizarelmatchingutilizandoenmétododeHiranoyotros(2003), lacomparaciónde

mediasentre tratamientoy control, lograemparejar losgrupos, aunquenocompletamente,en

las variables en línea de base. Para analizar lo anterior, en la siguiente tabla se presentan

resultadosde regresionesponderadas (con lospesosdeacuerdoaHiranoyotros2003),en las


cuales la variable independiente es cada una de las variables en línea de base y la variable

dependienteeslavariabledetratamiento.

Tabla5.Comparacióndemediasentretratamientoycontrolenvariablesenlíneadebase,luegodelmatching

Variable Coeficiente Err.Estd P-value N r2

Mate2008 -0.156 0.081 0.054 1960 0.009

Lenguaje2008 -0.107 0.063 0.086 1960 0.006

Matutina 0.030 0.036 0.407 1960 0.001

Vespertina 0.000 0.000 . 1960 .

Nocturna 0.000 0.000 . 1960 .

Matutinayvespertina 0.037 0.043 0.383 1960 0.002

Matutinaynocturna -0.006 0.034 0.852 1960 0.000

Vespertinaynocturna 0.000 0.000 . 1960 .

Matutina,vespertinaynocturna -0.061 0.055 0.262 1960 0.005

Régimensierra -0.074 0.046 0.109 1960 0.006

Sistemahispano 0.000 0.000 1.000 1960 0.000

Presencial -0.001 0.004 0.795 1960 0.000

Accesoterrestre 0.000 0.000 1.000 1960 0.000

Estudiantes2008 -524.436 282.324 0.063 1960 0.028

Docentes2008 -25.295 11.461 0.027 1960 0.032

Computadoras2008 -9.851 4.107 0.017 1960 0.018

Trabajandoanivelesconvencionalesdel95%deconfiabilidad,persistendiferenciassignificativas

enelnúmerodedocenteydecomputadoras.Enelcasodelogrosenlíneadebase,ladiferencia

es significativa al 90%, pero el coeficiente es negativo, lo que significa que las unidades de

tratamiento están en peores condiciones que las de control. Algo similar pasa en el caso del

tamaño.Lasunidadesdetratamiento,luegodelmatching,sonmáspequeñas,enpromedio,que

lasdecontrol.Entodocaso,todasestasvariablesseránintroducidascomovariablesdecontrolen

losmodeloseconométricosparaestimarelimpactodelprograma.

Luego del emparejamiento se aplicó el modelo de diferencias en diferencias de acuerdo a lo

definidoenlaecuación(3).Tantoparalaspruebasdel2015,comoparalaspruebasdel2016.En

todos loscasosseutilizótresespecificaciones.Laespecificación1soloutilizacomovariablesde

control a la prueba del 2008. La especificación 2 incluye, además, como controles a todas las

variables de la tabla anterior. Por último, la especificación 3 incluye, además, dummies


cantonales.Losresultadosparael2015sepresentanenlasiguientetabla.Entodosloscasosse

reportaelcoeficienteyelerrorestándar.

Tabla6.ImpactodelBIenlogrosacadémicos.Año2015.

Variable L_1 L_2 L_3 M_1 M_2 M_3

bach_intern 0.098 0.095 0.096 0.164 0.186 0.187

0.059 0.049 0.031 0.068 0.063 0.042

leng_se2009 0.501 0.569 0.506

0.041 0.040 0.035

mat_se2009

0.458 0.438 0.476

0.044 0.050 0.045

N 1829 1823 1823 1829 1823 1823

r2 0.177 0.386 0.713 0.168 0.205 0.640

Se encuentra un impacto positivo de 0,09 desviaciones estándares en lenguaje, y de 0,19

desviacionesestándaresenmatemáticas,enlaspruebasdel2015.

Enlasiguientetablasepresentalosresultadosparalaspruebasdel2016.

Tabla7.ImpactodelBIenlogrosacadémicos.Año2016.


bach_intern 0.090 0.133 0.164 0.124 0.156 0.171

0.050 0.049 0.029 0.063 0.063 0.038

leng_se2009 0.563 0.459 0.471

0.049 0.058 0.039

mat_se2009

0.413 0.354 0.392

0.031 0.046 0.044

N 1820 1814 1814 1820 1814 1814

r2 0.260 0.315 0.702 0.150 0.173 0.649


Enestecasotambiénseencuentraimpactopositivotantoenlenguajecomoenmatemáticas,de

0,16y0,17desviacionesestándaresrespectivamente.

Unpotencialproblemaconlosresultadosencontradoshastaaquíesquenoestamoscorrigiendo

por variables, en especial no observables, que puede haber influenciado en el proceso de

seleccióndelasescuelasparaparticiparenelprograma.Unaformadecorregirestoesutilizara

lasunidadeseducativasconBIqueyafueronseleccionadasyqueaúnnosehaninaugurado.Para

ello se utilizó como grupo de control a las BI acreditadas en el 2016, y a aquellas que serán

acreditadasenel2017.

En la siguiente tabla se presenta la comparación demedias entre los grupos de tratamiento y

controlpreviamentedefinidos.

Tabla 8. Comparación de medias entre tratamiento y control en línea de base usando como

controlalosdelistadeespera.

Variable Controls sd Treated sd p-value

Mate2008 0.819 (0.707) 0.443 (0.761) [0.001]

Lenguaje2008 0.857 (0.582) 0.513 (0.697) [0.000]

Matutina 0.163 (0.373) 0.300 (0.460) [0.027]

Vespertina 0.000 (0.000) 0.000 (0.000) [.]

Nocturna 0.000 (0.000) 0.000 (0.000) [.]

Matutinayvespertina 0.388 (0.492) 0.315 (0.465) [0.342]

Matutinaynocturna 0.143 (0.354) 0.150 (0.358) [0.895]

Vespertinaynocturna 0.000 (0.000) 0.000 (0.000) [.]Matutina,vespertinaynocturna 0.306 (0.466) 0.235 (0.425) [0.324]

Régimensierra 0.857 (0.354) 0.479 (0.501) [0.000]

Sistemahispano 1.000 (0.000) 1.000 (0.000) [.]

Presencial 1.000 (0.000) 0.995 (0.069) [0.319]

Accesoterrestre 1.000 (0.000) 1.000 (0.000) [.]

Estudiantes2008 1.809 -1.257 1.578 -1.144 [0.238]

Docentes2008 92.959 -59.133 78.000 -49.869 [0.100]

Computadoras2008 51.755 -35.961 34.526 -31.152 [0.002]

N 49 213

Se encuentra diferencias significativas entre tratamiento y control en logros, jornadamatutina,

régimensierrayenelnúmerodecomputadoras.Enelrestodevariableslasunidadeseducativas


sonsimilares.Respectoalogros,lasunidadesdetratamientotienenmenorespuntajesquelasde

control.

Enlasiguientetablasepresentalosresultadosdeimpactoenlogrosdel2015.

Tabla9.ImpactodelBIenlogrosdel2015.


bi_15s 0.459 0.243 0.343 0.273 0.257 0.322

0.132 0.127 0.139 0.155 0.162 0.183

leng_se2009 0.532 0.590 0.473

0.066 0.060 0.066

mat_se2009

0.536 0.541 0.422

0.057 0.069 0.090

N 262 262 262 262 262 262

r2 0.201 0.398 0.626 0.182 0.243 0.459

Seencuentraun impactosignificativotantoen lenguajecomoenmatemáticas,de0,34y0,322

desviacionesestándar,respectivamente.

Enlasiguientetablasepresentalosresultadosparael2016.

Tabla10.ImpactodelBIenlogrosdel2016.


bi_15s 0.193 0.259 0.241 0.403 0.424 0.348

0.084 0.093 0.101 0.120 0.138 0.153

leng_se2009 0.493 0.401 0.468

0.084 0.091 0.079

mat_se2009

0.522 0.488 0.526

0.052 0.068 0.075

N 262 262 262 262 262 262

r2 0.195 0.288 0.541 0.202 0.265 0.606

2Esteresultadoessignificativoal90%.


Seencuentraun impacto significativo tantoen lenguaje comoenmatemáticas, de0, 24 y 0,35

desviacionesestándar,respectivamente.

Matrícula

Comosemencionóenlapartedemetodología,paraanalizarelimpactoenmatrículasecalculala

tasadepromociónporgrado.Unindicadordesíntesiseslatasadepromociónpromedioparalos

3 años de bachillerato. En esta parte se presenta los resultados promedios, mientras que en

anexosepresentanlosresultadosporcurso.Seutilizaelmodelodediferenciasendiferenciasde

laecuación(3),estimando loscoeficientesporMCOponderadosdeacuerdoa loHiranoyotros

(2003).

Lasiguientetablapresentalosresultadosresúmenesparalos3añosdebachillerato.

Tabla11.ImpactodelBIenmatrícula

Variable Pro_bac_1 Pro_bac_2 Pro_bac_3

bach_intern 0.139 0.147 0.145

0.054 0.057 0.049

N 5498 5495 5495

r2 0.018 0.058 0.197

Se encuentra un impacto positivo en la tasa de promoción del 14%. Cuando se desagrega esta

información por curso, se encuentra que el grueso del impacto está en el primer año de

bachillerato.Veranexo1.


Conclusiones

ElprogramadeBachillerato Internacional tienecomoobjetivoprincipalmejorar lacalidadde la

educación en los colegios del país, mediante un proceso de acreditación internacional que les

habilitaaemitirundiplomaconestándaresinternacionales.

Hasta la actualidad,201 colegios fiscaleshan sidoacreditados conelBachillerato Internacional,

luego de un riguroso programa de calificación, en 19 provincias del país. El objetivo inicial del

programaeslograrlaacreditaciónde500colegios,deuntotaldealrededorde3.000colegios.

Los 201 colegios acreditados cubren a alrededor de 4.000 estudiantes, con un presupuesto

invertido,desdeeliniciodelprogramaenelaño2010,de29,2millonesdedólares.Conuncosto

unitariodelprogramadeUS$1.939dólares.

Se evalúa el impacto en logros académicos utilizando las pruebas SER bachiller del 2015 y del

2016,asícomoelimpactoenmatrícula.Seutilizadosmetodologíasdeevaluacióndeimpacto.En

primerlugar,secombinaunmodelodediferenciasendiferenciasconunemparejamientoporla

probabilidad de participar en el programa. Mientras el emparejamiento permite balancear los

gruposdetratamientoydecontrolencaracterísticasobservablesantesdeliniciodelprograma,el

modelodediferenciasendiferenciaspermitecontrolarporcaracterísticasnoobservablesquese

mantienenfijaseneltiempo.Losresultados,usandoestaestrategiametodológica,encuentranun

impactopositivoysignificativoenlogrosacadémicosenlenguajeymatemáticas,dealrededorde

0,09 y 0,19 desviaciones estándar en las pruebas del año 2015. Lo anterior equivale a un

incrementode7y16puntos,respectivamente,enlospuntajesdelaspruebassobre1000puntos.

Tambiénseencuentraunimpactopositivoenlaspruebasdel2016enlenguajeymatemáticas,de

0,16y0,17desviacionesestándarrespectivamente,enlaspruebasdel2016;loqueequivaleaun

incremento de 12 y 16 puntos, respectivamente, en los puntajes de las pruebas sobre 1000

puntos.

La segunda estrategiametodológica utilizada combina unmodelo de diferencias en diferencias

con listadeespera.Estosignificaqueseusacomogrupodecontrola loscolegiosdel2016,ya

aquellos que están en proceso de acreditación para ser calificados en el 2017. Esta estrategia

metodológica nos permite corregir por posible sesgo de selección. En este caso también se

encuentra efectos positivos y significativos tanto en lenguaje como en matemáticas. En las


pruebasdel2015,elimpactoesde0,34y0,32desviacionesestándar,respectivamente.Entanto

que,enelaño2016,elimpactoesde0,24y0,35,respectivamente.

Encuantoamatrícula,seutilizalatasadepromociónescolarentredoscursosconsecutivosydos

años. Se encuentra un incremento de la promoción de 15%, en promedio, en los tres años de

bachillerato.Elgruesodelefectosedaenelprimerañodebachillerato.

La principal conclusiónque se puedeobtener del estudio es que existe evidencia empírica que

corroboralaexistenciadeimpactospositivosenlogrosacadémicosyenmatrículadelprograma

deBachilleratoInternacional.


Referencias

Angrist,J.(1998).“EstimatingTheLaborMarketImpactsofVoluntaryMilitaryServiceUsingSocialSecurityDataonMilitaryApplicants”.Econometrica66(2):249-288.

Gurumurthy,U.(2016).Internationalbaccalaureate:Astudyincollegereadiness(Doctoraldissertation,TexasA&MUniversity-CorpusChristi).

Hirano K; Imbens G y Ridder G. (2003). “Efficient Estimation of Average Treatment Effects Using theEstimatedPropensityScore”.Econometrica.Vol.71,N.˚4:1161-1189.

Imbens G. (2003). “Sensitivity to Exogeneity Assumptions in Program Evaluation”. Recent Advances inEconometricMethodology.Vol.93.N.˚2:126-132.

Lee,M.,Leung,L.,Wright,E.,Yue,T.,Gan,A.,Kong,L.,&Li,J.(2014).AStudyoftheInternationalBaccalaureateDiplomainChina:Program’simpactonstudentpreparationforuniversitystudiesabroad.EducationPolicyUnit,FacultyofEducation,HongKongUniversity.

Mayer,A.P.(2008).ExpandingOpportunitiesforHighAcademicAchievement:AnInternationalBaccalaureateDiplomaPrograminanUrbanHighSchool.JournalofAdvancedAcademics,19(2),202-235.

Poelzer,G.H.,&Feldhusen,J.F.(1996).AnempiricalstudyoftheachievementofInternationalBaccalaureatestudentsinbiology,chemistry,andphysics—inAlberta.JournalofSecondaryGiftedEducation,8(1),28-40.

Saavedra,A.R.(2011).TheacademicimpactofenrollmentinInternationalBaccalaureateDiplomaPrograms:AcasestudyofChicagoPublicSchools(Doctoraldissertation,HarvardUniversity).

Saavedra,A.R.,Lavore,E.,&Flores-Ivich,G.(2016).TheInternationalBaccalaureateDiplomaProgrammeinMexicoaspreparationforhighereducation.Compare:AJournalofComparativeandInternationalEducation,46(3),344-368.

Wright,E.,&Lee,M.(2014).Developingskillsforyouthinthe21stcentury:TheroleofeliteInternationalBaccalaureateDiplomaProgrammeschoolsinChina.InternationalReviewofEducation,60(2),199-216.

⎯⎯⎯⎯ (2004). “NonparametricEstimationofAverageTreatmentEffectsUnderExogeneity:A review”.

TheReviewofEconomicsandStatistics,86(1):4-29.


Anexos

Anexo1.ImpactodelBIporcurso.

1bac

Variable Pro_1b_1 Pro_1b_2 Pro_1b_3

bach_intern 0.366 0.378 0.380

0.142 0.154 0.134

N 5498 5495 5495

r2 0.013 0.036 0.158

2bac


bach_intern 0.019 0.021 0.019

0.018 0.019 0.016

N 5498 5495 5495

r2 0.173 0.241 0.426

3bac


bach_intern 0.030 0.041 0.035

0.029 0.026 0.019

N 5498 5495 5495

r2 0.002 0.113 0.361

Evaluacion impacto diploma bachillerato internacional › wp-content › uploads › ...Bachillerato...

Documents

Transcript of Evaluacion impacto diploma bachillerato internacional › wp-content › uploads › ...Bachillerato...