Post on 30-Aug-2018
Sistema de Medición de Calidad de Educación
Medellín, 7 de Febrero de 2013
1. Sistema de Medición de la Calidad de las Instituciones Educativas de Medellín
2. Indicador Multivariado
3. Resultados Indicador Multivariado para Medellín
4. Reportes WEB y Aplicativo
Contenido
El Sistema de Medición de la Calidad Educativa es una plataforma informática que evalúa las IE según:
SIMCIE
Indicador Cuantitativo Indicador Multidimensional (EAFIT)
Ambiente Escolar Rendimiento Progreso
Indicador Cualitativo Rubrica de Gestión Curricular
Coherencia Curricular Planeación Empleo herramientas información Formación Docente
Sistema de Medición Calidad Educativa
Monitoreo Evaluación
Toma de Decisiones
Evaluación Cuantitativa- Índice Multivariado
Informes Ambiente
Escolar Rendimiento
y Progreso de las IE
Análisis de clústeres: Conocer el nivel de calidad de educación de la IE con respecto a sus pares en
condiciones socioeconómicas y de
entorno
Evaluación cualitativa de
calidad – Rubrica Gestión
Curricular
Permite ordenar las IE en términos de calidad
Permite medir todas las IE con el mismo instrumento
Permite comparar las IE en cada categoría con todas las IE de la ciudad y con sus semejantes (definidas por metodología de clústeres)
Permite identificar las fortalezas y debilidades de las IE en diferentes dimensiones analizadas: proporciona un índice de calidad por dimensión y su posición con respecto a las otras IE
Funciones Sistema
Análisis por componentes principales
El indicador está compuesto de tres dimensiones, donde cada una tiene un peso distinto según su importancia relativa dentro del conjunto total de variables.
Indicador Multidimensional
Dimensión Aporte porcentual máximo al
indicador
Ambiente Escolar 29.82%
Rendimiento 34.80%
Progreso 35.38%
• Encuesta de percepción a docentes, padres de familia y estudiantes
• Muestra representativa a nivel de IE
• Cuantificación de respuestas cualitativas
• Pilotos: – Evaluación de Escuelas de Calidad para la Equidad y la Convivencia –
Medellín, 2008
– IEs Publicas – Medellín, 2011 y 2012
– IEs Privadas – Medellín, 2012
– IEs Publicas – Cali, 2011
– Revisiones: Secretaria de Educación de Medellín, EAFIT, ExE, Sistema de Evaluación de Escuelas New York
Ambiente Escolar
Componentes:
• Expectativas Académicas: si la IE motiva a los estudiantes a cumplir con éxito su formación, objetivos académicos rigurosos y coherentes
• Comunicación: si la IE mantiene informados a los actores acerca de los objetivos educativos y del progreso del estudiante con respecto a sus resultados académicos
• Nivel de participación: si la IE incentiva en los actores con la finalidad de comprometerlos con la labor de la institución
• Seguridad y el respeto: imagen que los actores tienen con relación a la seguridad física y emocional que ofrece la IE
Ambiente Escolar
Que hemos aprendido:
– La percepción entre actores no es estadísticamente diferente, lo que valida la agregación de respuestas entre actores
– La percepción es relativamente alta, aunque si hay variabilidad
– Hay correlación entre puntaje total y el estimado
– Comportamiento general entre encuestas: siempre Expectativas Académicas parece estar mejor que las otras categorías pero Seguridad y Respeto menor que el resto
– Adición de preguntas relacionadas con inclusión, ambientes de aprendizaje
Ambiente Escolar
– Mediana de los resultados en las pruebas SABER
– Porcentaje de estudiantes en cada rango de calificación pruebas SABER (después de normalizar, el cambio en puntaje para alto no cambia mucho los resultados)
– Indicadores de aprobación y extra edad
– Recientemente se adiciono continuidad, pero se esta tratando de crear una nueva dimensión de Retención
Rendimiento
• Objetivo: indicador que permita estimar el avance de las IE en los resultados de la pruebas SABER en el tiempo
• Limitaciones: no comparabilidad de los resultados entre años
• Propuesta: crear un indicador ordinal que mida el cambio de cada IE en percentiles con respecto al resto de las IE en misma entidad territorial
• Indicador no lineal que de mayor peso a aumentos en el percentil cuando la situación inicial de la IE es alta, y menor peso a las que están en posición baja; de igual forma, que de mayor peso a disminuciones en percentil en las posiciones bajas y menor peso en las posiciones altas
Indicador de Progreso
El progreso se estimó con una función de crecimiento no lineal entre la diferencia del percentil alcanzado en el año 2010 y en el año 2007.
Se establece una forma exponencial
Progresolen11=dlen*(len07)^1.5 + len10^1.5 if dlen > =0
Progresolen11=dlen*((101-len07)) ^1.5+len10^1.5 if dlen <0 En donde, dlen= len10-len07 len10: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2010 len07: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2007
Indicador de Progreso
Con estos valores finalmente se normaliza el indicador para que quede entre 0 y 100: Progresolen11= (Progresolen11+Min)*100/(Max-Min)
Indicador de Progreso
Dificultades: 1. Muchas IE pueden tener la misma mediana (media?)
entonces el percentil asignado depende de la ordenación de las IE
a. Corrección por continuidad: todas las IEs con el mismo resultado se le asigna el mismo percentil. El problema es que puede castigar fuertemente a las vecinas.
b. Normalizar los puntajes y asignarle los percentiles de la normal, el problema es definir los parámetros
2. Definición en el conjunto de evaluación: país, ciudad, clústeres etc….
3. Forma funcional debería ser resultado de proceso de análisis mejor fundamentado (no ensayo y error)
Indicador de Progreso
Resultados de la Estimación del Indicador Multivariado de la Calidad
Educativa para las IE Oficiales de Medellín
Variable Ponderador(Primera componente)
Expectativas académicas 0.5269
Comunicación 0.5151
Nivel de participación 0.5157
Seguridad y respeto 0.4371
Ponderadores Ambiente Escolar
Variable Ponderador (Primera componente)
Promedio del rendimiento en matemáticas saber 11
2007.
0.2636
Promedio del rendimiento en lenguaje saber 11 2007. 0.3347
Porcentaje de los estudiantes que está en el nivel alto
en la prueba de matemáticas de saber 11 2007
0.1786
Porcentaje de los estudiantes que está en el nivel alto
en la prueba de lenguaje de saber 11 2007
0.1685
Promedio del rendimiento en lenguaje saber 11 2010. 0.3190
Promedio del rendimiento en matemáticas saber 11
2010.
0.3610
Porcentaje de los estudiantes que está en el nivel alto
en la prueba de matemáticas de saber 11 2010
0.2503
Porcentaje de los estudiantes que está en el nivel alto
en la prueba de lenguaje de saber 11 2010
0.1132
Ponderadores Rendimiento
Variable Ponderador (Primera componente)
Porcentaje de estudiantes que está en el nivel alto en
la prueba de matemáticas saber 9 2009.
0.0565
Porcentaje de estudiantes que está en el nivel alto en
la prueba de lenguaje saber 9 2009
0.2504
Porcentaje de estudiantes que está en el nivel alto en
la prueba de matemáticas saber 5 2009.
0.0499
Porcentaje de estudiantes que está en el nivel alto en
la prueba de lenguaje saber 5 2009.
0.2479
Aprobación 5 0.3472
Aprobación 9 0.2992
Proporción de personas que presentan la prueba saber
11 en edad esperada
0.3327
Ponderadores Rendimiento
Variable Ponderador (Primera
componente)
Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 5
0.5679
Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 9
0.4130
Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 11
0.7071
Crecimiento de la posición relativa de la IE en matemática en la prueba saber 5
0.5327
Crecimiento de la posición relativa de la IE en matemática en la prueba saber 9
0.4724
Crecimiento de la posición relativa de la IE en matemática en la prueba saber 11
0.7071
Ponderadores Progreso
• Hay imputación de algunos indicadores, pero se excluyen aquellas IEs que requieren mas de una variable de imputación
• Se genera un Bonus a las IE con alto porcentaje en estrato 1 y 2 que obtienen alto rendimiento en las Olimpiadas del Conocimiento
• Se hace una lectura cualitativa de los resultados por rangos: categorías
• Se hace comparación del ranking de la IE con respecto al resto de IE en la ciudad y con respecto a las pertenecientes a su clúster
Resultados Indicador
Institución educativa Indicador Multivariado
indicador M + Bonus
Ambiente escolar
Rendimiento Progreso Bonus
1 INST EDUC LA PRESENTACION 55.15 55.15 16.416 13.995 24.739 0 2 INST EDUC LA SALLE DE CAMPOAMOR 55.022 55.022 16.129 12.563 26.329 0 3 INS TEC INDUSTRIAL PASCUAL BRAVO 53.314 63.314 13.553 13.404 26.357 10 4 INST EDUC SANTA JUANA DE LESTONAC 52.506 62.506 16.965 12.724 22.817 10 5 INST EDUC YERMO Y PARRES 52.042 52.042 14.565 12.458 25.019 0 6 INST EDUC SANTO ANGEL 51.837 51.837 14.868 14.296 22.673 0 7 INST EDUC INEM JOSE FELIX DE RESTREPO 51.374 60.374 14.807 12.082 24.486 9
8 INST EDUC OCTAVIO CALDERON MEJIA 51.218 51.218 15.868 11.69 23.659 0 9 INST EDUC JESUS MARIA EL ROSAL 51.217 51.217 16.009 13.301 21.906 0 10 INST EDUC FRANCISCO ANTONIO ZEA 51.195 51.195 15.114 11.678 24.403 0 11 INST EDUC SANTOS ANGELES CUSTODIOS 50.986 50.986 15.357 12.271 23.358 0
12 INST EDUC JOSE ASUNCION SILVA 50.855 50.855 15.065 11.658 24.133 0 13 INST EDUC JAVIERA LONDOÑO 50.719 50.719 14.546 11.545 24.628 0 14 INST EDUC ESCUELA NORMAL SUPERIOR
DE MEDELLIN 50.657 60.657 14.33 13.194 23.133 10
15 INST EDUC SOR JUANA INES DE LA CRUZ 50.562 50.562 15.309 12.245 23.008 0 16 INST EDUC RAFAEL GARCIA HERREROS 50.226 50.226 15.332 11.085 23.808 0 17 INST EDUC SANTA TERESA 49.933 59.933 15.744 11.817 22.372 10 18 CENT EDUC PERMANENTE MAZO 49.578 65.578 18.125 11.402 20.052 16 19 INST EDUC JOSE EUSEBIO CARO 49.352 57.352 13.036 11.598 24.717 8 20 INST EDUC RAFAEL URIBE URIBE 49.25 49.25 15.226 11.377 22.647 0
Resultados Indicador
Según el puntaje obtenido en el indicador se definen
unas categorías para las IE, siendo A la mas alta y E la
mas baja.
Categoría Cantidad Porcentaje Corte (techo)
Rango
A 49 25% 55.15 55.15-46.500
B 70 35% 46.48 46.48-43.079
C 49 25% 43.045 43.045-40.890
D 20 10% 40.856 40.856-38.26
E 10 5% 38.171 38.171-34.235
Categorías
Categoría Corte Ambiente
Escolar
Corte Rendimiento
Corte Progreso
A 18.125 14.296 26.357
B 15.56 11.096 20.155
C 14.784 10.365 17.68
D 14.137 9.828 16.146
E 13.51 9.445 13.856
Cortes por Dimensión
Indicador/Ambiente
Escolar
A B C D E Total
general
A 15 22 8 3 1 49
B 23 23 19 4 1 70
C 10 16 13 7 3 49
D 4 6 6 4 20
E 1 5 3 1 10
Total general 49 70 49 20 10 198
Distribución del Indicador
Indicador/Rendimie
nto
A B C D E Total
general
A 36 13 49
B 10 36 18 6 70
C 3 14 19 6 7 49
D 6 7 5 2 20
E 1 5 3 1 10
Total general 49 70 49 20 10 198
Distribución del Indicador
Indicador /
Progreso
A B C D E Total
general
A 36 13 49
B 13 42 15 70
C 15 27 7 49
D 7 12 1 20
E 1 9 10
Total general 49 70 49 20 10 198
Distribución del Indicador
Institución educativa Indicador Multivariado
Ambiente Escolar
Rendimiento Progreso
INST EDUC LA PRESENTACION A A A A INST EDUC LA SALLE DE CAMPOAMOR A A A A INS TEC INDUSTRIAL PASCUAL BRAVO A D A A INST EDUC SANTA JUANA DE LESTONAC A A A A INST EDUC YERMO Y PARRES A C A A INST EDUC SANTO ANGEL A B A A INST EDUC INEM JOSE FELIX DE RESTREPO A B A A
INST EDUC OCTAVIO CALDERON MEJIA A A A A INST EDUC JESUS MARIA EL ROSAL A A A A INST EDUC FRANCISCO ANTONIO ZEA A B A A INST EDUC SANTOS ANGELES CUSTODIOS A B A A
INST EDUC JOSE ASUNCION SILVA A B A A INST EDUC JAVIERA LONDOÑO A C A A INST EDUC ESCUELA NORMAL SUPERIOR DE MEDELLIN A C A A
INST EDUC SOR JUANA INES DE LA CRUZ A B A A INST EDUC RAFAEL GARCIA HERREROS A B B A INST EDUC SANTA TERESA A A A A CENT EDUC PERMANENTE MAZO A A A B INST EDUC JOSE EUSEBIO CARO A E A A INST EDUC RAFAEL URIBE URIBE A B A A
Multivariado - 20 Primeras IES
Institución educativa Indicador Multivariado
Ambiente Escolar
Rendimiento Progreso
INST EDUC JOSE MARIA BRAVO MARQUEZ B A B B
INST EDUC DOCE DE OCTUBRE B A C B
INST EDUC SAN ANTONIO DE PRADO B B B B
INST EDUC LA ESPERANZA B A B B
INST EDUC JOSE MARIA VELAZ B C D A
INST EDUC FE Y ALEGRIA AURES B A B B
INST EDUC LUIS LOPEZ DE MESA B A B B
INST EDUC HORACIO MUÑOZ SUESCUN B B B B
INST EDUC CIUDAD DON BOSCO B A A B
INST EDUC AURES B C B A
INST EDUC TRICENTENARIO B D A A
Multivariado – IES en B
Institución educativa Indicador Multivariado
Ambiente Escolar
Rendimiento Progreso
INST EDUC VILLA DEL SOCORRO C A D B
INST EDUC ARZOBISPO TULIO BOTERO SALAZAR C C C B
INST EDUC JOSE ROBERTO VASQUEZ C C B C
INST EDUC SANTA ROSA DE LIMA C B C C
INST EDUC MONSEÑOR FRANCISCO CRISTOBAL TORO
C A C C
INST EDUC EL PEDREGAL C B B C
INST EDUC HECTOR ROGELIO MONTOYA C E C B
INST EDUC JORGE ROBLEDO C B C C
INST EDUC SAN CRISTOBAL C C C B
INST EDUC JOSE MARIA BERNAL C C B C
INST EDUC ANTONIO RICAURTE C B A D
Multivariado – IES en C
Institución educativa Indicador Multivariado
Ambiente Escolar
Rendimiento Progreso
CENT EDUC EL SALADO D C D C
INST EDUC FELIX HENAO BOTERO D C B D
INST EDUC PERPETUO SOCORRO D D B D
INST EDUC PBRO ANTONIO JOSE BERNAL LONDOÑO
D D B C
INST EDUC PRESBITERO JUAN J. ESCOBAR D C C D
INST EDUC PEDRO CLAVER AGUIRRE D E B C
INST EDUC CIRO MENDIA D D D C
INST EDUC SOL DE ORIENTE D C D D
INST EDUC FEDERICO OZANAM D D C D
INST EDUC ALVARO MARIN VELASCO D E D C
Multivariado – IES en D
•Población total del barrio en el que se encuentra ubicada la IE
•Número de homicidios en el barrio en el que se encuentra la IE en el año 2010
•Número de alumnos con los que cuenta la IE
•Proporción de estudiantes de la IE que computador en sus hogares
•Proporción de estudiantes de la IE que se encuentran en el SISBEN en la
categoría 1
•Proporción de estudiantes de la IE que se encuentran en el SISBEN en la
categoría 2
•Proporción de estudiantes de la IE cuyos hogares son estrato 0
Criterios Clúster
Clúster 7 Instituciones Educativas
ubicadas en corregimientos
INST EDUC DEBORA ARANGO PEREZ
INST EDUC SANTA ELENA
INST EDUC HECTOR ROGELIO MONTOYA
INST EDUC CARLOS ALBERTO CALDERON
INST EDUC MARINA ORTH
INST EDUC SAN JOSE OBRERO
INST EDUC FRANCISCO LUIS HERNANDEZ
BETANCUR
INST EDUC LA HUERTA
Clúster 6 Centros Educativos
CENT EDUC MEDIA LUNA
CENT EDUC PERMANENTE MAZO
CENT EDUC PEDREGAL ALTO
CENT EDUC LA ALDEA
CENT EDUC LAS PLAYAS
CENT EDUC EL SALADO
CENT EDUC JUAN ANDRES PATINO
CENT EDUC EL MANZANILLO
CENT EDUC TRAVESIAS EL MORRO
Clúster 8 Instituciones educativas nuevas 2011
INST EDUC JORGE ELIECER GAITAN
INST EDUC COL LOYOLA PARA LA CIENCIA Y LA
INNOVACION
INST EDUC MIRAFLORES
INST EDUC EL PINAL
INST EDUC MANUEL URIBE ANGEL
INST EDUC CARLOS VIECO ORTIZ
Criterios Especiales Clúster
Clúster Tamaño Porcentaje
1 28 13.40
2 45 21.53
3 34 16.27
4 47 22.49
5 32 15.31
6 9 4.31
7 8 3.83
8 6 2.87
Total 209 100.00
Tamaño Clúster
Reporte Aplicativo Web
Reporte Aplicativo Web
Reporte sistema web
Diseño de Aplicativo
Multiusuario y flexible de manera que permita ser instalado y operado por entidades diferentes a la SE
Captura de información de fuentes primarias y secundarias
Estimación de indicadores
Permite hacer consultas de los datos vía web
Integra las fuentes de datos primarias y secundarias para generar informes de progreso de las IE
Plataforma Informática
Mide calidad usando diferentes criterios
Centraliza la información y genera informes estándares para todas las IE
Se espera adicionar al sistema los resultados del instrumento de gestión de rendimiento escolar que esta piloteando actualmente la SEM
Se esta buscando que sea compatible y converse con los sistemas de información del MEN
Facilita el monitoreo, la evaluación y la toma de decisiones
Ventajas del Sistema