Programa de Mejora en la Calidad del Aprendizaje y … · Programa de Mejora en la Calidad del...
19
Programa de Mejora en la Calidad del Aprendizaje y la Educación a través de la evaluación, extracto de la experiencia PROMCAE Panamá 2011. Petros Pilides – Director Ejecutivo [email protected] / [email protected] http://www.promcae.com/ Reflexión “Toda actividad educativa realizada y no evaluada es como un barco a la deriva. Con la evaluación, se cierra el círculo del proceso enseñanza-aprendizaje, volviendo a su punto de partida, que son los objetivos. ” UN BARCO A LA DERIVA - Lic. Maribel Bordas Introducción La mejora de la práctica educativa no es una tarea sencilla. Introducir cambios innovadores en el qué hacer cotidiano de las aulas y los centros requiere amplias dosis de conocimiento, esfuerzo, y perseverancia. Con todo, y pese a esta dificultad, la introducción de las prácticas de evaluación es crucial para la mejora global de la práctica educativa. En octubre de 2011 Panamá fue testigo de la primera edición del Programa de Mejora en la Calidad del Aprendizaje y la Educación (PROMCAE). El mencionado programa surge de una urgente necesidad por mejorar el nivel de la educación en los países de Latinoamérica, iniciando con un plan piloto en Panamá. Su principal objetivo es facilitar a los colegios y otras instituciones educativas el acceso a un moderno y valioso recurso didáctico, con miras a crear una nueva cultura de retroalimentación y mejoramiento continuo del aprendizaje a través de la evaluación. El objetivo se logra facilitando el acceso de todos los docentes a una plataforma tecnológica de evaluación en línea, a través de Internet, mediante la cual pueden aplicar a sus alumnos un conjunto de pruebas en tres áreas: español, ciencias y matemáticas, específicamente diseñadas para su grado correspondiente y obteniendo resultados al instante, junto con material explicativo para su interpretación. Los beneficios para la educación se alcanzan a partir del conocimiento exacto sobre lo que los alumnos han aprendido (resultados del aprendizaje) cuya finalidad principal es la de enriquecer con información de calidad las percepciones, decisiones y acciones de los diversos actores del sistema para mejorar la enseñanza y el aprendizaje: ¿Para qué Evaluar? Para poseer información que permita la emisión de juicios que posibiliten la toma de decisiones en función de logros alcanzados.
Transcript of Programa de Mejora en la Calidad del Aprendizaje y … · Programa de Mejora en la Calidad del...
Programa de Mejora en la Calidad del Aprendizaje y la Educación a través de la
evaluación, extracto de la experiencia PROMCAE Panamá 2011.
Petros Pilides – Director Ejecutivo
[email protected] / [email protected]
http://www.promcae.com/
Reflexión
“Toda actividad educativa realizada y no evaluada es como un barco a la deriva.
Con la evaluación, se cierra el círculo del proceso enseñanza-aprendizaje,
volviendo a su punto de partida, que son los objetivos. ”
UN BARCO A LA DERIVA - Lic. Maribel Bordas
Introducción
La mejora de la práctica educativa no es una tarea sencilla. Introducir cambios
innovadores en el qué hacer cotidiano de las aulas y los centros requiere amplias
dosis de conocimiento, esfuerzo, y perseverancia. Con todo, y pese a esta dificultad, la
introducción de las prácticas de evaluación es crucial para la mejora global de la
práctica educativa.
En octubre de 2011 Panamá fue testigo de la primera edición del Programa de
Mejora en la Calidad del Aprendizaje y la Educación (PROMCAE). El mencionado
programa surge de una urgente necesidad por mejorar el nivel de la educación en los
países de Latinoamérica, iniciando con un plan piloto en Panamá. Su principal objetivo
es facilitar a los colegios y otras instituciones educativas el acceso a un moderno y
valioso recurso didáctico, con miras a crear una nueva cultura de retroalimentación y
mejoramiento continuo del aprendizaje a través de la evaluación.
El objetivo se logra facilitando el acceso de todos los docentes a una
plataforma tecnológica de evaluación en línea, a través de Internet, mediante la cual
pueden aplicar a sus alumnos un conjunto de pruebas en tres áreas: español, ciencias
y matemáticas, específicamente diseñadas para su grado correspondiente y
obteniendo resultados al instante, junto con material explicativo para su interpretación.
Los beneficios para la educación se alcanzan a partir del conocimiento exacto
sobre lo que los alumnos han aprendido (resultados del aprendizaje) cuya finalidad
principal es la de enriquecer con información de calidad las percepciones, decisiones y
acciones de los diversos actores del sistema para mejorar la enseñanza y el
aprendizaje:
¿Para qué Evaluar? Para poseer información que permita la emisión de juicios que posibiliten la
toma de decisiones en función de logros alcanzados.
Para conocer con cuánta calidad estamos enseñando y cuán competitivos serán nuestros alumnos.
Para medir los resultados de las distintas prácticas pedagógicas aplicadas por los docentes en las diferentes escuelas.
Para poder analizar cómo se evoluciona a lo largo de los años. Para medir qué efecto tienen en los logros educativos las inversiones en
programas educativos, los cambios en la estructura del sistema, los cambios curriculares, los programas de formación, la adquisición de material educativo, entre otros.
…para mucho más…
¿Para qué le sirve al docente la evaluación?
El docente puede identificar cuál es su aporte al desarrollo de las competencias de los
estudiantes, qué es lo que están aprendiendo y cómo. La pregunta básica que debe
resolver el docente es ¿cómo hago para ser cada día mejor, con base en los
resultados?
¿Qué le aporta al estudiante?
Aumentan sus oportunidades de aprendizaje. Cuando un maestro tiene claro qué
enseñar, el beneficiario es el niño porque tiene la probabilidad de aprender más. Y le
permite reconocer en qué estado se encuentra, para orientar su aprendizaje.
¿Cuál es la utilidad para la institución?
A partir de los resultados, la institución puede reconocer el estado que ha alcanzado
en el desarrollo de las competencias de los estudiantes y confrontarlas con los
estándares y con su Proyecto Educativo Institucional.
¿Cuál es el beneficio para los padres de familia?
Es una herramienta que les permite el seguimiento de los resultados de la institución
donde estudian sus hijos. Esto contribuye a un mayor compromiso de las familias con
el mejoramiento de la calidad y fomenta la práctica de rendir cuentas a la comunidad.
Y al país, ¿para qué le sirve?
Por un lado le permite conocer el desarrollo del sistema educativo; por el otro, qué tan
lejano o próximo se encuentra ese desarrollo de los correspondientes estándares.
Alcance y objetivos de la evaluación PROMCAE Panamá 2011
La versión 2011 de PROMCAE tuvo como alcance principal aplicar las pruebas
a estudiantes de 3ero y 6to grado de educación primaria. PROMCAE proporcionó la
plataforma tecnológica de evaluaciones en línea y las pruebas basadas en el plan
curricular vigente para 3ero y 6to grado de primaria, en las áreas de matemáticas,
español y ciencias naturales. Estas pruebas fueron desarrolladas por especialistas de
experiencia en las diferentes ramas bajo la supervisión de la Dirección académica de
PROMCAE.
Las pruebas planteadas en la evaluación PROMCAE son de carácter
formativo1, la cual tienen como objetivo desde un punto de vista cognitivo comprender
el rendimiento del estudiante frente a los Items (preguntas) presentados. La
información que se busca se refiere a las representaciones mentales del alumno y a
las estrategias que utiliza para llegar a un resultado determinado. Los errores son
objeto de estudio en tanto que proporciona información reveladora de la naturaleza de
las representaciones o de las estrategias elaboradas por el estudiante (selección de
distractores o respuestas incorrectas).
A través de los errores se puede diagnosticar qué tipo de dificultades tuvieron
los estudiantes para realizar las diferentes pruebas en las distintas áreas de
conocimiento, y de esta manera poder arbitrar los mecanismos necesarios para
ayudarles a mejorar. Pero también interesa remarcar aquellos aspectos del
aprendizaje en los que los alumnos han tenido éxito, pues así se refuerza este
aprendizaje.
Ciclo anual de PROMCAE
Para la implementación de la edición 2011 del programa, se contó con el apoyo
de la Secretaría Nacional de Ciencia, Tecnología e Innovación (SENACYT), quien
patrocinó el programa brindando financiación a través de su convocatoria pública para
proyectos de innovación empresarial 2010. Este patrocinio permitió que la realización
del programa no implicara ningún costo para los centros educativos participantes ya
sean públicos o particulares, generando de esa forma una inclusión y adhesión al
programa que superó ampliamente las expectativas. De igual forma se contó con el
aval del Ministerio de Educación de Panamá (MEDUCA) a través de la Dirección
Nacional de Evaluación Educativa.
Los colegios seleccionados fueron tanto públicos como particulares y los
mismos debían contar con la infraestructura tecnológica necesaria para la evaluación
en línea como principal requisito (equipo de cómputo y acceso a Internet), sin
embargo, un factor de éxito importante que buscamos en la selección, fue el
compromiso y empoderamiento del programa por parte de los directores y educadores
de los colegios participantes.
1 La evaluación formativa persigue los siguientes objetivos: la regulación pedagógica, la gestión de
los errores y la consolidación de los éxitos.
Análisis Curricular y Objetivos
Construcción de Pruebas
Prueba Piloto Aplicación de la
Prueba Final
Taller de Resultados
Convenio entre PROMCAE y los colegios participantes
Todos los colegios al momento de tomar la decisión de participar e inscribirse
aceptaron un convenio en el cual PROMCAE se compromete a ofrecer el servicio
propuesto, así como los colegios participantes se comprometen de forma reciproca
realizar todos las actividades y esfuerzos para finalizar con éxito la evaluación.
Una de las clausulas más importantes de este acuerdo es la de Privacidad o
confidencialidad de los datos. Para PROMCAE como proyecto es importante este
aspecto ya que es clave para cumplir los objetivos del programa “Evaluar para
Mejorar” y no con el objetivo de criticar o publicitar con los resultados. En este aspecto,
todos los colegios están en igual condición. PRIVACIDAD DE LA INFORMACIÓN
PROMCAE está comprometido con la protección de la privacidad de los colegios.
Se garantiza la total confidencialidad de la información proporcionada y/o recolectada sobre alumnos y resultados, datos que no serán revelados ni compartidos bajo ningún concepto.
Los colegios no podrán revelar, ni publicar en ningún medio de comunicación formal o informal, la información de sus resultados individuales o comparativos sin la aprobación de PROMCAE o sin la aprobación del consenso de todos los participantes de la Edición en la cual se participó.
PROMCAE se reserva el derecho de publicar información de los resultados de cada edición siempre y cuando sea de forma general y no revele resultados individuales de los colegios.
PROMCAE utiliza estrictas medidas de seguridad para proteger los Datos de accesos no autorizados y mantener la precisión de los mismos.
Los colegios son responsables del mantenimiento de la seguridad y la confidencialidad de sus nombres
de usuarios y contraseñas.
Clausula de privacidad de los datos en el convenio de PROMCAE y los colegios participantes
El operativo de evaluación PROMCAE 2011
En el mes de agosto de 2011 se inicio el proceso de preselección de los
colegios participantes con el apoyo y coordinación de la Dirección Nacional de
Evaluación Educativa. Posteriormente se dieron diferentes charlas informativas
dirigidas a los directores y maestros de cómputo de los centros educativos sobre los
objetivos y las bondades del programa PROMCAE. Posteriormente y de forma
voluntaria los colegios interesados en participar tuvieron acceso a la plataforma Web
disponible en internet (www.promcae.com) para que realizaran su inscripción
correspondiente.
En dicho portal cada escuela ingresó los datos de contacto del centro educativo
así como nombre y forma de contacto del director. De igual forma la plataforma de
inscripciones solicitaba para cada escuela se indique un “enlace”, dicha figura es la
persona física encargada de ser la contraparte de la escuela con el equipo de
PROMCAE, por lo general se aconsejaba que el enlace fuera el maestro de cómputos
de cada escuela para asegurar que cada contraparte contara con el manejo de
herramientas informáticas e internet suficientes como para asistir al resto de los
actores de cada escuela como docentes y estudiantes. Por otra parte en la plataforma
se debía ingresar la información de los grupos y cantidad de estudiantes de 3ro y 6to
grado a evaluar.
Ej. Pantallas de la Plataforma de Inscripciones
Una vez que las escuelas realizaron en forma completa la inscripción en la
plataforma mencionada, PROMCAE envió un correo electrónico al enlace de cada
escuela con toda la información necesaria para que todos los grupos inscriptos
realizaran las evaluaciones. El correo incluía usuarios y claves de ingreso para cada
salón de clase y manuales de usuario completos para cada tarea a realizar.
Con esta información las escuelas estuvieron en condiciones de ingresar en la
fase de carga de información de alumnos y aplicación de la prueba piloto en la
plataforma de evaluación. Para la carga de los alumnos solamente se les solicitó a las
escuelas que proporcionaran únicamente datos básicos de los alumnos, estos datos
son tratados con extrema confidencialidad y son utilizados únicamente con el fin de
que los propios docentes puedan identificar las evaluaciones de sus alumnos. Una vez
cargados los alumnos de cada salón, la escuela pudo comenzar a practicar en el uso
de la plataforma de evaluación haciendo uso de la prueba piloto. El único objetivo de
ésta prueba es perfeccionar a docentes y estudiantes en el uso de la plataforma para
que lleguen en optimas condiciones a las pruebas finales de las tres áreas, evitando
que el desconocimiento del uso de la plataforma de evaluación pueda introducir un
sesgo en los resultados de las pruebas finales.
Las pruebas piloto de cada grado contaron con no más de 4 ítems cada una, ya
que como se explicó anteriormente su único objetivo era generar práctica con la
plataforma. Por tal motivo es que los ítem presentados fueron de dificultad baja y
sobre ningún contenido específico, a modo de ejemplo se presenta un ítem presentado
en una de las prueba piloto de la edición 2011.
Las escuelas participantes tuvieron un período de práctica con la plataforma
donde la única prueba disponible para realizar era la piloto, a partir del noviembre de
2011 se liberó la prueba de español para 3er y 6to grado. A parir de ese momento
todos los grupos ingresados que ya hubieran realizado al menos una vez la prueba
piloto, pudieron comenzar a evaluarse con las pruebas finales del programa. Las
pruebas de las áreas de matemática y ciencias fueron liberadas en forma escalonada
para facilitar la organización de cada escuela. Las pruebas estuvieron habilitadas
hasta el final del año escolar (16 de diciembre de 2011).
Centros educativos participantes
La adhesión al programa fue totalmente voluntaria y abierta tanto a escuelas
públicas como particulares. En la edición 2011 se contó con un total de 74 centros
educativos distribuidos en 45 escuelas públicas y 29 colegios particulares. A
continuación se presenta un cuadro con más detalle de los participantes.
Público Particular Total
Escuelas 45 29 74
Grupos 3º 217 50 267
Grupos 6º 223 42 265
Total Grupos 440 92 197
Alumnos 3º 5.729 1.094 6.823
Alumnos 6º 6.346 1.038 7.384
Total Alumnos 12.075 2.132 14.207
Tabla de totales de colegios participantes, se realizaron 38,710 pruebas
Como se puede observar en el gráfico la proporción entre centros públicos y
particulares se muestra bastante más equilibrada que la proporción entre estudiantes
públicos y particulares. Esto se debe a que las escuelas públicas en su gran mayoría
tienen mayor cantidad de alumnos que el común de los colegios particulares. Por ese
motivo debemos tener claro que la proporción público/particular varía como se muestra
en los siguientes gráficos, según hablemos de centros educativos o de estudiantes.
Gráfica de colegios participantes por tipo (Públicos y Particular)
Con respecto a la distribución geográfica, para la edición 2011 dicha
distribución tiene una correlación con los lugares donde se realizaron giras
promocionales, básicamente Panamá Centro y Panamá Oeste. Pero a través de lo que
fue la promoción web y telefónica se pudo captar centros educativos de otras regiones
del país como indica el cuadro y la grafica que se presentan a continuación.
Gráfica y tabla de distribución de colegios por región geográfica
85%
15%
Estudiantes de PROMCAE 2011
Público
Particular
40%
60%
Centros de PROMCAE 2011
Público
Particular
Distribución geográfica de estudiantes PROMCAE 2011
Panamá Centro
Panamá oeste
Herrera
San Miguelito
Coclé
Chiriquí
Provincia Estudiantes %
Panamá centro
13.153 51.54
Panamá oeste
5.011 35.27
Herrera 845 5.95
San Miguelito
820 5.77
Coclé 108 0.76
Chiriquí 52 0.37
Veraguas 49 0.34
Las pruebas realizadas
Las pruebas utilizadas para evaluar el desempeño de los alumnos
respondieron a contenidos encontrados en el currículo del MEDUCA para 3ro y 6to,
tomando en cuenta contenidos previos a estos grados en particular. Luego de analizar
estos currículos, los expertos de PROMCAE procedieron a detallar los dominios
conceptuales, los contenidos curriculares específicos de cada área y los procesos
cognitivos involucrados en cada una de ellas.
A pesar de haber optado por un enfoque curricular, PROMCAE adoptó un
enfoque actualizado y coherente, que le permitiera plantear tareas significativas más
allá de la vida escolar. Para alcanzar ese objetivo se consideró, además del análisis, el
concepto de habilidades para la vida, que hace referencia a las capacidades,
conocimientos, habilidades, valores y actitudes para enfrentar exitosamente tanto los
desafíos diarios de la vida (privada, profesional y social) como las situaciones
excepcionales que se puedan presentar, para continuar aprendiendo y proyectar un
futuro mejor. Este doble enfoque permitió elaborar 6 pruebas de entre 20 y 25 ítems2
cada una, que tuvieran en cuenta el aprendizaje significativo más allá de la vida
escolar.
Área Tercero Sexto
Matemática 22 ítems 25 ítems
Español 20 ítems 25 ítems
Ciencias Naturales 20 ítems 25 ítems
Tabla de distribución de Items por área de conocimiento
Resultados inmediatos para los colegios
Una de las características revolucionarias de la plataforma PROMCAE es que
cuenta con una devolución inmediata para el docente de aula y director. Esta
funcionalidad de la plataforma que se encuentra en el portal de docentes y portal de
director, está compuesto de un conjunto de consultas a la base de datos disponibles
una vez se aplicaron las pruebas. Estas consultas permiten al equipo docente realizar
el análisis de dichos resultados desde diferentes puntos de vista, tomando como
referencia algunas unidades de análisis que en un proceso tradicional no se utilizan,
debido a lo costoso que es procesar la información para hacerlo. El módulo de
resultados para la aplicación de consta de las siguientes consultas:
Cuadernillo digital corregido: Ésta funcionalidad que brinda la plataforma es algo sumamente sencillo y a la vez fundamental, que nunca falta en una evaluación de aprendizajes sea cual sea su método de aplicación. El docente debe poder ver la prueba de un alumno corregida, esto le permitirá utilizar al alumno como unidad de análisis y visualizar su comportamiento en las diferentes actividades de la prueba. Básicamente esta consulta consta en una réplica del cuadernillo de prueba en donde a cada actividad (Ítem) de la misma se le asocia una marca que indica la respuesta que seleccionó el alumno y el crédito que obtuvo por ella.
Matriz de resultados del aula: Esta consulta permite visualizar en una pantalla
toda la información que se recolectó en la aplicación de la prueba al grupo, es
decir que dentro de la matriz podemos visualizar para cada alumno cada una de
sus respuestas (si acertó o no) a cada una de las actividades de la prueba. La
idea es ubicar los alumnos del grupo por filas y las actividades de la prueba por
2 Ítem es un recurso de evaluación que cuenta con un estimulo que busca medir una determinada
competencia.
columnas, y en cada celda del interior de la matriz, indicar con un ícono
representativo el acierto o el no acierto del alumno en esa actividad. La matriz
cerrará cada columna correspondiente a cada actividad con el valor del porcentaje
de acierto de la actividad en el grupo. De la misma forma al final de cada fila se
encontrará el valor del porcentaje de acierto del alumno en la prueba. Existe la
posibilidad de que el docente quiera analizar los aciertos de los alumnos del
grupo, en un subconjunto de la prueba según algún criterio como puede ser el
contendido de la actividad. Para satisfacer esta necesidad la matriz de resultados
es antecedida por una serie de filtros acerca de las características de las
actividades de la prueba (área, contenido, competencia, dificultad, etc.) para que
el docente pueda hilar más fino en su análisis.
Ejemplo de matriz de resultados del aula
Consulta por actividad: Esta funcionalidad presenta para cada una de las
actividades la siguiente información:
Enunciado: Es el cuerpo de la actividad que se le presentó al alumno
Ficha técnica o perfil: Es una descripción técnica de la actividad de prueba, elaborada por un técnico en evaluación de aprendizajes que contiene características de la actividad tales como competencia, contenido, objetivo, posible proceso a seguir para la obtención de la respuesta, justificación de las alternativas de las respuesta, entre otras.
Respuestas de alumnos: Es una tabla que indica para cada una de las alternativas de respuesta de la actividad, los alumnos que optaron por ella.
Ejemplo de consulta por actividad de aula
Portal del Director: Existe una diferencia importante entre la visión o acceso que
posee el docente al momento de analizar los resultados versus la visión del
director. La misma radica en que el docente solo tiene acceso a visualizar datos de
su grupo, y el director posee una visión general de todos los grupos del colegio.
Ejemplo de devolución automática comparativa por colegio
Resultados generales y comparativos para los colegios
Otra característica importante de la plataforma, es que una vez finalizada la
prueba por todos los colegios participantes, los directores tienen acceso a consultas y
gráficas comparativas que le permiten tener diferentes puntos de referencia por cada
actividad o Ítem analizado.
En la imagen inferior se muestra un ejemplo de análisis de una actividad, y el
promedio de distribución de respuestas versus el promedio de las respuestas de todos
los participantes en la versión 2011 de PROMCAE. De igual forma se muestra el
mismo análisis comparando versus el promedio de colegios públicos y particulares.
Ejemplo de gráficas con promedio de aciertos por colegio y general de
participantes en PROMCAE
Otro análisis interesante por actividad al cual tienen acceso los directores, es
un ranking basado en el promedio de acierto de la actividad en cada colegio. Cabe
resaltar que el director al momento de visualizar esta gráfica, solo puede saber si los
colegios (por arriba o debajo de su puntaje) son públicos o particulares, y no así el
nombre del colegio participante debido a las políticas de confidencialidad de los datos
entre PROMCAE y los colegios.
Ejemplo de gráfica de ranking de colegios por actividad o ítem
Resultados generales y contexto de la evaluación
Como fue mencionado anteriormente PROMCAE 2011 es un servicio de
evaluación educativa de tipo formativa, teniendo como principal objetivo la
retroalimentación en el aula para la toma de decisiones y posterior mejora de los
aprendizajes, por parte de docentes y autoridades de centros educativos. En este
contexto se deben analizar los resultados que se presentarán a continuación, teniendo
en cuenta que la evaluación no fue aplicada con criterios estandarizados en todos los
centros y que el carácter opcional de la misma, hace que los centros participantes no
sean una muestra representativa del sistema educativo nacional.3
El primer análisis que se realizó una vez finalizada la aplicación de la prueba
responde a la inquietud de visualizar si existen diferencias significativas entre los
estudiantes de escuelas públicas y estudiantes de colegios particulares. En respuesta
a esta primer interrogante el siguiente gráfico muestra que en el porcentaje total de
respuestas correctas los estudiantes de colegios particulares presentan un porcentaje
un poco mayor que sus semejantes de escuelas públicas en las tres áreas evaluadas.
3 Al ser una evaluación formativa, la metodología de aplicación difiere significativamente de
Evaluaciones de tipo diagnostico como son las pruebas Nacionales (SINECA) e Internacionales (PISA).
Gráfica de resultados generales de la evaluación PROMCAE por áreas de
conocimiento y promedio de colegios participantes.
Como se puede observar en términos generales el área que mostró mayor
diferencia entre los resultados de estudiantes públicos y particulares fue Matemática
con 10.01 % de diferencia entre una categoría y otra. Mientras que Ciencias y Español
presentaron menores diferencias 7.85 % y 8.67 % respectivamente.
Ante la aparición de esta diferencia en el porcentaje de respuestas correctas de
los estudiantes de centros público y particular, se decidió profundizar un poco más
para poder determinar si esta diferencia era igual en cada uno de los grados
evaluados o si un grado presenta esta diferencia en forma más acentuada que el otro.
Para ello se realizó un análisis de porcentaje de respuestas correctas por área y grado
que arrojó los siguientes resultados.
Gráfica de resultados de la evaluación PROMCAE de 3º por áreas de
conocimiento y promedio de colegios participantes.
Español Ciencias Matemática
Publico 49.16 44.75 43.70
PROMCAE 50.30 45.81 45.10
Particular 57.82 52.60 53.71
- 10.00 20.00 30.00 40.00 50.00 60.00 70.00
% de respuestas correctas PROMCAE 2011
Español Ciencias Matemática
Publico 42.28 41.97 46.24
PROMCAE 40.93 40.63 44.48
Particular 50.22 50.10 56.14
- 10.00 20.00 30.00 40.00 50.00 60.00
% de respuestas correctas en 3º PROMCAE 2011
Gráfica de resultados de la evaluación PROMCAE de 6º por áreas de
conocimiento y promedio de colegios participantes.
Este análisis nos permitió detectar que las diferencias se acentúan un poco
más en tercer grado donde la diferencia de porcentaje de respuestas correctas en el
área de ciencias aumenta a 9.47 % mientras que en sexto grado se ubica en 5.94 %.
Matemática y español también presentan mayor diferencia en tercer grado
emparejándose un poco más en sexto.
Resultados Generales
Si se analizan los ítems en las pruebas aplicando al Teoría Clásica (TC) se
pueden organizar los resultados según el porcentaje de respuestas correctas. La
forma más aceptada es en quintiles (grupos cada 20%). De esta forma se obtiene 5
grupos de ítems, según el porcentaje respuestas correctas:
Tabla de codificación de colores por niveles de dificultad
Español Ciencias Matemática
Publico 56.71 47.01 47.37
PROMCAE 55.74 46.27 46.23
Particular 63.90 52.21 55.35
- 10.00 20.00 30.00 40.00 50.00 60.00 70.00
% de respuestas correctas en 6º PROMCAE 2011
0 - 20 Muy difícil
21 - 40 difícil
41 - 60 medio
61 - 80 fácil
81 - 100 Muy fácil
Resultados de Español
3º de Educación Primaria
3º Español
Publico Particular
0 - 20
3 1
21 - 40
8 5
41 - 60
5 8
61 - 80
4 3
81 - 100
0 3
total
20 20
Resultados de la prueba de Español de 3º de educación primaria
El promedio de dificultad en 3º fue de 40.93 y 50,22 en público y particular
respectivamente.
La pruebas de 3º resultó ser mucho más fácil para los estudiantes del ámbito
particular que del público. 3 Actividades resultaron muy fáciles en el particular y
ninguna en el público, solo una fue muy difícil y tres en particular y público
respectivamente. Con las actividades medias y difíciles ocurre lo mismo habiendo más
en el público que en el particular. Esto se hace evidente en el promedio de resultados
de los dos tipos de escuelas con casi un 10% de diferencia en respuestas correctas.
6º de Educación Primaria
6º Español Publico Particular
0 – 20 1 0
21 – 40 4 4
41 – 60 8 2
61 – 80 9 16
81 – 100 3 3
25 25
Resultados de la prueba de Español de 6º de educación primaria
El promedio de dificultad en 6º fue de 55,74 y 63,90 en público y particular
respectivamente.
0
1
2
3
4
5
6
7
8
9
0 - 20 21 - 40 41 - 60 61 - 80 81 - 100
Nº
Ite
me
s p
or
po
rce
nta
je
Porcentaje de respuestas correctas
Resultados Español 3º
Publico Particular
0 2 4 6 8
10 12 14 16 18
0 - 20 21 - 40 41 - 60 61 - 80 81 - 100 Nº
Ite
me
s p
or
po
rce
nta
je
Porcentaje de respuestas correctas
Resultados Español 6º
Publico Particular
La prueba de 6º es más equivalente en dificultad entre público y particular. Los
mismos tres ítems (24, 22 y 21)4 resultaron muy fáciles. La mayor diferencia se
encuentra en la cantidad de actividades que resultaron fáciles y media en los dos
ámbitos. Hay muchas más fáciles y menos medias en las escuelas particulares que en
las públicas. La diferencia de dificultad promedio entre los tipos de escuela es de 8%.
Si comparamos la cantidad de actividades que tuvieron la misma dificultad en
los dos tipos de escuela observamos que en 3º el 35% y en 6º el 48%. Debería
realizarse un mayor análisis sobre estos ítems a fin de determinar la importancia en los
programas de los temas o conceptos allí evaluados.
Las actividades donde, en 3º, se observa mayor diferencia de dificultad son las
actividades Nº 4, 8, 12, 13 y 17. En 6º son las actividades Nº 3, 4, 8, 12, 15, 19, 20 y
25. Pero aquí ocurre una situación no observada en 3º y es la presencia de ítems más
difíciles en el particular que en el público. Ese es el caso de los ítems Nº 12, 15 y 20.
Análisis de Español por competencias
En esta área se evaluaron 4 competencias, Análisis (A), Aplicación (AP),
Comprensión (C) y Conocimiento (R). Las competencias, tanto en 3º como en 6º, no
muestran relación con la dificultad determinada.
La distribución de estas competencias en las pruebas es la siguiente:
Nº de actividades por grado y por competencia
COMPETENCIAS 3º 6º
Análisis 6 4
Aplicación 7 3
Comprensión 3 10
Conocimiento 4 8
Tabla de Items por competencias y grado
Interpretación de resultados
Las pruebas resultaron ser más fáciles para los estudiantes del ámbito
particular que del público. La prueba de 6º resultó comparativamente más fácil que la
de 3º ya que, tanto en el público como particular, el promedio de respuestas acertadas
superó el 50%.
La prueba de 3º está equilibrada en la evaluación de las diferentes
competencias con un poco menos de actividades que evalúan comprensión, mientras
que la de 6º tienen una fuerte evaluación en las competencias de comprensión y
conocimiento con más del 70% de las actividades.
En 3º en la escuelas públicas no hay actividades muy fáciles y si en el
particular. En 3º hay en el público tres actividades muy difíciles y en el particular solo
una. Sin embargo el orden en el cual se ubican los ítems por su dificultad es similar en
los dos tipos de escuelas. En todos los casos cada actividad resultó más fácil en el
particular que en público. No se observa relación entre las competencias evaluadas y
la dificultad de los ítems.
4 Para efectos de este articulo ya que es un extracto, se omiten las tablas de Ítems al cual se hacen
referencia para el análisis de los resultados. Para mayor información visitar www.promcae.com
Resultados de matemática 3º de Educación Primaria
3º Matem.
Publico Particular
0 - 20
1 0
21 - 40
8 4
41 - 60
10 8
61 - 80
3 9
81 - 100
0 1
total
22 22
Resultados de la prueba de Matemáticas de 3º de educación primaria
El promedio de dificultad en 3º fue de 44,48 y 56,14 en público y particular
respectivamente.
6º de Educación Primaria
6º Matem.
Publico Particular
0 - 20
0 0
21 - 40
10 5
41 - 60
11 10
61 - 80
4 9
81 - 100
0 1
total
25 25
Resultados de la prueba de Matemáticas de 6º de educación primaria
El promedio de dificultad en 6º fue de 46,23 y 55,35 en público y particular
respectivamente.
La prueba de matemática resultó ser más fácil para los alumnos del ámbito
particular que del público, entre un 8 y 9% de diferencia en respuestas correctas.
Además Tanto en 3º como en 6º en las escuelas particulares hubo una actividad muy
fácil y ninguna en el público. En 3º hubo una muy difícil en el público y ninguna en el
particular.
En ambos grados las actividades en el público resultaron ser de mayor o igual
dificultad que en el particular. Esto no permite hacer un análisis de aquellas
actividades donde la dificultad sea significativamente diferente, o sea superior al 10%.
Esto ocurre en números ítems y en ambos grados.
0
2
4
6
8
10
12
0 - 20 21 - 40 41 - 60 61 - 80 81 - 100
Nº
Ite
me
s p
or
po
rcen
taje
Porcentaje de respuestas correctas
Resultados Matematica 3º
Publico Particular
0
2
4
6
8
10
12
14
0 - 20 21 - 40 41 - 60 61 - 80 81 - 100
Nº
Ite
me
s p
or
po
rce
nta
je
Porcentaje de respuestas correctas
Resultados Matematica 6º
Publico Particular
Análisis de Matemáticas por competencias
Si analizamos los resultados observando la competencia evaluada se puede
observar que en 3er grado las actividades de conocimiento resultaron difíciles aunque
al ser solamente dos no es posible realizar otras deducciones. Las demás
competencias, tanto en 3º como en 6º, no muestran relación con la dificultad
determinada.
En esta área se evaluaron 5 competencias, Análisis (A), Análisis y
Comprensión (AC) Aplicación (AP), Comprensión (C) y Conocimiento (R).
La distribución de estas competencias en las pruebas es la siguiente:
Nº de actividades por grado y por competencia
COMPETENCIAS 3º 6º
Análisis 5 2
Análisis y Comprensión
3 3
Aplicación 12 14
Comprensión 0 2
Conocimiento 2 4
Tabla de Items por competencias y grado
Interpretación de resultados
Las pruebas resultaron ser más fáciles para los estudiantes del ámbito
particular que del público siendo similares las dificultades entre los grados del mismo
ámbito. Las pruebas tienen una fuerte evaluación en la competencia de Aplicación con
más del 50% de las actividades.
Tanto en 3º como en 6º en el público no hay actividades muy fáciles y si en el
particular. En 3º hay en el público una actividad muy difícil que no hay en el particular.
Sin embargo el orden en el cual se ubican los ítems por su dificultad es similar en los
dos tipos de escuelas. En todos los casos cada actividad resultó más fácil en el
particular que en público.
Las actividades más fáciles resultaron ser las de reconocer información o
debido a la estructura del ítem. Las difíciles son aquellas de realizar cálculos y
seleccionar en base a éstos la respuesta correcta. Sin embargo no se observa relación
entre las competencias evaluadas y la dificultad de los ítems.
Resultados de ciencias
3º de Educación Primaria
3º Ciencias
Publico Particular
0 - 20
0 1
21 - 40
12 5
41 - 60
5 8
61 - 80
3 4
81 - 100
0 2
total
20 20
Resultados de la prueba de Ciencias de 3º de educación primaria
El promedio de dificultad fue de 50,1 en 3º
6º de Educación Primaria
6º Ciencias
Publico Particular
0 - 20
0 1
21 - 40
10 7
41 - 60
9 7
61 - 80
5 8
81 - 100
1 2
total
25 25
Resultados de la prueba de Ciencias de 6º de educación primaria
El promedio de dificultad fue de 6º fue de 52,2
A partir tanto de las tablas como del análisis de los gráficos observamos que
ambas pruebas fueron más difíciles para los institutos del sector publico que del
particular. Siendo más evidentes las diferencias de dificultad en 3º que en 6º.
Todas las actividad tuvieron mayor porcentaje de respuestas correcta en el
ámbito particular que en el público, a excepción de la actividad 8 tanto en 3° como en
6°, que será analizada más adelante.
En 3° en el público, la mayoría de los ítems tuvieron dificultad de difícil mientras
que en el particular la mayoría fueron de dificultad media. En 6°, ocurre lo mismo
siendo aún mayor la diferencia ya que los ítems tuvieron una distribución similar entre
difícil y fácil.
0
2
4
6
8
10
12
14
0 - 20 21 - 40 41 - 60 61 - 80 81 - 100
Nº
Ite
me
s p
or
po
rce
nta
je
Porcentaje de respuestas correctas
Resultados Ciencias 3º
Publico Particular
0
2
4
6
8
10
12
0 - 20 21 - 40 41 - 60 61 - 80 81 - 100 Nº
de
ite
me
s p
or
po
rce
nta
je
porcentaje de respuestas correctas
Resultados en Ciencias 6º
Publico Particular
Si analizamos con mayor detalle los resultados.
En los colegios particulares hay una actividad, la Nº 8 que resultó, tanto en 3º
como en 6º, muy difícil mientras que en el público resultó difícil. Pero si observamos
los datos la diferencia de porcentaje de respuesta correcta en pequeña aunque caen
en grupos diferentes (22,76 / 19,5).
En todos los demás casos las actividades resultaron ser de la misma dificultad
o ser más accesibles para los estudiantes de los centros particulares (ejemplo el ítem
7 y 14 de ambas pruebas).
En 3º y 6º el ítem más difícil tanto en público y particular fue el 8 y. Mientas que la
más fácil más en 3º fue el 15 y en 6º fue el 16.
La distribución de los ítems por contenido
Los ítems pueden agruparse en tres contenido Biología (B), Físico – Química
(FQ) y Tierra y Espacio (T). Las actividades de Biología tanto en 3º como en 6º son
más del 50% del total (60% y 56% respectivamente).
No se observa correlación entre la dificultad y los contenidos evaluados.
Contenidos 3° Ciencias
6° Ciencias
% 3° Ciencias
%6° Ciencias
BIOLOGIA 12 14 60 56
FISICO - QUÍMICA 4 5 20 20
TIERRA Y ESPACIO 4 6 20 24
20 25 100 100
Tabla de Items por contenidos y grado
Si organizamos los resultados por las competencias evaluadas se observa que
no hay correlación con la dificultad. O sea que podemos suponer que la dificultad del
ítem se relaciona con la combinación entre ambos aspectos, el contenido y la
competencia.
Las competencias evaluadas son Análisis (A), Comprensión (C) y conocimiento (R)
Interpretación de resultados
Las pruebas aplicadas tienen un fuerte contenido de temas de Biología y se
evalúa más la competencia conocimientos. Resultaron ser de dificultad media siendo
más fáciles en el ámbito particular que en el público. La dificultad de los ítems no está
asociada ni a los contenidos ni a las competencias específicamente aunque podría
estar asociada a la combinación de estas dos.
Taller de Resultados PROMCAE Panamá 2011
El taller de resultados PROMCAE Panamá 2011 es una instancia de reflexión
colectiva con intervención de todos los participantes del programa así como invitados
especiales del ámbito educativo en Panamá. El mismo se realizará en el mes de junio
de 2012 en el cual se contará de ponencias específicas de especialistas invitados para
enriquecer la experiencia e ir introduciendo la cultura de la evaluación de los
aprendizajes en los participantes y a través de ellos en cada centro educativo.
En resumen, los objetivos del Taller de Resultados son:
Resumen y conclusión de la experiencia. Análisis de resultado educativos globales de todos los participantes de PROMCAE. Interpretación de resultados por área (Matemáticas, español, Ciencias Naturales). Informes confidenciales de los centros educativos (Ningún resultado individual es
revelado, solo al colegio participante en sobre cerrado). Resultados de los grupos de cada centro educativo. Intercambio de inquietudes, sugerencias y propuestas entre los participantes de
PROMCAE. Lanzamiento de PROMCAE Panamá 2012
Conclusiones de Experiencia PROMCAE Panamá 2011
Consideramos que la experiencia fue exitosa al ser la primera en lograr una
evaluación masiva con resultados inmediatos en Panamá. Gran parte del éxito de esta
actividad se debe a la entrega de los maestros de cómputo y directores de los
colegios participantes, y al apoyo de Senacyt y aval del Ministerio de Educación.
Se logró en pocas semanas realizar más de 30 mil pruebas en matemáticas,
ciencias y español para 3ero y 6to grado, más de 10 mil niños, y dar los resultados de
forma inmediata a los directivos de cada centro escolar.
Los colegios ahora pueden contar con una herramienta que les permitirá saber
con indicadores precisos lo que los alumnos han aprendido (resultados del
aprendizaje) y les permitirá tomar decisiones y acciones que permitan su
mejoramiento continuo.
Queda mucho por hacer y mejorar, el 2012 viene con muchos retos, nuevas
metas, pero sobre todo, lograr cumplir el principal objetivo del proyecto, que es brindar
a las instituciones educativas una plataforma que les permita saber donde están y que
deben corregir para mejorar, porque de eso se trata, ¡Evaluar para mejorar!”
GRACIAS!
Imagen corporativa de PROMCAE 2011
Estudiantes del CEBG La Herradura, La Chorrera, Panamá
Para mayor información visita www.promcae.com
