CONSTRUIR INSTRUMENTOS DE EVALUACIÓN DE CALIDAD

Relator:

José Córdova García

Y para que la EVALUACIÓN sea JUSTA…

TODOS realizarán la MISMA Prueba.

¡Subirán a ese árbol!

¿Qué es evaluar?

CULTURAS DE EVALUACIÓN

Centrada en la CALIFICACIÓN

Centrada en el APRENDIZAJE

Foco en progreso individual.

CULTURAS DE EVALUACIÓN

Proceso de Enseñanza-Aprendizaje y

evaluación disociados

Tendencia al ranking

Criterios de evaluación ocultos

Procesos estrechamente relacionados

Criterios de evaluación compartidos

Resultados trabajados a nivel individual

Qué

evaluar

Cómo evaluar

Analizar resultados

Tomar decisiones

Para qué evaluar

EL CICLO EVALUATIVO

Evaluación para el Aprendizaje Involucra a los

estudiantes en su propia

evaluación

Asume que cada estudiante es capaz de mejorar su desempeño

Reconoce todos los logros de aprendizaje

Indica a los estudiantes lo que tienen que hacer

para mejorar su desempeño

Es parte intima y esencial del proceso

de enseñanza y aprendizaje

Requiere que los profesores compartan con sus estudiantes los logros de aprendizaje

esperados

Instala la cultura de la colegialidad y

flexibilidad

FUNCIÓN PEDAGÓGICA DE LA EVALUACIÓN

Sistematizar los procesos evaluativos

permite que el docente se instale como un mediador

efectivo en el proceso de aprendizaje de

nuestros estudiantes.

Todas las evaluaciones pueden y deberían ser utilizadas con el fin de comprender mejor la realidad con la que se

está trabajando y contribuir a mejorarla.

VALIDEZ y CONFIABILIDAD

Son los conceptos centrales para cualquier evaluación, permiten resguardar la función pedagógica.

• Validez: el instrumento mide lo que pretende medir.

En la actualidad, también se integra la finalidad del instrumento.

Validez de contenido

• Construcción de un Marco de Evaluación:

– Definición de un dominio disciplinar. – Relevancia de dicho dominio. – Representatividad del dominio.

• Selección pertinente y representativa de los contenidos/habilidades AE (cubiertos por el curso, la

unidad, la clase, otros) que se evaluarán.

Ejemplos de transgresión a la Validez de Contenido

Tiempo atrás tuve que leer una novela que me encantó. Hablaba de temas súper profundos. Sin embargo, la profesora solo preguntó por los nombres de los personajes .

En una clase de matemática, el profesor nos pidió rotar un triángulo en un plano coordenado. Sin embargo, terminó evaluando mejor los que tenían más colorido.

Como sabíamos que nuestra profesora de Historia solo nos preguntaba por las fechas. Aprendíamos todo de memoria y nos iba súper bien. Lo malo es que ahora no recuerdo nada de ese ramo.

Sugerencias para resguardar la Validez de Contenido

• Construir matrices y tablas de especificaciones

para cada instrumento de evaluación, contemplando referencia y énfasis curricular, indicadores de logro (habilidades, contenidos, actitudes, otros).

• Verificar a través de jueces la adecuación de las situaciones e instrumentos de evaluación para medir los contenidos planteados en el aprendizaje (trabajo con pares).

Validez instruccional

• Aplicación de la validez de contenido.

• Lo que los estudiantes han tenido la oportunidad de aprender, durante las clases, para responder correctamente. (Cracker et al, 1988)

• Sin validez instruccional los estudiantes no tienen oportunidad de demostrar lo que aprendieron, y los profesores no tienen la posibilidad de evaluar lo que han enseñado.

Ejemplo de transgresión a la Validez Instruccional

Cuando leemos los textos en clases puedo responder casi todas las preguntas que hace el profesor, pero en las pruebas nunca entiendo lo que quiere que responda, eso me frustra mucho.

La profesora de biología nos había enseñado las partes del aparato respiratorio, por separado. Pero en la prueba nos pidió integrar y relacionar cada parte y eso nunca lo habíamos visto. A todos nos fue pésimo, ¡sus pruebas son de terror!

Sugerencias para resguardar la validez instruccional

• Asegurarse de que cada situación de evaluación contenga los contenidos tratados en las actividades de aprendizaje (implementar el uso de la bitácora).

• Implementar situaciones de evaluación similares a las actividades de aprendizaje realizadas en clases.

• Considerar que las planificaciones son una guía flexible.

Validez Consecuencial

• Las evaluaciones detonan efectos (buscados o no) en el proceso de enseñanza/aprendizaje.

• Perseguir como objetivo que cada situación de evaluación sea una oportunidad de aprendizaje.

• Buscar que las evaluaciones nos permitan tomar decisiones sobre la planificación, la didáctica y las futuras evaluaciones.

• Diseñar procesos de análisis de datos de las evaluaciones que permitan entregar información de los logros de aprendizaje tanto para docentes como para estudiantes.

Ejemplos de transgresiones a la validez consecuencial

El SIMCE y las pruebas de nivel miden solo un eje de contenido del currículo. Por lo tanto, este semestre no voy a pasar los otros tres ejes en profundidad. ¡Quiero que mis alumnos saquen buenos resultados en las pruebas!

El profesor de Física nunca nos hace aplicar la materia, solo pregunta fórmulas, así que me las voy a aprender de memoria y me aseguro un 7.

• Definir claramente los propósitos y usos de la evaluación. ¿Para qué evaluamos?

• Identificar las evidencias útiles para el propósito evaluativo. ¿ Qué necesito saber para cumplir con el propósito propuesto para la evaluación?, ¿qué tipo de evidencia me entrega esa información?

• Una buena planificación permite resguardar esta correspondencia.

Sugerencias para resguardar la validez consecuencial

Confiabilidad

• Moss plantea que la confiabilidad en el aula pasa por el análisis sobre la Suficiencia de Información.

• Las conclusiones y posteriores decisiones respecto de la forma de abordar el proceso de enseñanza aprendizaje deben estar basadas en la evidencia suficiente para no cometer errores o al menos minimizarlos.

¿Puede haber validez sin la confiabilidad?

Moss,P.(1994)

Transgresiones a la suficiencia de información

El profesor de ciencias me dijo que, por lo que vio en mi prueba, yo no sé interpretar gráficos. Tengo rabia, porque yo sí sé hacerlo, pero él solo puso una pregunta de eso en la prueba y no entendí muy bien lo que había que hacer.

¡Reprobé tecnología! Es que me puse muy nerviosa, ya que había que presentar el trabajo frente al curso y todos me estaban mirando.

Sugerencias para resguardar la suficiencia de información

• Aplicar variadas situaciones de evaluación que midan los mismos aprendizajes a los mismos estudiantes.

• Propiciar para las diferentes instancias de evaluación ambientes, recursos, espacios y tiempo similares y adecuados.

Herramientas curriculares para la evaluación de

aprendizajes

Cuatro herramientas puestas a disposición del aprendizaje

• El siguiente esquema muestra las herramientas del Currículum Nacional.

• Estos instrumentos tiene diversas funciones, cada una orientada al logro de los aprendizajes que se definen en los Marcos Curriculares

Marcos de Evaluación

• Cruce entre ejes de contenido y ejes de habilidades.

• ¿Cómo organizar las habilidades evaluadas?

• Uso de taxonomías.

• 2 o 3 ejes de habilidades, tipos de competencias o dominios cognitivos (agrupar un conjunto de habilidades).

Contenidos

Ajuste

2009

Lenguaje Matemática Ciencias

Naturales

……..

Contenidos

Comunicación

Oral.

Lectura.

Escritura.

Números.

Algebra.

Geometría.

Datos y azar.

Estructura y función

de los seres vivos.

Organismos,

ambiente y sus

interacciones.

La materia y sus

trasformaciones.

Fuerza y movimiento.

Tierra y universo.

……..

Habilidades Ajuste 2009 Lenguaje Matemática Ciencias

naturales

……..

Habilidades

Localizar.

Interpretar y

relacionar.

Reflexionar.

Conocer.

Resolución de

problemas.

Razonamiento.

Comprensión

conceptual.

Habilidades de

pensamiento

científico.

…….

Taxonomía de los Objetivos de la Educación

Pensamiento de

Orden Superior

Pensamiento de

Orden Inferior

EVALUACIÓN

SÍNTESIS

ANÁLISIS

APLICACIÓN

COMPRENSIÓN

MEMORIA

SÍNTESIS

ANÁLISIS

APLICACIÓN

COMPRENSIÓN

MEMORIA

EVALUACIÓN

EVALUAR

ANALIZAR

APLICAR

COMPRENDER

RECORDAR

Habilidades del Pensamiento

Benjamín Bloom

Revisión de la Taxonomía de Bloom

Anderson y Krathwohl

Taxonomía de Bloom para la ERA Digital

Churches

Digital

Procesos Psicológicos

memoria pensamiento

mem

ori

a / p

en

sam

ien

to

Ejemplos de ejes de habilidades

Memoria Memoria /Pensamiento Pensamiento

TIMSS (MAT)

Conocer Aplicar Razonar

TIMSS (CIENCIAS)

Manejar conocimientos

Comprender conceptos Razonar y Analizar

PISA

(LECTURA)

Extraer información

Interpretar Reflexionar y

Evaluar

CIENCIAS SOCIALES (SIMCE)

Conocer y comprender

Aplicar Analizar e interpretar

TALLER DE APLICACIÓN DE LOS EJES DE HABILIDADES

PARTE A (indicadores)

• Agrupe los indicadores de ambos Niveles de Logro, de acuerdo a los ejes de habilidades definidos.

• Determine los indicadores en los que hay dudas respecto de dónde clasificarlo.

PARTE B (Preguntas)

• Analicemos preguntas de todos los subsectores, clasificándolas de acuerdo a los ejes de habilidades.

MATEMÁTICA

Una niña le da 6 caramelos a cada uno de sus 5 amigos y le sobran 2.

¿Cuántos caramelos tenía?

A. 32

B. 28

C. 13

D. 8

¿En cuál de las siguientes figuras se ha pintado 3/4?

Mónica corta un cuadrado en 3 pedazos. Cada pedazo tiene cuatro lados.

María también corta un cuadrado en 3 pedazos. Cada pedazo tiene tres lados.

En el cuadrado que aparece a continuación, dibuja cómo María podría haber hecho los cortes.

CIENCIAS NATURALES

El picaflor se alimenta del polen y del néctar de algunas flores. Al buscar su alimento en los jardines, puede ser cazado por

gatos domésticos. Fuera de las ciudades, lo cazan el traro, el halcón peregrino y

el gato montés. De acuerdo con esta información, ¿cuál de las siguientes

clasificaciones corresponde al picaflor? A. Herbívoro y presa. B. Carnívoro y presa. C. Carnívoro y depredador. D. Herbívoro y depredador.

En la Tierra habitan animales muy distintos entre sí, pero tienen necesidades muy importantes para vivir que son comunes a todos. Por ejemplo, necesitan agua.

Señala otras 2 necesidades importantes para la vida que tienen todos los animales.

1 ----------------------------------------------------------------------

------------------------------------------------------------------------

2 -----------------------------------------------------------------------

-------------------------------------------------------------------------

CIENCIAS SOCIALES

Observa el siguiente diagrama.

¿Cuál es el recurso natural en el proceso productivo que se ve en el diagrama?

A. Cuadernos.

B. Celulosa.

C. Papel.

D. Árbol.

Lee la siguiente noticia.

Algunas personas protestaron porque los organizadores del mundial:

A. negaron los recursos para comprar sillas de ruedas.

B. permitieron la entrada a personas con discapacidad.

C. descuidaron derechos de personas con discapacidad.

D. autorizaron la construcción de estadios muy pequeños.

• Lee el siguiente texto.

• Trayenko es una pequeña localidad rodeada de cerros con bosques nativos. Debido a la falta de caminos, sus pobladores debían caminar alrededor de cinco horas para llegar al pueblo más cercano. Hace dos meses se terminó de construir un camino a través del cual pueden llegar autos, camiones y buses directo hasta Trayenko.

• Sara y Jorge viven en Trayenko y, pensando en los habitantes de su comunidad, comentan:

• ¿Por qué Sara podría estar contenta por la construcción del camino?

• ------------------------------------------------------------------------

• ------------------------------------------------------------------------

• ¿Por qué Jorge podría estar preocupado por la construcción del camino?

• -------------------------------------------------------------------------

• -------------------------------------------------------------------------

LECTURA

Cuando Valeria señala que “las personas que no ven televisión están desconectadas” quiere decir que esas personas: A. son tristes y solitarias. B. viven en lugares lejanos. C. no se preocupan por sus familias. D. se pierden información importante.

Alberto y Richard piensan que:

A. la televisión no es muy entretenida.

B. el fútbol es lo mejor en la televisión.

C. la televisión hace que los ojos se pongan cuadrados.

D. algunos programas de televisión son más informativos que otros.

¿Con la opinión de cuál estudiante estás más de acuerdo acerca de la televisión?

A. Ana B. Richard C. Alberto D. Valeria

Basándote en el texto, explica por qué estás de acuerdo con ese(a) estudiante.

---------------------------------------------------------------------------------------------

---------------------------------------------------------------------------------------------

Bibliografía y Referencias

• Miguel Ángel Santos Guerra (1998). La evaluación como

comprensión. Dimensión crítica/reflexiva.

• Moss, P. (1994). Can there be validity without reliability? Educational Researcher, 23(2), 5-12.

• Vygotsky, L. El Desarrollo de los Procesos Psicológicos Superiores. Cap. 6.: Interacción entre Aprendizaje y Desarrollo. Ed. Grijalbo. México. 1988

• Mide UC (2011). Material del Diplomado de Medición y

evaluación de aprendizajes.

• Mineduc (2004). Evaluación para el aprendizaje.

• Mineduc – UCE. Niveles de Logro. Consultado en

www.mineduc.cl el 27 de junio de 2011.

• Mineduc – UCE. Mapas de progreso. Consultado en www.mineduc.cl el 27 de junio de 2011.

• Leslie Maxwell y Giovanni Pierattini. Material de capacitación para la construcción de instrumentos de evaluación de calidad (2011).

ANEXOS A LA PRESENTACIÓN

¿Para qué evaluar?

• Para diagnosticar

• Para monitorear

• Para certificar

• Para fortalecer el PEA

¿Qué evaluar?

• Aprendizajes Previos • Procesos • Resultados

• Conocimientos • Habilidades • Actitudes • Conocimientos/habilidades • Conocimientos/habilidades/actitudes

¿Cómo evaluar?

• Elección del instrumento – Prueba, registro de observación, situación de

desempeño, otros.

• Elección del momento (evaluación auténtica): – Al comienzo.

– Durante.

– Al final.

Analizar resultados - Juicios

Tomar decisiones

• Reflexionar sobre el PEA.

• Avanzar (en contenido y desarrollo de habilidades superiores).

• Re-pensar el PEA (los tiempos, la metodología, el contenido y las habilidades).

• Otros.

Zona de Desarrollo Próximo (ZDP)

Participación Guiada

Zona de

Desarrollo

Real

Nivel de

Desarrollo

Potencial

Nivel

Tutor

ZDP

Aprendiz Tutor

Vygotsky

AGENTES EDUCATIVOS

1

FAMILIA

2

ENTORNO

3

ESCUELA

DOCENCIA basada

en una

Cultura

Individualista

donde el

docente

es el único

responsable de

lo que sucede en

su aula

tradicional

Cultura

Colaborativa

de la

colegialidad

basada

en una

trabaja en

colaboración

con el resto

los docentes

en que el docente

Cultura de la

Colegialidad

El Marco Curricular para la enseñanza básica y media define los Objetivos

Fundamentales (OF), es decir, el aprendizaje que se espera que todos los alumnos y

alumnas del país logren. Tienen carácter obligatorio y son el referente en base al cual

se construyen los programas de estudio, los mapas de progreso y los niveles de

Logros SIMCE

Los Programas de estudio son una organización didáctica del año escolar para el

logro del los OF definidos en el Marco Curricular. En los programas se definen

aprendizajes esperados, por semestre o Unidades, que corresponden a objetivos

de aprendizajes acotados en el tiempo. Los Programas de estudio de Mineduc son

una propuesta didáctica, pudiéndose establecer programas propios

Los Mapas de Progreso describen la secuencia en que comúnmente progresa el

aprendizaje en determinadas áreas o competencias clave, considerados como

fundamentales en la formación de los estudiantes. Así, ofrecen un marco de

referencia para observar el aprendizaje promovido por el currículum a los largo de

los 12 años de escolaridad. Cada Mapa contiene 7 niveles de aprendizaje, que

además muestran ejemplos de trabajos de alumnos que ilustran dicho nivel.

El SIMCE y los Niveles de Logro. Entrega información Nacional y por

establecimiento sobre cuántos estudiantes se están aproximando o logrando el

aprendizaje promovido por el currículum en determinados sectores y momentos, y

cuántos obtienen logros intermedios o iniciales.

La información que provee el SIMCE se utiliza para evaluar las políticas nacionales

de educación y para que los establecimientos analicen sus estrategias

institucionales y sus prácticas pedagógica, de manera de contribuir al diseño de

planes de mejoramiento.