Veracruz, Ver., febrero 2009Evaluacin

Evaluacin tradicionalEvaluacin estandarizadaPreguntas cerradas y abiertasRbricasBibliografandice

Cada profesor califica con su propio criterio

Dificultad vs. HabilidadEvaluacin tradicional: sus inconvenientes

Clculo de promedios por carrera

Qu significa obtener promedio de 8?Evaluacin subjetiva: ms inconvenientes

Evaluacin objetiva: un intento Calificacin por curva

Qu significa obtener promedio de 8?6 7 8 9 10 10 10

Evaluacin ideal El modelo de evidencias vincula los datos de la tarea con las variables planteadas en el Perfil.Identifica y caracteriza las principales caractersticas del producto de la accin y las transforma en evidencias observables y cuantificables.

Son exmenes objetivos para medir el aprendizajeAprendizaje es cambio en comportamiento mental: duradero y producto de la experienciaComportamiento mental se clasifica en 3 dominios: cognitivo, afectivo y psicomotorDominio cognitivo: conocimientos, destrezas y habilidadesPruebas estandarizadas

Conocimientos: contenido de los cursos que se memoriza y se entiende.Destrezas: un conjunto seriado de comportamientos que llevan a un resultado.Conocimientos y destrezas: se adquieren durante periodos cortos.Habilidades: son destrezas ms complejas, adquiridas a lo largo de ms tiempo.Dominio cognitivo

Literatura:Conocimiento: reglas de ortografa.Destreza: escribir frases sintcticamente correctas en voz activa.Habilidad: escribir narrativa.

Biologa:Conocimiento: caractersticas de los fsiles del Cmbrico.Destreza: clasificar trilobites y amonites por subespecie.Habilidad: reconstruir fsiles incompletos.

Ejemplos

Cmo medir aprendizajeEl aprendizaje en el dominio cognitivo se mide con reactivos.Un reactivo es una instruccin o pregunta que requiere de una respuesta por parte del examinado y de una regla de calificacin por parte del evaluador.La respuesta puede ser escogida o construida.Un reactivo de respuesta escogida es un reactivo de opcin mltiple o cerrado.Un reactivo de respuesta construida o abierto puede ser un ensayo, reporte, proyecto, artculo de investigacin, etc.

Tipos de reactivosReactivos cerradosSe utilizan cuando la respuesta correcta es nica y el examinado la escoge a partir de una serie de opciones dadas.Reactivos abiertosSe utilizan cuando el examinado construye la respuesta individualmente.Calificados con Checklist o correcto/incorrecto, cuando lo que se califica tiene muchas respuestas correctas. Calificados con rbrica, cuando lo que se califica es conocimiento complejo.

Los reactivos se refieren a dos dimensiones: Contenido y Conducta Cognitiva

El Contenido puede ser de 4 tipos:

Los Hechos son conocimiento bsico indiscutible.Los Conceptos pueden ser abstractos (claridad, originalidad, eficacia) y concretos (costo, volumen, peso, distancia).Los Principios pueden ser causa-efecto, axiomas, leyes de probabilidad, etc. Los Procedimientos pueden ser simples (destrezas) o complejos (habilidades). En general son tangibles, secuenciales y observables.

La Conducta Cognitiva puede ser:

Memorizacin se refiere a recordar conocimiento declarativo.Entendimiento se refiere a la comprensin del contenido: hechos, conceptos, principios y procedimientos.Solucin de problemas implica una combinacin de pasos fsicos y mentales para llegar a una solucin. Pensamiento crtico implica evaluacin, prediccin y pensamiento deductivo e inductivo. Creatividad implica pensamiento creativo y produccin creativa.

Conducta Cognitiva vs. Dominio Cognitivo:

Conocimientos

Destrezas y Habilidades

El aprendizaje de conocimientos, destrezas y habilidades se puede medir con reactivos, ya sea de respuesta escogida o de respuesta construida.

Verbos utilizados segn conducta cognitiva:

Ejemplos de reactivos que requieren distintas conductas cognitivas

Los reactivos cerrados o de opcin mltiples son ideales para medir:

Memorizacin del contenido: conocimiento declarativo.Entendimiento del contenido: de los hechos, de los conceptos, de los principios y de los procedimientos.No son adecuados para medir pensamiento complejo.

Los multireactivos de opcin mltiple pueden ser usados para medir:

Destrezas y habilidades mentales, cuando existe una nica respuesta correcta.En este caso se hace uso de conjuntos de reactivos de opcin mltiple ligados a un mismo texto inicial que funciona como estmulo comn.

Los reactivos abiertos son ideales para medir:

El pensamiento complejo se mide nicamente con reactivos abiertos.

Cobertura del dominio. Permiten cubrir el contenido del dominio utilizando muchas preguntas que el examinado contesta en poco tiempo. Esto no es fcil de lograr con ensayos.Confiabilidad. La consistencia de los resultados de los examinados en el tiempo son una medida de la confiabilidad de una prueba. El error de medida de una prueba de opcin mltiple es una variable fcilmente controlable.Eficiencia. Los reactivos son reutilizables. El costo de calificarlos es mucho menor que el costo de calificar ensayos.Objetividad. Permiten comparar el desempeo de distintas poblaciones en distintas circunstancias y a distintos tiempos.Calificacin automtica. Es un proceso de fcil automatizacin.Ventajas de los reactivos de opcin mltiple

Desventajas de los reactivos deopcin mltiple

Trivializacin. Puede dar lugar a que se ensee y se examine lo trivial. No se deben limitar a examinar memorizacin de contenido.Inapropiados para medir pensamiento complejo. Habilidades de escritura o de pensamiento crtico no pueden ser medidas con OM.El examinado no escribe nada durante la prueba. Es aconsejable mezclar OM con ensayos.

Multirreactivos:Son conjuntos de reactivos de opcin mltiple convencionales, agrupados alrededor de un nico estmulo.Son tiles para medir entendimiento, solucin de problemas y pensamiento crtico. Se debe tener cuidado que la respuesta de cada reactivo dentro del multireactivo no dependa de la respuesta de otro.

Lea con cuidado el siguiente texto y conteste las preguntas 1 y 2:Una revolucin del Cmbrico fue sin duda la aparicin de esqueletos, quizs motivada por los cambios en la qumica de los ocanos (los continentes estaban en posicin ecuatorial, con climas muy clidos y fcil precipitacin de carbonatos, por lo que el gasto metablico era menor). Tambin la aparicin de nuevos predadores 1. Identifique 2. Estime A. A.B. B.C. C.

Multirreactivo de Comprensin:Se utilizan para medir comprensin de lectura. El ejemplo mide, con 8 preguntas, si es posible identificar:1. idea principal.2. caractersticas de personaje principal.3. un conflicto o problema.4. un detalle importante en el significado de la historia.5. una secuencia de eventos.6. una relacin causal.7. el final de la historia.8. el pasado de la historia.

Multirreactivo Pictrico:

Ideal para medir habilidades de alta inferencia que involucren entendimiento y pensamiento crtico utilizando grficas, fotografas o cualquier otro material visual.

Multireactivo de solucin de problemas:Es una de las mejores maneras de medir destrezas y habilidades en la solucin de problemas, en lugar de utilizar un formato de ejecucin.

Reactivos para medir aprendizaje complejo

Reactivos abiertosSe utilizan para medir entendimiento, solucin de problemas, pensamiento crtico y creatividad.Se califican con Checklist o correcto/incorrecto, cuando el resultado tiene muchas respuestas correctas Se califican con rbrica, cuando el resultado no es tangible

Distintos tipos de reactivos abiertosDemostracinEnsayoExamen OralResea/CrticaExperimentoExamen de ejecucinProyectoReporte de investigacin

Reactivo abierto: Demostracin

Este tipo de reactivo se utiliza cuando se requiere que el examinado demuestre una habilidad o destreza fsica.Demuestre usted cmo se prepara a un paciente para colocarle un catter.

Se puede calificar con:checklist si los pasos intermedios para llegar a la solucin son nicos. En este caso el checklist consiste de una lista de los pasos ms importantes para llevar a cabo la tarea.rbrica si lo que se califica no es tangible, como eficiencia, dominio, atencin al paciente, etc. En este caso, la rbrica describe el estndar y las desviaciones de ste.

Reactivo abierto: Ensayo

Este tipo de reactivo se utiliza cuando se requiere que el examinado argumente de manera razonada su posicin o punto de vista acerca de alguna controversia.Defienda su argumento a favor o en contra de la economa de libre mercado.

Histricamente es el reactivo abierto ms usado: surge de manera natural la costumbre de hacer una pregunta y esperar que el examinado la conteste por escrito para calificarla. Dado que este mtodo de calificacin es costoso, fue que surgieron las preguntas de opcin mltiple.

Se puede calificar con checklist o rbrica.

Reactivo abierto: Examen oral

Este tipo de reactivo es muy popular en el saln de clases, aunque tambin se utiliza en exmenes de certificacin de profesiones y dominio de idiomas. Describa usted qu dice la reglamentacin acerca del desecho de material biolgico en hospitales pblicos.

Se puede calificar con:checklist si los pasos intermedios para llegar a la solucin son nicos,rbrica si lo que se califica requiere de pensamiento crtico o creatividad.

Reactivo abierto: Resea/Crtica

Este tipo de reactivo se utiliza para evaluar pensamiento crtico. Una manera efectiva de medirlo es pidiendo al examinado que resee o critique un evento, accin, poltica, representacin.Resee usted la tendencia de los trabajos presentados en el ltimo Congreso Nacional.

Se puede calificar con una rbrica enfocada a evaluar el pensamiento crtico y la habilidad de expresarlo.

Reactivo abierto: Experimento

Este tipo de reactivo requiere que el alumno prepare y lleve a cabo un experimento, registrando todas sus observaciones.En un cuarto cerrado con los vidrios empaados, haga el experimento de tratar de quitar el vapor con aire caliente. Reporte el resultado y conclusiones.

En general se puede calificar con checklist ya que el experimento implica pasos intermedios nicos para llegar al resultado.

Reactivo abierto: Observacin apoyada en instrumentos

Este tipo de reactivo se utiliza cuando el resultado esperado es medido cuantitativamente: tiempo, peso, longitud, volumen, rea, color. Es muy usado en clases de ciencia.Utilizando un teodolito, determine usted cul es la diferencia en altura entre el borde sur del ro y el borde norte.

Dado que el resultado est definido de manera precisa, se puede calificar con checklist o simplemente con xito/fracaso.

Reactivo abierto: Examen de ejecucin

Este tipo de reactivo es muy popular en artes escnicas: msica instrumental, teatro, canto, actuacin. Tambin se utiliza para certificacin profesional.Ejecute usted el primer movimiento del Concierto No. 1 de Beethoven.Realice la extraccin del molar en el paciente.

En general, este tipo de examen se califica con rbrica, ya que se mide la competencia en varias escalas, como son estilo, dominio, seguridad, soltura, improvisacin, etc.

Reactivo abierto: Proyecto

Este tipo de reactivo se ha convertido en el pilar de la enseanza moderna en el saln de clases. Disee y construya un robot autnomo guiado por un rayo laser.

Ofrecen la oportunidad de que el alumno haga gran cantidad de trabajo individual y colectivo, muestre sus conocimientos y experimente caminos nuevos, evidenciando creatividad.Su calificacin se debe hacer con rbricas, que definan los estndares mnimos requeridos para acreditar la tarea.

Reactivo abierto: Reporte de investigacin

Este tipo de reactivo complementa al proyecto y se ha convertido en el pilar de la enseanza a nivel universitario. Inclusive, es el mtodo ms comn para medir originalidad y creatividad en las ciencias bsicas.Elabore el reporte de investigacin del proyecto Robot autnomo guiado por un rayo laser.

Su calificacin es muy compleja, ya que debe comprender muchos ejes, como son: conocimiento, dominio del tema, dominio del idioma, estado del arte, presentacin de resultados, factibilidad, mtodo, etc. Se debe utilizar una rbrica.

Calificacin de reactivos abiertosPara otorgar una puntuacin a quien presenta un reactivo abierto, es necesario utilizar guas impresas que le describan al examinador cules son las evidencias que debe buscar para confirmar que el examinado ha efectivamente aprendido.

Esto se puede hacer con:

checklists, si lo que se busca es nicamente confirmar que se ha cumplido con una serie de pasos, o con rbricas si es necesario confirmar que se ha adquirido conocimiento complejo.

Check-list: es una lista de tareas que el examinado debe cumplir

SiNoEl alumno muestra conocimiento sobre el temaLas ideas y conceptos de la presentacin son fciles de entender.El alumno utiliza ejemplos claros, muestra evidencias y/o se apoya con material grfico.El alumno hace uso de lenguaje apropiado para el tipo de presentacin.Los gestos y el lenguaje corporal son adecuados.Mantiene contacto visual con el pblico todo el tiempo.El alumno articula claramente.

Rbrica:

Es una gua que se utiliza para otorgar una puntuacin a quien presenta un reactivo abierto de aprendizaje complejo.Contiene criterios preestablecidos que permiten determinar niveles de ejecucin de diferente calidad: es una escala graduada.Hace referencia a la calidad de las respuestas esperadas con relacin al uso de destrezas o la aplicacin de conceptos desarrollados.Contiene descriptores que definen qu observar a cada nivel de ejecucin.Las rbricas pueden ser Globales o Analticas.

Rbricas globales:

Se utiliza cuando se toleran errores en el proceso, siempre que el resultado final sea de alta calidad.

Al examinado se le presenta un problema complejo.

La respuesta correcta no es nica.

El sinodal evala la totalidad del proceso o producto sin juzgar por separado las partes que lo componen. Ventaja: el proceso de evaluacin es rpido.

Evaluacin global

Rbrica analtica:

Se utiliza cuando se requiere de detalle en la evaluacin.

El alumno obtiene varias puntuaciones, que se utilizan para calcular numricamente un puntaje final.

El proceso de evaluacin es ms lento.

Ventajas:

Permite crear un perfil de fuerzas y debilidades y ofrecer retroalimentacin al examinado.

Permite hacer la evaluacin referida al criterio.

Evaluacin de un proyecto

Evaluacin de un reporte de investigacin

Evaluacin del proyecto encuesta

Componentes de Rbrica analtica:Elementos del dominio o criterio

Criterios de ejecucinComponentes de Rbrica analtica:

Descriptores del criterioComponentes de Rbrica Analtica:

Escala(niveles de ejecucin, puntuaciones a otorgar)Componentes de Rbrica analtica:

Caractersticas de una RbricaContinuidad en la escala: el cambio en calidad de un nivel de ejecucin al siguiente debe ser igual en todos los intervalos; los criterios de ejecucin deben reflejar esta continuidad.Paralelismo en los criterios: cada descriptor debe mantener paralelismo con sus descriptores vecinos, en trminos del lenguaje utilizado en cada oracin.Coherencia en los criterios: aun cuando los descriptores son diferentes para distintos niveles de ejecucin, los cambios se deben referir a cambios en calidad para un mismo criterio. Vlida: permite evaluar lo relevante en el dominio, no lo que es fcil de observar y/o calificar.Confiable: ofrece resultados consistentes para distintos jueces, distintos examinados y distintos tiempos.

Pasos para disear una rbrica analtica:Examinar los objetivos de aprendizaje a los que se referir la tarea. Redactar los elementos del dominio.Identificar las evidencias especficas, observables, que se desee muestre el examinado durante el desarrollo de la tarea, para cada elemento del dominio. Ubicarlas en el nivel de ejecucin que les corresponda. Hacer una lluvia de ideas para encontrar caractersticas que describan cada evidencia en el resto de los niveles de ejecucin. Estas caractersticas se convertirn en los descriptores del criterio.Redactar descripciones narrativas detalladas para el desempeo Excelente, Muy Bueno, Mnimamente Aceptable y No Acreditado, para cada una de las evidencias. Revisar continuamente la rbrica, despus de cada aplicacin.

BibliografaThomas M. Haladyna, Developing and Validating Multiple-Choice Test Items, Lawrence Erlbaum Associates, 2004.Thomas M. Haladyna, Writing Test Items to Evaluate Higher Order Thinking, Allyn & Bacon, 1997.

******************************************************