PARTE I. La evaluación, elemento de un proceso sistemático 1. La evaluación, elemento de un

proceso sistemático. CORRESPONDENCIA CON EL PROGRAMA

Módulo I. Conceptos y principios básicos Definición de evaluación. Premisas: capacidad para medir, la puntuación observada. Principios: Identificación de las fuentes de error, minimización

del error, estimación del error, control del error. Módulo II. Modelo de referencia para el proceso evaluador

Información, juicios, decisiones. Preparación, recogida de datos, evaluación, síntesis. Síntesis Estudio de casos Bibliografía

Analizar el valor de la tarea educativa no es una actividad asumida por igual en todos los sectores implicados. Sin embargo sí se coincide, en cierta medida, en la expresión y percepción erróneas de dicho análisis.

En el primer caso, recurriendo a SANTOS GUERRA, (1993), es normal aceptar y mantener en documentos técnicos, expresiones tales como: «buscar los objetivos indicados», «lograr una educación integral», «desarrollar los valores educativos», «mejorar la calidad educativa»..., sin exigir aclaraciones, cuando estos enunciados apenas provocan la reflexión, ni soportan las bases del más ligero análisis; y en el segundo caso, todavía pueden persistir entre el profesorado algunas posturas individualistas que, enarbolando una mal entendida "libertad de cátedra", pretenden mantener “cotos privados de intervención educativa”. Sin profundizar mucho, podríamos continuar con la percepción superficial y, en cierto modo gratuita, que ofrecen las distintas ópticas sobre los resultados académicos: «la Administración no apoya», «los alumnos son vagos, están desmotivados, mal preparados, ven mucha televisión...», «las familias se despreocupan», «el ambiente social incide negativamente», «los profesores tienen muchas vacaciones, no trabajan suficientemente...», etc.

Se hace preciso asumir una postura organizada y unánime en los Centros con el objeto de llevar a cabo una evaluación "seria" que profesionalice al Equipo Docente y garantice la eficacia y la eficiencia de su actividad.

Este proceso de reflexión podemos iniciarlo de la mano de TENBRINK (1998) a partir de las siguientes premisas:

• La evaluación “puede ser una ayuda en el aprendizaje” y para la enseñanza.

• La evaluación puede mejorar la enseñanza si consigue provocar en el profesor la suficiente incertidumbre y necesidad de reciclaje respecto a su práctica profesional.

• La evaluación “es una parte importante y fascinante del proceso de enseñanza y

de aprendizaje”. Al término de este módulo, tenemos que ser capaces de:

• Definir la evaluación. • Describir la interdependencia entre información, juicios y decisiones. • Analizar el papel asignado a la evaluación en los documentos legales en vigor; así como, las

implicaciones del profesorado y de los Centros respecto a la misma.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO MÓDULO 1 1

Evaluación es un término con muchos significados. Lo vamos a comprobar.

Escribiremos las primeras palabras que se nos vengan a la mente al pensar en el término "evaluación":

¿Responden con claridad al significado de evaluación?

Evaluación es un término con gran variedad de significados. Como dice EISNER (1988), “la evaluación es un proceso que nos ayuda a determinar si lo que hacemos en las escuelas contribuye a conseguir metas valiosas o si es auténtico con esos fines”. La dificultad estriba en que coincidan las múltiples versiones de lo que significa valor.

Siguiendo a TENBRINK (1988: 16-18), “la evaluación es una parte IMPORTANTE y FASCINANTE de la actividad diaria del profesor” y del alumno. “Es tan importante -comenta este autor- que, sin algún tipo de evaluación, sería casi imposible enseñar y aprender”.

• Es IMPORTANTE, porque los profesores y los alumnos “buscan constantemente” la mejor manera de enseñar y de aprender, de exponer y de asumir la materia, de “saber sus capacidades y sus logros”, las motivaciones e “intereses, los puntos fuertes y los débiles...”.

La evaluación es el proceso por el cual, profesores y alumnos, encuentran las

respuestas a esos retos.

• “Es una parte FASCINANTE de la actividad del profesor” y del alumno, “por los retos que se plantean más que, por la satisfacción de responder a ese desafío, y de responder con éxito”.

Como profesores, tenemos que “apreciar el papel tan importante” que asignamos a la

evaluación, desde la comprensión y asunción de que implica algo más que

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO MÓDULO 1 2

EXAMINAR y CALIFICAR es decir, algo más “serio” que aplicar “controles” y “poner notas”

Líneas arriba decíamos que el concepto de evaluación se presta a múltiples acepciones y, “ni siquiera los expertos -dice Tenbrink-, están de acuerdo sobre qué actividades han de incluirse en él”.

Nosotros, psicopedagogos que hemos de evaluar en nuestra actividad, tenemos que partir de una sencilla acepción del término EVALUACIÓN para que, con esa referencia asequible, podamos asumir y debatir, desde nuestra práctica sobre un modelo operativo de evaluación.

“Este modelo -asequible- deberá deducirse lógicamente de esta sencilla definición” y, cuando se complemente, “tendrá que reunir una serie de requisitos”. Entre ellos, este autor nos propone, que un modelo del proceso de evaluación debe:

• “ser aplicable a todo tipo de problema” o situación escolar,

• “ser fácil de entender y usar”, y

• “especificar claramente cada paso del proceso”.

1.1 El proceso de definición del término.

Podemos comenzar por considerar que evaluar es “asignar un valor a algo: juzgar”. Los profesores asignamos valor o juzgamos:

• “los logros de los alumnos”, • los programas que diseñamos y • nuestra propia actividad al desarrollarlos.

La calificación es la vía más corriente que toma nuestro juicio. Por medio de la calificación emitimos un JUICIO de dichas realizaciones que, normalmente, hacemos público mediante un informe.

Esta es una labor diaria, los profesores deben juzgar continua y sistemáticamente el desarrollo de las tareas asignadas. “Es difícil imaginarse que la educación se produzca sin

que se haga ningún tipo de juicio”, tanto por parte del profesor, como del alumno. Luego, ya estamos en condiciones de ofrecer una primera aproximación a la definición requerida:

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 4

Sabemos que la evaluación “no es un hecho aislado”, por eso hemos puesto el énfasis en el proceso, puesto que “implica una serie de actividades y un cierto número de pasos” que van desde determinar “la clase de información que se necesita”, tratar de localizarla y conseguirla, hasta de ahondar en ella; con lo que se está en disposición de “enjuiciar”.

Llegado a este punto, podemos modificar nuestra anterior definición , por algo similar a:

Esta vez hemos puesto el énfasis en la “obtención de información” para la “emisión de juicios”. Sabemos que, en situaciones corrientes, la emisión de un juicio se suele utilizar “para influir sobre el resultado de algunas decisiones” tomadas o por tomar. En educación, debemos que influir sobre estas últimas, teniendo en cuenta lo anterior.

Nuestra definición estaría completa si vemos la razón lógica de incluir este paso. Las decisiones educativas se toman sobre la base de unos juicios y éstos, a su vez, se emiten sobre la base de una información.

La interdependencia de estos tres conceptos (información-juicios-decisiones) define esencialmente a la evaluación:

“Evaluación es el proceso de formular juicios que se deben emitir para que tenga lugar la educación”

“Evaluación es el proceso de obtención de información y de su utilización para emitir juicios”

“Evaluación es el proceso de obtención de la información y de su uso para formular juicios que, a su vez, se utilizarán para tomar decisiones”

Este último paso en la definición de evaluación “pone el énfasis en el hecho de que la evaluación es un proceso que utiliza la información para formular juicios y tomar decisiones”. El entendimiento claro de estos conceptos y de su vínculo es condición fundamental para discutir y analizar “los detalles del proceso de evaluación”.

_ Información como elemento

“La información proporciona los datos necesarios para formar juicios. Puede adoptar varias formas: puede ser cuantitativa o cualitativa”, sobre alumnos considerados individualmente o sobre grupos, “sobre materiales, programas o procesos”. La información adecuada es el elemento fundamental de la evaluación; pero carece de valor “si no se sabe el tipo de juicios y decisiones que se precisan”.

_ Juicios como consecuencia

“La información, se obtiene e interpreta y, posteriormente, se emite un juicio. El juicio es un resultado del proceso de recogida del la información” y del análisis de la misma. Los juicios, al contrario que las decisiones, “no exigen acción”. No obstante, son de gran importancia a la hora de decidir, pues “son la estimación de una condición presente o la predicción de una acción futura”.

_ Decisiones como finalidad

“La decisión es la actividad final en la evaluación”. “Su razón de ser es hacerlas posibles”. “Requieren acción”. Una decisión significa hacer esto y no lo otro, cambiar para..., comprometerse en..., rechazar..., e implica definir el tipo y grado de lo que se espera alcanzar.

Destacamos de los entrecomillados obtenidos de Tenbrink que la evaluación es el

punto de referencia para la actuación pedagógica.

• Es un proceso continuo, inserto, a su vez, en todo proceso de enseñanza y de aprendizaje.

• Está al servicio de este proceso y no al contrario (fundamentalmente en la enseñanza básica y obligatoria), pues, un proceso de enseñanza y de aprendizaje al servicio de la evaluación, sólo es útil a una enseñanza selectiva.

• Es un acto formativo, al valorar el mérito de una situación que puede y debe ser mejorada.

1.2 Premisas subyacentes a las reglas de medida y a los principios de la evaluación

Comenta TENBRINK (Op.Cit.) que los principios básicos de la evaluación (se tratarán en el módulo III), están soportados por una serie de premisas lógicas y sencillas en orden a su mejor comprensión. A. Las capacidades se pueden medir, lo que significa, en teoría de la medición, que individualmente cada sujeto posee puntuaciones reales que le diferencian de otros. Al medir se da por supuesto que el sujeto tiene determinada cantidad de la capacidad que se mide; información que se utiliza para estimar su capacidad o puntuación real. B. La puntuación observada o medida no es igual a la puntuación real. La observación contiene error; es decir, al medir se comete error. Esto se comprueba cuando en repetidas medidas se trata de mejorar la exactitud de una característica particular del sujeto y sobre todo cuando la medición no es directa. C. En teoría de la medición, una puntuación observada del sujeto se compone de la puntuación real más un error; cuya expresión algebraica se corresponde con: X = r ± e (siendo r la capacidad real y e el error positivo o negativo). Los valores son hipotéticos al no tener la seguridad de la puntuación real o del monto de error implicado en una medida (más adelante se verán los procedimientos para estimar r y e).

El error referido se conoce como error de medición y, en lógica, disminuye la exactitud de la puntuación observada. Las medidas que no concuerdan no son consistentes; el término estadístico que describe esta inconsistencia es falta de fiabilidad. El término que describe la consistencia entre medidas, o lo que es lo mismo, la ausencia de error, es el de fiabilidad. En consecuencia, cualquier observación no fiable, contendrá algún error de medición; si éste es significativo, no tendrá valor para la evaluación.

En evaluación no es preciso en ocasiones que la puntuación observada sea perfectamente fiable, sino apropiada; es decir, debe ser la información apropiada y, en consecuencia, es una información válida. Validez es el término estadístico que se emplea para describir la adecuación de la información obtenida o del instrumento que recoge la información.

Tanto el uso de información no válida como no fiable, conlleva a errores de juicio; entonces se puede hablar de errores de medición (no fiabilidad) y errores por información no apropiada para establecer juicios y tomar decisiones (no validez).

Dado que al obtener cualquier información se produce algún error, el psicopedagogo cuenta con la ayuda de los siguientes recursos para enfrentarse al error cuando tiene que evaluar: La causa del error pued e identificarse El error puede reducirse

El error puede estimarse El error puede “aceptarse”

Identificación de la causa del error. Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 6

Determinados factores en el diseño de los instrumentos de recogida de la información

pueden contribuir a la falta de fiabilidad o de validez. Tal es el caso de la falta de claridad en los requerimientos o la ambigüedad en la definición de las cuestiones que llevan a la inseguridad en la contestación, a la incomprensión del significado o a la confusión. El contenido inapropiado y carente de representatividad priva de validez al instrumento. Tanto la validez como la fiabilidad se ve afectada por la excesiva dificultad o facilidad de las cuestiones, no sólo referida a la dificultad de la materia, sino al nivel de dificultad de la propia cuestión; por ejemplo, en lo referente al vocabulario o a la capacidad lectora del sujeto. La extensión del instrumento también afecta a la fiabilidad y la validez de la información que suministra.

El error también puede surgir por problemas derivados de la utilización del instrumento

como es el caso de darse condiciones poco satisfactorias de su aplicación -por ejemplo, existir demasiados elementos distractores- lo que puede afectar a la fiabilidad y a la validez de la información o a la exactitud de las medidas. También pueden encontrarse factores de error al puntuar y registrar la información.

Un grupo de factores que puede contribuir al error está relacionado con el propio

individuo evaluado. Entre ellos destacamos su estado de salud o anímico en el momento de la evaluación, puesto que no actuará normalmente y su puntuación se verá afectada; de igual modo afecta la actitud ante la evaluación, en el caso de no interesarle quedará reflejado en su puntuación y si le interesa demasiado, su nerviosismo, también influirá. Además interviene su modo de enfrentarse a la evaluación; es decir, su experiencia respecto a la eficacia de arriesgar con respuestas programadas, trabajar despacio y con exactitud, etc. La capacidad que tiene el individuo para responder al cuestionario interviene en el error puesto que, a igual capacidad que se mide, se difiere en la capacidad de someterse a la prueba en concreto. Por último, dentro de este grupo cabe reseñar la influencia que tienen las fluctuaciones de los rasgos psicológicos como la personalidad, madurez y los intereses en su contribución al error.

Reducción del error Al medir puede producirse error; aunque éste se puede prevenir y reducir y, en consecuencia, incrementar las posibilidades de asegurar la validez y fiabilidad de la información, siempre que se proceda con el siguiente patrón de procedimiento:

Hacer referencias constantes a la razón de evaluar Dar claridad, concisión y consistencia a cada paso de la evaluación Ejemplificar siempre la información necesaria.

Si todas las actividades están referidas a la razón por la que se esté evaluando, queda

claro que se pretende garantizar una información válida; es decir, una información acorde con un fin concreto. Así, si se van a realizar comparaciones entre el rendimiento de varios estudiantes, se deben tener datos que sean comparables de un sujeto a otro; o bien, si se trata de ver la aptitud para diseñar un aparato tecnológico, no se requiere el conocimiento para el manejo de las máquinas con las que se ha de construir. Cuanto más se precise la descripción de la información, más fácilmente se obtendrá.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 8

No se puede medir la capacidad de acción de un sujeto si éste no entiende lo que debe hacer o su confusión le impide actuar; por tanto, la ambigüedad y la inconsistencia deben evitarse. Si hay falta de consistencia se dificulta la interpretación de la información; por ejemplo, no podrían hacerse comparaciones significativas entre sujetos, Si hay ambigüedad en las cuestiones disminuye la fiabilidad, se produce inconsistencia invalidándose las comparaciones entre sujetos. Tal es el caso de cuestiones como “¿Cuáles son las causas o los acontecimientos que...?”, en las que cada sujeto puede tener una percepción distinta y se puede interpretar desde distintas ópticas, dependiendo de la naturaleza de los acontecimientos, del punto de partida, si se refiere a los previos o no, etc.; es decir, su ambigüedad produciría inconsistencia. Recordemos que la consistencia es sinónimo de fiabilidad.

La validez de una prueba aumenta a situar al individuo ante un ejemplo representativo,

a modo de muestra de unas cualidades referidas a un todo, que llamamos población. Tanto población como muestra se componen de individuos referidos tanto a personas, como a objetos, hechos o ideas. La muestra está compuesta por un número de individuos de la población y sus miembros consecuentemente tienen los atributos que definen a la población. Cada vez que se consigue una información académica, se está obteniendo una muestra -de conocimiento, de aptitudes, de habilidades, de comportamiento-, es decir, de todo lo que los estudiantes saben o son capaces de hacer. Lo importante es saber si esta muestra es representativa de sus cualidades (todo su conocimiento o sus capacidades -población-). Será representativa si refleja exactamente a la población que se necesita o interesa conocer.

Para obtener una muestra representativa primero hay que describir la población haciendo una aproximación a su tamaño, la determinación de las clases de individuos que la constituyen y la proporción de cada clase; aunque no es preciso definirlas todas, sino sólo aquellas significativas para obtener la información necesaria. En segundo lugar, hay que describir la muestra incidiendo en las variables que caracterizan a la población e indicando, junto con el tamaño de la muestra, la proporción probable de sujetos de la población que deben incluirse en aquella. En tercer lugar debe escogerse un procedimiento de muestreo que, en educación debe ser funcional, en cuyo caso, no encontramos con dos posibilidades: el muestreo aleatorio y el muestreo por cuotas. El aleatorio es un procedimiento sencillo y que elimina preferencias, pero tiene el inconveniente de tener que identificar al individuo y darle la oportunidad de ser seleccionado para la muestra y, en la mayoría de los casos -p.e.:conocimientos, comportamientos-, es poco práctico al no poder identificar fácilmente a todos los individuos de la población, salvo poblaciones limitadas -p.e.: huesos del cuerpo humano, vocabulario de un texto- de los que el profesor pueda obtener una muestra al azar. En consecuencia, puede ser útil conseguir la muestra extrayendo cierta proporción de individuos con unos atributos, otra proporción con otros; y así hasta que tenga grupos de individuos en la misma proporción que la población. Precisamente en esto es donde radica su principal problema, contar con el suficiente número de individuos de cada categoría, aunque se puede solucionar combinando ambos procedimientos.

Estimación del error

Líneas arriba indicábamos que la noción de error abarcaba tanto la falta de fiabilidad (error de medición), como la falta de validez (cuando la información no sirve para lo que se quiere); pues bien, la preocupación del evaluador es lograr una evaluación lo más fiable y válida que le sea posible. Para controlar la magnitud del error que se produce en su evaluación puede seguir dos estrategias: obtener una evidencia empírica y buscar indicadores. Con la primera controla la consistencia en los resultados de una prueba comparando los resultados en dos momentos distintos, si hay una alta consistencia indica fiabilidad; en caso de comprobar si los resultados son útiles a la intención requerida, la comparación de los resultados indica la validez predictiva de las puntuaciones. Como no siempre es posible disponer de una evidencia empírica puede utilizarse una evidencia circunstancial que se utiliza conscientemente como simple indicador. Con cualquier tipo de información se puede obtener una evidencia empírica de la fiabilidad y validez; sin embargo, para lograr la estimación numérica es necesario utilizar los resultados de las mediciones (disponibilidad numérica). A continuación reseñamos algunas técnicas para estimar la fiabilidad y validez de la información, recordando que esta estrategia es fundamental para lograr todos los datos posibles sobre el error en cualquier información en la necesidad de utilizarla eficazmente al formular juicios y tomar decisiones.

Si se demuestra la consistencia de las puntuaciones de los cuestionarios es suficiente para obtener la evidencia empírica de la fiabilidad de las puntuaciones; sin embargo, hay otras posibilidades para considerar las puntuaciones como consistentes y, en consecuencia, diferentes clases de estimación de la fiabilidad que dependerá de la clase de juicios y decisiones para las que se precisen los resultados.

La estabilidad o consistencia a lo largo del tiempo (fiabilidad de test-retest) es un procedimiento sencillo consistente en administrar la prueba a los mismos sujetos en dos momentos distintos analizando los resultados (consistencia); si son estables a lo largo del tiempo habrá alguna correlación que permitirá saber hasta dónde se puede confiar en los resultados. El coeficiente de correlación, como medida de relación lineal, permite alcanzar este objetivo; su tamaño oscila de -1 a +1, que representa correlación correcta, pasando por 0, que significa falta de correlación. Una correlación positiva indica que los individuos que puntúan alto en un conjunto de puntuaciones tienden a puntuar alto en otro y viceversa; mientras que la puntuación negativa indica una relación inversa entre dos conjuntos de puntuaciones. Se designa con una r y dos subíndices (rab=.90 indica que la correlación entre la medida a y b tiene un coeficiente de .90). Si el coeficiente se utiliza para valorar la consistencia a través del tiempo, se llama coeficiente de estabilidad (en aplicación a nuestra materia, diremos como ejemplo que las puntuaciones del rendimiento, al igual que las de aptitud, suelen ser más estables que las de personalidad).

La equivalencia o consistencia a través de dos formas paralelas de un mismo cuestionario aplicadas a un grupo de sujetos que correlaciona los dos conjuntos de puntuaciones se le denomina coeficiente de equivalencia, forma de equivalencia o forma paralela de fiabilidad (es el caso de la aplicación de prueba con dos opciones: “a” o “b” .

El mejor procedimiento para calcular la fiabilidad es unir las ventajas de las formas paralelas y del test-retest; pero sólo es cierto cuando el período de tiempo transcurrido entre la aplicación de las formas equivalentes es relativamente largo (por ejemplo un curso escolar), en cuyo caso se estiman tanto la equivalencia como la estabilidad; sin embargo, cuando es corto, lo mejor es calcular la equivalencia.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 10

La consistencia interna o consistencia a través de las distintas partes de un cuestionario se estima con dos procedimientos: el del mitades -muy parecido al de formas paralelas-, es especialmente adecuado cuando la velocidad de respuesta requerida por el cuestionario impide que algunos sujetos lo acaben totalmente. La fiabilidad se calcula dividiendo el cuestionario en dos mitades (por ejemplo en items pares e impares) y correlacionando los dos grupos de respuestas. El coeficiente resultante es una estimación de la fiabilidad de cada medio cuestionario, aunque debe hacerse una corrección estadística (corrección de Spearman-Brown). El otro procedimiento para calcular la consistencia interna (Kuder-Richardson) se basa en fórmulas desarrolladas para reducir la inflación del coeficiente obtenido por el método de las mitades. El coeficiente resultante es el equivalente a la media de los posibles coeficientes que se podrían obtener si se dividiese el cuestionario en todas las formas de obtener mitades (pares-impares, primera mitad-segunda mitad, selección aleatoria, etc.). Suele ser el método empleado por los autores de pruebas estandarizadas para calcular la fiabilidad de los resultados de sus propios cuestionarios, pero no es así por los profesores y psicopedagogos en su actividad cotidiana.

La estimación de la fiabilidad del evaluador o la consistencia a través de evaluadores (fiabilidad inter-juez) es un problema fundamental cuando la información se obtiene empleando técnicas de observación, puesto que dos observadores que perciben la misma actuación pueden diferir en sus apreciaciones. El procedimiento para estimar la fiabilidad inter-juez es por comparación (alta proporción de acuerdo implica alta fiabilidad). Cuando se trata de varios evaluadores requiere procedimientos de análisis de varianza.

Recordemos que la información es válida cuando sirve al objetivo para la que se

requirió. En el caso de esta materia la información debe servir para la formación de juicios estimativos (juicio sobre la capacidad presente) o predictivos (juicio sobre el rendimiento futuro). Por tanto, para estimar la validez de los resultados se pueden utilizar dos procedimientos: para el primer caso se emplearía la validez concurrente y para el segundo la validez predictiva, que en definitiva son momentos de una aproximación a una validez más general que se llama validez por referencia a un criterio (será tratado en la segunda parte del temario) que se refiere al hecho de que los resultados del cuestionario se puedan validar comparándolos con los obtenidos con una medida de criterio.

En general, cuando se emiten juicios para calcular la capacidad o rendimiento presente se utiliza la validez concurrente. Se comparan dos tipos de información obtenidos del mismo grupo de sujetos al mismo tiempo (concurrentemente). Un tipo de información se obtiene de las puntuaciones del cuestionario a validar y el segundo tipo sería la medida del rendimiento que se estima. Si las puntuaciones son una medida válida del tipo del rendimiento a calcular, serían comparables positivamente con alguna otra medida de dicho rendimiento. Por ejemplo si el cuestionario trata de determinar la aptitud verbal podría validarse comparando las puntuaciones con las obtenidas en otro cuestionario de aptitud verbal aplicado en esas fechas y la otra medida podrían ser las calificaciones obtenidas en Lengua materna o las de otra medida disponible de esa aptitud. En definitiva, los resultados se consideran válidos si califican a los estudiantes de igual modo que lo hacen otras medidas del mismo tipo de rendimiento. Normalmente la comparación es estadística usándose el coeficiente de correlación (coeficiente de validez) que suele ser más bajo que el de fiabilidad

incluso para pruebas estandarizadas.

Cabe preguntarse si los resultados de un cuestionario son válidos para calcular la capacidad futura; es decir la determinación de su validez predictiva. Si los resultados del cuestionario son predictores válidos, las correlaciones deben ser altas con los resultados finales.

En el caso de estimar una capacidad general que no está relacionada con un único criterio, como es el caso de la adaptación social, la comprensión lectora, la capacidad ante el estudio o la aptitud para los idiomas, surge la pregunta si es suficiente con una sola medida. La respuesta está en la validez de las características que identifican a esa capacidad y que denominamos constructo. De esta manera, el C.I. se muestra en habilidades verbales, capacidad para resolver problemas, etc., de forma que los resultados de un cuestionario tendrán validez alta si están referidos a todos o a la mayoría de los criterios que sostiene la “teoría” sobre el constructo que se mide.

Aceptación del error.

Comenta TENBRINK (op.cit., pág. 59) que «se puede “vivir con” el error», puesto que, calculado el error o al menos reconocido, se puede usar la información si se interpreta convenientemente. Antes de emitir juicios y tomar decisiones se debe verificar la información para lo cual pueden seguirse, a modo de orientaciones generales, las reglas que pasamos a reseñar y cuyas aplicaciones veremos en los siguientes módulos del curso.

No debe establecerse un compromiso firme sobre la base de una puntuación única. No se debe aceptar la puntuación observada como certeza, lo conveniente es separar; es decir, entender que la puntuación observada es una estimación de la real que es exacta en una banda de límites conocidos. Separamos para no comprometernos en un tipo de acción concreta en función de una sola información hasta que se pueda lograr más información y se pueda verificar.

No será exacta una información única; sin embargo, bajo ciertas condiciones para mantener controlado al error, puede ser lo suficientemente exacta y útil (estimándolo con los coeficientes de fiabilidad y validez). Pues bien, considerada exacta, puede servir para establecer hipótesis sobre la conducta de los sujetos siempre que se verifique para ver si ésta es verdadera (exacta), lo que nos llevaría a su confirmación o rechazo.

Obtenida la aceptación de la hipótesis sobre la base de que la puntuación del cuestionario es verdadera, hay que confirmar la exactitud de la puntuación. Una forma de comprobar la información es obtenerla en circunstancias parecidas; es decir, replicándola, a partir de la aplicación de una forma paralela del cuestionario o bien, aplicando cuestionarios similares que midan aproximadamente lo mismo. Otra forma de verificar la exactitud (verdad) de la información consiste en complementar la información actual con la obtenida en otras circunstancias. Es conveniente obtener variadas clases de información referidas a la misma capacidad como complemento, antes de tomar decisiones.

1.3 El papel de la evaluación en los documentos legales.

Se adjunta la normativa para su análisis y la posterior discusión en equipo.

2. Un modelo de referencia para el proceso evaluador

Hacemos una propuesta de modelo de referencia para el proceso evaluador que corresponde con una idealización del recorrido que hemos venido señalando en el módulo anterior y que culminaba en la formación de juicios y en la toma de decisiones. Es posible encontrar limitaciones durante el proceso a todos los pasos propuestos y, en ocasiones, será difícil cumplirlos en la propia secuencia; pero resultará efectivo el esfuerzo de cumplirlos -o completarlos si cabe después- cuidadosa y sistemáticamente.

Tengamos en cuenta que la idealización de la que partimos hace consciente al evaluador de cualquier distorsión en el proceso y de sus consecuencias; y, puesto que, constantemente está emitiendo juicios -y tomando decisiones- cuyas consecuencias difieren en importancia, le será más funcional en algunas ocasiones cuando tenga que “ser menos riguroso en poner en práctica los procedimientos de la evaluación” (TENBRINK, O.Cit. p.21). En cualquier caso, el evaluador siempre pasará por tres estadios en un proceso que va de la toma de conciencia de la evaluación, pasando por la obtención de la información, a la emisión del juicio o a la toma de decisión.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 12

El evaluador debe saber la clase de información que va a necesitar, lo que implica que sea la adecuada al objeto, y no sirve otra cualquiera para emitir los juicios y tomar las decisiones pertinentes.

Estos dos tipos de acciones tienen una relación muy estrecha entre sí y con el objeto de la evaluación, de tal forma que se suelen determinar en su origen al mismo tiempo. Aunque esté bien planificada la evaluación y se tengan los instrumentos apropiados (o se haya localizado la información disponible) es preciso utilizar adecuadamente las técnicas de recogida de la información y seguir los procedimientos para cuestionarla, analizarla, comprobarla y registrarla convenientemente. En el último estadio de la evaluación se formulan juicios estimativos y/o predictivos y se toman las decisiones correspondientes entre distintos tipos de acción alternativos, dándose a conocer los resultados. Los evaluados y relacionados tienen interés por conocer los resultados y los efectos de la evaluación. En educación, las notas son un sistema de dar a conocer los resultados, pero no es la única manera de informar, como veremos en los próximos módulos y en las actividades prácticas.

No es de extrañar que el resumen informativo de los juicios y decisiones indiquen la conveniencia de emitir más juicios y tomar más decisiones, reiniciando de nuevo el proceso.

TÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 1:

Un alumno de 1º de Bachillerato, al que le han quedado en suspenso las calificaciones de dos asignaturas en la última evaluación, plantea a su profesor-tutor las siguientes cuestiones:

1. Cuando la calificación es negativa en alguna materia del curso, ¿puede el alumno someterse a alguna prueba para recuperarla? ¿a cuántas? ¿cuándo?.

2. ¿Quién elabora las pruebas? ¿de qué versan? ¿quién las supervisa?.

3. ¿Se necesita alguna condición previa para presentarse a las pruebas de

septiembre si le queda alguna materia en suspenso?.

4. ¿Con cuántas materias pendientes se puede incorporar al curso siguiente?

5. ¿Puede un alumno, con materias pendientes del curso anterior, solicitar del Centro un método para recuperarlas? ¿cuál es el procedimiento? ¿cuándo se tiene que examinar?.

.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 14

TÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 2:

El profesor-tutor del grupo B de 2º de Bachillerato manifiesta en la 2ª sesión de evaluación que, para la tercera evaluación, será él quien coordine la asignación de las fechas de examen en su grupo; y pide a los profesores de Matemáticas y de Biología que reduzcan el número de pruebas de repaso y se abstengan de realizarlas en las fechas previas a la evaluación. Al profesor de Historia le transmite el ruego de los alumnos de su tutoría para que presente las pruebas con procedimientos más variados, pues siempre utiliza las de tipo test. Por último, manifiesta que, para la próxima sesión de evaluación, se negará a que se realice como hasta ahora, calificando a las mismas de un "vaciado de notas".

Análisis del caso:

1. ¿Cuáles son las funciones del profesor-tutor respecto a la evaluación?. ¿Es correcta la actuación del tutor cuando dice que va a coordinar la asignación de fechas de evaluación?.

2. ¿Se pueden negar los profesores de Matemáticas y de Biología a la petición

del tutor? ¿por qué?.

3. ¿Está obligado el profesor de Historia a diseñar pruebas que contemplen “procedimientos variados”?.

4. ¿Qué contempla la sesión de evaluación? ¿a qué se refiere el tutor con la

expresión "vaciado de notas"?.

TÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 3:

La familia de un alumno de 2º de Bachillerato, con dos materias pendientes del curso anterior, expresa su preocupación por lo que considera un incumplimiento de las obligaciones del Centro.

Su hijo no recibe ningún apoyo ni orientación para recuperar dichas materias y

no saben, si es debido a que si aprueba las correspondientes materias de 2º, se consideran recuperadas las de 1º, al ser un nivel inferior; o es que la familia debe poner un profesor particular para que prepare los exámenes de recuperación que el Centro pondrá en su día.

Análisis del caso:

1. Si figura en la legislación alguna obligación al respecto, ¿a quién incumbe? y, ¿a qué obliga.

2. ¿Es suficiente con contemplar las pruebas de recuperación? ¿cuántas se

deben contemplar? ¿cuándo han de realizarse? ¿quién las elabora? ¿de qué versan? ¿quién las supervisa?.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 16

TÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 4:

En la Jefatura de Estudios del Instituto se ha recibido por escrito la queja de la familia de un alumno de 1º de Bachillerato, respecto de la actuación de un profesor del seminario de Física y Química, aduciendo que en el examen de la tercera evaluación, las cuestiones planteadas a su hijo correspondían, en gran parte, a temas de evaluaciones pasadas; por lo que su hijo (¡que recibe clases particulares!), tiene una nota deficiente que no responde al esfuerzo realizado estudiando los contenidos tratados en la evaluación. Además, tienen la sospecha, de que en la nota tan baja de su hijo ha influido un percance que tuvo con el profesor y que dio lugar a la intervención del Jefe de Estudios.

Los padres reclaman un nuevo examen de acuerdo con la legislación en vigor y exigen del Jefe de Estudios que intervenga para que no permita que este profesor utilice "estrategias para que su hijo suspenda", en clara alusión a que normalmente utiliza pruebas objetivas.

Análisis del caso:

1. ¿A qué legislación se refieren los padres?

2. ¿Se puede preguntar al alumno contenidos de evaluaciones anteriores?.

3. ¿Pueden modificarse las calificaciones obtenidas por el alumno con las observaciones realizadas sobre su comportamiento?

4. ¿Para qué sirven las observaciones sobre el comportamiento?

5. ¿Se debe hacer un nuevo examen al alumno?.

6. ¿Está obligado el profesor a realizar pruebas con procedimientos e

instrumentos variados?.

T ÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 5:

El Jefe de Estudios del Centro reúne a los profesores de Bachillerato para acordar los criterios que van a regir las sesiones de evaluación. Análisis del caso:

Como proceso que ha de recoger de manera sistemática las informaciones derivadas del proceso de enseñanza y de aprendizaje:

1. Definirá la sesión de evaluación, dejando claro su objeto, su composición, su instrumento básico, la responsabilidad de coordinación, mecanismos de actuación y, la transmisión de la información y de las decisiones a quien corresponda.

2. Indicará el número de sesiones de evaluación a celebrar a lo largo del curso, con indicación de los períodos lectivos que han de cubrir.

3. Informará sobre la posibilidad de recibir asesoramiento especializado en caso necesario.

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 18

T ÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 6:

El Jefe de Estudios comunica al profesor-tutor de un grupo de alumnos, la pérdida del derecho a la evaluación continua por parte de uno de éstos. El profesor requiere información, basada en las disposiciones legales, para transmitírsela a los profesores del grupo de clase en la próxima sesión de evaluación.

Análisis del caso:

1. ¿Qué se precisa para disfrutar del derecho a la evaluación continua? ¿qué motiva la pérdida de tal derecho? y, ¿dónde se contempla?.

2. El proceso de evaluación, ¿sólo incluye la evaluación continua?. En todo caso,

¿cómo se resuelve este supuesto?.

3. ¿Puede este alumno presentar algún tipo de exención a determinadas materias?. En caso afirmativo, ¿quién la autoriza?.

TÉCNICA: ESTUDIO DE CASOS Análisis de documentos: (referenciar)

.......................................................................................

....................................................................................... CASO Nº 7:

El profesor-tutor de un grupo de alumnos tiene que dar información a los padres de los alumnos de su grupo-clase, en una reunión conjunta, respecto a la evaluación de los aprendizajes. Algunos padres le presentan las siguientes cuestiones:

1 La evaluación de los aprendizajes en la Educación secundaria es sobre una apreciación global del progreso del alumno, pudiendo éste promocionar aún con algunas áreas deficientes. ¿Sucede lo mismo en el Bachillerato?.

2. En la evaluación, ¿se van a calificar sólo los aprendizajes memorísticos o se va

a dar importancia a la forma de hacer, a la motivación y a las actitudes que tengan los chicos?.

3. Si se van a dar las notas por "asignaturas", ¿con cuántas suspensas se pasa de curso?

¿qué pasa con los suspensos en el último curso? ¿tienen que repetir todo el curso?.

4. ¿Se les va a ayudar a los chicos que tienen alguna "asignatura pendiente" del curso

anterior? ¿quién les va a dar el apoyo que necesitan? ¿con qué estrategias?. 5. En la Educación secundaria no hay exámenes extraordinarios de setiembre; ¿sucede

igual en el Bachillerato?. Dictamen sobre el caso:

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 20

ANEXO DOCUMENTAL DEL MÓDULO I DISPOSICIONES LEGALES:

R.E.P.I.P.E. 26-11-1838 (parte dispositiva) L.I.P. 9-9-1857 (art. 17) ....................................................................

OTRA DOCUMENTACIÓN:

AUTOEVALUACIÓN para el Módulo I Objetivo 1. ¿Qué finalidades persigue la evaluación de los aprendizajes en la educación preuniversitaria?.

Objetivo 2. Describa la interdependencia entre información, juicios y decisiones educativas en el proceso evaluador de los aprendizajes en la educación preuniversitaria.

¿En qué medida afectan las decisiones educativas al proceso de enseñanza en la educación preuniversitaria y, en concreto, al profesorado?

Dr. E. Rodríguez Suárez /ALCALÁ/TEMARIO/MÓDULO 1 22