6.11. Pruebas objetivas, puntuaciones mnimas, calificacin

Pedro Morales Vallejo Universidad Pontificia Comillas, Madrid 1

Pruebas objetivas: cmo calificar y establecer puntuaciones mnimas para el apto

Mtodos relativos al grupo

Cuestionables aunque el grupo siempre aporta una informacin til

Mtodos basados enuna proporcindeterminada de respuestas correctas

Quizs el procedimientoms habitual. Se puede tener en cuentael error tpico, o margenprobable de error

Mtodos basados enobjetivos conseguidoso teniendo en cuentapreguntas especficas

Incluir preguntas especficas para el aptoy corregirlas por separado

Diferenciar en la preparacin y correccin del examen bloques distintos de preguntas (que pueden tener una valoracin distinta)

Mtodos basados en elanlisis de lostems por mediode varios jueces

Mtodo de Nedelsky Mtodo de Angoff

(y variantes)

Debera haberms preguntas de lo ms importante

responsabilidad compartida en la determinacin del apto

tem respuestas [* correcta]

k = no eliminadas

valor del tem =

1/k

n 1 A B* C 2 1/2

= 0.50

n 2 A* B C 1 1/1

= 1

n 3 A B* C 3 1/3

= 0.33

n 4 A B C* 2 1/2

= 0.50

n 5 A* B C 2 1/2

= 0.50 total = 2. 83

Pruebas objetivas, determinacin de la puntuacin mnima para el apto (mtodo de Nedelsky)

1. Cada juez identifica las alternativas incorrectas que debera eliminar el alumno mnimamente competente (las tachadasen el cuadro).

2. La puntuacin esperada en cada tem es 1 dividido por el nmero de alternativas entre las que tendra que adivinar (las no eliminadas en el paso anterior).

3. La suma de los valores de todos los tems es la puntuacin total mnima para aprobar segn ese juez. Si un juez cree que el alumno mnimamente competente debe eliminar todas las alternativas falsas de todas las preguntas, la puntuacin mnima ser igual al nmero de preguntas.

4. La mediana de los valores aportados por los jueces es la puntuacin mnimapara aprobar.

Probabilidad de que responda correctamente el alumno

mnimamente competente

Preguntasn 1.......................................... .90n 2 .......................................... .80n 3 .......................................... .95n 4 .......................................... .30n 5 .......................................... .25n 6 .......................................... .25n 7 .......................................... .75n 8 .......................................... .50n 9 .......................................... .05n 10 .......................................... .00

Suma = 4.75Puntuacin mnima esperada = 4.75

Redondeando = 5.00

1. Cada juez estima la probabilidad de un sujeto mnimamente apto que responda correctamente cada pregunta.

Multiplicando por 100 tenemos el tanto por ciento de alumnos mnimamente aptos que responderan correctamente.

2. La suma de estas probabilidades es la puntuacin mnima de cada juez.

3. La puntuacin mnima es la mediana del conjunto de jueces.

Determinacin de la puntuacin mnima para el

apto (mtodo de Angoff)

Estos procedimientos pueden ser

especialmente tiles en exmenes con consecuencias

importantes; sobre todo cuando se desea una

responsabilidad compartida y que no dependa de una sola

persona la decisin de apto o no apto

Pensando en el alumno mnimamente competente:

Procedimiento de Nedelsky: en cada tem se evala cada alternativa

Procedimiento de Angoff: se evala globalmente cada tem

Mtodo de Angoff Pregunta a los jueces:

De 100 sujetos mnimamente competentes Cuntos cree Vd. que responderan correctamente? (no cuntos deberan responder correctamente)

O ms sencillamente:

Un alumno mnimamente competente respondera correctamente?

(S = 1, No = 0)

6.11. Pruebas objetivas, puntuaciones mnimas, calificacin

Pedro Morales Vallejo Universidad Pontificia Comillas, Madrid 2

Pedro Morales, Universidad Pontificia Comillas

Pruebas objetivas.Determinacin de la puntuacin mnima para el apto

(mtodo de Angoff, variante de Ebel)

Estos procedimientos admiten muchas variantes, por ejemplo

El grupo de jueces:

Discute sobre las caractersticas del alumno mnimamente competente, que sabe justo lo suficiente para el aprobado

Categoriza los temsen tres categoras:

Determina el nmero de tems que este alumno debe responder correctamente en cada categora

La puntuacin mnima se establece a partir de los anlisis anteriores

1

2

3

4

esenciales, importantesy no tan importantes

Pedro Morales, Universidad Pontificia Comillas

Pruebas objetivas.Determinacin de la puntuacin mnima para el apto

(mtodo de Angoff)

Se puede hacer algo anlogo cuando hay varias fuentes de datos (en vez de las preguntas de un nico examen):

-ejercicios-prcticas,-evaluaciones convencionales-etc.

El grupo de jueces determina la nota o nivel mnimo necesario para el apto en cada caso.

Plake, Barbara S.; Hambleton, Ronald K. and Jaeger, Richard M. (1997). A New Standard-Setting Method for Performance Assessments: The Dominant Profile Judgment Method and Some Field-Test Results. Educational and Psychological Measurement. Vol 57 (3) 400-41

Resmenes de los distintos procedimientos:

Downing, Steven M.; Tekian, Ara and Yudkowsky, Rachel (2006). Procedures for establishing defensible passing scores on performance examinations in health professions education. Teaching & Learning in Medicine, Vol. 18 Issue 1, p50-57

Measurement Research Associates (2004). Criterion Referenced Performance Standard Setting http://www.measurementresearch.com/media/standards.pdf

Case, Susan M. and Swanson, David B. (2001). Constructing Written Test Questions For the Basic and Clinical Sciences, 3rd Edition. Philadelphia: National Board of Examiners (181 pginas). http://www.nbme.org/PDF/2001iwg.pdf (pg. 112).