Post on 09-Jul-2015
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 1/57
PREPARACIÓN DEPREPARACIÓN DEPRUEBASPRUEBAS
JULIO E. RODRIGUEZ TORRESJULIO E. RODRIGUEZ TORRES
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 2/57
Objetivosbjetivos
Presentar aspectos esenciales en laPresentar aspectos esenciales en laconstrucción de diferentes tipos de pruebasconstrucción de diferentes tipos de pruebas
enfatizando en las pruebas de criterios.enfatizando en las pruebas de criterios. Enfocar en el proceso de validación deEnfocar en el proceso de validación de
pruebas de criterios.pruebas de criterios. Establecer un diálogo entre los participantesEstablecer un diálogo entre los participantes
sobre aspectos importantes en la elaboración esobre aspectos importantes en la elaboración einterpretación de resultados de pruebas.interpretación de resultados de pruebas.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 3/57
Consideraciones generalesonsideraciones generales
Conceptos básicosConceptos básicos PruebaPrueba
Según Bernard (1999), una prueba es una serieSegún Bernard (1999), una prueba es una serie
de tareas o conjunto de ítemes, que las personasde tareas o conjunto de ítemes, que las personascontestan en forma oral o escrita y que permitencontestan en forma oral o escrita y que permitendeterminar diferencias específicas entre ellas.determinar diferencias específicas entre ellas.
Una prueba es un instrumento de mediciónUna prueba es un instrumento de medición
utilizado para describir numéricamente unautilizado para describir numéricamente unacaracterística bajo condiciones uniformescaracterística bajo condiciones uniformes(Thomas Haladyna, 1999).(Thomas Haladyna, 1999).
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 4/57
Es una manera de medir elEs una manera de medir elcomportamiento o ejecución de uncomportamiento o ejecución de unindividuo en una situación determinadaindividuo en una situación determinada
que permita recoger una informaciónque permita recoger una informaciónpara usos variados tales como:para usos variados tales como: Diagnóstico de una situaciónDiagnóstico de una situación
Alcance de logros y anticipo de las Alcance de logros y anticipo de lasposibilidades de éxito en nuevasposibilidades de éxito en nuevassituacionessituaciones
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 5/57
Según Anastasi (1968), son medidasSegún Anastasi (1968), son medidasnormalizadas y objetivas de una muestranormalizadas y objetivas de una muestrade la conducta. Su clasificación se hace ade la conducta. Su clasificación se hace abase de lo que se proponen medir así comobase de lo que se proponen medir así como
también del tipo de preguntas o ejerciciostambién del tipo de preguntas o ejerciciosque se elaboran. Según el tipo deque se elaboran. Según el tipo depreguntas o ejercicios, tenemos laspreguntas o ejercicios, tenemos laspruebas objetivas y las subjetivas. Depruebas objetivas y las subjetivas. De
acuerdo a su propósito, se clasifican como:acuerdo a su propósito, se clasifican como:diagnóstica, de aprovechamientodiagnóstica, de aprovechamientoacadémico, normativas y estandarizadas,académico, normativas y estandarizadas,
de ejecución y de criterio entre otras.de ejecución y de criterio entre otras.
Clasificación de las pruebas
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 6/57
Pruebas de aprovechemientoruebas de aprovechemientoacadémicocadémico
Es un instrumento diseñado para medir Es un instrumento diseñado para medir el comportamiento o logro relativo delel comportamiento o logro relativo delestudiante en un área específica deestudiante en un área específica detrabajo de una materia o curso. Estastrabajo de una materia o curso. Estaspruebas suelen ser tanto objetivas comopruebas suelen ser tanto objetivas comosubjetivas (o una combinación desubjetivas (o una combinación deambas). Determinan el progresoambas). Determinan el progreso
alcanzado por los estudiantes a medidaalcanzado por los estudiantes a medidaque se va llevando a cabo el proceso deque se va llevando a cabo el proceso deenseñanza y aprendizaje.enseñanza y aprendizaje.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 7/57
Pruebas objetivasruebas objetivas
Son aquellas cuyos ejercicios o preguntasSon aquellas cuyos ejercicios o preguntastienen sólo una respuesta precisa y en lastienen sólo una respuesta precisa y en lasque el juicio u opinión del(la) maestro(a) enque el juicio u opinión del(la) maestro(a) ennada afecta o influye en las respuestas denada afecta o influye en las respuestas de
los estudiantes. Ejemplos: llenar blancos,los estudiantes. Ejemplos: llenar blancos,pareo, cierto o falso, selección múltiple,pareo, cierto o falso, selección múltiple,definir o todo tipo de ejercicio en que ladefinir o todo tipo de ejercicio en que la
contestación o respuesta conllevacontestación o respuesta conllevaenumerar o señalar un dato o hecho.enumerar o señalar un dato o hecho.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 8/57
Prueba subjetivarueba subjetiva
Son aquellas cuyos ejercicios o preguntasSon aquellas cuyos ejercicios o preguntaspueden variar en sus respuestas y estánpueden variar en sus respuestas y estánsujetas tanto a la opinión del maestro comosujetas tanto a la opinión del maestro comoa la de los estudiantes. En este tipo dea la de los estudiantes. En este tipo de
prueba tenemos los ejercicios de preguntasprueba tenemos los ejercicios de preguntasabiertas, ensayo, solución de problemas,abiertas, ensayo, solución de problemas,análisis de situaciones e interpretación deanálisis de situaciones e interpretación decasos, entre otras. Son adecuadas paracasos, entre otras. Son adecuadas para
medir destrezas complejas de pensamientomedir destrezas complejas de pensamientotales como el análisis, la síntesis y latales como el análisis, la síntesis y laevaluación.evaluación.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 9/57
Pruebas diagnósticasruebas diagnósticas
Son aquellas cuyo propósito es descubrir cuálesSon aquellas cuyo propósito es descubrir cuálesson las fortalezas y áreas de desarrollo que tienenson las fortalezas y áreas de desarrollo que tienenlos estudiantes sobre unos conocimientos y unaslos estudiantes sobre unos conocimientos y unasdestrezas en una materia o área determinada.destrezas en una materia o área determinada.
Usualmente se administran al inicio de una sesiónUsualmente se administran al inicio de una sesiónacadémica y deben constar de una batería deacadémica y deben constar de una batería depruebas. Mediante este tipo de prueba, se trata depruebas. Mediante este tipo de prueba, se trata dever las condiciones en que se encuentran losver las condiciones en que se encuentran los
alumnos y mediante la interpretación de susalumnos y mediante la interpretación de susresultados, se pronostica o se trata de establecer resultados, se pronostica o se trata de establecer o anticipar si los estudiantes pueden lograr loso anticipar si los estudiantes pueden lograr losaprendizajes requeridos.aprendizajes requeridos.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 10/57
El diagnóstico no recibe calificación.El diagnóstico no recibe calificación.Suele usarse sobre todo en áreasSuele usarse sobre todo en áreas
específicas como en la lectura, laespecíficas como en la lectura, laortografía o las operaciones matemáticasortografía o las operaciones matemáticasfundamentales. El diagnóstico se puedefundamentales. El diagnóstico se puede
hacer de manera formativa.hacer de manera formativa.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 11/57
Son aquellas que comparan a los estudiantesSon aquellas que comparan a los estudiantes
con unas normas establecidas a base de uncon unas normas establecidas a base de ungrupo representativo ya estudiado. Al igual quegrupo representativo ya estudiado. Al igual quelas de aprovechamiento, nos indican lo que loslas de aprovechamiento, nos indican lo que losestudiantes han aprendido en determinadaestudiantes han aprendido en determinada
materia o asignatura. También nos puedenmateria o asignatura. También nos puedenindicar lo que los estudiantes son capaces deindicar lo que los estudiantes son capaces dehacer con un conocimiento particular (aptitud).hacer con un conocimiento particular (aptitud).Se les llama normativas porque se establecenSe les llama normativas porque se establecennormas internas que vienen a ser los índicesnormas internas que vienen a ser los índicesestadísticos obtenidos mediante laestadísticos obtenidos mediante laadministración de la prueba a los gruposadministración de la prueba a los gruposrepresentativos previamente estudiados.representativos previamente estudiados.
Pruebas normativas - estandarizadas
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 12/57
Ejemplojemplo
En una institución educativa se administra unaEn una institución educativa se administra unaprueba de aptitud verbal y se informa que unaprueba de aptitud verbal y se informa que unapuntuación de 88 puntos equivale a un rangopuntuación de 88 puntos equivale a un rangopercentil de 90. Miguel obtuvo 88 puntos en dichapercentil de 90. Miguel obtuvo 88 puntos en dichaprueba. ¿Qué significa ese “88”? Significa queprueba. ¿Qué significa ese “88”? Significa que
Miguel sobrepasa al noventa por ciento de todos losMiguel sobrepasa al noventa por ciento de todos losestudiantes que tomaron esta prueba y que sólo unestudiantes que tomaron esta prueba y que sólo un10% han realizado una prueba con mejor resultado10% han realizado una prueba con mejor resultadoque él. En este caso el valor (88) es un índice yaque él. En este caso el valor (88) es un índice yaestablecido al haberse administrado esta prueba aestablecido al haberse administrado esta prueba a
un grupo de estudiantes previamente estudiado, elun grupo de estudiantes previamente estudiado, elque ahora se utiliza como referencia para comparar que ahora se utiliza como referencia para comparar e interpretar el resultado de este estudiante.e interpretar el resultado de este estudiante.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 13/57
Otro ejemplo lo podemos ver con las pruebasOtro ejemplo lo podemos ver con las pruebasde inteligencia en que se nos informe que unde inteligencia en que se nos informe que un
IQ (CI) promedio oscila entre 89 y 110. Si unIQ (CI) promedio oscila entre 89 y 110. Si unsujeto tiene un IQ de 125 se dice entonces quesujeto tiene un IQ de 125 se dice entonces queestá sobre el nivel de inteligencia promedio yestá sobre el nivel de inteligencia promedio yse puede clasificar como de inteligenciase puede clasificar como de inteligenciasuperior. Estas pruebas han sido estudiadassuperior. Estas pruebas han sido estudiadascientíficamente a través de los años encientíficamente a través de los años enmuestras de sujetos de niveles similares. Losmuestras de sujetos de niveles similares. Losdatos estadísticos ya establecidos en escalas,datos estadísticos ya establecidos en escalas,promedios y rangos percentiles, entre otrospromedios y rangos percentiles, entre otros
vienen a constituir normas a base de lasvienen a constituir normas a base de lascuales se establecen referencias paracuales se establecen referencias paracomparar e interpretar la ejecución de loscomparar e interpretar la ejecución de losestudiantes.estudiantes.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 14/57
Ejemplo de IQ (Stanford-Binet)jemplo de IQ (Stanford-Binet)
IQ Clasificación132 + Muy superior
121-131 Superior
111-120 Promedio alto
89-110 Normal o promedio
79-88 Promedio bajo68-78 Aprendiz lento
< 67 Con retardación mental
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 15/57
Ejemplos de pruebasjemplos de pruebasestandarizadasstandarizadas
Escala Wechsler Escala Wechsler Stanford – BinetStanford – Binet
Prueba de Admisión Universitaria (CEEB)Prueba de Admisión Universitaria (CEEB) Prueba de Certificación de Maestros (PCMAS)Prueba de Certificación de Maestros (PCMAS) Prueba de Admisión a Estudios GraduadosPrueba de Admisión a Estudios Graduados
(PAEG)(PAEG) LSATLSAT MCATMCAT GREGRE
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 16/57
Resumen del proceso de elaboraciónesumen del proceso de elaboraciónde las pruebas estandarizadase las pruebas estandarizadas
Determinar el propósito de la pruebaDeterminar el propósito de la prueba Preparación de una planilla de especificaciones (Validación delPreparación de una planilla de especificaciones (Validación del
contenido)contenido) Redacción de reactivos o ítemes por expertosRedacción de reactivos o ítemes por expertos Análisis de los ejercicios por expertos (diferentes a losAnálisis de los ejercicios por expertos (diferentes a los
redactores)redactores) Selección de una muestra representativa para administración deSelección de una muestra representativa para administración de
la pruebala prueba Validación de constructos o concurrente (de ser posible)Validación de constructos o concurrente (de ser posible) Análisis de ítemesAnálisis de ítemes Desarrollo de índices (rangos percentiles, media, coeficiente deDesarrollo de índices (rangos percentiles, media, coeficiente de
confiabilidad, error estándar, coeficiente phi, índice de dificultadconfiabilidad, error estándar, coeficiente phi, índice de dificultady discriminación del ítem y otras estadísticas de un nivel dey discriminación del ítem y otras estadísticas de un nivel desofisticación alto.sofisticación alto.
Estudio comparativo con otras muestras.Estudio comparativo con otras muestras. Desarrollo de normas a la luz de los resultados y de laDesarrollo de normas a la luz de los resultados y de la
investigación realizada.investigación realizada.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 17/57
Consideraciones sobre las pruebasonsideraciones sobre las pruebasestandarizadasstandarizadas
En la administración de una prueba estandarizadaEn la administración de una prueba estandarizadase utilizan procedimientos uniformes en suse utilizan procedimientos uniformes en suadministración y corrección de tal manera que seadministración y corrección de tal manera que seasegure comparabilidad en los resultados deasegure comparabilidad en los resultados desujetos diferentes.sujetos diferentes.
La selección del contenido para las pruebas deLa selección del contenido para las pruebas denormas se hace sobre la base de “cuán biennormas se hace sobre la base de “cuán bien
discrimina” el ítem entre grupos de diferente niveldiscrimina” el ítem entre grupos de diferente nivelde habilidad (los de alto aprovechamiento y los dede habilidad (los de alto aprovechamiento y los debajo aprovechamiento).bajo aprovechamiento).
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 18/57
Los ítemes en una prueba a base de normasLos ítemes en una prueba a base de normas
deben organizarse colocando los ítemes dedeben organizarse colocando los ítemes dedificultad menor al inicio e ir aumentando el niveldificultad menor al inicio e ir aumentando el nivelde dificultad.de dificultad.
El nivel de dificultad promedio de la prueba debeEl nivel de dificultad promedio de la prueba debeser moderado. Por ejemplo en una escala Deltaser moderado. Por ejemplo en una escala Deltade 6 a 19, (donde 8 es el nivel de dificultadde 6 a 19, (donde 8 es el nivel de dificultadmenor y 16 es el nivel de dificultad mayor) unmenor y 16 es el nivel de dificultad mayor) un
nivel moderado es aproximadamente entre 12 ynivel moderado es aproximadamente entre 12 y13.13.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 19/57
¿Qué significa un puntaje en unaQué significa un puntaje en unaprueba?rueba?
XXoo = X= Xtt + X+ Xee
Donde: XDonde: Xoo = Valor observado= Valor observado
XXtt = valor verdadero= valor verdadero
XXee = componente de error = componente de error
El propósito básico del desarrollo de pruebas es reducir el componenteEl propósito básico del desarrollo de pruebas es reducir el componentede error a un mínimo.de error a un mínimo.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 20/57
Nivel de dificultad de los ítemesivel de dificultad de los ítemes
Delta
Porcentaje de estudiantes que
responden correctamente
6 95
7 92
8 90
9 8510 80
11 70
12 60
13 50
14 4015 30
16 20
17 15
18 10
19 5
Muy Fácil
Mediana
Difícil
Fácil
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 21/57
La prueba de ejecucióna prueba de ejecución
Mide el grado de eficiencia en el uso deMide el grado de eficiencia en el uso dedestrezas psicomotoras. Generalmentedestrezas psicomotoras. Generalmenterequiere el uso o la manipulación de objetosrequiere el uso o la manipulación de objetosfísicos y manuales y no se limita afísicos y manuales y no se limita a
contestaciones orales o escritas.contestaciones orales o escritas.Consideremos que en toda prueba hayConsideremos que en toda prueba hayejecución, pero en ésta se afectúa laejecución, pero en ésta se afectúa lacomprobación mediante la determinación delcomprobación mediante la determinación del
dominio de destrezas motoras, auditivas,dominio de destrezas motoras, auditivas,visuales y manuales.visuales y manuales.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 22/57
Este tipo de prueba se utilizaEste tipo de prueba se utilizaespecialmente en asignaturas tales comoespecialmente en asignaturas tales comoNutrición, Artes Industriales y Vocacionales,Nutrición, Artes Industriales y Vocacionales,Educación Física, Arquitectura, Música, etc. SeEducación Física, Arquitectura, Música, etc. Se
recomienda la preparación de perfiles en losrecomienda la preparación de perfiles en losque se incluyen todas las destrezas o sub-que se incluyen todas las destrezas o sub-destrezas que se quieren medir. Esto permitirádestrezas que se quieren medir. Esto permitirárealizar una evaluación más justa y objetiva.realizar una evaluación más justa y objetiva.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 23/57
La prueba de criterioa prueba de criterio
Es aquella construída para obtener Es aquella construída para obtener información sobre lo que un estudiante sabe o esinformación sobre lo que un estudiante sabe o escapaz de hacer. Está preparada para determinar capaz de hacer. Está preparada para determinar el dominio por el estudiante de una destrezael dominio por el estudiante de una destrezaespecífica (nivel de competencia/ domina, no-específica (nivel de competencia/ domina, no-domina). Los resultados describen la ejecucióndomina). Los resultados describen la ejecuciónindividual del estudiante a base de unos criteriosindividual del estudiante a base de unos criteriosya determinados previamente y consideradosya determinados previamente y considerados
relevantes por el maestro o los que construyen larelevantes por el maestro o los que construyen laprueba.prueba.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 24/57
Se le llama prueba de criterio porqueSe le llama prueba de criterio porquese establecen con anticipación unosse establecen con anticipación unoscriterios externos a base del punto decriterios externos a base del punto deejecución mínima (“cutting score” o PEM)ejecución mínima (“cutting score” o PEM)requerido para determinar dominio de larequerido para determinar dominio de ladestreza. Los resultados de cadadestreza. Los resultados de cadaestudiante se comparan con este criterioestudiante se comparan con este criterio
para determinar si domina o no lapara determinar si domina o no ladestreza.destreza.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 25/57
Las personas especializadas en laLas personas especializadas en la
materia estudian los objetivos específicos omateria estudian los objetivos específicos odestrezas que se desean probar. A base dedestrezas que se desean probar. A base deéstos determinan la cantidad de ítemeséstos determinan la cantidad de ítemes
necesarios para probar cada objetivonecesarios para probar cada objetivoespecífico o destreza. Luego,específico o destreza. Luego,preferiblemente por consenso, se establecepreferiblemente por consenso, se estableceel criterio o punto de ejecución mínimael criterio o punto de ejecución mínima(cutting score) para determinar el dominio o(cutting score) para determinar el dominio ono dominio de las destrezas.no dominio de las destrezas.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 26/57
Por último, se produce la cantidad dePor último, se produce la cantidad deítemes, de igual dificultad, para probar ítemes, de igual dificultad, para probar cada objetivo o destreza, que en sícada objetivo o destreza, que en síconstituyen una prueba. Cada destrezaconstituyen una prueba. Cada destreza
debe ser evaluada con no menos de 5debe ser evaluada con no menos de 5ítemes. Si se quiere estar más seguro,ítemes. Si se quiere estar más seguro,entonces se procede a aumentar elentonces se procede a aumentar el
número de ítemes. No todas lasnúmero de ítemes. No todas lasdestrezas se miden con el mismodestrezas se miden con el mismonúmero de ítemes.número de ítemes.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 27/57
También se puede construir un bloqueTambién se puede construir un bloquede pruebas para evaluar varios objetivosde pruebas para evaluar varios objetivos
terminales o destrezas. En cada prueba,terminales o destrezas. En cada prueba,se le da prioridad a la validez dese le da prioridad a la validez decontenido en relación con los objetivoscontenido en relación con los objetivos
terminales o destrezas que se deseanterminales o destrezas que se deseanprobar.probar.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 28/57
Cada prueba correspondiente a cada objetivoCada prueba correspondiente a cada objetivo
terminal o destreza, se corrige por separado.terminal o destreza, se corrige por separado.La valoración obtenida describe la ejecuciónLa valoración obtenida describe la ejecuciónde cada estudiante en relación con unosde cada estudiante en relación con unoscriterios ya determinados (“cutting score”) paracriterios ya determinados (“cutting score”) paradicho objetivo o destreza. Generalmente sedicho objetivo o destreza. Generalmente seestablece un nivel de dominio de un 70% por establece un nivel de dominio de un 70% por cada destreza que se vaya a medir, aunque elcada destreza que se vaya a medir, aunque elmismo puede variar según el rigor que semismo puede variar según el rigor que sedesee establecer. Ningún punto de ejecucióndesee establecer. Ningún punto de ejecución
debe estar por debajo de 60% o 3 de 5 ítemes.debe estar por debajo de 60% o 3 de 5 ítemes.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 29/57
Teóricos asociados a Pruebaseóricos asociados a Pruebasde Criterioe Criterio
Glaser (1963)Glaser (1963) Popham y Husek (1969)Popham y Husek (1969)
Livingston (1972)Livingston (1972) Hambleton y Novick (1973)Hambleton y Novick (1973) Berk (1980)Berk (1980)
Brennan (1980)Brennan (1980) Subkoviak (1980)Subkoviak (1980) Traub Rowley (1980)Traub Rowley (1980)
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 30/57
Resultados del proceso de toma deesultados del proceso de toma dedecisiones mediante pruebasecisiones mediante pruebas
Estado desituación
Domina Error al rechazar (falso negativo)
Decisión correcta
No domina Decisión correcta Error al aceptar
(falso positivo)No domina Domina
Decisión mediante la prueba
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 31/57
Métodos para establecer el punto deétodos para establecer el punto decorte (Estándar de dominio)orte (Estándar de dominio)
No existe un método único para determinar el puntoNo existe un método único para determinar el puntode corte o estándar de dominio para las pruebas dede corte o estándar de dominio para las pruebas decriterio.criterio.
No existe una fórmula para tomar esta decisión, deNo existe una fórmula para tomar esta decisión, demanera que se eliminen posibles errores en la toma demanera que se eliminen posibles errores en la toma de
decisiones.decisiones. Posibles errores:Posibles errores:
Errores de clasificación :Errores de clasificación : Certificar a los que no dominan (Punto de corte muy bajo).Certificar a los que no dominan (Punto de corte muy bajo).
No certificar a los que dominan (Punto de corte muy alto).No certificar a los que dominan (Punto de corte muy alto).
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 32/57
1. Juicio informado. Juicio informado
Está basado en que “el proceso de establecimientoEstá basado en que “el proceso de establecimiento
del estándar es esencialmente una consideración dedel estándar es esencialmente una consideración de juicio humano”. juicio humano”. Se analizan las consecuencias legales y políticas deSe analizan las consecuencias legales y políticas de
clasificación errónea de los sujetos.clasificación errónea de los sujetos. Se analizan datos relevantes para determinar cómo hanSe analizan datos relevantes para determinar cómo han
ejecutado otros sujetos en la prueba:ejecutado otros sujetos en la prueba: Aquellos que no han tenido ningún tipo de enseñanza en ese Aquellos que no han tenido ningún tipo de enseñanza en ese
contenido o destrezas.contenido o destrezas. Aquellos que han recibido la enseñanza. Aquellos que han recibido la enseñanza. Aquellos que se encuentran en la profesión. Aquellos que se encuentran en la profesión.
Recoger información de las audiencias que tienen el poder enRecoger información de las audiencias que tienen el poder enla toma de decisiones (Agencias, supervisores, etc.)la toma de decisiones (Agencias, supervisores, etc.)
Determinar el punto de corte considerando todas lasDeterminar el punto de corte considerando todas lasevidencias recopiladas.evidencias recopiladas.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 33/57
Ejemplojemplo
Audiencia Evidencia
Promedio de los que no dominan 34%
Promedio de los que dominan 79%
Especialistas de evaluación 70%
Supervisores 85%
Profesores 60%
Profesionales en funciones 90%
Representante de la agencia 50%
Punto de corte estimado 66.9 % ( 70% )
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 34/57
Método Angoffétodo Angoff Método más utilizadoMétodo más utilizado
1.1. Identificar expertos (jueces) que estén familiarizados con lasIdentificar expertos (jueces) que estén familiarizados con lascompetencias de la prueba y con los niveles de ejecución de loscompetencias de la prueba y con los niveles de ejecución de losque dominan esas competencias. (Tres jueces es el númeroque dominan esas competencias. (Tres jueces es el númeromínimo).mínimo).
2.2. Los jueces revisan cada ítem y estiman (para un candidatoLos jueces revisan cada ítem y estiman (para un candidato“mínimamente competente), la probabilidad de tener el ítem“mínimamente competente), la probabilidad de tener el ítem
correcto. La probabilidad no debe ser menor que el nivelcorrecto. La probabilidad no debe ser menor que el nivelprobabilístico natural del ítem de acuerdo al número deprobabilístico natural del ítem de acuerdo al número dealternativas.alternativas.
3.3. Los jueces deben hacer el estimado de manera independiente yLos jueces deben hacer el estimado de manera independiente yluego discutir alguna discrepancia marcada en sus estimados.luego discutir alguna discrepancia marcada en sus estimados.
4.4. Se suman los estimados de esa probabilidad para cada juez y seSe suman los estimados de esa probabilidad para cada juez y sebusca luego el promedio de esa suma.busca luego el promedio de esa suma.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 35/57
Ejemplojemplo
Ítem Juez 1 Juez 2 Juez 3
1 .33 .50 .40
2 .80 .90 1.00
3 .20 .33 .20
4 .20 .90 .33
5 .50 .75 .50
Total 2.03 3.38 2.43
2.03 + 3.38 + 2.43 = 7.84
(7.84) / 3 = 2.61
Punto de corte = 3
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 36/57
Método de contraste de gruposétodo de contraste de grupos
No domina Domina
10 20 30 40 50 60 70 80 90 100
Reduce losFalsos Negativos
Reduce losFalsos Positivos
30% 50% 80%
% de ítemes correctos
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 37/57
Tabla de Departamento de Educación de P.R.abla de Departamento de Educación de P.R.
Tabla de conversión de valores de dominio de destrezas a valores porcentuales
Número deítemes por destreza
Relación de valores porcentuales por puntos de ejecución mínima
5 3 (60%) 4 (80%) 5 (100%)
6 4 (67%) 5 (83%) 6 (100%)
7 4 (57%) 5 (71%) 6 (86%) 7 (100%)
8 5 (63%) 6 (75%) 7 (88%) 8 (100%)
9 5 (56%) 6 (67%) 7 (78%) 8 (89%) 9 (100%)
10 6 (60%) 7 (70%) 8 (80%) 9 (90%) 10 (100%)
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 38/57
¿Cuándo se deben usar lasCuándo se deben usar laspruebas de criterio?ruebas de criterio?
Como pre requisito de un curso (paraComo pre requisito de un curso (paraconocer el nivel de dominio antes de tomar conocer el nivel de dominio antes de tomar el curso).el curso).
Post prueba – para poder evaluar el dominioPost prueba – para poder evaluar el dominiode objetivos terminales luego de finalizar unde objetivos terminales luego de finalizar uncurso.curso.
Pruebas de equivalencia – en muchos casosPruebas de equivalencia – en muchos casos
cuando se quiere convalidar un curso sincuando se quiere convalidar un curso sinhaberlo tomado.haberlo tomado. Pruebas de certificación.Pruebas de certificación.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 39/57
Validez de contenidoalidez de contenido
Se refiere al grado en que las preguntas o ítemesSe refiere al grado en que las preguntas o ítemesde un instrumento representan las destrezas,de un instrumento representan las destrezas,contenido o conceptos de un área específica.contenido o conceptos de un área específica.
Se examina el plan o proceso que se siguió en laSe examina el plan o proceso que se siguió en laconstrucción del instrumento (respaldado por laconstrucción del instrumento (respaldado por larevisión de literatura, el contenido curricular, etc.)revisión de literatura, el contenido curricular, etc.)
¿Representan esos ítemes una muestra¿Representan esos ítemes una muestra
adecuada del contenido o rasgo que se deseaadecuada del contenido o rasgo que se deseamedir?medir?
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 40/57
Planilla de cernimientolanilla de cernimiento
Sirve para iniciar el proceso de validación deSirve para iniciar el proceso de validación deun instrumento por los expertos en esa área deun instrumento por los expertos en esa área decontenido de la disciplina o del constructo quecontenido de la disciplina o del constructo que
se pretende medir.se pretende medir. Se analiza a base del por ciento de acuerdoSe analiza a base del por ciento de acuerdo
entre jueces.entre jueces. Se recomienda utilizar más de 3 jueces.Se recomienda utilizar más de 3 jueces. El por ciento de acuerdo para la retención deEl por ciento de acuerdo para la retención de
un ítem debe ser 66.7% ó más.un ítem debe ser 66.7% ó más.
Í
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 41/57
Reactivo / Ítem Adecuado No esadecuado
Observación Recomendación decambio
1.
2.
3.
4.
5.
6.
7.
8.
9.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 42/57
Modelo de planillaodelo de planilla
Nivel /Contenido
Memoria Comprensión Aplicación Análisis
Filosofía
Sociología
Metodología
Evaluación
Crecimiento yDesarrollo
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 43/57
Validez de constructoalidez de constructo El instrumento mide adecuadamente ese constructoEl instrumento mide adecuadamente ese constructo
para el que fue creado. (Ej. Inteligencia, auto concepto,para el que fue creado. (Ej. Inteligencia, auto concepto,
auto estima, etc.)auto estima, etc.) Es necesario realizar una prueba de análisis de factoresEs necesario realizar una prueba de análisis de factores
(“Factor Analysis”) y un análisis de las(“Factor Analysis”) y un análisis de lasintercorrelaciones de los ítemes.intercorrelaciones de los ítemes.
Se puede correlacionar con otro instrumentoSe puede correlacionar con otro instrumento
previamente validado en ese mismo constructo (validezpreviamente validado en ese mismo constructo (validezconcurrente).concurrente). Para el análisis de factores se necesita tener por loPara el análisis de factores se necesita tener por lo
menos 5 sujetos por ítem. (Ej: si tenemos unmenos 5 sujetos por ítem. (Ej: si tenemos uninstrumento de 50 ítemes, necesitamos para suinstrumento de 50 ítemes, necesitamos para su
validación 250 sujetos).validación 250 sujetos). ¿Se provee información adecuada y suficiente (válida)¿Se provee información adecuada y suficiente (válida)
que indique que ese constructo está relacionado alque indique que ese constructo está relacionado alpropósito de la prueba?propósito de la prueba?
¿Cuán bien apoyan los datos empíricos esas¿Cuán bien apoyan los datos empíricos esas
conclusiones?conclusiones?
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 44/57
Validez predictivaalidez predictiva
El instrumento de medición prediceEl instrumento de medición predice
adecuadamente (ejecución, éxito académico,adecuadamente (ejecución, éxito académico,etc.).etc.). Se refiere a cuán válidas son nuestrasSe refiere a cuán válidas son nuestras
inferencias sobre los resultados de eseinferencias sobre los resultados de ese
instrumento para predecir comportamientoinstrumento para predecir comportamientofuturo.futuro. Se debe recopilar evidencia posterior sobre laSe debe recopilar evidencia posterior sobre la
ejecución de los individuos y correlacionarla conejecución de los individuos y correlacionarla conlos resultados de la prueba.los resultados de la prueba.
Realizar, de ser posible, análisis de regresión yRealizar, de ser posible, análisis de regresión ypresentar tablas de expectativas.presentar tablas de expectativas.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 45/57
Confiabilidadonfiabilidad
Grado de consistencia con que unGrado de consistencia con que uninstrumento mide lo que intenta medir.instrumento mide lo que intenta medir. Algunos índices: Algunos índices:
Kuder – Richardson (KR21, KR20)Kuder – Richardson (KR21, KR20) EstabilidadEstabilidad Alpha de Cronbach Alpha de Cronbach
División por mitades (“Split-Half”)División por mitades (“Split-Half”)
Consistencia internaConsistencia interna Alpha de Cronbach, KR21, KR20 Alpha de Cronbach, KR21, KR20
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 46/57
Escala para los niveles descala para los niveles deconfiabilidadonfiabilidad
Coeficiente (r) Interpretación
1.00 Positiva perfecta0.90
Positiva alta0.80
0.70Moderada
0.600.50
0.40Baja0.30
0.20Débil0.10
0.00 Ausencia de confiabilidad
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 47/57
Análisis de ítemesnálisis de ítemes
Índice de dificultad del ítemÍndice de dificultad del ítem Nos indica cuán difícil resulta ser el ítem paraNos indica cuán difícil resulta ser el ítem para
el grupo de examinados.el grupo de examinados. Se determina dividiendo el número deSe determina dividiendo el número de
contestaciones correctas entre el total decontestaciones correctas entre el total desujetos que contestaron el ítem.sujetos que contestaron el ítem.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 48/57
Índice Nivel de dificultad
.90 + Muy fácil
.61-.89 Fácil
.40-.60 Mediana dificultad
< .40 Difícil
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 49/57
Índice de discriminaciónndice de discriminación
Nos indica que tan bien discrimina el ítem entre elNos indica que tan bien discrimina el ítem entre el
grupo de mayor habilidad y el grupo de menor grupo de mayor habilidad y el grupo de menor habilidad.habilidad.
Para el grupo de mayor y menor habilidad sePara el grupo de mayor y menor habilidad se
toma el 27 % más alto y el 27 % más bajo.toma el 27 % más alto y el 27 % más bajo. CA = Número de sujetos en el grupo de habilidadCA = Número de sujetos en el grupo de habilidad
alta.alta. CB = Número de sujetos en el grupo de habilidadCB = Número de sujetos en el grupo de habilidad
baja.baja. N = Número de sujetos que contestó el ítem.N = Número de sujetos que contestó el ítem.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 50/57
Fórmula para índice deórmula para índice dediscriminacióniscriminación
ID = (CID = (CAA – C – CBB))
N/2N/2
Ejemplo: En un grupo 4 estudiantes obtuvieron puntuaciones altasy dos obtuvieron puntuaciones bajas de un total de 30 sujetos quetomaron la prueba. El índice de discriminación es: 0.13
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 51/57
Interpretación del índicenterpretación del índice
Índice Discriminación
0.40 + Muy buena discriminación
.30-.39 Discrimina bien
.20-.29 Puede revisarse
< .19 No debe usarse
Negativo No discrimina y debe eliminarse
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 52/57
Correlación punto biserial ( rorrelación punto biserial ( r pbisbis)
Es la correlación entre laEs la correlación entre laejecución de los sujetos enejecución de los sujetos enun ítem con la puntuaciónun ítem con la puntuacióntotal de la prueba. (Cada ítemtotal de la prueba. (Cada ítemse toma como una pruebase toma como una prueba
paralela).paralela). Se retienen aquellos ítemesSe retienen aquellos ítemes
que presentan correlacionesque presentan correlacionespunto-biseriales mayores a .punto-biseriales mayores a .30.30.
Se deben eliminar aquellosSe deben eliminar aquellosque presentan correlacionesque presentan correlacionesnegativas.negativas.
Item r bis
1 .33
2 .41
3 .39
4 .555 .34
6 -.19
7 .70
8 .41
9 .14
10 .37
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 53/57
Estimado del número de ítemes:stimado del número de ítemes:En términos del contenido (objetivos)n términos del contenido (objetivos)
Crítico
Dominio amplio No relacionado 10-20Relacionado 10
Dominio pequeño No relacionado 5-10
Relacionado 5
No crítico
Dominio amplio No relacionado 6
Relacionado 4
Dominio pequeño No relacionado 2
Relacionado 1
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 54/57
Contenido Número de ítemes
Filosofía 18
Sociología 16
Metodología 20
Evaluación 10 R / 10 NR
Crecimiento y Desarrollo 16
Psicología Educativa 12 NR / 8 R
Total 110
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 55/57
Limitaciones y ventajas de lasimitaciones y ventajas de laspruebas de criterioruebas de criterio
Requieren mucho esfuerzo y tiempo para suRequieren mucho esfuerzo y tiempo para sudesarrollo.desarrollo. Son muy útiles para individualizar el procesoSon muy útiles para individualizar el proceso
evaluativo porque atienden más a cada estudianteevaluativo porque atienden más a cada estudianteal examinarse cada uno con relación al nivel deal examinarse cada uno con relación al nivel de
dominio de las destrezas según el PEM.dominio de las destrezas según el PEM. Provee una mayor consistencia en términos de laProvee una mayor consistencia en términos de la
destreza que mide ya que tiene varios ítemes por destreza que mide ya que tiene varios ítemes por destreza.destreza.
Resultan ser de las más confiables paraResultan ser de las más confiables paradeterminar el nivel de aprendizaje alcanzado por determinar el nivel de aprendizaje alcanzado por los alumnos.los alumnos.
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 56/57
Recomendacionesecomendaciones
A la luz del análisis estadístico se pueden eliminar o A la luz del análisis estadístico se pueden eliminar orevisar los ítemes.revisar los ítemes.
Considerar diferentes enfoques en el cómputo de laConsiderar diferentes enfoques en el cómputo de laconfiabilidad para determinar la contribución deconfiabilidad para determinar la contribución dediferentes fuentes de error de medición.diferentes fuentes de error de medición.
Considerar tamaños de muestras adecuadas al realizar Considerar tamaños de muestras adecuadas al realizar cómputos estadísticos y análisis de ítemes.cómputos estadísticos y análisis de ítemes.
Considerar posibles sesgos culturales al redactar Considerar posibles sesgos culturales al redactar ítemes.ítemes.
Revisar fuentes de referencia con evidencia técnica yRevisar fuentes de referencia con evidencia técnica ypsicométrica (Buros’ Mental Measurement Yearbook)psicométrica (Buros’ Mental Measurement Yearbook)
5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com
http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 57/57
¡Muchas gracias!Muchas gracias!