Tema 8 Validez Evidencia Externa
-
Upload
grupoacantun -
Category
Documents
-
view
20 -
download
2
description
Transcript of Tema 8 Validez Evidencia Externa
1
PSICOMETRÍA
Bloque I. Introducción a la Psicometría
Bloque II. Métodos de Escalamiento para la construcción de escalas y tests
Bloque III. Teoría de los Tests I: Teoría Clásica de los Tests
1º Cuatrimestre
2º Cuatrimestre
Bloque IV. ValidezTEMA 7. Validez. IntroducciónTEMA 8. Validez. Fuentes de evidencia externasTEMA 9. Validez. Fuentes de evidencia internasTEMA 10. Otros aspectos de la validez del testBloque V: Interpretación de pnuntuacionesTEMA 11. Interpretación de puntuaciones
Bloque VI: Teoría de los Tests II: Teoría de la Respuesta al ÍtemTEMA 12. Modelos de la TRI, estimación y Ajuste en TRITEMA 13. Aplicaciones de la TRI
Tema 8. Validez Fuentes de evidencia externas
1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio
2. Sesgo y funcionamiento diferencial del ítem
3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicación 2
3
1. Relaciones del test con otras variables
Concluir sobre el grado en que las relaciones de laspuntuaciones del test con otras medidas
reproducen las relaciones implicadas en la red nomológica
Objetivos
Demostrar que los constructos no son productos artificialescreados por los instrumentos de medida utilizados
4
Convergente Discriminante
Medidas del mismorasgo efectuadas con diferentes métodos
tienen una altacorrelación
Medidas del mismorasgo efectuadas con diferentes métodoscorrelacionan másque medidas de
diferentes rasgos con el mismo método
Un caso particular:
1.1. Evidencia Convergente - Discriminante
5
Hay que medir varios rasgospor diferentes métodos
Análisis de matricesmultirasgo-multimétodo
MRMM
Campbell y Fiske (1959)
6
Ejemplo:
Test DAT: Test de Aptitudes Diferenciales
• Razonamiento Verbal• Cálculo• Razonamiento Abstracto• Velocidad y precisión• Razonamiento Mecánico• Relaciones Espaciales• Ortografía• Lenguaje
Test P.M.A.: Test de Aptitudes Mentales Primarias
• Comprensión Verbal (Factor V)• Comprensión Espacial (Factor E)• Razonamiento (Factor R)• Cálculo Numérico (Factor N)• Fluidez Verbal (Factor F)
7
Matriz multirasgo-multimétodo
8
Convergente MRHM
Discriminante
SignificativosPositivos y altos
HRMMHRHM
Criterios de Campbell y
Fiske
9
La validez convergente, discriminante y si existen efectos de método, puede evaluarse más sistemáticamente con procedimientos como el
AFC de matrices MRMM (ej. Byrne y Goffin, 1993)
Tema 8. Validez Fuentes de evidencia externas
1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio
2. Sesgo y funcionamiento diferencial del ítem
3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicación 10
11
1. Relaciones del test con otras variables
OBJETIVO
Concluir sobre la existencia de relación
entre las puntuaciones del test
y las medidas del criterio que se pretende
predecir
Especial relevancia en el ámbito de la selección
1.2. Relaciones test-criterio
12
Primero el test, después el
criterio
¿Cuándo medir el criterio?
Test y criterioa la vez
Primero el criterio, después
el test
Estudiospredictivos
Estudiosconcurrentes
Estudiosretrospectivos
13
Procedimientos para la recogida de evidencia
Coeficiente de validez
Regresión lineal simple y múltiple
14
Coeficiente de validez
Correlación entre las puntuacionesdel test (X) y del criterio (Y)
Rango de valoresadmisibles
Importancia: coeficiente de determinación
Interpretación:General: como cualquier correlaciónExistencia: contraste de hipótesis
15
Coeficiente de validez
Ejemplo:
16
Regresión lineal simple
DepresiDepresióónn
17
Regresión lineal múltiple
18
Otro ejemplo
Tema 8. Validez Fuentes de evidencia externas
1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio
2. Sesgo y funcionamiento diferencial del ítem
3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicación 19
20
2.2. Sesgo y funcionamiento diferencial del ítem
Un ítem presentafuncionamiento diferencial (DIF)
cuando individuos con el mismo nivel de habilidad tienen diferente probabilidad de acertar (estar de acuerdo...) por el simple
hecho de pertener a grupos distintos
21
Si individuos de diferentes grupos culturales, sociales o étnicos responden de maneradistinta a los ítems del test, ¿qué reflejan losresultados?
¿Diferencias reales entre los individuos de esosgrupos?, o
¿son producto de factores secundarios e irrelevantes respecto a lo que mide el test (porejemplo, experiencias y oportunidades educativasdistintas)?
22
DIF - IMPACTO
Impacto
DIF - SESGO
DIF
Sesgo
DIF
Cuando las diferencias existentes entre gruposde personas se deben a diferencias reales
Cuando aparecen diferencias entre individuosde dos grupos que tienen el mismo nivel de habilidad (producto de factores secundarios)
Explicación teórica de las diferencias
Explicación estadística de las diferencias
23
PROCEDIMIENTOS PARA LA DETECCIÓN DE DIF
ParamétricosNo paramétricos
Basados en tablasde contingencia
Regresión logísticaTRI ajustada a diferentes grupos
24
2. Sesgo y Funcionamiento Diferencial del ítem
GrupoGrupo FF
Grupo FGrupo FPPii (( ))
rasgo)rasgo)
0.000.00
0.250.25
--44 --22 00 22 44
0.500.50
0.750.75
1.001.00
Grupo RGrupo R
PPii Grupo RGrupo R(( ))
PP
rasgo)rasgo)
0.000.00
0.250.25
0.500.50
0.750.75
1.001.00
--44 --22 00 22 44
Grupo FGrupo FPPii Grupo FGrupo F(( ))
PPii Grupo RGrupo R(( ))
Grupo RGrupo R
PPii (( ))
DIF uniformeDIF no-uniforme
Tema 8. Validez Fuentes de evidencia externas
1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio
2. Sesgo y funcionamiento diferencial del ítem
3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicación 25
26
3.1. Evidencia basada en el proceso de respuesta
OBJETIVOConcluir sobre el grado en que las estrategias
usadas para responder son acordes con la definición del constructo a medir
¿Se encuentran implicados en el proceso de respuestade los individuos
los componentes cognitivos que definen el constructo?
27
Psicología Cognitiva
Paradigma del procesamiento de la
información
Teoría Psicométrica
El enfoque tradicional de la validez es incompleto
Necesidad de considerar el análisis más profundode los mecanismos implicados en el proceso de respuesta
3.1. Evidencia basada en el proceso de respuesta
28
Identificar cuáles son los componentescognitivos implicados
Proporcionaevidencia de
validez
Enriquece la definición del
constructo
3.1. Evidencia basada en el proceso de respuesta
Tema 8. Validez Fuentes de evidencia externas
1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio
2. Sesgo y funcionamiento diferencial del ítem
3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicación 29
30
3.2. Evidencia basada en lasconsecuencias de la aplicación
Incorporar en la conceptualización de la validezlas consecuencias deseadas y no deseadasderivadas de la aplicación y uso de los tests
SAMUEL MESSICK (1989)
ACUERDO en que el análisis de las consecuenciasdel uso de los tests es IMPORTANTE
Pero,¿Debe ser considerado como parte de la validación?
31
3.2. Evidencia basada en lasconsecuencias de la aplicación
Detractores Defensores
Wiley (1991)
Maguire, Hattie y Haig (1994)
Tenopyr (1996)
Popham (1997)
Mehrens (1997)
Messick (1975, 1989, 1995)
Cronbach (1988)
Shepard (1993, 1997)
Linn (1993, 1997)
Moss (1995)
32
3.2. Evidencia basada en lasconsecuencias de la aplicación
Argumentos de los detractores
Es importante, pero debe considerarse a parte del estudiode validaciónImplica análisis sociales, políticos y morales que quedanfuera de la competencia de los estudios de validaciónSu consideración complica la conceptualización de la validezInviabilidad de carácter institucional y económico
33
3.2. Evidencia basada en lasconsecuencias de la aplicación
Argumentos de los defensores
Son parte esencial del proceso de validación y no un problemaLa conceptualización de la validez no es simple, pero la solución no está en reducir artificialmente el conceptopara hacerlo más sencilloReconocen problemas prácticos, pero no incluirlo es darlemenos importancia
34
3.2. Evidencia basada en lasconsecuencias de la aplicación
Aspecto polémico
“Espero que los autores de la revisión de las Normasreconozcan el debate y releguen cualquier discusiónsobre las consecuencias a un contexto separado del
concepto de validez”(Mehrens, 1997, pág. 18)
Este aspecto fue incluido en la edición de 1999 de lasNormas de la APA