EL ESTUDIO DEL SESGO EN LOS TESTS 1)DEFINICIÓN DE SESGO 2)SESGO EN LOS TESTS 3)SESGO EN LOS ITEMS...
-
Upload
azucena-regalado -
Category
Documents
-
view
234 -
download
6
Transcript of EL ESTUDIO DEL SESGO EN LOS TESTS 1)DEFINICIÓN DE SESGO 2)SESGO EN LOS TESTS 3)SESGO EN LOS ITEMS...
EL ESTUDIO DEL SESGO EN LOS EL ESTUDIO DEL SESGO EN LOS TESTSTESTS
1) DEFINICIÓN DE SESGO2) SESGO EN LOS TESTS3) SESGO EN LOS ITEMS
3.1) TIPOS DE SESGO3.2) MÉTODOS DE DETECCIÓN 3.3) SOFTWARE
- Tests tienen importantes consecuencias.LSAT, GRE, SAT, PISA, TIMSS,…
- Habrá que asegurarse que lo que el test mide es relevante (validez) para lo que se aplica.
- Supuesto lo anterior, las puntuaciones en el test o ítems no deben depender de otras características (como género, idioma,..) distintas a las que el test mide.
Discriminación en grupos minoritarios: Afro-americanos, latinos, indios _americanos,
Discriminación por género…2
3
1
2
1
2
X X
X X
Y Y
Y Y
Y’=AX+B
2
1
Perspectiva Perspectiva Clásica: Validez Predictiva (sesgo en relación a Clásica: Validez Predictiva (sesgo en relación a la predicción de un criterio externo)la predicción de un criterio externo)
Educational Testing Service…->DIFEducational Testing Service…->DIF
Falacia Igualitarista?Falacia Igualitarista?
ALGUNOS CONCEPTOSFuncionamiento Diferencial del ítem (DIF): Existe DIF si la
probabilidad de acierto en el ítem es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo. Los estudios de DIF se ocupan de determinar si los ítems tienen o no este problema.
Funcionamiento Diferencial del test (DTF): Existe DTF si la suma de las probabilidades de acierto en el test es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo.
Impacto es la diferencia en el rasgo entre los dos grupos.
Sesgo (bias): Efecto que se produce en las puntuaciones por alguna fuente de varianza irrelevante al constructo (measurement bias) o el efecto de tales fuentes en la covarianza entre las puntuaciones y un criterio (predictive bias). Por tanto, si hay DIF, se requiere un estudio del porqué difiere el rendimiento el grupo de referencia y el grupo focal, o mayoría y minoría. Si un ítem tiene DIF y un panel de expertos determina que la diferencia de puntuaciones no se debe al constructo medido. El DIF es una aproximación para estudiar el sesgo.
Grupo de referencia/Grupo focal
4
IMPACTO Y DIF
XXNNRKRK AARKRK PPRKRK NNFKFK AAFKFK PPFKFK
0-150-15 400400 4040 .1.1 10001000 200200 .2.2
15-3015-30 10001000 500500 .5.5 10001000 600600 .6.6
30-4530-45 10001000 900900 .9.9 400400 400400 11
TotalTotal 24002400 14401440 .6.6 24002400 12001200 .5.5
5
Dependen TAMBIEN de las diferencias verdaderas en el nivel de rasgo (Impacto)
DIF: Diferencias no explicadas por el nivel de rasgo
Paradoja de Simpson
TIPOS DE DIF
- DIF uniforme y no uniformeUniform DIF Against Focal Group
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3Theta
Pro
b.
of
Po
sit
ive R
esp
on
se
Reference
Focal
Nonuniform (Crossing) DIF
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3Theta
Pro
b.
of
Po
sit
ive R
esp
on
se
Reference
Focal
6
What does alto mean?a. Againb.Alsoc. Countertenord.Highe. In adition
(ejemplo extraído de De ayala, 2009)7
Caso real (Ejemplo 1): Rendimiento
What is the way around this rectangle?
Answer:______
¿Cuál es el contorno del rectángulo?Grupo P(España) P(USA)0-15 0.15 0.2016-30 0.20 0.3031-45 0.23 0.3546-60 0.40 0.6561-75 0.45 0.7076-90 0.48 0.75
RASGO
654321P
rop
orc
ión
de
aci
ert
o
.8
.7
.6
.5
.4
.3
.2
.1
P_ESP
P_USA
8
2 inches
4 inches
Estudio de DIF (Ejemplo 2): AptitudesAbad, Colom, Rebollo, Escorial (2003): Sex differential functioning in the
Raven’s Advanced Progressive Matrices: evidence for bias. P.and Ind. Diff.
La media en Raven suele ser mayor en los hombres, pese a que no es mayor la media en “factor g”
9
Estudio de DIF (Ejemplo 3): personalidad
Reise, S.P., Smith, L. y Furr, R,M. (2001): Invariance of the NEO-PI-R Neuroticism Scale. Multivariate Behavioural Research, 36 (1), 83-110.
Faceta de ansiedad dentro de la escala de Neuroticisimo del NEO-PI-R:Items más fáciles para los hombres:
- A menudo me siento tenso e inquieto- Me preocupa con frecuencia por cosas que podrían salir mal
Items más fáciles para las mujeres:- Tengo más miedos que la mayoría de la gente- Me asusto con facilidad
Funcionamiento Diferencial del test:Ambos se cancelan.
¿Solución? ¿Eliminar ítems? ¿Construir 2 escalas?
10
Aspectos a considerar:
1.) Si el ítem tiene DIF
2.) Si el DIF del ítem es relevante desde el punto de vista práctico
3.) Si el DIF del ítem se traduce en un test con DTF.
11
DIF y multidimensionalidad
12
Peso en un rasgo
secundario alto para el grupo
FOCAL
Media & SD en el rasgo
secundarioIguales en los
dos grupos
Peso en un rasgo
secundario alto para el grupo
FOCAL
SD en el rasgo secundario
Iguales en los dos grupos
Media en el rasgo
secundario menor en el grupo Focal
DIF y multidimensionalidad
13
Peso en un rasgo
secundario alto para el grupo
FOCAL
Media en el rasgo
secundarioIguales en los
dos grupos
SD en el rasgo secundario menor en el grupo Focal
Peso en un rasgo
secundario alto para el grupo
FOCAL
Media & SD en el rasgo
secundariomenores en el
grupo Focal