La revisión de la prueba de admisión universitaria PAA
Febrero 2016
Misión del College Board de Puerto Rico y América Latina
• Es una organización sin fines de lucro que desarrolla programas y servicios similares a los que se ofrecen en los Estados Unidos, pero especialmente diseñados para poblaciones cuyo vernáculo es el español.
• Estos programas están dirigidos a sistematizar los procesos de evaluación y admisión universitaria, fortalecer la orientación académica y personal y a promover la excelencia educativa.
• Nuestra oficina desarrolla instrumentos de medición conforme a los estándares establecidos por el CBPR-LA y a los estándares de calidad que presenta la American Educational Research Association (AERA), American Psychological Association (APA) & National Council on Measurement in Education (NCME).
La PAA y el SAT
• La PAA NO es una traducción del SAT al español. – Esta decisión del College Board de no traducir la
PAA se dio en función a las investigaciones y consideraciones teóricas en los años sesenta. • Es mucho más fácil preservar el paralelismo entre
dos pruebas si se trabaja desde el lenguaje original que si se intenta reproducir la prueba mediante una traducción. – Esto provee mayor fidelidad en la medición de la misma
construcción lógica (razonamiento) en lenguas distintas.
Revisión de la PAA
• Características de los estudiantes • Necesidades de las instituciones de
educación superior de información académica y no académica para la validez predictiva de la prueba de admisión y la retención de los estudiantes
• Requisitos de ingreso para tener mayor probabilidad de éxito en el contexto académico universitario
Revisión de PEAU A continuación • Comparación de la PEAU vigente con la
revisión propuesta – Estructura – Contenido – Puntuaciones – Informes – Cuestionario a los estudiantes
Reconceptualización de la PEAU
• Usos de la PEAU en estos momentos – En Puerto Rico y América Latina (PAA)
• Rol de información prospectiva con información adicional para la admisión postsecundaria
• Estimado de probabilidad de éxito académico en el primer año de estudios universitarios basado en los resultados de la prueba
• Medida de las habilidades de razonamiento por medio de ítems que requieren la aplicación de conocimiento verbal y matemático
• Enfoque a estudiantes con 11 años de estudios formales – En Puerto Rico (PACH o Pruebas de Aprovechamiento)
• Rol de información retrospectiva por medio de la evaluación de contenidos de las disciplinas de Inglés, Matemáticas y Español
• Provee a las instituciones postsecundarias la información para la ubicación en los distintos niveles de desempeño de los estudiantes (básico, intermedio o avanzado)
Cambios en los contenidos y la estructura de la PEAU
• Integración de los componentes de Razonamiento (Verbal y Matemático de la PAA) con los de Aprovechamiento (Español y Matemáticas) para desarrollar la nueva estructura.
• Se proveerá a los usuarios de Puerto Rico y América Latina un instrumento de evaluación más robusto para la admisión, la ubicación y que atienda a las necesidades de ponderar cuán preparados están los estudiantes para los estudios postsecundarios (“career readiness”).
• El nuevo constructo medirá los procesos y contenidos enfocados en la evaluación de las habilidades, la organización del conocimiento y las destrezas.
Cambios en los contenidos y la estructura de la PEAU
• Se construirá un instrumento de una estructura multidimensional, en vez de múltiples instrumentos unidimensionales para la evaluación de razonamiento verbal o matemático y el aprovechamiento del español o de las matemáticas.
• Conjuntamente con la prueba, los estudiantes cumplimentarán un cuestionario que proveerá – Información adicional no académica útil para predecir el
desempeño académico – Información para identificar las probabilidades de retención
en los estudios de validez • La operacionalización de la prueba es el otoño de 2017.
PEAU Pruebas Vigentes
• Componentes PAA:
– Razonamiento Verbal (PR+AL)
– Razonamiento Matemático (PR+AL)
Revisión de Pruebas
• Componentes – Lectura – Matemáticas
• Comprensión y Aplicación • Álgebra, Gráficas y Funciones • Geometría y Medidas • Probabilidad y Análisis de
Datos – Redacción – Inglés (separado y obligatorio en
Puerto Rico; componente opcional en América Latina)
PEAU revisión Pruebas Vigentes • Características
� Énfasis en las destrezas de lectura
� Lectura orientada a la interpretación de las destrezas de los procesos de razonamiento deductivo e inductivo
� Matemáticas orientadas a la aplicación. Enfocadas en los procesos; se minimizan los contenidos en la PAA.
� Las pruebas de aprovechamiento se enfocan en los contenidos de las disciplinas y la organización del conocimiento.
Revisión de Pruebas • Características
� Enfocadas en la organización del contenido, los contenidos, los procesos y las destrezas.
� Aplicación de conocimientos y destrezas
� Enfocadas en los aspectos que han sido identificados por los expertos y las investigaciones como de mayor peso e importancia para la preparación para los estudios postsecundarios
Matemáticas Aritmética Álgebra • Números reales (Propiedades y Operaciones) • Razón, proporción y porcentaje • Patrones numéricos • Conceptos simples de teoría de números
(divisibilidad, factorización prima, múltiplos, MCD, MCM)
• Expresiones algebraicas (simplificación, evaluación, factorización)
• Ecuaciones lineales en una variable • Inecuaciones lineales en una variable • Exponentes racionales y radicales • Polinomios • Ecuaciones cuadráticas, racionales y con
radicales • Variación • Patrones algebraicos • Rectas y sus propiedades • Funciones (Dominio, Campo de valores,
Evaluación, Gráficas) • Funciones Lineales, Cuadráticas y
Exponenciales • Operaciones con funciones • Relaciones de cambio • Sistemas de ecuaciones
Matemáticas Geometría Análisis de Datos y Probabilidad
• Coordenadas cartesianas • Transformaciones (traslaciones y reflexiones) • Distancia y punto medio • Rectas y ángulos • Semejanza y Congruencia • Teorema de Pitágoras • Triángulos y Cuadriláteros (Perímetro y Área) • Círculos y polígonos • Volumen y área de superficie de sólidos
• Medidas de Tendencia Central (Media, mediana y moda)
• Medidas de dispersión • Interpretación de tablas, gráficas y figuras • Técnicas de conteo (combinaciones y
permutaciones) • Probabilidad de un evento • Población y muestra • Probabilidad condicional
Redacción Formato de lecturas Tipos de textos Ejercicios
Fragmentos Literarios No literarios
• Coherencia y cohesión • Precisión y concisión • Se incluyen las estrategias
textuales y lingüísticas que caracterizan los procesos de una composición creativa y coherente, a saber:
• Adición • Elisión • Integración • Particularización • Generalización
NUEVA INFORMACIÓN QUE PROVEERÁ PEAU
ESTRUCTURA DE PUNTUACIONES DEL SAT:
Rediseño de PEAU
Puntuaciones: � Opciones de los ítems: cinco
(5) � “Formula scoring” : corrección
de las omitidas contra las incorrectas: 0.25 deducción
Puntuaciones: � Opciones de los ítems:
cuatro (4) � “Rights-only scoring”:
respuestas correctas
Pruebas vigentes Revisión de Pruebas
Revisión de PAA
Vigente • Escala
– PAA • Razonamiento Verbal, 200
a 800 y Razonamiento Matemático , 200 a 800
– Pruebas de Aprovechamiento • Aprovechamiento en
Español, 200 a 800, Aprovechamiento en Matemáticas, 200 a 800; Aprovechamiento en Inglés, 200 a 800
Rediseñado • Escala
– Lectura, 200 a 800 y Matemáticas, 200 a 800
– Redacción 200 a 800 – 400 a 1600 {Lectura +
Matemáticas}
Escalas en que se informarán las puntuaciones
Lectura, Redacción y Matemáticas (3 PUNTUACIONES): � Promedio Teórico = 500 � Desviación Estándar = 100 ¾ Puntuación Máxima = 800 ¾ Puntuación Mínima = 200
Puntuaciones por área de contenido: ¾ Puntuación Mínima= 10 ¾ Puntuación Máxima= 40
¾ LECTURA Y MATEMÁTICAS: 400 A 1600
Las puntuaciones a escala se estandarizan, calibran y equiparan mediante
procesos estadísticos
Variables externas a las pruebas que tienen peso en :
LA EJECUCIÓN ACADÉMICA
LA RETENCIÓN ESTUDIANTIL
CANTIDAD DE ESTUDIANTES POR PROGRAMA ACADÉMICO DE ESCUELA SUPERIOR
FRECUENCIA PORCENTAJE
No contestó 7,087 6.4 Académico 84,124 75.7 Vocacional 19,368 17.4
Homeschooling 469 0.4 Total 111,048 100.0
CALIFICACIONES (NOTAS DE ESCUELA SUPERIOR) POR PROGRAMA ACADÉMICO
Programa Total
No contestó Académico Vocacional Homeschooling
3.50 - 4.00 947 33,490 6,687 223 41,797
3.00 - 3.49 965 26,210 6,383 149 33,707
2.50 - 2.99 480 15,542 4,128 64 20,214
2.00 - 2.49 167 5,869 1,500 15 7,551
Menos de 2.00 28 871 150 5 1,054
2,587 82,432 18,848 456 104,323
Programa Total
No contestó Académico Vocacional Homeschooling
3.50 - 4.00 36.6% 41.2% 35.5% 48.9% 40.1%
3.00 - 3.49 37.3% 31.8% 33.9% 32.7% 32.3%
2.50 - 2.99 18.6% 18.9% 21.9% 14.0% 19.4%
2.00 - 2.49 6.5% 7.1% 8.0% 3.3% 7.2%
Menos de 2.00 1.1% 1.1% 0.8% 1.1% 1.0%
100.0% 100.0% 100.0% 100.0% 100.0%
Ocupación de cabeza de familia
OCUPACIÓN FRECUENCIA PORCENTAJE
Obrero no diestro 14,247 14.2% Obrero diestro 10,494 10.4%
Oficinista o vendedor 9,033 9.0% Técnico 10,116 10.1%
Profesional 24,640 24.5% Pensionado 7,508 7.5%
Desempleado 8,943 8.9% Otro 15,452 15.4% Total 100,433 100.0%
Promedios en PAA Verbal y Matemática en función a la educación de la madre
PROMEDIOS
Educación Madre VERBAL MATEM
No contesto 435 447
Menos de 9no grado 414 421
Grado 9 a 12 421 433
Escuela superior 441 447
Alguna educ. univ. 468 472
Grado asociado 471 472
Bachillerato 498 507
Esc. graduada o profesional 518 533 400
420
440
460
480
500
520
540
560
VERBAL
Mat
Promedios en PAA Verbal y Matemática en función a la educación del padre
PROMEDIOS Educación Padre VERBAL MATEM
No contesto 442 451
Menos de 9no grado 425 431
Grado 9 a 12 431 438
Escuela superior 451 455
Alguna educ. univ. 476 480
Grado asociado 479 481
Bachillerato 506 519
Esc. graduada o profesional 531 552 400
420
440
460
480
500
520
540
560
VERBAL
Mat
Independent Variable Importance
Importancia Importancia Normalizada
Educación Madre .341 100.0%
Profesión del jefe de familia .294 86.3%
Educación Padre .239 70.0%
Ingreso (4 niveles) .125 36.7%
Independent Variable Importance
Importancia Importancia Normalizada
Educación Madre .235 87.8%
Educación Padre .204 76.3%
Profesión del jefe de familia .136 50.9%
Ingreso (4 niveles) .157 58.7%
Tipo_Esc_Pub_Priv .268 100.0%
NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A
IMPORTANCIA (PESO) DE VARIABLES
NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES
0
0.05
0.1
0.15
0.2
0.25
0.3
Importancia
MODELO NO-LINEAL: RED NEURAL: MULTILAYER-PERCEPTRON
CALIFICACIONES
-NOTAS-
INTERACCIONES
NIVELES DE VARIABLES
PESOS (importancia)
Modelo optimiza interacciones
RAZONAMIENTO APROVECHAMIENTO
PLAN VERBAL MAT ESP MAT INGL Grado técnico 362 386 354 397 372
Grado asociado
377 390 377 399 383
Bachillerato 437 446 427 452 448
Maestría 493 500 475 504 496
Doctorado 520 523 501 527 514
Indeciso 455 466 442 471 465
RESULTADOS EN LAS PRUEBAS DEL COLLEGE BOARD - RAZONAMIENTO VERBAL Y RAZONAMIENTO MATEMATICO - EN FUNCIÓN AL PLAN DE ESTUDIOS
Plan postsecundario de distribución de tiempo de estudio y trabajo
DISTRIBUCIÓN DE TIEMPO
LEYENDA: TC = Tiempo completo / TP = Tiempo parcial
FRECUENCIA PORCENTAJE
Pregunta #10 de solicitud PAA
¿Cual es su plan de estudios postsecundarios? A) Completar un grado técnico B) Obtener un grado asociado (por lo menos dos años
de estudios universitarios) C) Completar un bachillerato (Licenciatura)
-Cuatro o cinco años de estudios universitarios- D) Continuar estudios de maestría E) Continuar estudios de doctorado (siete o más años
de estudios universitarios) F) Indeciso
Importancia de la variable “Plan de Estudios”
La variable “Plan de Estudios” reduce significativamente el impacto de variables socioeconómicas ¾ Es decisión del estudiante ¾ No depende de variables externas que el estudiante no controla ¾ Guarda estrecha relación con la ejecución académica ¾ ¿Indicador de MOTIVACIÓN?:
• ¿DE LOGROS? • ¿INTRÍNSECA?
– Referencias:
• Zimmerman, B.; “Self Regulated learning and academic achievement” Lawrence Earlbaum Editors 2001.
• Alderman, M.; Motivation for Achievement 2004.
NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES
SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS
Importancia SIN plan Importancia CON plan
Importancia Normalizada Importancia Importancia
Normalizada Importancia
Educación Madre .177 84.2% .132 31.3%
Educación Padre .174 83.0% .089 21.1%
Profesión del jefe de familia .101 48.3% .070 16.5%
Ingreso (4 niveles) .132 62.9% .068 16.1%
Distribución de tiempo .206 98.3% .142 33.6%
Tipo Escuela Pub. Priv. .210 100.0% .078 18.6%
Plan de estudios postsecundarios
Sin Plan Estudios
sin Plan Estudios .422 100.0%
NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES
SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
Importancia SIN plan de estudios Importancia CON plan de es estudios
Resultados prueba de College Board - Razonamiento Verbal y Matemático en función a promedios de Escuela Superior
PROMEDIOS
PROM E.S. VERBAL MATEMA
T 3.5 - 4.0 529 537 3.0 - 3.49 463 469 2.5 - 2.99 419 427 2.0 - 2.49 384 394 Menos de 2.0 369 379
Total 472 479
350
400
450
500
550
Menos de2.0
2.0 - 2.49 2.5 - 2.99 3.0 - 3.49 3.5 - 4.0
Prom
edio
de
las P
rueb
as
Promedio de Escuela Superior
VERBAL
MATEMAT
RESULTADOS EN PRUEBAS DEL COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA
SUPERIOR
Importancia SIN Promedio Importancia CON Promedio
Importancia Normalizada Importancia Importancia
Normalizada Importancia
Educación Madre .127 31.9% .093 28.4%
Educación Padre .135 34.1% .095 28.7%
Profesión del jefe de familia .077 19.3% .049 14.9%
Ingreso (4 niveles) .075 19.0% .049 14.8%
Distribución de tiempo .120 30.4% .079 23.9%
Tipo Escuela Pub. Priv. .069 17.4% .065 19.6%
Plan de estudios postsecundarios .397 100.0% .242 73.4%
Promedio de Escuela Superior sin Promedio Escuela Sup.
sin Promedio Escuela Sup. .329 100.0%
RESULTADOS EN PRUEBAS DE COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA
SUPERIOR (NOTAS)
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
Sin Notas Con Notas
Cuestionario a los estudiantes
• El cuestionario que se administra a los estudiantes, en estos momentos, está en proceso de revisión: ¾Una versión más corta ¾Se enfoca en variables no académicas que
demuestran un valor predictivo en la retención de los estudiantes y en su desempeño académico.
¾Algunas de las variables fueron identificadas por las instituciones de Puerto Rico y América Latina mediante un estudio de necesidades completado en diciembre de 2015.
La nueva PEAU y el SAT La revisión de PEAU ha seguido una estructura similar a las modificaciones estructurales del SAT
� Esto permitirá que se realicen comparaciones futuras, investigaciones de
“linking” y “equating” para contrastar las puntuaciones como se ha hecho con todas las versiones anteriores entre los resultados del SAT y la PAA
� Vea referencias de investigaciones de equiparación del SAT con la PAA:
• Schmidt A., Dorans N., Magriñá A., y Cook L. (1998) Predicting scores on the English Language
SAT from the Spanish Language PAA and the English as a Second Language Achievement Test; American Educational Research Association (AERA), San Diego
• • Cascallar A., Dorans N. (2003) Linking scores from tests of similar content given in different
languages: Spanish Language PAA and English Language SAT (College Board RR 2003 5) • • Cook L., Schmidt A., (2005) Establishing score comparability for tests given in different
languages. In: Hambleton R., Merenda P., Spielberger C. Adapting Educational and Psychological Tests for Cross Cultural Assessment, Publishers:Lawrence Erlbaum Associates
NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES
SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
Importancia SIN plan de estudios Importancia CON plan de es estudios
RESULTADOS EN PRUEBAS DE COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA
SUPERIOR (NOTAS)
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
Sin Notas Con Notas