Post on 15-Jul-2015
TEST DE PENSAMIENTO COMPUTACIONAL
Principios de diseño, validación de contenido y análisis de ítems
Seminario eMadrid sobre Pensamiento Computacional Madrid, 17 de abril de 2015
Marcos Román (UNED, Facultad de Educación)
Introducción
Vivimos inmersos en un ecosistema digital lleno
de objetos programables controlados por software
Si el ordenador es un ‘metamedio’
El software se convierte en ‘metalenguaje’
Introducción
En este contexto, ser capaz de manejar el lenguaje de las computadoras emerge como una habilidad indispensable, un nuevo alfabetismo, que nos permite participar de
manera plena y efectiva en la realidad digital que nos
rodea: se trata de ‘programar o ser
programado’; de ser ‘app capacitado o app
dependiente’
Introducción
Code-literacy = codigoalfabetización Procesos de enseñanza-aprendizaje de la lectoescritura
con los lenguajes informáticos de programación
Introducción
Aprender Inglés
Inglés para aprender
Learn to code Code to learn
En un mundo globalizado…
En un mundo digitalizado…
Introducción
Se considera que una persona está codigoalfabetizada cuando es capaz de leer y escribir en el lenguaje de los ordenadores y otras máquinas, y de pensar computacionalmente
Nuevas prácticas
comunicativas de
lectoescritura
Proceso cognitivo
subyacente de resolución de
problemas
Introducción
¿Es posible y deseable incorporar la codigoalfabetización en el sistema educativo español, en concreto en el primer ciclo de la
Educación Secundaria Obligatoria (ESO)?
Evaluar la eficacia del programa-curso ‘K-8 Intro to Computer Science’
(Code.org) en primer ciclo de la ESO: http://studio.code.org/s/20-hour
Diseñar y validar un instrumento que mida el nivel de pensamiento
computacional de estudiantes de primer ciclo de la ESO, o Test de
Pensamiento Computacional (TPC): http://goo.gl/IYEKMB
Pensamiento computacional (PC)
En este nueva realidad invadida por lo digital, no es sorprendente que haya un renovado interés en muchos países por introducir el PC como un conjunto de habilidades de solución de problemas que debe ser adquirido por la nueva generación de estudiantes;
Aún más, el PC se está empezando a considerar como un elemento central de todas las disciplinas STEM
Bulgaria, Chipre, Dinamarca, Estonia, Grecia, Irlanda, Polonia, Portugal & UK
¿Brecha digital de 2ª generación?
Pensamiento computacional (PC): definiciones
Todavía hay poco consenso sobre una definición formal del PC, y discrepancias sobre cómo debería ser integrado en los currículos educativos…
El PC implica la resolución de problemas, el diseño de sistemas, y la comprensión de la conducta humana, haciendo uso de los conceptos fundamentales de la informática (Wing, 2006)
El PC es el proceso de pensamiento involucrado en la formulación de problemas de tal manera que sus soluciones puedan ser representadas como pasos computacionales discretos y algoritmos (Aho, 2012)
Pensamiento computacional (PC): definiciones
Incluso Google ha aportado su propia definición de PC como “un conjunto de habilidades y técnicas de solución de problemas, que los ingenieros de software usan para escribir los programas informáticos que subyacen a las aplicaciones que usamos a diario (…)”
https://www.google.com/edu/resources/programs/exploring-computational-thinking/
Descomposición de un problema o tarea en pasos discretos
Reconocimiento de patrones
(regularidades)
Generalización de dichos patrones y abstracción (descubrir las leyes o
principios que causan dichos patrones)
Diseño algorítmico (desarrollar instrucciones precisas para resolver el problema y sus análogos)
Pensamiento computacional (PC): definiciones
Sin la atención suficiente sobre la medida y evaluación del PC, será muy difícil que éste se abra camino exitosamente en cualquier currículum (…) para poder juzgar la efectividad
de cualquier currículum que incorpore el PC, es necesario validar previamente instrumentos de medida que permitan a los educadores evaluar en qué grado los estudiantes han desarrollado esa habilidad de pensamiento (Grover & Pea, 2013)
Hay un enorme vacío sobre cómo medir y evaluar el PC, hecho que debe ser abordado…
http://www.bebras.org/
http://www.beaver-comp.org.uk/
http://www.olympiad.org.za/talent-search/
Método
Nuestro ‘Test de Pensamiento Computacional’ (TPC) fue diseñado inicialmente (versión 1.0, de octubre de 2014) bajo los siguientes principios: Objetivos: medir el nivel de desarrollo del pensamiento computacional en el
sujeto. Definición operativa del constructo medido: el pensamiento
computacional es la capacidad de formular y solucionar problemas apoyándose en los conceptos fundamentales de la computación, y usando la lógica-sintaxis de los lenguajes informáticos de programación: secuencias básicas, bucles, iteraciones, condicionales, funciones y variables.
Población objetivo: el TPC está diseñado y dirigido a población escolar española de entre 12 y 13 años (1º y 2º ESO)
Tipo de instrumento: prueba objetiva de elección múltiple con 4 opciones de respuesta (sólo 1 correcta)
Longitud: 40 ítems Tiempo estimado de realización: 45 minutos
Repetir veces
(repeat times)
Repetir hasta
(repeat until)
Condicional simple (if)
Condicional compuesto
(if/else)
Mientras que
(while)
Funciones simples
Funciones con
parámetros
Item 1 Laberinto Visual por flechas Sí No No No No No No No No SecuenciaciónItem 2 Laberinto Visual por flechas Sí No No No No No No No No CompletamientoItem 3 Laberinto Visual por bloques Sí No No No No No No No No DepuraciónItem 4 Laberinto Textual Sí No No No No No No No No SecuenciaciónItem 5 Lienzo Visual por bloques Sí No No No No No No No No SecuenciaciónItem 6 Laberinto Visual por flechas Sí Sí No No No No No No No SecuenciaciónItem 7 Laberinto Visual por flechas Sí Sí No No No No No No No CompletamientoItem 8 Laberinto Visual por bloques Sí Sí No No No No No No Sí SecuenciaciónItem 9 Lienzo Textual Sí Sí No No No No No No No Depuración
Item 10 Lienzo Visual por bloques Sí Sí No No No No No No Sí CompletamientoItem 11 Laberinto Visual por flechas Sí No Sí No No No No No No SecuenciaciónItem 12 Laberinto Visual por bloques Sí No Sí No No No No No No CompletamientoItem 13 Laberinto Textual Sí No Sí No No No No No No SecuenciaciónItem 14 Laberinto Visual por flechas Sí Sí Sí No No No No No Sí DepuraciónItem 15 Lienzo Visual por bloques Sí Sí Sí No No No No No Sí SecuenciaciónItem 16 Laberinto Visual por flechas Sí No Sí Sí No No No No Sí SecuenciaciónItem 17 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí SecuenciaciónItem 18 Laberinto Textual Sí No Sí Sí No No No No Sí CompletamientoItem 19 Laberinto Visual por flechas Sí Sí Sí Sí No No No No Sí CompletamientoItem 20 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí DepuraciónItem 21 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí SecuenciaciónItem 22 Laberinto Textual Sí No Sí No Sí No No No Sí SecuenciaciónItem 23 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí DepuraciónItem 24 Laberinto Textual Sí No Sí No Sí No No No Sí CompletamientoItem 25 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí CompletamientoItem 26 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí SecuenciaciónItem 27 Laberinto Textual Sí Sí No No No Sí No No Sí SecuenciaciónItem 28 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí DepuraciónItem 29 Laberinto Textual Sí No No Sí No Sí No No Sí CompletamientoItem 30 Laberinto Visual por bloques Sí No No Sí No Sí No No Sí CompletamientoItem 31 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí SecuenciaciónItem 32 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí CompletamientoItem 33 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí DepuraciónItem 34 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí SecuenciaciónItem 35 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí CompletamientoItem 36 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí SecuenciaciónItem 37 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí CompletamientoItem 38 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí DepuraciónItem 39 Lienzo Visual por bloques No No No No No No No Sí Sí SecuenciaciónItem 40 Lienzo Visual por bloques Sí No No No No No No Sí Sí Completamiento
Tarea requeridaDirecciones
Bucles (loops) Condicionales (conditionals) Funciones (functions)Entorno - Interfaz del
reactivo
Estilo de las alternativas de
respuesta
Existencia de anidamiento
Concepto computacional abordado
5 dimensiones de diseño
Método
‘El Laberinto’; Visual por flechas; Bucles – repetir hasta + Condicional simple; Con anidamiento; Completamiento.
Método
‘El Lienzo’; Visual por bloques; Bucles – repetir veces + Funciones simples; Con anidamiento; Secuenciación.
Método Para el procedimiento de validación de contenido de nuestro TPC, 39 expertos fueron invitados a colaborar en la emisión de juicio y valoración sobre el instrumento. Finalmente, 20 expertos aceptaron. Este panel de expertos tiene las siguientes características: 14 hombres y 6 mujeres; edad media 36,9 años.
Colectivo profesional Nº de
expertos Profesores de Informática de Educación Secundaria 11
Profesores de Informática de Bachillerato 8 Profesores de Informática de Formación Profesional 5
Profesores de Informática de Universidad 5 Ganadores de la ‘I Edición Premios Apps Fundación Telefónica’ 4
Miembros del colectivo Programamos.es 3 Miembros de la Asociación de Profesores de Informática de la
Comunidad Valenciana 3
Resultados: validación de expertos +70 % de los expertos valoraron la versión inicial del TPC como
‘muy larga’ o ‘algo larga’
Longitud ideal: 28-30 ítems Tiempo ideal: 45-50 minutos (1,5 minutos por ítem)
Se eliminan por su excesiva dificultad
(funciones con parámetros)
Resultados: validación de expertos Se conservan para
versiones futuras del test con sujetos de
mayor edad (funciones con parámetros)
Se elimina el ítem con menos índice de
aceptación de cada bloque
Resultados: validación de expertos
Adicionalmente, se revisan algunas
cuestiones de los ítems que quedan…
Versión final TPC (2.0) 28 ítems (+3 ejemplos) ON-LINE
Resultados: muestra y análisis de ítems
Red de innovación ‘IT Teaching’ de la Comunidad Valenciana Hicieron el curso K-8 de Code.org durante 10 semanas
Prueba de validez aparente
Resultados: muestra y análisis de ítems
La tasa de acierto promedio a lo largo
de los 28 ítems es de 0,59 (índice de
dificultad medio)
La distribución de las puntuaciones totales en el test se
ajustan a la curva normal (Z k-s=1,235; p=0,094>0,05)
Tal y como cabe esperar en un
test que mide una aptitud de tipo cognitivo
Resultados: psicometría general
La fiabilidad, como consistencia interna, del TPC en su conjunto medida a través del estadístico alfa de Cronbach
arroja un valor de α = 0,74 (sube hasta 0,84 en muestras complementarias que lo hicieron en tableta)
Resultados: diferencias por edad
Tal y como era de esperar el rendimiento en el TPC mejora significativamente con la edad
Resultados: diferencias por género
No hay diferencias significativas debidas al género en el rendimiento en el TPC
Resultados: autoeficacia y género
Aunque chicos y chicas rinden igual en el TPC, las chicas muestran significativamente un menor sentimiento de
autoeficacia en el test “Debugging de Gender Gap” = https://vimeo.com/123004482
No significativo p(t) = 0,5 > 0,05
Sí significativo p(t) = 0,002 < 0,05
Resultados preliminares: validez concurrente
Como fuentes de validez concurrente del TPC estamos utilizando medidas ya validadas relativas a variables supuestamente próximas al PC, tales como ‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales-atencionales’…
n = 56
Resultados preliminares: validez concurrente
Como fuentes de validez concurrente del TPC estamos utilizando medidas ya validadas relativas a variables supuestamente próximas al PC, tales como ‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales-atencionales’…
n = 63
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’
n = 76
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’
Problema I de Bebras Lógica condicional Estructuras discretas
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’
Problema II de Bebras Paralelización Control de flujo
Resultados preliminares: validez concurrente
…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’
Problema III de Bebras Descomposición Abstracción Algoritmos
Resultados preliminares: validez predictiva
Como fuentes de validez predictiva, pretendemos correlacionar las puntuaciones en el TPC de nuestros sujetos con sus medidas de desempeño en el programa ‘K-8 Intro to Computer Science’ (número de niveles superados)
CORRELACIÓN GENERAL TPC * NIVELES K-8 SUPERADOS = +0,37 (n=96)
Conclusiones TPC
PUNTOS FUERTES • Test ‘clásico’ de aptitud • Dificultad apropiada para la población objetivo (1º y 2º ESO) • Correcta psicometría: dificultad creciente, distribución normal y simétrica. • Buena variabilidad que permite la construcción de baremos • Progresión evolutiva y ausencia de sesgo por género • Fiabilidad adecuada (especialmente en tabletas) e indicadores adecuados de
validez concurrente y predictiva • Aplicación colectiva y on-line • Usos posibles: detección masiva / cribado de talento computacional,
diagnóstico, orientación académica y profesional, evaluación de currículos de PC
LIMITACIONES • Muy centrado en conceptos computacionales (no en procesos y
productos), y en pensamiento algorítmico • Sólo ítems de elección múltiple: se mide el PC en sus niveles más
bajos de complejidad cognitiva (‘reconocer’ y ‘comprender’) • Para medir el PC en sus niveles superiores (‘aplicar’ y ‘asimilar’)
habría que incluir ítems de evocación y/o tareas complejas que exijan transferir el PC de manera creativa a distintos ámbitos
Líneas futuras de investigación
TPC • Evaluación aptitudinal y diagnóstica
Dr. Scratch • Evaluación formativa
de proyectos
Muchas gracias por su atención
MARCOS ROMÁN GONZÁLEZ Profesor e Investigador
UNED - Facultad de Educación (Dpto. MIDE I) C/ Juan del Rosal, nº14. Despacho: 2.18
Tfno.: 91 398 90 37 Web: http://goo.gl/oox5Qn
E-mail: mroman@edu.uned.es Blog: http://codigoalfa.hypotheses.org/