Post on 12-Sep-2020
Mercedes Lo Monaco
UAB
MRT: Multiple Response Test
Manual de uso
ESID
10/06/2015
Fecha de Modificación: 17/07/2015
Versión: 1
Contenido Introducción ............................................................................................................................................ 1
1.- Creación de la prueba ........................................................................................................................ 1
Formato de archivo ......................................................................................................................... 1
Contenido ........................................................................................................................................ 1
2.- Configuración de la prueba en MRT ................................................................................................... 3
Creación proyecto ............................................................................................................................... 3
Nuevo formulario ................................................................................................................................ 4
Creación permutaciones ..................................................................................................................... 4
Impresión permutaciones ............................................................................................................... 6
Encriptación ......................................................................................................................................... 7
3.- Realización de la prueba .................................................................................................................... 9
4.- Análisis de resultados ....................................................................................................................... 11
Recuperación de archivos de respuesta ............................................................................................ 11
Análisis ............................................................................................................................................... 12
Evaluation ...................................................................................................................................... 12
Individual results ........................................................................................................................... 13
Introducción Multiple Response Test (MRT) y Tester son
Departament de Psicologia Bàsica, Evolutiva i de l'Educació
que nos permiten crear, gestionar
pueden realizarse on-line.
• MRT: es el programa que permitirá cr
test, realizar una amplia explotación de
• TESTER: es el programa que servirá de soporte para
examen. Una vez realizado el mismo, generará un docume
ser analizados con MRT.
El programa no necesita instalación, y lo podemos tener (MRT y TESTER) tanto en una carpeta de
nuestro ordenador como en un lápiz de memoria.
El proceso completo de trabajo implica
1. Crear un archivo de texto con los datos de la prueba.
2. Crear la prueba con MRT.
3. Realización de la prueba por parte de los estudiantes.
4. Realizar la explotación de datos con TESTER.
1.- Creación de la pruebaEn primer lugar tenemos que crear un archivo de texto
el que introduciremos los datos de la prueba: número de
preguntas, texto de las preguntas y las opciones de
respuesta…
Formato de archivo
El archivo de texto tiene que crearse
ajuste de línea”. Por ejemplo, si utilizamos el programa
WordPad, En el menú Formato de la barra de herramientas hay que deseleccionar la opción de
“Ajuste” (Ilustración 1) para que t
Contenido
El archivo deberá contener la siguiente información
1. Primera línea: Nº de pregu
2. Segunda línea: Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta
la cantidad de preguntas que tiene el examen (ej.
3. Tercera línea: Nº de opciones de
4. Cuarta línea: Enunciado
deseleccionar la opción de “Ajuste” mencionada más arriba)
5. Quinta línea: Enunciado de la primera opción de respuesta
1
Ilustración 1. . WordPad: Ajuste de línea
Multiple Response Test (MRT) y Tester son dos programas creados por el Dr. Antoni Castelló, del
Departament de Psicologia Bàsica, Evolutiva i de l'Educació de la Universitat Autònoma de Barcelona,
gestionar y analizar respuestas de exámenes de opción múltiple
es el programa que permitirá crear el test de opción múltiple y, una vez realizado el
test, realizar una amplia explotación de los resultados.
: es el programa que servirá de soporte para que los estudiantes puedan
examen. Una vez realizado el mismo, generará un documento con los resultados que
El programa no necesita instalación, y lo podemos tener (MRT y TESTER) tanto en una carpeta de
nuestro ordenador como en un lápiz de memoria.
El proceso completo de trabajo implica cuatro grandes etapas:
to con los datos de la prueba.
Crear la prueba con MRT.
Realización de la prueba por parte de los estudiantes.
Realizar la explotación de datos con TESTER.
Creación de la prueba tenemos que crear un archivo de texto en
el que introduciremos los datos de la prueba: número de
preguntas, texto de las preguntas y las opciones de
El archivo de texto tiene que crearse con la opción “sin
Por ejemplo, si utilizamos el programa
WordPad, En el menú Formato de la barra de herramientas hay que deseleccionar la opción de
que todo lo que escribamos esté en una sola línea.
El archivo deberá contener la siguiente información (ver Ilustración 2):
Nº de preguntas que tendrá el examen (ej. 10)
Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta
la cantidad de preguntas que tiene el examen (ej. CABCA)
: Nº de opciones de la primera pregunta 1 (ej. 4)
nunciado de la pregunta en UNA SOLA LINEA (recordar
deseleccionar la opción de “Ajuste” mencionada más arriba)
: Enunciado de la primera opción de respuesta
Mercedes Lo Monaco
WordPad: Ajuste de línea
por el Dr. Antoni Castelló, del
de la Universitat Autònoma de Barcelona,
exámenes de opción múltiple que
, una vez realizado el
que los estudiantes puedan realizar el
nto con los resultados que podrán
El programa no necesita instalación, y lo podemos tener (MRT y TESTER) tanto en una carpeta de
WordPad, En el menú Formato de la barra de herramientas hay que deseleccionar la opción de
Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta
en UNA SOLA LINEA (recordar siempre
6. Sexta línea: Enunciado de la segunda opción de respuesta
7. Séptima línea: Enunciado de la tercera opción de respuesta
8. Octava línea: Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta
tenga cuatro opciones de respuesta)
Repetir los pasos 1 a 8 tantas veces como número de pre
La última línea del documento debe estar en BLANCO, por lo que tras el último enunciado de
respuesta debemos oprimir la tecla ENTER/INTRO.
Una vez finalizada la edición del documento, lo tenemos que guardar con la opción de codificación
UTF8. Si utilizamos WordPad eligiéremos la opción de menú
“codificación”, seleccionaremos la opción UTF8
carpeta en donde tengamos guardado los programas MRT y TESTER (o en cualquier otro espacio de
nuestro ordenador).
Ilustración
Ilustración
: Enunciado de la segunda opción de respuesta
: Enunciado de la tercera opción de respuesta
: Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta
tenga cuatro opciones de respuesta)
tantas veces como número de preguntas se hayan definido
documento debe estar en BLANCO, por lo que tras el último enunciado de
respuesta debemos oprimir la tecla ENTER/INTRO.
Una vez finalizada la edición del documento, lo tenemos que guardar con la opción de codificación
eligiéremos la opción de menú Archivo > Guardar como,
“codificación”, seleccionaremos la opción UTF8 (Ilustración 3). Por último guardamos el archivo en la
carpeta en donde tengamos guardado los programas MRT y TESTER (o en cualquier otro espacio de
Ilustración 3. WordPad: Guardar con codificación UTF8
Ilustración 2. Elementos del archivo de texto
: Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta
definido
documento debe estar en BLANCO, por lo que tras el último enunciado de
Una vez finalizada la edición del documento, lo tenemos que guardar con la opción de codificación
Archivo > Guardar como, y en
. Por último guardamos el archivo en la
carpeta en donde tengamos guardado los programas MRT y TESTER (o en cualquier otro espacio de
2.- Configuración de la prueba en MRT
Creación proyecto
Una vez que tenemos el archivo con las preguntas, procederemos a la configuración
de la prueba en el programa MRT.
Al ejecutar el programa, aparecerá una pantalla en cuya parte izquierda
encontraremos cinco opciones Configuration, Data gathering, Evaluation, Analysis e
Individual results.
Con el botón de configuración seleccionado (aparece a la izquierda en verde),
seleccionaremos EXISTING PROJETS (ver Ilustración 4), clicamos con el botón
derecho del ratón y elegiremos la opción New Project.
Aparecerá una nueva ventana (ver Ilustración 5) en la que habrá que rellenar los campos:
• Name: nombre de nuestro examen
• Description: breve descripción de la prueba (opcional)
• Nº ítems: número de preguntas que tiene nuestro examen
Una vez rellenada la información (no es necesario introducir nada en el campo Structure), clicar en
Save Changes.
Ilustración 4. Creación nuevo proyecto
Ilustración 5. Definición proyecto
Nuevo formulario
A medida que vamos creando proyectos (exámenes), estos aparecerán al clicar en el icono que
aparece a la izquierda de EXISTING PROJET. Al clicar con el botón derecho del ratón sobre un
proyecto existente se abrirá un desplegable con diferentes opciones (ver Ilustración 6), y
seleccionaremos New Form.
Se abrirá entonces una nueva ventana (ver Ilustración 7), en la que en primer lugar clicaremos en el
recuadro blanco de File lo que hará que aparezca una ventana de navegación para que
seleccionemos el archivo TXT que hemos creado anteriormente con las preguntas del examen. Lo
seleccionamos y clicamos Abrir.
A continuación seleccionamos, en la lista desplegable Language, el idioma en el que están
redactadas las preguntas, y clicamos en Save Changes. Podemos repetir esta operación tantas veces
como idiomas en los que tengamos redactado nuestro examen.
Creación permutaciones
El siguiente paso, consistirá en la creación de las permutaciones de la prueba. Para ello, volveremos a
la pantalla principal y clicaremos en EXISTING PROJECT > nombre del proyecto > ESP (es el idioma en
que se ha configurado el proyecto, en este caso en español). En ESP, hacemos clic con el botón
Ilustración 6. MRT: New Form
Ilustración 7. Configuración Form
derecho del ratón y se nos abrirá un desplegable en donde tendremos que seleccionar la opción New
Permutation (Ilustración 8). Esta opción tenemos que realizarla aunque nuestro examen no incluya
permutaciones.
Se abrirá una ventana (Ilustración 9), en la que a la izquierda aparecen 3 opciones para la
permutación de nuestro examen.
• Keep original form order: mantiene las preguntas en el mismo orden que están escritas
en el documento original (seleccionaremos esta opción si no deseamos permutaciones).
• Randomize ítems: mezcla aleatoriamente los ítems.
• Randomize options: mezcla aleatoriamente las opciones de respuesta.
Tras seleccionar la opción u opciones que deseamos (las ultimas 2 pueden estar seleccionadas
simultáneamente) presionamos el botón de Proceed.
En el cuadro que antes nos aparecía en blanco, ahora nos aparecen nuestras preguntas y respuestas
según la opción que hayamos decidido. Hay que tener en cuenta que si no nos agrada la
aleatorización realizada por el programa, podemos presionar el botón de Proceed hasta que haya una
combinación que nos agrade. Una vez hecho esto clicar sobre Save Changes.
Ilustración 8. MRT: Nueva permutación
Ilustración 9. Permutación A - Orden original
Este paso habrá que repetirlo tantas veces como permutaciones deseemos. Cada vez que lo hagamos
cambiará el valor que aparece en Version (A, B…). Si hemos definido diferentes idiomas, este valor
será distinto para cada uno, es decir, que si tenemos dos permutaciones para la versión ESP y dos
para la versión CAT, dispondremos de la versión A y B para ESP y la C y D para la versión CAT. En la
Ilustración 10 podemos ver la misma pantalla realizando una permutación con la opción de
aleatorización de ítems.
Impresión permutaciones
Una vez tenemos las permutaciones, si lo deseamos podemos imprimirlas de forma individualizada
(clicando con el botón derecho sobre la etiqueta de la permutación y escogiendo la opción Output) o
todas ellas (la misma operación pero sobre el nombre de la prueba).
Ilustración 11. Impresión de permutaciones
En ambos casos se nos solicitará un nombre “raíz”
para el/los archivo/s, al que se añadirá información
sobre el idioma y la etiqueta de la permutación. Si,
como en la Ilustración 12 la raíz es “Historia”, se
generarán los archivos
• Historia-ESP-A.txt
• Historia-ESP-B.txt
Ilustración 10. Permutación B - Aleatorización ítems
Ilustración 12. Definición raíz de nombre de archivo
Encriptación
El último paso consistirá en generar el archivo encriptado que utilizarán los estudiantes para realizar
la prueba.
Al clicar sobre el nombre de nuestro proyecto con el botón derecho del ratón
desplegable en el que hay que seleccionar la opción
En la nueva ventana que aparecerá
• Name: Nombre del archivo encriptado.
• Versions: Selección de
En la parte izquierda de la ventana
las que nos interesan recoger
El último paso consistirá en generar el archivo encriptado que utilizarán los estudiantes para realizar
sobre el nombre de nuestro proyecto con el botón derecho del ratón
seleccionar la opción New Encrypted File Parameters
que aparecerá hay que completar la siguiente información:
: Nombre del archivo encriptado.
lección de las versiones que se quieren generar.
de la ventana aparecen diferentes opciones, de las cuales hay que seleccionar
Ilustración 13. Encriptación archivo
Ilustración 14. Parámetros de encriptación
El último paso consistirá en generar el archivo encriptado que utilizarán los estudiantes para realizar
sobre el nombre de nuestro proyecto con el botón derecho del ratón, se abrirá un
ew Encrypted File Parameters.
aparecen diferentes opciones, de las cuales hay que seleccionar
• Self Correction: El archivo generado incluirá (al ejecutarse en TESTER) las respuestas
correctas (sólo adecuado para feedback).
• Send results: Se puede configurar una dirección de correo electrónico a la que se
enviarían automáticamente los resultados de cada test (se usa conjuntamente con las 4
opciones de la derecha de la pantalla: Mail adress, Mail server, Username y Password).
• Local results file: El usuario generará un archivo de resultados (que tendrá que enviar).
• Include keys: Se registrarán las teclas pulsadas durante la ejecución de la prueba (letra
de opción o bien adelante/atrás) durante la ejecución. Sirve para monitorizar el proceso
de respuesta.
• Include time: Registra el tiempo que se tarda en realizar cada ítem de la prueba.
• Date and time: Incluye fecha y hora en la que cada alumno hace el test.
• Machine’s name: Incluirá el nombre del ordenador desde el que se ha realizado la
prueba.
• Essays: Número de intentos realizados.
• File GUID: No tienen trascendencia en la versión actual; estaban pensadas para una
explotación distinta del programa.
• File’s root: Aquí escribiremos la raíz del nombre de cómo queremos que se guarde el
archivo del test que realiza cada uno de los alumnos (el que nos enviarán y utilizaremos
para poder generar la base de datos).
• Encryption key: Este apartado tenemos que rellenarlo con 32 caracteres (los que
queramos) hasta que el fondo se vuelva VERDE.
Para finalizar con este apartado de definición, clicaremos sobre Save Changes.
A continuación, en la pantalla principal, al clicar con sobre el icono que aparece a la izquierda del
nombre de nuestra prueba (en Existing Project) aparecerá (en cursiva) el nombre que hemos definido
en el paso anterior. Al clicar sobre él con el botón derecho del ratón se abrirá un desplegable en el
que hay que seleccionar la opción Output > Generate the Encrypted File. El resultado será un archivo
con extensión mrt que será el que se utilizará en el programa TESTER.
Ilustración 15. Generación archivo encriptado
3.- Realización de la pruebaPara realizar la prueba creada con MRT, los estudiantes utilizarán el
Al ejecutarlo, se abrirá una pantalla
• Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en
dicho idioma y leer las instrucciones.
• Instrucciones: descripción de los comandos dentro del
• Cargar: Al clicar sobre este botón,
con MRT (archivos con extensión .
programa TESTER). Al seleccionar
pantalla aparecerán 2 nueva
Realización de la prueba Para realizar la prueba creada con MRT, los estudiantes utilizarán el programa TESTER.
e abrirá una pantalla en la que aparecen 3 opciones:
Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en
dicho idioma y leer las instrucciones.
: descripción de los comandos dentro del TESTER.
Al clicar sobre este botón, aparecerá una lista con las diferentes pruebas generadas
con MRT (archivos con extensión .mrt que se encuentren en el mismo dir
Al seleccionar el nombre de nuestro test, en el lado izquierdo
pantalla aparecerán 2 nuevas opciones: Versión de la prueba y Hacer la prueba
Ilustración 16. TESTER: Selección idioma
Ilustración 17. TESTER: Instrucciones
Ilustración 18. TESTER: Cargar prueba
programa TESTER.
Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en
una lista con las diferentes pruebas generadas
que se encuentren en el mismo directorio que el
el nombre de nuestro test, en el lado izquierdo de la
Hacer la prueba.
• Versión de la prueba: Aparecerá un desplegable con las diferentes permutaciones (sí se ha
generado alguna).
• Hacer la prueba: nos lleva directamente al test.
Una vez cargamos nuestro test, aparecerá la primera pregunta. Para responder, simplemente hay
que teclear la letra de la opción de respuesta que deseemos (A, B, C, D en este caso). Para
desplazarse por las preguntas, sólo hace falta presionar las teclas de dirección � o ↓ (para volver
hacia atrás, hay que presionar la tecla o ↑)
Estarán disponibles también dos nuevas opciones de menú:
• Resultados: Si se ha definido esta opción, podrá visualizarse información sobre el número de
respuestas correctas e incorrectas (Opción Progreso, ver Ilustración 20) y, con la opción
Revisar los ítems (Ilustración 21), para cada una de las preguntas, la respuesta dada por el
estudiante (resaltada en verde) y la respuesta correcta a dicha pregunta (subrayada).
Ilustración 19. TESTER: Visualización pregunta
Ilustración 20. TESTER: Resultados - Progreso
Ilustración 21. TESTER: Resultados – Revisar los ítems
• Cancelar la prueba: Para cancelar temporalmente la realización de la prueba y seguir
contestando en otro momento.
• Archivo de resultados: Genera el archivo de resultados a enviar. Nos aparecerá una ventana
de confirmación (Ilustración 22) y, si clicamos en sí, una nueva ventana en la que hay que
introducir el NIU de la persona que ha realizado la prueba (Ilustración 23), que será utilizado
como parte del nombre de archivo que se generará.
Finalmente, aparecerá una nueva ventana de confirmación e instrucciones para el envío del
archivo de resultados (Ilustración 24).
Cuando se ha contestado alguna pregunta, aparecerán nuevas opciones de menú, que pueden variar
en función de la configuración que hayamos realizado de la prueba:
• Guardar: Se abrirá una ventana con la leyenda “Datos guardados correctamente” y
clicaremos en aceptar.
• Recuperar: Recupera la última versión con las respuestas hechas hasta ese momento.
4.- Análisis de resultados Una vez que el docente ha recibido los archivos con las respuestas, puede realizar el análisis de los
resultados utilizando de nuevo MRT.
Recuperación de archivos de respuesta
Para ello, utilizaremos el menú Data gathering, que abrirá una ventana ()en la que introduciremos la
siguiente información:
• Project: desplegable en el que seleccionamos el test que deseamos corregir.
• Encryption parameters: por defecto tenemos que elegir en el desplegable la opción que nos
aparezca, generalmente con el mismo nombre que nuestro test
Para cargar los resultados generados, tenemos diferentes opciones:
Ilustración 22. TESTER: Confirmación guardar Ilustración 23. TESTER: Datos personales
Ilustración 24. TESTER: Instrucciones de envío
• Download from server: si clicamos aquí, descargaremos desde el servidor que hemos
configurado cuando generamos nuestro archivo encriptado
• Import encrypted files from folder: carga todos los archivos encriptados ubicados en una
carpeta determinada.
• Import encrypted text file: importamos archivos de resultados de manera individual.
Una vez elegimos y seleccionamos la opción deseada, clicamos en el botón Done.
Análisis
Por último para poder visualizar los resultados podemos utilizar las opciones de menú Evaluation e
Individual Results.
Evaluation
En el desplegable Project (Ilustración 26), seleccionamos el proyecto deseado y clicamos en el botón
Evaluate.
Aparecerá una tabla con las columnas de Identificación del participante, Modelo (permutación), R+
(respuestas correctas), R- (respuestas incorrectas), Blank (repuestas en blanco) y Mark (nota).
Estos datos pueden copiarse en una hoja Excel para poder realizar sobre ellos las modificaciones que
deseemos o para generar un archivo que podamos colgar en nuestro Campus Virtual, enviar por mail
a los alumnos, etc.
Estos datos pueden copiarse en una hoja Excel para poder realizar sobre ellos las modificaciones que
deseemos o para generar un archivo que podamos colgar en nuestro Campus Virtual, enviar por mail
a los alumnos, etc.
Ilustración 25. Recuperación de archivos de respuesta
Individual results
De nuevo, tenemos que seleccionar, en el desplegable Project (Ilustración 27), la prueba que
queremos analizar. A continuación, nos aparecerán los identificadores de las personas que han
contestado la prueba, y seleccionando cada uno de ellos podremos versus resultados individuales
(las respuestas que dieron a cada una de las preguntas, un gráfico con su nota según el resto de la
distribución del grupo, etc.).
Ilustración 26. Visualización de resultados totales
Ilustración 27. Resultados individuales
Esta opción es muy interesante ya que nos facilitará la corrección individualizada de cada uno de los
estudiantes. Si clicamos en alguna de las respuestas, en el cuadro que en la imagen aparece la
respuesta marcada por el alumno y el peso de esa pregunta en concreto (qué dificultad tiene la
pregunta con respecto a las respuestas del resto de los alumnos en la misma).