Sistema de Evaluación On-line para Certificar Competencias y Medir

Cumplimiento del Perfil de Ingreso

Preparado por: Luis F Rodriguez, PhD, MPM, CEC, CCA, CMA, ASQ-CQIA

Director de Operaciones para América Latina – Peregrine Academic Services

rodriguez@peregrineacademics.com 903-805-9135

• Uno de los mayores retos para las Instituciones de Educación Superior, es la Valoración de sus Programas Académicos.

• La verdad es que para cerrar las brechas existentes entre los objetivos de aprendizaje y la medición directa de los resultados de los estudiantes después de completado los requisitos de un programa académico es necesaria una herramienta de evaluación que cumpla con los requisitos de mejora continua de un programa de una Institución de Educación Superior.

• La evaluación en educación superior debe ser definida como el proceso de determinar como;

"Ofrecer administradores, profesores, administradores y otras partes interesadas con pruebas concretas de que pueden desarrollar información útil sobre sus alumnos, los programas, sus cursos y también de la institución" (Gardiner, 2014).

• Esta es una información vital que ayudan a los administradores de una Institución de Educación Superior y sus acreditadores para la Toma de Decisiones Efectivas sobre el aprendizaje de los estudiantes y el desarrollo, eficacia profesional y calidad del programa.

• La evaluación permite entonces utilizar la información como una evidencia creíble generada a través de la evaluación para hacer juicios de valor relativo: la aceptación de las condiciones descritas a través de la evaluación.

• La evaluación para una Institución de Educación Superior no es sólo una herramienta para asegurar que un programa académico se adhiere a altos estándares de calidad en la investigación y práctica.

¿Qué es el Avalúo del Aprendizaje?

• Avalúo del aprendizaje es la traducción más cercana del término “Assessment” muy utilizado en educación superior.

• En términos de administración, avalúo es un tipo de auditoría así que por definición es la “Auditoría del Aprendizaje”

• El avalúo se puede llevar a cabo en diferentes áreas y niveles.

• El Avalúo del Aprendizaje busca con herramientas sencillas evaluar a los estudiantes además de recopilar información que le permita a profesores y administradores académicos realizar los ajustes necesarios para mejorar el proceso de enseñanza/aprendizaje.

• El avalúo del aprendizaje le permite al los profesores y los administradores académicos conocer mejor de qué forma aprenden sus estudiantes y reflexionar sobre las estrategias de enseñanza que utiliza en el salón de clases.

Propósito

• Podemos decir que el propósito del Avalúo del Aprendizaje es dual:

• Desde el punto de vista de Educador:

• Identificar Fortalezas y Deficiencias en el desarrollo del estudiante en el curso

• Conocer la Efectividad de las Estrategias de Enseñanza/Aprendizaje que está utilizando.

• Poder tomar Acciones Correctivas para ayudar a los estudiantes en su Construcción del Conocimiento y a tener éxito en el curso.

• Desde el punto de vista del Administrador Académico:

• Saber, Evaluar y DEMOSTRAR que tan bien lo hemos hecho.

¿Por qué es tan Importante el Avalúo?

• A nivel de la Institución• Es el eje central para determinar el cumplimiento de la

Misión de las Instituciones de Educación Superior• Es requerido en los Procesos de Acreditación.

• A nivel de la Academia• Brinda información útil y a tiempo.• Auto-evaluación del estudiante para desarrollo de la

Conocimiento, el Aprendizaje Reflexivo y Holístico.

¿Cómo Recopilamos la Información de Avalúo?

• Observación

• Recopilación de información de lo que observamos en nuestros estudiantes• Informal: Los propósitos no están tan definidos, luego

de la observación, seleccionamos que tiene pertinencia

• Directa: Datos recopilados de un plan previamente estructurado, con objetivos de aprendizaje definidos.

¿Qué preguntas debemos hacernos y contestarnos entonces?

• Son entonces.. ¿El Avalúo del Aprendizaje y la Evaluación de Programas Académicos lo mismo?

• ¿Puede hacerse esto utilizando un instrumento basado en un Modelo Funcional que permita ambas?

• ¿Puede hacerse esto on-line?

• ¿Puede hacerse de manera confiable y válida?

Algunos de los Instrumentos de Medición del Aprendizaje más Comunes

• Matriz de memoria o de rasgos sobresalientes

• Bosquejo sin rellenar/Bosquejo incompleto

• Diario Reflexivo (Freedom Writers)

• Pruebas de avalúo del conocimiento• Pre-Prueba• Mitad de termino (Identificar brechas en Programas

Académicos)• Post-Prueba

Pre-Prueba, Mitad de Término y Post-Prueba

• Se puede definir como la estrategia de medida de la eficacia de las intervenciones para la conservación de los resultados obtenidos en la pre-prueba y la post-prueba.

¿Por qué Utilizar Pruebas de Avalúo?

• Todos aquellos actores claves en instituciones educativas de educación superior incluyendo aquellos organismos de acreditación, las agencias reguladores del estado y grupos de interés locales exigen una mayor rendición de cuentas.

• El rendimiento académico ya no se mide solamente en relación a: • Las Calificaciones de los Estudiantes

• Las Tasas de Graduación

• Tal vez en el Posicionamiento de las Instituciones.

¿Por qué Utilizar Pruebas de Avalúo?

• Es necesario, para cerrar el ciclo de la Calidad, Evaluaciones a nivel de Programas basadas en un Avalúo del Aprendizaje que demuestre claramente el Éxitoy Dirección de las Institucioneshacia el Mejoramiento Continuo.

¿En que consiste un examen de avalúo on-line?

• La Evaluación Directa on-line para la rendición de cuentas a nivel de Programa basado en el Componente Profesional Común (CPC) en el Instituciones de Educación Superior.

• La Evaluación de Resultados de Aprendizaje a nivel de programa es un requisito para todo tipo de acreditación. • El Examen Comprensivo basado en el CPC (COMP) es un examen on-line que

mide los resultados del aprendizaje y el conocimiento retenido del estudiante a nivel de programas académicos.• Basado en objetivos de aprendizaje

¿Qué es el Componente ProfesionalComún (CPC)?

• Es un Instrumento que ha demostrado ser eficaz en la evaluación de Programas de Educación es el Componente Profesional Común o CPC.

• El Componente Profesional Común, mejor conocido como CPC está orientado como una medida directa de los resultados con la intención de asegurar el reconocimiento de la naturaleza de los programas académicos que se refiere a las áreas programáticas comunes relacionadas con situaciones reales del aprendizaje.

• Cripps, Clark y Oedekoven (2011) definen la evaluación de CPC como "el proceso de responder a una pregunta, resolver un problema o abordar un tema que es demasiado amplio o complejo para ser tratada adecuadamente teniendo en cuenta la variado de un programa académico".

¿Cómo Puedo Utilizar un Examen de Avalúoon-line Basado en el CPC?

• Los estudiantes toman el examen al inicio de su programa académico, generalmente dentro de su primer curso (examen de entrada). • Los estudiantes toman el mismo examen al final de su programa,

generalmente justo antes de la graduación dentro de su último curso (examen de salida).

• La comparación de resultados entre los exámenes de entrada y de salida utiliza para análisis (benchmarking) interno.

• La comparación de los resultados del examen de salida con los resultados de otras universidades, se utiliza para análisis (benchmarking) externo.

• La comparación y análisis (benchmarking) de los resultados internos y externos obtenidos por la batería de exámenes desarrollados por Peregrine Academic Services basados en el CPC /COMP han satisfecho los estándares, requisitos y principios de acreditación y ha sido validado mundialmente.

El uso de Exámenes: Método de Evaluación

• El método preferido de evaluación es que todos los alumnos tomen el examen dos veces durante el programa académico. • Los alumnos toman el examen denominado examen de ingreso al inicio de su

programa. • Luego, vuelven a tomarlo al final del programa; este examen se denomina

examen de egreso. • Las comparaciones entre los resultados de los exámenes de ingreso y los

resultados de los exámenes de egreso constituyen su PARÁMETRO DE REFERENCIA INTERNA.

• Las comparaciones entre las calificaciones del examen de egreso con las de otras universidades nacionales y/o internacionales constituyen su PARÁMETRO DE REFERENCIA EXTERNA.

Parámetro de Referencia Interna

• La sección de referencia interna incluye:• Un archivo de Excel que incluye todos los datos de cada examen.

• Resumen y estadísticas descriptivas del conjunto completo de datos en un formato que es fácil de comprender y aplicar.

• Comparaciones en paralelo y estadísticas de los resultados de los exámenes de ingreso y de los exámenes de egreso.

• Frecuencia de preguntas falladas en todas las áreas temáticas evaluadas, aproximadamente de 4 a 6 por tema.

Parámetro de Referencia Externa

• A los fines de poder tener parámetros de referencias externas para su programa empresarial, le proporcionamos:• Comparaciones directas de los

resultados de los exámenes de egreso con los de otras universidades nacionales e internacionales.

• El cambio porcentual entre los resultados de los exámenes de ingreso y egreso de los alumnos y los porcentajes obtenidos en otras universidades.

Análisis de Cohortes

• Si dividimos a la población estudiantil en función de los datos que usted aporta (por ejemplo, según la ubicación del campus o la especialización de los estudios), podremos también realizar un análisis a nivel de las cohortes. • Los resultados obtenidos a partir de las diferentes cohortes de

alumnos, o sub-poblaciones, pueden compararse estadísticamente.

• A las universidades como parte del proceso de obtener o mantener acreditaciones globales deben evaluar y demostrar competencia estudiantil asociado las áreas tópicas del CPC dependiendo del programa de evaluación específica con al menos dos medidas directas y dos medidas indirectas (Peregrine, 2012).

• La mayoría de los programas tienen al menos una medida directa así la necesidad de demostrar una segunda medición independiente como con el CPC es relevante. • depende de la diferencia entre las medidas directas y medidas indirectas en el

aprendizaje

• tiene que existir una relación entre el rendimiento de los estudiantes y la práctica de la evaluación (Anderson, n.d.).

Debemos tener en cuenta qué…

• Las calificaciones de grado, el porciento de graduación y el posicionamiento de la institución ya no son suficientes para demostrar la responsabilidad de los programa académicos y de las instituciones que las ofrecen.

• Se necesita una herramienta apropiada de avalúo a nivel de programa.

• Las calificaciones de los estudiantes, graduación y las tasas de retención no siempre son buenos indicadores de aprendizaje, ya que en su determinación de factores distintos del aprendizaje (Anderson, n.d.).

• Las normas de evaluación relacionadas con aprendizaje internacionalmente son específicas y prescriptivas, pero todos los estándares requieren la medida directa de lo que los estudiantes aprendieron y cuáles son sus competencias basados en objetivos instruccionales establecidos y aprobados para los programas académicos de una institución de educación superior (Rivera & Huertas, 2008).

El CPC-COMP es un Estándar Global

• Con el fin de medir directamente el rendimiento de los estudiantes con base en los resultados del aprendizaje programáticos deben aplicarse una evaluación estandarizada (Anderson, n.d.).

• El examen COMP basada en CPC como un instrumento de evaluación integral podría funcionar como una medida directa de entrada/salida de evaluación para un programa académico necesario para la evaluación y el cumplimiento de los requisitos específicos de medición directa.

• La aplicación de un examen basado en CPC COMP como un instrumento de evaluación que proporciona un enfoque multidimensional a la evaluación del programa.

• El Componente Profesional Común representan una oportunidad para evaluar y medir los resultados del aprendizaje y mejora continua en la perspectiva interdisciplinaria de los componentes comunes de los programas académicos en todo el mundo (Cripps, Clark y Oedekoven, 2011).

Servicios accesibles on-line

• Todos nuestros servicios son virtuales. Pueden accederse en línea sin asistencia. • Tampoco necesita solicitar el acceso a los exámenes con antelación.

Los alumnos se pueden registrar en cualquier momento ya que los exámenes están disponibles 24/7. • No es necesario un próctor

• Las instituciones pueden acceder los informes y añadir los cohortes que necesiten a través del portal de administración (Admin-Site) una vez termine el periodo de examen. Solo personal autorizado de la institución tiene acceso a los informes.• Solo la institución puede divulgar los resultados.

Examen realizados en su propio idioma

• Al momento de evaluar a los alumnos, es preferible que se examinen en su propio idioma para que sea una evaluación auténtica basada en el conocimiento de la materia y no del dominio del idioma. • Los alumnos se sentirán más cómodos y seguros al saber

que se les evaluará en su lengua materna. • Se diseña el examen en el idioma español.

Versiones de exámenes

• Ofrecemos dos versiones del examen que responden a las necesidades específicas de programas de licenciatura y de posgrado.

• El contenido del examen responde a las necesidades específicos a nivel del título académico y nivel.

Contenido del examen

• El contenido del examen incluye preguntas y áreas temáticas afines con aspectos del conocimiento general.

• Las preguntas se enfocan en la aplicación del material en el ámbito actual.

• Ofrecemos un examen aplicado que enfatiza un conocimiento práctico.

Estructura del examen

• Un examen comprensivo en-línea incluye 10 preguntas elegidas al azar para cada tema del CPC. • La mayoría de los exámenes de grado incluyen hasta 12 temas del CPC. La

mayoría de los exámenes de posgrado incluyen de 6 a 10 temas del CPC.

• La selección de los temas se basa en el currículo medular requerido para un grado de estudio de un programa académico.

• Cada institución de educación superior puede tener más de un examen si la misma ofrece más de un programa de grado. • Basado en las particularidades específicas de programa.

Integración de los programas

• Los exámenes de ingreso y egreso deben asociarse con los cursos.

• Esta asociación de los exámenes y el curso contribuye a mantener un seguimiento correcto de los datos e informes.

• El examen on-line puede realizarse como una tarea durante algún curso.

Registro de respuestas del examen

• Creamos un micrositio virtual con la identidad de la institución para que los alumnos puedan registrarse y consultar las respuestas del examen.

• Este micrositio seguro solo puede accederse mediante una contraseña.

• El micrositio enumera las asociaciones de los exámenes y el curso.

• Los alumnos deben seleccionar su curso y completar el proceso de registro (nombre y dirección de correo electrónico).

• El acceso al examen se permite a través de un hiper-enlace.

Referencias