1
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Informe Técnico de la Revisión de los instrumentos para el Ingreso a funciones Docentes y Técnico Docentes en Educación Media Superior, Ciclo escolar 2016-2017
29 de abril, 2016
1. Marco Normativo
La Ley del Instituto Nacional para la Evaluación de la Educación (INEE), junto con la Ley General del Servicio
Profesional Docente (LGSPD) y la Ley General de Educación (2013), forman parte de la legislación secundaria
que regula la modificación a los artículos 3º y 73º constitucionales que se publicaron en febrero de ese año, con
motivo de la iniciativa del ejecutivo federal para emprender una reforma educativa.
Con la aprobación de la Ley del INEE se concede al Instituto la figura de órgano público con autonomía
constitucional, con la que el Estado le confiere nuevas facultades en materia de evaluación educativa,
particularmente respecto al Servicio Profesional Docente (SPD). Entre éstas, la facultad de expedir lineamientos
para que las Autoridades educativas lleven a cabo las funciones de evaluación para el ingreso, la promoción,
el reconocimiento y la permanencia en el Servicio. De acuerdo con la LGSPD (Art. 7 fracción VIII) al INEE le
corresponden entre otras, las siguientes atribuciones: “Aprobar los elementos, métodos, etapas y los
instrumentos para llevar a cabo la evaluación en el Servicio”.
La LGSPD, en el Artículo 56, fracción IV se establece que en el ámbito de la Educación Media Superior que
imparta el Estado y a solicitud del Instituto, la Secretaría deberá proponer: “Los procesos y los instrumentos
idóneos para los procesos de evaluación conforme a los Perfiles, parámetros e indicadores autorizados”.
El Instituto emitió el 23 de diciembre de 2015 los Lineamientos para llevar a cabo la evaluación para el ingreso
al Servicio Profesional Docente en Educación Básica y Media Superior para el ciclo escolar 2016-2017, LINEE-
09-2015, en los que en su Artículo 32, establecen los mecanismos y aspectos a considerar para la aprobación
de las etapas, aspectos métodos e instrumentos de evaluación propuestos por la Secretaría, como a
continuación se presenta:
VI. El Instituto valorará la congruencia que guarden las etapas, métodos e instrumentos, así como su
pertinencia para el concurso ingreso al Servicio. Para ello diseñarán criterios y protocolos que permitan
validar la congruencia de los aspectos, etapas y métodos con los perfiles, parámetros e indicadores, y
en su caso, hará las observaciones correspondientes a la Secretaría, a través de la Coordinación,
quien deberá atender con oportunidad las mismas;
VII. Los instrumentos de evaluación estarán conformados por reactivos, ítems o tareas evaluativas que
permitan medir adecuadamente los aspectos a evaluar. Su diseño, aplicación y uso deberá atender
los Criterios Técnicos que para tal efecto determine y publique el Instituto;
VIII. Para ser aprobados los instrumentos de evaluación propuestos por la Coordinación, deberán
considerar los Criterios Técnicos que establezca el Instituto, y
IX. El Instituto revisará la versión final de los instrumentos. En el caso de instrumentos aplicados en línea,
revisará la plataforma en la que serán presentados a los sustentantes y en su caso, hará
recomendaciones. Asimismo, el Instituto verificará la atención de las recomendaciones consignadas
2
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
en los Informes Técnicos emitidos como soporte para la autorización de los instrumentos mediante
dictamen aprobatorio de los mismos.
2. Antecedentes
De acuerdo con lo previsto en el Calendario de las Evaluaciones del Servicio Profesional Docente, el 11 de abril
de 2016 la CNSPD entregó al Instituto la evidencia documental del desarrollo de los Exámenes de Contenidos
Disciplinares (ECD), el Examen de Habilidades Docentes (EHD) y la Rúbrica de Evaluación de Competencias
Docentes (RECD) del Instrumento de respuesta construida denominado Plan de Clase, correspondientes a las
etapas 1, 2 y 3 de la evaluación para el Ingreso a las Funciones Docentes y Técnico Docentes en Educación
Media Superior, ciclo escolar 2016-2017, mediante oficio con número de referencia CNSPD/0400/2016. En total
se recibieron evidencias de 22 instrumentos los cuales se presentan en la tabla 1:
Tabla 1. Instrumentos para el Ingreso a las funciones Docentes y Técnico Docentes en
Educación Media Superior
Instrumentos objetivos o de selección de respuesta
Examen de Contenidos Disciplinares (ECD)
1. Administración
2. Biología
3. Ciencias de la Salud
4. Derecho
5. Dibujo
6. Economía
7. Etimologías Grecolatinas
8. Física
9. Geografía
10. Historia
11. Historia del Arte
12. Humanidades
13. Informática
14. Lectura y Expresión Escrita
15. Literatura
16. Matemáticas
17. Metodología de la Investigación
18. Psicología
19. Química
20. Sociología-Política
Examen de Habilidades Docentes
21. Habilidades Docentes (común)
Instrumento de respuesta construida
22. Rúbrica de Evaluación de competencias Docentes (Plan de Clase)
3
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Para la validación de dichos instrumentos, se consideraron los Criterios Técnicos para el desarrollo y uso de
los instrumentos de evaluación educativa, 2014-2015, emitidos por el Instituto; las orientaciones del documento
Recomendaciones técnicas para la mejora de los instrumentos de opción múltiple para el Concurso de
Oposición/2 en Educación Básica y Media Superior, enviados a la CNSPD mediante oficio A1001-725-2014;
así como los Criterios técnicos y de procedimiento para el análisis de los instrumentos de evaluación, el proceso
de calificación y la definición de las listas de prelación de los Concursos de Oposición para el Ingreso al Servicio
Profesional Docente en educación básica y educación media superior para el ciclo escolar 2015-2016.
Debido a que los instrumentos objeto de validación se aplicaron en ciclos anteriores, para la presente revisión
se han retomado las observaciones derivadas de la revisión técnica del 29 mayo de 2015, así como los índices
psicométricos de su aplicación los cuales fueron retomados en el “Diagnóstico de la congruencia entre
indicadores y especificaciones” entregado a la CNSPD el 22 enero del 2016.
3. Procedimiento para la revisión de los instrumentos
El proceso de validación se realizó en dos etapas. La primera correspondió a la revisión de las evidencias
documentales del desarrollo de los instrumentos, y la segunda etapa a la revisión de los reactivos de los
exámenes, así como a las consignas y rúbricas del plan de clase en su última versión.
3.1 Revisión de evidencias de desarrollo de los instrumentos
a) Capacitación del equipo técnico. - Se realizó con la finalidad de asegurar la comprensión de los
procedimientos para llevar a cabo la revisión de la evidencia documental y para unificar la
interpretación de los criterios técnicos a partir de los cuales se realiza la misma. En la capacitación se
proporcionaron los formatos para el registro de la información producto de las revisiones de las
distintas fases del proceso. En total se capacitó a 18 revisores.
b) Procedimiento de revisión. - La Dirección de área correspondiente dirigió el proceso de validación y
asignó a dos coordinadores quienes organizaron al equipo técnico en díadas para realizar la validación
y la distribución del material correspondiente.
En un primer momento, las díadas realizaron la validación de manera individual y en un segundo
momento, los revisores consensuaron sus valoraciones y propusieron recomendaciones específicas a
cada problema observado. Este consenso fue consignado en el formato correspondiente, el cual
resume el resultado de la revisión técnica de las evidencias de cada instrumento de evaluación.
Los formatos de registro incluyen la síntesis de los resultados de la revisión de los siguientes aspectos:
Constitución y funciones del Consejo Técnico, del Comité Académico. Comité de Especificaciones,
Comité de elaboración de reactivos y Comité de Validación; Prueba piloto de los reactivos, Ensamble,
Fase de aplicación y administración del instrumento, Difusión y uso de los resultados e Informe
Técnico. Con fines de documentar el proceso, ambos revisores firmaron los formatos.
4
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
En lo que respecta a la fase de diseño de los instrumentos, el equipo técnico revisó las especificaciones
de los instrumentos, a fin de identificar y en su caso, validar las especificaciones modificadas o nuevas
incluidas en la matriz de los instrumentos. La información se registró en los formatos correspondientes.
Como parte del proceso de validación de evidencias en el rubro de materiales de apoyo, el personal
técnico del Instituto realizó la revisión de las 22 Guías de Estudio, publicadas en la página de la
CNSPD. En las guías se verificó que incluyeran información suficiente sobre el propósito de la
evaluación y del instrumento; suficiencia y claridad de las instrucciones, la descripción del instrumento
en cuanto a su estructura, los aspectos a evaluar y la bibliografía.
c) Integración de la documentación y verificación del proceso. - Los coordinadores de la revisión
técnica, hicieron acopio de los formatos de registro de cada una de las revisiones por instrumento para
integrar la información y documentar el proceso. Los coordinadores verificaron que las observaciones
y sugerencias tuvieran coherencia con los criterios técnicos que sirvieron de base al proceso.
d) Retroalimentación de la revisión de la evidencia de construcción y mantenimiento de los
instrumentos. El 19 de abril se envió a la CNSPD la tabla con observaciones y sugerencias derivadas
del proceso de revisión documental, con la intención de que tuvieran tiempo de atenderlas.
El 25 de abril, la CNSPD presentó alcances para atender las observaciones realizadas por el Instituto
sobre la evidencia documental del desarrollo de los instrumentos.
3.2 Revisión de Instrumentos
a) Capacitación del equipo técnico interno. - A fin de que se comprendiera el propósito de la tarea, se
unificaran los criterios de revisión de los instrumentos y se conocieran los materiales a utilizar en este
proceso (protocolo de revisión y formatos correspondientes), se capacitó a 18 revisores técnicos. En
la capacitación se revisaron los antecedentes y los referentes de los instrumentos objeto de revisión.
Asimismo, se realizó un taller en el que se capacitó al personal técnico en el uso de la lista de cotejo
para la revisión de reactivos y tareas evaluativas, a partir de ejemplos proporcionados como parte de
la evidencia entregada por la CNSPD.
b) Revisión de las versiones ensambladas de los instrumentos. - Los exámenes se encuentran bajo
resguardo del CENEVAL, por lo cual, la revisión se llevó a cabo en sus instalaciones, de acuerdo con
los protocolos de seguridad y confidencialidad del Centro. Se solicitó la revisión de las versiones
ensambladas tal y como se presentarán a los sustentantes en la modalidad de aplicación en línea.
El personal técnico del Instituto revisó las versiones ensambladas de los instrumentos en las
instalaciones del CENEVAL, los días 14 y 15 de abril. Una vez que se recibieron las tablas de
ensamble, se seleccionó una muestra de reactivos que serían sujetos de revisión, incluyendo un 60
por ciento de reactivos nuevos. En el Anexo 1 se presenta el formato utilizado para la revisión con los
5
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
criterios utilizados. La tabla 2 contiene las cuotas de reactivos revisados para cada uno de los
exámenes.
Tabla 2. Número de reactivos revisados por examen
No. Examen Total de reactivos
Reactivos nuevos
No. de reactivos nuevos a revisar
1. ECD. Administración 144 108 65
2. ECD. Biología 144 108 65
3. ECD. Ciencias de la Salud 144 107 64
4. ECD. Derecho 144 108 65
5. ECD. Dibujo 132 99 59
6. ECD. Economía 132 98 59
7. ECD. Etimologías Grecolatinas 144 108 65
8. ECD. Física 144 108 65
9. ECD. Geografía 144 108 65
10. ECD. Historia 144 108 65
11. ECD. Historia del Arte 120 89 53
12. ECD. Humanidades 120 90 54
13. ECD. Informática 120 90 54
14. ECD. Lectura y Expresión Escrita 120 90 54
15. ECD. Literatura 132 99 59
16. ECD. Matemáticas 144 108 65
17. ECD. Metodología de la Investigación 120 90 54
18. ECD. Psicología 132 99 59
19. ECD. Química 144 108 65
20. ECD. Sociología-Política 144 108 65
21. EHD. Habilidades Docentes 144 108 65
Para el caso del instrumento de respuesta construida, se revisaron las consignas, la rúbrica de
calificación y la interfaz en la que se presentan al sustentante las tareas evaluativas. Asimismo, se
realizaron observaciones a las instrucciones proporcionadas al evaluador para el uso de la rúbrica. En
el Anexo 2 se presenta el formato utilizado para la revisión del instrumento de respuesta construida,
con los criterios utilizados.
De acuerdo con el protocolo, el personal de apoyo del CENEVAL fue presentando las versiones de los
exámenes en línea, así como el instrumento de respuesta construida. El equipo técnico del Instituto
revisó los reactivos o tareas evaluativas en díadas a partir de los criterios establecidos, consignando
6
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
los juicios consensuados en los formatos elaborados como parte de la estrategia operativa. En estos
formatos se incluyeron las iniciales de los dos revisores, su firma y la fecha. La actividad se documentó
en papel, dadas las restricciones del uso de dispositivos electrónicos por razones de confidencialidad
de los instrumentos.
c) Integración y documentación de los resultados de la revisión técnica de los instrumentos. - Se
elaboró una base de datos en Excel con el resultado de la valoración de cada reactivo. Cuando un
reactivo no cumplía con alguno de los criterios, se incorporó la observación correspondiente. En
algunos casos se incorporaron sugerencias de mejora. A partir de estas bases de datos, se obtuvieron
las frecuencias y porcentajes de criterios no cumplidos por instrumento y por criterio. La base de datos
incluye la clave de identificación de cada reactivo revisado, a fin de que puedan ser ubicados y
corregidos.
Durante la revisión se instaló una mesa de coordinación con el propósito de orientar y resolver dudas
o controversias del equipo técnico del Instituto surgidas durante el proceso de validación. Conforme
se fueron revisando los instrumentos, se capturó y se revisó la base de datos, a fin de poder brindar la
retroalimentación de manera oportuna a la CNSPD. Tanto los formatos como los concentrados con las
bases de datos, se resguardaron como parte de la evidencia del proceso de revisión.
Como producto de esta validación se entregó a la CNSPD la base de datos con las observaciones a
los reactivos y al instrumento de respuesta construida, al término de cada día de revisión.
d) Verificación de la atención a las observaciones realizadas a reactivos y a los instrumentos de
respuesta construida. - Se acordó con la CNSPD que la fecha para la verificación de las correcciones
aplicadas tanto a los exámenes de opción múltiple, como al instrumento de respuesta construida, sería
el 26 de abril. El proceso de verificación, se llevó a cabo bajo el mismo protocolo de resguardo y
seguridad del CENEVAL. Para llevar a cabo la verificación, se contó con los dictámenes y
justificaciones de los comités de especialistas que participaron en la corrección de los reactivos. El
equipo técnico del Instituto organizado en díadas, verificó que se hubieran corregido los reactivos que
tenían observaciones; en los casos en que no se modificaron los reactivos, verificó que las
justificaciones emitidas por los comités, fueran procedentes. El mismo proceso se llevó a cabo con las
consignas de las tareas evaluativas y las rúbricas del instrumento de respuesta construida.
4. Resultados de la revisión técnica
4.1 Revisión de las evidencias de desarrollo de los instrumentos
Las observaciones al proceso de construcción y mantenimiento de los instrumentos se consignaron en los
formatos de revisión correspondientes. En el anexo 3, se integra una tabla de observaciones y sugerencias
realizadas a la Coordinación, así como el estatus en términos de si fueron atendidas o si se presentó alguna
7
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
justificación. A continuación, se describen las principales observaciones a las evidencias documentales de los
instrumentos:
4.1.1 Fase de planeación de los instrumentos
Para validar la fase de planeación de los instrumentos, se consideraron las evidencias relativas a la integración
del Consejo Técnico y de los comités académicos. Es importante señalar que el Consejo Técnico sesionó con
una cuarta parte de los participantes.
En relación con la congruencia entre las especificaciones de los instrumentos y los indicadores de los Perfiles,
parámetros e indicadores, la CNSPD presentó tablas en las que los vinculan. A partir de estas tablas, se pudo
identificar que en el Examen de Habilidades Docentes y en el Plan de Clase, ambos instrumentos comunes a
todos los docentes y técnicos docentes, persiste la falta de congruencia en 7 de 37 especificaciones del Examen
de Habilidades Docentes, y en 8 de 14 especificaciones del Plan de Clase.
En relación con la mejora que reportaron haber realizado a las especificaciones de todos los instrumentos,
mediante acotaciones con la intención de mejorar por una parte la congruencia con los indicadores y por otra
para delimitar lo que se pretende evaluar y producir mejores reactivos o tareas evaluativas; es importante
señalar que se lograron las mejoras esperadas sólo en el 53% de los casos. En el 47% restante, se incorporaron
acotaciones que no tienen relación o cambian el nivel taxonómico de la especificación original. Por esta razón,
se deberá integrar al plan de trabajo de 2017, la revisión y mejora de las especificaciones que aún presentan
problemas de congruencia con el indicador que pretenden evaluar, o bien la falta de congruencia entre los
elementos o componentes de la especificación ampliada.
4.1.2. Fase de elaboración de los instrumentos
Con respecto al comportamiento psicométrico de los reactivos se presentó evidencia empírica del análisis de
los índices psicométricos de los instrumentos que incluye los parámetros de dificultad, discriminación y
correlación punto biserial de los reactivos. También se entregaron las tablas de ensamble de los instrumentos
con información histórica de cada reactivo, información que nos permitió valorar el grado de cumplimiento de
los parámetros mínimos que debían alcanzar los reactivos, así como el número total de reactivos ancla incluidos
en las versiones.
En lo que respecta al criterio de número de reactivos ancla por instrumento, se identificó que todos los
instrumentos tienen al menos un 30 por ciento de reactivos ancla, lo cual corresponde a lo que se establece en
los criterios técnicos emitidos por el Instituto en los que se solicita una cuota de entre el 30 y el 50 por ciento
por instrumento.
4.1.3. Fase de aplicación y administración de los instrumentos
Se presenta el manual del aplicador y el material utilizado para la capacitación proporcionada a dicha figura.
Asimismo, se presenta información relativa a la seguridad y resguardo del nodo replicado, medio por el cual se
lleva a cabo la aplicación en línea en la sede de aplicación.
8
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Con respecto a los materiales de apoyo que se requieren para resolver el instrumento, en la revisión realizada
a las Guías de Estudio se reportaron numerosas observaciones que fueron consignadas en la tabla de
observaciones y sugerencias. Las observaciones fueron atendidas, por ejemplo, se incluyó la estructura de los
instrumentos, se señala un enlace a una página web donde pueden hacer uso de un simulador de examen para
prepararse, se incluye la duración de la aplicación del instrumento, etc.
4.1.4 Difusión y uso de los resultados
Se presentaron dos propuestas de diseño de reportes de resultados individuales, no obstante, no se hizo
entrega de los descriptores de los niveles de desempeño. La CNSPD manifestó que el 15 de mayo, presentarán
al Instituto los descriptores correspondientes.
Para la mejora de los descriptores de desempeño y de los reportes individuales, se seguirá por parte del Instituto
con la metodología que incluye validación con comités de especialistas, como se hizo para la evaluación de
desempeño, con la intención de enviar a la CNSPD las observaciones y sugerencias para mejorar los
descriptores antes de la fase de ajuste de los puntos de corte que se lleva a cabo después de la aplicación.
4.2 Revisión de los instrumentos
4.2.1 Revisión de reactivos de los instrumentos
De acuerdo con la estrategia operativa, se revisaron un total de 1280 reactivos de los 21 instrumentos de opción
múltiple de los cuales 554 (el 46%) de los reactivos revisados no cumplían con al menos uno de los criterios de
revisión, mientras que los 726 (54%) restantes estaban bien elaborados.
Derivado de la revisión de los instrumentos y a solicitud del Instituto, el 19 de abril la CNSPD presentó un plan
con el tipo de acciones a realizar para atender las observaciones a los reactivos, que de acuerdo con la revisión
del Instituto no cumplían con al menos un criterio. El CENEVAL clasificó el tipo de problemas presentados en
“nivel técnico”, “a revisar con comité de especialistas” y en “no aplica”. Sin embargo, esta clasificación quedó
sin efecto durante la revisión, en virtud de que las observaciones fueron revisadas en su totalidad por los comités
de especialistas que sesionaron los días 21 y 22 de abril en el CENEVAL.
Los comités revisaron los 554 reactivos que, de acuerdo con la revisión del Instituto, no cumplían con al menos
un criterio. El CENEVAL también decidió que se revisaran otros reactivos cuyo dictamen del Instituto era de
que sí cumplía, pero se le hacía alguna sugerencia de mejora. Sin embargo, estos reactivos no se consideran
en el conteo para efectos del presente informe. De acuerdo a lo reportado por CENEVAL, del total de reactivos
revisados, 111 procedieron, de los cuales 47 fueron eliminados y sustituidos, 64 fueron modificados y a los
restantes 443 no les hicieron ninguna modificación. Para éstos últimos, se incluyeron justificaciones de porque
se consideraba que no aplicaba la observación. Dado que los problemas fueron de carácter técnico, la mayoría
de las justificaciones no fueron procedentes, porque referían a que el contenido estaba bien, aunque el
cuestionamiento no era al contenido. Esto derivó en que el porcentaje de reactivos corregidos fuera sólo del 20
por ciento.
9
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Para el caso del instrumento de respuesta construida presentó problemas técnicos en las consignas de las
tareas evaluativas, en las rúbricas para la calificación y en la congruencia entre ambos elementos. Los
problemas más recurrentes fueron: a) falta de vinculación entre las tareas evaluativas y las especificaciones, b)
tareas evaluativas muy generales, c) los descriptores de los niveles de desempeño tienen problemas de
progresión o gradualidad de los conocimientos, habilidades o destrezas a evaluar y d) las instrucciones para el
evaluador incluyen criterios sin definiciones, lo que permite que puedan ser sujetos a interpretación. Se entregó
a la Coordinación la retroalimentación puntual para que se procediera a su corrección.
4.2.2 Verificación de las correcciones
El 26 de abril, el personal técnico del Instituto, verificó directamente en la plataforma de aplicación en línea, que
se hubieran corregido los reactivos nuevos que habían tenido observaciones, comparándolos con su versión
original, de acuerdo con el formato de verificación del Anexo 4. Se llevó a cabo el proceso de verificación de
reactivos, sin incluirse los que tuvieron observaciones relativas a las especificaciones, ni los que tenían alguna
sugerencia, pero cumplían con todos los criterios de validación.
El proceso de verificación se llevó a cabo sólo con 551 reactivos. Se verificó la atención a la observación
realizada y se valoró si con los cambios aplicados, cumplían con los criterios. En los casos en los que las
observaciones no aplicaron, se revisó el contenido de las justificaciones y se valoró la pertinencia de las mismas.
Como resultado del proceso de verificación se identificó que efectivamente 111 reactivos fueron corregidos,
sustituidos o modificados, tal y como se refirió en el reporte entregado por la Coordinación, y que 443 no fueron
corregidos. La mayoría de las justificaciones no fueron procedentes, porque a problemas de orden técnico, los
especialistas lo que hicieron fue justificar que el contenido estaba bien. Otro tipo de justificaciones que sí eran
de orden técnico o de formato como el uso de acrónimos o siglas, se consideraron procedentes porque aludían
a que en el manual de lineamientos, y el de criterios editoriales del CENEVAL, estaba permitido. No obstante
será necesario revisar estos documentos para verificar la pertinencia de estas justificaciones.
En el Anexo 5, se presenta la información detallada por instrumento, se puede identificar en las primeras
columnas, el total de reactivos de la estructura autorizada y el número de reactivos ancla incorporados, así
como el porcentaje de reactivos ancla respecto a la estructura del examen. En las columnas centrales se
incorpora el número y el porcentaje de reactivos que cumplen con todos los criterios de la revisión técnica, y en
las siguientes columnas se incorpora la información derivada del proceso de la verificación de reactivos;
señalando los que fueron corregidos con el porcentaje respectivo. En las últimas columnas, se presenta la suma
de reactivos ancla con la de todos los reactivos que cumplen con los criterios y el porcentaje que representa
respecto al total de los reactivos revisados más los ancla de cada instrumento. Se estableció como criterio
mínimo para considerar que un instrumento cumple razonablemente, cuando el porcentaje de reactivos sin
observaciones es igual o mayor al 70% del total de reactivos. Como se puede observar, sólo el Examen de
Contenidos Disciplinares de Geografía no alcanza el criterio.
10
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Para el caso del instrumento de respuesta construida, el comité de especialistas trabajó en la vinculación entre
las tareas evaluativas y los indicadores, sin embargo, no se atendieron las observaciones relativas al grado de
generalidad de las consignas, ni a la falta de congruencia entre éstas y las rúbricas; tampoco se atendió a la
gradualidad y progresión de los descriptores de los niveles de desempeño de la rúbrica, aspectos necesarios
para mejorar este instrumento.
5. Acciones de mejora que deberá considerar la coordinación para el 2017
La CNSPD deberá elaborar y presentar al Instituto, el plan de mejora a los bancos de reactivos de cada
instrumento basado en los índices psicométricos obtenidos en su aplicación de 2016 y en las observaciones
producto de las revisiones técnicas del Instituto. Asimismo, se requiere fortalecer las especificaciones en las
que persiste la falta de congruencia con el indicador aún con las modificaciones realizadas. Se tendrá también
que incluir la revisión de la congruencia entre los reactivos y tareas evaluativas de todos los instrumentos
respecto a las especificaciones que sufran correcciones o ajustes como producto de los cambios que sufran al
ser alineadas con los indicadores de los perfiles.
6. Dictamen
Considerando que se presentaron evidencias del cumplimiento de la mayoría de los criterios técnicos emitidos
por el INEE en relación con los procesos de desarrollo de los instrumentos, y que se llevaron a cabo procesos
de mejora con base en las observaciones y sugerencias derivadas del proceso de revisión técnica, se
recomienda la aprobación de los siguientes instrumentos de evaluación para el Ingreso a funciones Docentes
y Técnico Docentes, en Educación Media Superior. Ciclo escolar 2016-2017:
1. Examen de Habilidades Docentes
2. Examen de Contenidos Disciplinares de Administración
3. Examen de Contenidos Disciplinares Biología
4. Examen de Contenidos Disciplinares de Ciencias de la Salud
5. Examen de Contenidos Disciplinares de Derecho
6. Examen de Contenidos Disciplinares de Dibujo
7. Examen de Contenidos Disciplinares de Economía
8. Examen de Contenidos Disciplinares de Etimologías Grecolatinas
9. Examen de Contenidos Disciplinares de Física
10. Examen de Contenidos Disciplinares de Historia
11. Examen de Contenidos Disciplinares de Historia del Arte
12. Examen de Contenidos Disciplinares de Humanidades
13. Examen de Contenidos Disciplinares de Informática
14. Examen de Contenidos Disciplinares de Lectura y Expresión Escrita
15. Examen de Contenidos Disciplinares de Literatura
16. Examen de Contenidos Disciplinares de Matemáticas
17. Examen de Contenidos Disciplinares de Metodología de la Investigación
18. Examen de Contenidos Disciplinares de Psicología
19. Examen de Contenidos Disciplinares de Química
20. Examen de Contenidos Disciplinares de Sociología-Política
11
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Quedan pendientes de aprobación, hasta que se atiendan las observaciones realizadas como producto de la revisión
técnica referida en el presente informe los siguientes instrumentos:
1. Examen de Contenidos Disciplinares de Geografía, y
2. Instrumento de respuesta construida: Rúbrica de Evaluación de competencias Docentes (Plan de Clase),
12
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Anexo 1. Criterios de revisión de reactivos de exámenes de opción múltiple.
Datos de identificación. Complete los datos correspondientes y señale dentro la casilla el nombre del examen.
Proceso de evaluación Ingreso Promoción
Nombre del Examen
Examen de Conocimientos Disciplinares (ECD)
Examen de Habilidades Docentes
Examen de Conocimientos (EC)
Nivel Educativo / Disciplina
Área
Subárea
Clave de especificación
Clave del reactivo (ID)
II. Criterios de revisión. En la casilla correspondiente señale con una X si el criterio se cumple o no. En caso de señalar que el criterio “No cumple”, registre sus comentarios en el apartado de observaciones.
III. Resultado de la revisión. El reactivo deberá cumplir con todos los criterios para emitir el juicio “Sí cumple”. Señale con una X el resultado.
Sí cumple No cumple
Firma e iniciales de los revisores: __________________________ _________________________
No Sobre el reactivo Sí
cumple No
cumple Observaciones
1 Corresponde con la especificación
2 Corresponde con el nivel taxonómico
3 Está libre de sesgos de género, culturales, lingüísticos, socioeconómicos o tecnológicos.
Sobre la base
4 Contiene la información necesaria y suficiente para ser respondido
5 Su redacción es correcta
6 Está libre de errores ortográficos
7 Está libre de pistas sobre la respuesta correcta
Sobre las opciones de respuesta
8 Existe una sola respuesta correcta
9 Son homogéneas en su extensión
10 Su redacción es correcta
11 Está libre de errores ortográficos
12 Los distractores son plausibles
Los siguientes criterios solamente aplican para los reactivos de innovación
13 La instrucción indica de manera precisa el tipo de interacción necesario para resolver el reactivo por medio de la interfaz
14 Los recursos multimedia (imagen, audio, video, etc.) proveen información suficiente para dar respuesta al reactivo
15 Los recursos multimedia cumplen con criterios de calidad (nitidez, claridad, duración, tamaño)
13
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Anexo 2. Criterios de revisión de reactivos de instrumentos de respuesta construida.
Validación Técnica de los Instrumentos del Proceso de Evaluación para el ingreso al Servicio Profesional Docente. Educación Media Superior
Ciclo escolar 2016-2017 Nombre del Instrumento:
__________________________________________________________________________________
Instrucciones: A continuación se presentan los Criterios de verificación para valorar el proceso de elaboración de
instrumentos. Marque con una “X” la casilla correspondiente. Utilice la columna de observaciones para justificar cuando el
juicio sea “No”.
Sobre el instrumento No. Criterio Sí No Observaciones
1. Refleja el conocimiento o habilidad que se pretende evaluar en el perfil
establecido.
2. La tabla de especificaciones está desagregada en tres niveles.
3. Los niveles de desagregación de la tabla de especificaciones son congruentes
con el dominio a evaluar.
4. Las tareas evaluativas están alineadas con las especificaciones.
5. Las tareas evaluativas describen de manera clara y precisa lo que el
sustentante realizará.
6. Las tareas evaluativas especifican los atributos a considerar para el desarrollo
de la misma.
7. Las tareas evaluativas especifican el material indispensable cuando se requiere
para su desarrollo.
Sobre la pauta de calificación (Rúbrica)
No. Criterio Sí No Observaciones
1. Los criterios son congruentes con los atributos de la tarea evaluativa.
2. Presenta al menos cuatro niveles de desempeño.
3. La descripción de los niveles incluye los aspectos cualitativos de los atributos
a evaluar que demuestran el desempeño del sustentante en cada nivel.
4. Los niveles de desempeño establecen una gradualidad en los conocimientos,
habilidades o destrezas que se evalúan en cada nivel.
5. Los niveles de desempeño están claramente diferenciados y la progresión se
hace en un orden claro y lógico.
6. Los niveles de desempeño evitan el conteo de elementos o listas de cotejo para
diferenciarlos.
7. Los niveles de desempeño están formulados en términos positivos, con relación
al alcance del desempeño esperado.
8. Los niveles de desempeño evitan el uso de adjetivos o términos que generen
juicios subjetivos en los evaluadores.
14
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Dictamen general:
Sí Cumple No cumple
Validador 1 Validador 2
Fecha de revisión: ____________________________
Aspectos generales
No. Criterio Sí No Observaciones
16. Las tareas evaluativas carecen de sesgo
17. La pauta de calificación carece de sesgo
18. La ortografía de las tareas evaluativas y de la pauta de calificación es correcta
19. Se presentan instrucciones claras en la pauta de calificación.
15
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Anexo 3
Observaciones realizadas a la evidencia documental del desarrollo de los instrumentos de evaluación para el Ingreso a funciones Docentes y Técnico Docentes en Educación Media Superior,
Ciclo escolar 2016-2017
Exámenes Objetivos
No. Observación Sugerencia Estatus
1. En lo que respecta a la conformación del Consejo Técnico no se presenta la ficha curricular de algunos de los participantes. Se observa que las reuniones tuvieron lugar con una cuarta parte de los miembros que conforman dicho Consejo. No se presenta un Acta donde se estipulen los acuerdos respecto a las acciones de mejora de los instrumentos.
Entregar las fichas curriculares faltantes y explicar por qué es posible que el Consejo Técnico sesione con la asistencia de una cuarta parte de los miembros. Presentar evidencia de los acuerdos del Consejo Técnico.
No atendido Solamente se presenta acta de acuerdos del Consejo Técnico, no se cuenta con las fichas curriculares ni con una justificación de llevar a cabo las sesiones con una cuarta parte de los miembros.
2. No queda claro el trabajo realizado por el comité de elaboración de reactivos, en virtud de que en la nota técnica 5 se señala que se elaboraron y validaron reactivos “muestra”. En este sentido, no es claro si dichos reactivos muestra formarán parte de los bancos de reactivos, o bien, si fueron elaborados para la plantilla de acotamiento de las especificaciones.
Se requiere información sobre el trabajo realizado por el Comité de Elaboración en cuanto al fortalecimiento de los bancos de reactivos.
Atendido Se presenta un inventario con el número de reactivos en el banco por instrumento
3. Se presenta una ficha técnica por instrumento, no obstante en dicha ficha no se aborda el tema del uso y alcances de los resultados.
Incluir en la ficha técnica el punto de uso y alcances de los resultados de las evaluaciones de Ingreso.
Atendido
4. En cuanto al marco teórico no se aborda específicamente el objeto de medida. Aunado a lo anterior se menciona información correspondiente a Educación Básica. Esta observación fue realizada desde la revisión correspondiente al ciclo anterior (2015-2016).
Incluir en el marco teórico definiciones conceptuales referidas al proceso de Ingreso.
Atendido
16
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Exámenes Objetivos
No. Observación Sugerencia Estatus
5. En cuanto al número de reactivos en cada nivel jerárquico del instrumento, se identificó que en el examen de conocimientos disciplinarios de Metodología de la Investigación se presenta la subárea 1.2 “Posturas de la investigación” con un total de 8 reactivos, por lo que no cumple con el número mínimo de reactivos requerido, de acuerdo a los criterios técnicos emitidos por el Instituto.
Incrementar el número de reactivos en la subárea 1.2 del instrumento de Metodología de Investigación, con al menos 10 reactivos en el segundo nivel de desagregación.
Justificación En la nota técnica 5 sólo se explica que se le dará mantenimiento a los instrumentos, por lo que la atención al incremento de los reactivos se atenderá de manera prioritaria en la agenda de 2017.
6. No se presenta un documento con la vinculación entre los Perfiles, parámetros e indicadores y las especificaciones del instrumento.
Presentar documento o tabla que muestre la relación de cada especificación con los indicadores correspondientes.
Atendido
7. Dado que no se identificaron cambios en las especificaciones y de acuerdo al diagnóstico realizado por el Instituto en el mes de enero, existen especificaciones que no son congruentes con los indicadores del PPI. En el caso del Examen de Habilidades Docentes 7 de un total de 37 especificaciones no son congruentes con los indicadores; en caso del Plan de Clase 8 de un total de 14 especificaciones no lo son.
Incluir en un Plan de trabajo de mediano plazo el ajuste de las especificaciones no congruentes.
Justificación Se anexa la nota técnica 7, en la que se explica la vinculación entre especificaciones y PPI. No obstante, todavía hay especificaciones no congruentes con los indicadores. Esta observación deberá ser incluida en el plan de trabajo para el 2017.
8. Se detectó que, como parte del trabajo de mejora de los instrumentos, se llevaron a cabo modificaciones a las especificaciones mediante la incorporación de acotaciones, se identificó que en algunas ocasiones éstas se plantean con diferente nivel taxonómico al señalado en la especificación o bien, disminuyen significativamente el alcance o sentido original del contenido del contenido de la especificación.
Revisar que los acotamientos sean congruentes con la especificación, ya que en algunos casos en vez de ayudar a delimitarla, se contrapone dificultando la validación de congruencia entre el reactivo y la especificación. Este ejercicio se sugiere realizarlo para el 2017
Justificación Se presenta una nota técnica en la que se exponen las razones por las cuales no se observa la congruencia entre la especificación simple y el acotamiento. No obstante estos elementos deben revisarse en el Plan de trabajo del 2017.
17
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Exámenes Objetivos
No. Observación Sugerencia Estatus
9. No obstante que se presentan las tablas de ensamble donde se señala el estatus de los reactivos piloto operativos, no se presenta un documento que señale la estrategia y técnica empleada para el análisis de los reactivos en la prueba piloto o la evidencia de haber piloteado los reactivos nuevos.
Incluir una nota técnica en la que se señale la estrategia para llevar a cabo el piloteo de los instrumentos, así como la técnica empleada para su análisis.
Atendido
10. Se identificó que el porcentaje de reactivos ancla es de un 25 por ciento del total de la prueba, por lo que no se cumple con lo establecido en los criterios técnicos emitidos por el Instituto en los que se establece una cuota de entre el 30 y el 50 por ciento de los reactivos que conforman el instrumento.
Establecer puntos de corte para estos nuevos instrumentos.
Atendido Se presenta una nota técnica que refiere a que se convocarán a Comités de especialistas para el establecimiento de puntos de corte.
11. Se identifican algunos reactivos que presentan valores en los índices psicométricos fuera de los rangos establecidos en los criterios técnicos emitidos por el Instituto, en los siguientes instrumentos: Geografía, Química, Historia, Sociología Política, Literatura, Matemáticas y Dibujo.
Sustituir los reactivos que presentan valores fuera de rangos en los índices psicométricos.
Atendido
12. Si bien se presenta el manual del aplicador, no se presenta evidencia de la capacitación proporcionada a esta figura. Aunado a lo anterior, no se cuenta con información relacionada con acciones para enfrentar contingencias durante la aplicación.
Incluir información respecto a la capacitación de los aplicadores. Señalar en dicha capacitación o documento anexo las acciones a seguir para enfrentar contingencias durante la aplicación.
Atendido
13. No se presenta información o evidencias que señalen las acciones, procedimientos o criterios a seguir para el resguardo de los materiales, o los protocolos equivalentes para el caso de las aplicaciones en línea.
Incluir una nota técnica que señale las acciones, procedimientos o criterios a seguir para el resguardo de los materiales, o los protocolos equivalentes.
Atendido
18
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Exámenes Objetivos
No. Observación Sugerencia Estatus
14. Si bien se presentan dos propuestas de ejemplos del diseño de los reportes de resultados individuales, ambos corresponden al proceso de Promoción, además los descriptores incluyen información de Educación Básica y los encabezados son del Ceneval y no de la Coordinación Nacional del Servicio Profesional Docente, instancia responsable de emitir los resultados.
Incluir los reportes de resultados individuales con la información de Educación Media Superior y de la CNSPD.
Atendido
15. No se incluyen los descriptores de los niveles de desempeño de los instrumentos.
Presentar los descriptores de los niveles de desempeño de cada uno de los instrumentos, para poder revisarlos y ajustarlos antes del proceso de ajuste de los puntos de corte.
Justificación Se señala en una nota técnica que se llevarán a cabo puntos de corte para los 22 instrumentos para construir los descriptores de acuerdo a los resultados obtenidos en la aplicación del 2016. Se dio como fecha tentativa de entrega el 15 de mayo del presente.
16. No se presentan los informes técnicos de los instrumentos. Esta observación fue realizada desde la revisión correspondiente al ciclo anterior (2015-2016). Se había señalado en una nota técnica que se haría entrega al Instituto de tales informes el 31 de agosto del 2015.
Presentar los informes técnicos de los instrumentos.
Justificación Se presenta una nota que señala que se entregarán en agosto del 2016.
17. En lo que respecta a las Guías de estudio para el sustentante se identificaron los siguientes problemas: o No se incluye la estructura del
instrumento, por lo que el sustentante desconoce las áreas, subáreas y número de reactivos que componen el examen. Se señalan como elementos para prepararse
Incluir los elementos faltantes en las Guías de estudio. Elaborar las guías en términos de los niveles jerárquicos en los que se encuentra organizado el instrumento, es decir, la estructura y no con base en las dimensiones y parámetros de los PPI.
Atendido
19
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Exámenes Objetivos
No. Observación Sugerencia Estatus
para el concurso las dimensiones y parámetros correspondientes, que no proporcionan información precisa al sustentante sobre los temas en los que va a ser evaluado, más bien son los referentes para el diseño del instrumento.
o En la sección de sugerencias para preparar el Concurso de oposición se incluye información poco útil, como los PPI, EAMI, la propia guía de estudios y la bibliografía de apoyo.
o No se presentan ejemplos de reactivos, o al menos de los formatos de reactivos a los que el sustentante se va a enfrentar durante la prueba;
o No se incluye información sobre la duración de la aplicación;
o No se presenta información sobre los resultados del examen tales como los criterios para la calificación o los medios de comunicación de los resultados;
o En algunas referencias de la bibliografía no se cuenta con toda la información para poder ubicarla, en especial materiales a ser ubicados en la web
20
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Plan de Clase
No. Observación Sugerencia Estatus
1. En lo que respecta a la conformación del Consejo Técnico no se presenta la ficha curricular de algunos de los participantes. Se observa que las reuniones tuvieron lugar con una cuarta parte de los miembros que conforman dicho Consejo. No se presenta un Acta donde se estipulen los acuerdos respecto a las acciones de mejora de los instrumentos.
Entregar las fichas curriculares faltantes y explicar por qué es posible que el Consejo Técnico sesione con la asistencia de una cuarta parte de los miembros. Presentar evidencia de los acuerdos del Consejo Técnico.
No atendido Solamente se presenta acta de acuerdos del Consejo Técnico, no se cuenta con las fichas curriculares ni con una justificación de llevar a cabo las sesiones con una cuarta parte de los miembros.
2. Se presenta una ficha técnica por instrumento, no obstante en dicha ficha no se aborda el tema del uso y alcances de los resultados, ni el impacto o consecuencias de los resultados.
Incluir en la ficha técnica el uso, alcances, impacto o consecuencias de los resultados del Plan de Clase.
Atendido
3. En cuanto al marco teórico no se aborda específicamente el objeto de medida. Esta observación fue realizada desde la revisión correspondiente al ciclo anterior (2015-2016). Aunado a lo anterior se menciona información correspondiente a Educación Básica.
Incluir en el marco teórico definiciones conceptuales referidas al proceso de Ingreso, más que aspectos normativos y de caracterización del nivel medio superior.
Atendido
4. No se presenta un documento con la vinculación entre los Perfiles, parámetros e indicadores y las especificaciones del instrumento.
Presentar documento o tabla que muestre la relación de cada especificación con los indicadores correspondientes.
Atendido
5. No se identifica la conformación de un Comité de especificaciones, ni tampoco un comité de elaboración de tareas evaluativas
Exponer las razones por las cuales se prescindió de la participación de los comités omitidos.
Justificación Se menciona que solo se refrendó la información, por lo que existieron únicamente dos comités: de diseño y de validación del diseño.
6. Dado que no se identificaron cambios en los aspectos a evaluar y se incluye una nota técnica que señala que no es posible incluir todos los indicadores puntualizados en el documento de Etapas,
Revisar la congruencia entre tareas evaluativas y los indicadores de los PPI. Incluir en el plan de trabajo de mediano plazo las acciones para corregir este problema.
Justificación Se presenta un ejercicio de vinculación entre PPI y tareas evaluativas realizado con especialistas. No obstante se realizó con los
21
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Plan de Clase
No. Observación Sugerencia Estatus
aspectos, métodos e instrumentos, permanece el problema de congruencia entre los indicadores vinculados a este instrumento y sus tareas evaluativas. De acuerdo al diagnóstico realizado por el Instituto en el mes de enero del año en curso, existen 8 tareas evaluativas desvinculadas de los indicadores de un total de 14.
materiales del 2015, por lo que se trabajará posteriormente la actualización con los cambios del 2016.
7. Se identificaron cambios en la redacción de dos tareas evaluativas en cuanto a la acción a realizar.
Revisar si dicho cambio se vio reflejado en el instrumento para la valoración del Plan de Clase (rúbrica).
Atendido
8. No se presenta información respecto al piloteo de la rúbrica.
Presentar información sobre la estrategia para llevar a cabo la aplicación piloto del Plan de Clase.
No atendido Si bien se entregó una nota que refiere a la estrategia de análisis de instrumentos, ésta refiere a reactivos de exámenes objetivos y no a tareas evaluativas de instrumentos de respuesta construida.
9. En la revisión de la versión final del instrumento se encontraron principalmente problemas relacionados con el nivel de generalidad y suficiencia de las consignas; congruencia entre las tareas evaluativas y los elementos contemplados en la rúbrica; problemas de construcción de los niveles de desempeño de la rúbrica y de pertinencia de las instrucciones proporcionadas al evaluador para el manejo de la rúbrica.
Corregir los problemas identificados en las consignas, en la rúbrica y en las instrucciones para su manejo.
Justificación Se señala en una nota que las acciones para atender las observaciones se establecerán en un plan de trabajo de mediano plazo, considerando la mejora de las rúbricas como una prioridad.
10. No se presenta información respecto a los análisis psicométricos de la confiabilidad del instrumento, la correlación entre cada aspecto evaluado con la puntuación global y el porcentaje de acuerdo inter e intra-jueces.
Presentar la información de los análisis psicométricos, derivada de las aplicaciones en ciclos anteriores.
Atendido
22
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Plan de Clase
No. Observación Sugerencia Estatus
11. No se presenta evidencia respecto a las funciones y a la capacitación de los evaluadores que participarán en el proceso revisión del Plan de Clase.
Incluir información respecto a las tareas y capacitación de los evaluadores.
Atendido
12. No se presenta información o evidencias que señalen las acciones, procedimientos o criterios a seguir para el resguardo de los materiales, o los protocolos equivalentes para el caso de la aplicación del Plan de clase en línea.
Incluir una nota técnica que señale las acciones, procedimientos o criterios a seguir para el resguardo de los materiales, o los protocolos equivalentes.
Atendido
13. Si bien se presentan dos propuestas de ejemplos del diseño de los reportes de resultados individuales, ambas propuestas corresponden al proceso de Promoción. Además, los descriptores señalan información de Educación Básica y los encabezados incluyen información del Ceneval y no de la Coordinación Nacional del Servicio Profesional Docente que es la instancia a la que corresponde emitir los resultados.
Incluir los reportes de resultados individuales con la información del Plan de Clase, de Educación Media Superior y de la CNSPD.
No atendido Los reportes enviados corresponden a promoción
14. No se incluyen los descriptores que los niveles de desempeño del instrumento.
Presentar los descriptores de los niveles de desempeño del Plan de Clase.
Justificación Se señala en una nota técnica que se llevarán a cabo puntos de corte para las 7 rúbricas para construir los descriptores de acuerdo a los resultados obtenidos en la aplicación del 2016
15. No se presenta el informe técnico del instrumento. Esta observación fue realizada desde la revisión correspondiente al ciclo anterior (2015-2016).
Presentar el informe técnico del Plan de Clase. Se había señalado en una nota técnica del proceso anterior, que se haría entrega al Instituto de tales informes el 31 de agosto del 2015.
Justificación Se presenta una nota que señala que se entregarán en agosto del 2016.
16. En lo que respecta a la Guías de estudio para el sustentante se
Incluir los elementos faltantes en las Guías de estudio.
Atendido
23
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Plan de Clase
No. Observación Sugerencia Estatus
identificaron los siguientes problemas: o No se incluye la estructura del
instrumento, por lo que el sustentante desconoce las áreas, que componen el instrumento. Se señalan como elementos para prepararse para el concurso las dimensiones y parámetros correspondientes, que no proporcionan información precisa al sustentante sobre los temas en los que va a ser evaluado, más bien son los referentes para el diseño del instrumento.
o En la sección de sugerencias para preparar el Concurso de oposición se incluye información poco útil, como los PPI, EAMI, la propia guía de estudios y la bibliografía de apoyo.
o No se presentan ejemplos de tareas evaluativas o información que diga al sustentante a qué tipo de tareas se va a enfrentar.
o No se incluye información sobre la duración de la aplicación;
o No se presenta información sobre los resultados del examen tales como los criterios para la calificación o los medios de comunicación de los resultados;
o En algunas referencias de la bibliografía no se cuenta con toda la información para poder ubicarla, en especial materiales a ser ubicados en la web.
Elaborar las guías en términos de los niveles jerárquicos en los que se encuentra organizado el instrumento, es decir, la estructura y no con base en las dimensiones y parámetros de los PPI.
24
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Anexo 4. Formato de verificación de los reactivos de los instrumentos de evaluación del Servicio Profesional Docente
I. Datos de identificación. Marque el recuadro correspondiente al examen y complete los datos que se solicitan.
Proceso de evaluación Ingreso Promoción
Nombre del Examen
Examen de Contenidos Disciplinares (ECD)
Examen de Habilidades Docentes
Examen de Conocimientos (EC)
Disciplina/Figura
Clave del reactivo (ID)
II. Criterios de revisión. En la casilla correspondiente señale con una X si los reactivos se modificaron o se justificaron. Así mismo señale si el criterio se cumple o no. En caso de señalar “No cumple”, registre sus comentarios en el apartado de observaciones.
Revisión de especialistas No. de criterio
Modificado Cumple Observaciones
Sí No Sí No
Revisión técnica Ceneval No. de criterio
Modificado Cumple Observaciones
Sí No Sí No
No aplica No. de criterio
Justificado Pertinente Observaciones
Sí No Sí No
III. Resultado del seguimiento de la revisión. El reactivo deberá cumplir con todos los criterios para emitir el juicio “Sí
cumple”. Señale con una X el resultado.
Sí cumple No cumple
Firma e iniciales de los revisores: _______________________ _________________________
25
Dirección General para la Evaluación de Docentes y Directivos Unidad de Evaluación del Sistema Educativo Nacional
Anexo 5. Tabla de porcentaje de mejora de los instrumentos
Examen
Ancla Revisión Verificación Cumplimiento
Total de Reactivos
Total % # de
reactivos revisados
Reactivos cumplen
Cumple %
# de Reactivos
verificados Cumple
Cumple %
Cumplimiento Revisión y
Verificación
# de Reactivos
cumplimiento más Ancla
% de Reactivos que cumplen con respecto a
la suma de revisados más Ancla
ECD. Literatura 110 33 30% 59 45 76.3% 14 8 57.1% 53 86 93.5%
ECD. Física 120 36 30% 65 39 60.0% 26 19 73.1% 58 94 93.1%
ECD. Química 120 36 30% 65 22 33.8% 43 36 83.7% 58 94 93.1%
ECD. Informática 100 30 30% 54 42 77.8% 12 6 50.0% 48 78 92.9%
ECD. Dibujo 110 33 30% 59 37 62.7% 22 14 63.6% 51 84 91.3%
EHD. Común 120 36 30% 66 54 81.8% 12 3 25.0% 57 93 91.2%
ECD. Biología 120 36 30% 65 36 55.4% 29 20 69.0% 56 92 91.1%
ECD. Humanidades 100 30 30% 54 39 72.2% 10 7 70.0% 46 76 90.5%
ECD. Psicología 110 33 30% 60 33 55.0% 27 18 66.7% 51 84 90.3%
ECD. Administración 120 36 30% 66 48 72.7% 18 7 38.9% 55 91 89.2%
ECD. Derecho 120 36 30% 64 36 56.3% 28 15 53.6% 51 87 87.0%
ECD. Historia del Arte 100 31 31% 53 23 43.4% 30 19 63.3% 42 73 86.9%
ECD. Matemáticas 120 36 30% 65 51 78.5% 14 0 0.0% 51 87 86.1%
ECD. Sociología Política 120 36 30% 65 48 73.8% 9 3 33.3% 51 87 86.1%
ECD. Ciencias de la Salud 120 37 31% 64 32 50.0% 32 14 43.8% 46 83 82.2%
ECD. Lectura y Expresión Escrita 100 30 30% 54 30 55.6% 22 9 40.9% 39 69 82.1%
ECD. Economía 110 33 30% 59 28 47.5% 16 10 62.5% 38 71 77.2%
ECD. Metodología de la Investigación 100 30 30% 48 17 35.4% 24 13 54.2% 30 60 76.9%
ECD. Historia 120 36 30% 65 37 56.9% 28 3 10.7% 40 76 75.2%
ECD. Etimologías Grecolatinas 120 36 30% 65 23 35.4% 29 12 41.4% 35 71 70.3%
ECD. Geografía 120 36 30% 65 6 9.2% 58 5 8.6% 11 47 46.5%
TOTAL 2381 716 30% 1280 726 56.7% 503 241 47.9% 967 1683 84.3%