78

4.9 Marco Teórico e Instrumentos del Proyecto de Evaluación Institucional Uno de los avances relevantes de la experiencia, fue que el Grupo Técnico construyó y se apropió de los conceptos y herramientas necesarios para diseñar los instrumentos de evaluación y el proceso a seguir, llevar a cabo dicho proceso, reunir los datos y entregar el informe de resultados. Lo que se escribe en tres renglones llevó meses de reuniones, de avances y retrocesos, de inconformidades, de equivocaciones, de buenos y malos entendidos, y de un excelente trabajo final en el que participaron todos. Una decisión relevante fue la designación del responsable en el IHEMSYS de dirigir el proceso técnico. Por fortuna, se contó con la participación del Lic. Ángel Mestas Flores, especialista en la materia de reconocido prestigio, quien, como Director de Evaluación del IHEMSYS, tuvo la habilidad de guiar al Grupo Técnico, organizar cursos de formación y actualización, sesiones de conceptualización, debates, etc. Asimismo, coordinar los procesos de los ciclos escolares 1993-1994 al 1995-1996. En los apartados 4.2 y 4.3 se presentaron los conceptos de Tecnología Educativa y de evaluación educativa adoptados en este trabajo; así como, las orientaciones teóricas que se consideraron de Chadwick, Fainholc y Sarramona que concordaron con el contexto en que se llevó a cabo en proyecto. Cabe mencionar que el tema de Tecnología Educativa no se consideró en forma explícita en los aspectos conceptuales acordados por el Grupo Técnico, concentrándose los esfuerzos en los conceptos relacionados con la evaluación. Una de las aportaciones de la Tecnología Educativa es la objetividad, la racionalidad y el enfoque sistémico que caracterizó a la experiencia, al llevarse a cabo en el marco de los programas educativos del gobierno del Estado para mejorar la calidad de la educación en la entidad que, a su vez, estaban inmersos en los programas estatales de desarrollo social. La contribución del personal de las instituciones de bachillerato que estaban involucradas en los procesos de evaluación institucional se convirtió en una experiencia participativa en la que la planeación, diseño y ejecución de las acciones del proyecto se propuso por parte de ellos, con la orientación, apoyo y coordinación de los funcionarios del IHEMSYS, lo que permitió un trabajo sistemático, objetivo y racional, con un mínimo de aportaciones

79

producto de la subjetividad o de los intereses no educativos de personas o grupos de personas. Por otro lado, y de acuerdo a la orientación de Fainholc, la ejecución de la mayor parte de las acciones del proyecto se llevó a cabo con los recursos locales existentes y a la realidad de cada plantel, sin ser necesario recurrir a personal externo o a métodos, procedimientos o instrumentos ajenos al contexto en que se desarrolló la experiencia. Además, se promovió la generación local de información útil a cada plantel y el rescate histórico de su desarrollo. Es interesante resaltar que las orientaciones y concepciones eran compartidas en mayor o menor medida por los funcionarios de primer nivel del IHEMSYS relacionados con el programa y el proyecto: el Director General, el Coordinador Académico (autor de este trabajo) y el Director de Evaluación, lo que permitió neutralizar cierto rechazo por parte de otros funcionarios en el IHEMSYS y en las instituciones bajo el proceso de evaluación. En este sentido, el objetivo, desde el punto de vista teórico, era que las concepciones y orientaciones fueran enriquecidas y compartidas por el resto de funcionarios del Grupo Técnico, de la Comisión de Evaluación y de los planteles, con el fin de promover un adecuado desarrollo del proyecto. Uno de los aspectos en que se tenía que llegar a un acuerdo es el sentido de evaluación y su aplicación en la planeación educativa. Afortunadamente hubo acuerdo y a continuación se presentan dos párrafos ilustrativos, incluidos en el texto del Programa de Evaluación de la Educación Media Superior Descentralizada del Gobierno del Estado editado por el IHEMSYS en 1995. A la letra dice: “En este sentido, planear y evaluar son aspectos de vital importancia para la reorientación y consolidación de una institución educativa, de grupos de instituciones y de todo el nivel educativo, y por consiguiente, para elevar la calidad en la formación de los futuros técnicos y bachilleres”. ... “Por lo tanto, de manera permanente y continua, la evaluación debe captar información sobre los componentes de la educación media superior, a fin de obtener resultados que, al contrastarse con los resultados esperados

80

(marco de comparación), retroalimente a las instituciones y se planee con base en los aciertos, avances y errores encontrados. Se puede decir que la planeación debe realizarse a partir de los resultados que arroje la evaluación” De acuerdo a lo anterior, el concepto de evaluación educativa se aceptó como un proceso sistemático, periódico y continuo, de carácter cuantitativo y cualitativo, en el que participan todos los miembros de una institución educativa. Asímismo, se acordó que este proceso, con base en el análisis de sus resultados se proporcionan juicios de valor que apoyan la planeación y la toma de decisiones personal e institucional, con el fin de alcanzar el fin, objetivos y metas institucionales. Como se notará, hay coincidencia teórica con Stufflebeam, Cronbach y con la definición que propuso el autor de este trabajo en 1991 (con el apoyo de Carmen Carreón). Además, hubo un total acuerdo con la propuesta general de Ángel Mestas, que se aceptó con ligeras aportaciones de parte del Grupo Técnico y de la Comisión de Evaluación. Otro punto de acuerdo en el seno del Grupo Técnico fue la selección de las categorías, variables e indicadores de evaluación. Para apoyar este punto, se presentará la definición de cada una de ellas, las que se encuentran en la publicación antes referida: “Las categorías son conceptos muy generales que permiten identificar las propiedades fundamentales del objeto de evaluación”. “las variables corresponden a las características, atributos, propiedades o cualidades que pueden presentarse o no en los individuos, grupos o instituciones, y que pueden manifestarse con matices o modalidades distintas. En general, las variables reflejan aspectos que son susceptibles de modificaciones”. “los indicadores son los elementos particulares que permiten conocer el estado real en que se encuentran las variables definidas. De esta forma, los indicadores son los que permiten delimitar la información que se requiere obtener durante un estudio de evaluación”. Con base en estos conceptos, se establecieron en 1995 siete categorías, que comprenden un total de 30 variables y 97 indicadores. Las categorías se indican a continuación subrayadas y, para cada una, se presenta el número de variables e indicadores que la conforman:

81

1. Alumno, con 10 variables y 41 indicadores. 2. Docente, con 4 variables y 17 indicadores. 3. Proceso de enseñanza aprendizaje, con una variable y dos indicadores. 4. Planes y programas de estudio, con 3 variables y 4 indicadores. 5. Infraestructura, con 7 variables y 26 indicadores. 6. Vinculación con el sector productivo y social, con 2 variables y 3

indicadores. 7. Marco Normativo, con 3 variables y 4 indicadores. En el cuadro siguiente se describe, por categoría, cada una de las variables e indicadores.

82

Cuadro 7

Categorías, Variables e Indicadores de Evaluación Institucional 1995

CATEGORÍA: ALUMNO VARIABLES INDICADORES Atención de la demanda educativa. − Número de egresados de secundaria

del Estado de Hidalgo global y por municipio.

− Número de aspirantes que presentaron examen de admisión.

− Número de aspirantes aceptados. − Número total de alumnos que se

inscribieron por grupo, semestre y carrera.

− Demanda atendida en relación con la capacidad de atención del plantel.

Características del alumno que ingresó. − Promedio de calificaciones obtenido en la secundaria.

− Promedio de respuestas correctas obtenido en el examen de ingreso.

Reprobación. − Número de alumnos con materias reprobadas por semestre.

− Materias del tronco común con mayor índice de reprobación.

− Principales causas de reprobación. Desempeño académico de los alumnos. − Promedio de calificación por semestre

formación básica. − Promedio de calificación por semestre,

especialidad y formación específica. CATEGORÍA: ALUMNO VARIABLES INDICADORES Deserción.

− Número de alumnos que desertaron por semestre

− Principales causas de deserción Eficiencia terminal. − Número total de egresados por

generación. − Promedio de calificaciones de los

egresados, por generación. Titulación. − Número de egresados titulados de

técnico. Desempeño académico de los egresados en el Nivel Superior

− Número de egresados que continuaron estudios en el nivel superior.

− Institución donde cursan estudios superiores.

83

CATEGORÍA: ALUMNO VARIABLES INDICADORES − Promedio de calificaciones en el nivel

superior. − Carrera elegida por los egresados en el

nivel superior − Suficiencia de la formación académica

para realizar estudios profesionales satisfactorios.

Ubicación laboral de los egresados. − Número de egresados que trabajan. − Causas de posible desempleo de los

egresados. − Grado de relación entre el trabajo y los

estudios (especialidad). − Tiempo que tardaron en conseguir

empleo. − Fecha de ingreso al actual trabajo. − Medios a los que recurrieron para

conseguir empleo. − Requisitos solicitados para ingresar a

trabajar. − Tipo de empresa u organismo donde

trabajan. − Sector en que se ubican las empresas u

organismo donde trabajan. − Nombre y domicilio de la empresa u

organismo − Nivel jerárquico que ocupa. − Ingreso mensual.

Desempeño profesional de los egresados en sus labores

− Calificación de la formación académica para realizar eficientemente las actividades laborales.

− Necesidades de capacitación. − Tipo de capacitación recibida.

− Incidencia en las actividades laborales a partir de la formación académica.

− Apoyo de las prácticas profesionales para realizar actividades laborales.

− Apoyo de las prácticas escolares para realizar actividades laborales.

− Apoyo de las actividades realizadas en el servicio social para realizar las actividades laborales.

84

CATEGORÍA: DOCENTE VARIABLES

INDICADORES

Administración del personal docente en el plantel.

− Número total de profesores de la plantilla docente

− Distribución del personal de la plantilla docente con horas frente a grupo.

− Número total de horas semanales frente a grupo total de docentes.

− Horas semanales docente por alumno. Perfil del docente − Número total de docentes del plantel

distribuidos por nivel académico y titulación.

− Número total de docentes del plantel distribuidos por años de experiencia docente y profesional.

Cursos de formación docente y actualización profesional.

− Nombre y número de cursos de formación docente impartidos en el ciclo escolar 93 - 94.

− Nombre y número de cursos de actualización profesional impartidos en el ciclo escolar 93-94.

− Número de docentes que tomaron los cursos de formación docente y actualización profesional en el ciclo escolar 93 - 94.

− Número de docentes que tomaron los cursos de formación docente y actualización profesional en el ciclo escolar 93 - 94.

Desempeño docente. − Planeación del curso. − Dominio de los contenidos de la

materia. − Uso de material didáctico. − Relación docente-alumno.

− Vinculación teoría-práctica. − Motivación. − Evaluación del aprendizaje.

CATEGORÍA: PROCESO ENSEÑANZA APRENDIZAJE

VARIABLES INDICADORES Características del proceso enseñanza-aprendizaje.

− Promedio de alumnos por grupo en aulas, talleres y laboratorios.

− Formas de trabajo más frecuentes en aulas, talleres y laboratorios.

CATEGORÍA: PLANES Y PROGRAMAS DE ESTUDIO

85

VARIABLES INDICADORES Características de los planes de estudio. Elementos que constituyen los planes de

estudio. CATEGORÍA: PLANES Y PROGRAMAS DE ESTUDIO

VARIABLES INDICADORES − Existencia de una relación horizontal y

vertical entre las materias de los planes de estudio.

Necesidades que satisfacieron los planes de estudio.

− Necesidades sociales, del sector productivo y de servicios que satisfacieron los planes.

Características de los programas de estudio. − Elementos que constituyen los programas de estudio.

CATEGORÍA: INFRAESTRUCTURA VARIABLES INDICADORES Planta física

− Número, tipo y superficie de instalaciones (aulas, talleres, laboratorios, canchas, bibliotecas y anexos).

− Condiciones y suficiencia de las instalaciones.

− Extensión del terreno donde se encuentra. − Situación legal de la propiedad. − Etapa de construcción. − Superficie de terreno construido. − Superficie de áreas verdes.

Equipo y mobiliario de aulas, talleres y laboratorios

− Condiciones y suficiencia del mobiliario de aulas, y talleres y laboratorios.

− Condiciones, suficiencia y congruencia del equipo de talleres y laboratorios.

− Tipo de mantenimiento que recibió el equipo y mobiliario de aulas, talleres y laboratorios.

Equipo y mobiliario de aulas, talleres y laboratorios.

− Necesidades de equipamiento: talleres y laboratorios.

Equipo de cómputo − Número total de computadoras, impresoras y paquetes.

− Distribución de computadoras e impresoras por área.

− Promedio de uso de las computadoras. − Promedio de alumnos por computadora. − Tipo de mantenimiento que recibe el equipo

de cómputo. − Condiciones, suficiencia y congruencia del

equipo de cómputo. Acervo bibliográfico. − Número de títulos y ejemplares.

− Promedio de ejemplares por título. − Promedio de alumnos por título y ejemplar. − Condiciones, suficiencia y pertinencia del

acervo bibliográfico.

CATEGORÍA: INFRAESTRUCTURA

86

VARIABLES INDICADORES − Fuentes de adquisición del acervo

bibliográfico. Recursos humanos. − Plantilla de personal no docente

(administrativo, docente-administrativo, técnico y manual).

− Último grado de estudios del personal no docente.

− Categoría, horario u horas asignadas y puesto asignado al personal administrativo y de servicios.

− Promedio de alumnos por personal directivo, docente, administrativo y de servicios.

Servicios públicos. − Servicios con los que cuenta el plantel: agua, luz, caminos de acceso, pavimento, medios de transporte, teléfono, fax, drenaje, etc.

− Suficiencia de los servicios públicos. CATEGORÍA: VINCULACIÓN CON EL SECTOR PRODUCTIVO Y SOCIAL

VARIABLES

INDICADORES

Convenios con el sector productivo y social.

− Existencia de una instancia para establecer convenio.

− Establecimiento de convenios. Productos de la vinculación con el sector productivo social

− Apoyos obtenidos para el plantel.

CATEGORÍA: MARCO NORMATIVO VARIABLES

INDICADORES

Instrumentos normativos − Existencia de instrumentos normativos en el subsistema y sus planteles: Ley orgánica, estatuto general, estatuto de personal académico, reglamento estudiantil, reglamento escolar etc.

Organización. − Existencia de manuales de procedimiento y organización.

Problemática Educativa − Principales problemas del plantel derivados del contenido del cuestionario.

− Principales problemas del plantel no derivados del cuestionario.

Una vez que se acordaron las categorías, variables e indicadores de evaluación, se pasó al diseño de los procedimientos y de los instrumentos de captura de información; así como, al diseño, planeación, programación y presupuestación de los diferentes aspectos del proyecto, del apoyo

87

logístico, de la capacitación del personal y de programación detallada de las diferentes etapas en que se dividió el proyecto en cada institución. Cabe mencionar que al acordase en el seno del Grupo Técnico y de la Comisión de Evaluación las categorías, variables e indicadores de evaluación, las observaciones teóricas o prácticas que sobre su definición se recibieron más tarde se registraron con el propósito de analizarlas en el futuro; sin embargo, permanecieron tal como habían sido definidas y acordadas y se conservaron a lo largo de los primeros procesos de evaluación. En 1996, después de haberse aplicado el proyecto piloto en tres planteles del CECYTEH y en dos del COBAEH para el ciclo escolar 1993-1994, y al estar en plena marcha el proceso de evaluación del ciclo escolar 1995-1996 en 49 planteles de las instituciones mencionadas y del Telebachillerato, en la que había una matrícula de 7,915 alumnos, se inició una línea de exploración tendente a disminuir al máximo el número de categorías, variables e indicadores de evaluación. Así, se diseñó e implantó en 29 planteles un instrumento con seis categorías y 21 indicadores para el ciclo escolar 1995-1996, cuyo informe de resultados se entregó en diciembre de ese año, tres meses después de haber iniciado el siguiente ciclo escolar y cinco meses después de haber concluido el ciclo escolar bajo estudio. Cabe mencionar que el informe de resultados del ciclo escolar 1994-1995 se entregó en agosto de 1996, un año después de haberse concluido dicho ciclo. Entre febrero y julio de 1997 se agregaron 19 indicadores más al cuestionario de 1996, quedando un cuestionario con 40 indicadores, que nunca se aplicó ya que los procesos de evaluación conjuntos se suspendieron a partir del ciclo escolar 1996-1997. A fines de 1997 se analizó la experiencia y se diseñó un instrumento con cinco categorías, 11 variables y 13 indicadores. El instrumento se aplicó en los 15 planteles del CECYTEH para el inicio de los cursos del ciclo escolar 1997-1998 y el fin de cursos del ciclo anterior; asimismo, se le dió a este proceso la denominación de Evaluación Institucional Oportuna (como una respuesta a lo dilatado de los procesos de evaluación anteriores y a la falta de oportunidad en la entrega del informe de resultados).

88

En este proceso, los primeros resultados se obtuvieron en pocas semanas, en tanto que el informe de resultados final se concluyó en febrero de 1998, ya cuando se había utilizado la información recabada en los planteles para la toma de decisiones desde la Dirección General. Los resultados de la evaluación se utilizaron para establecer el fin, la misión, las líneas estratégicas y las metas institucionales del CECYTEH en 1998. Es conveniente mencionar que este hecho se facilitó en virtud de que al Coordinador Académico del IHEMSYS (quien dirigía el proyecto de evaluación en el Instituto) se le designó Director General del CECYTEH; asimismo, y con el fin de establecer el plan y programas institucionales de la nueva gestión, se requirió de un diagnóstico oportuno para conocer el estado de las principales variables educativas en cada uno de los quince planteles y en el Colegio en su conjunto. Hasta 1999 se mantuvo la experiencia en el CECYTEH y se narra este hecho, debido a que, desde un punto de vista teórico y práctico, es relevante para los procesos de evaluación institucional la definición y el número de las categorías, variables e indicadores. Como una referencia, se hace notar que en el caso del COSNET el instrumento que se diseñó en 1997 para la evaluación del ciclo escolar 1996-1997 contemplaba 11 categorías, 25 variables y 113 indicadores. Este instrumento era de aplicación normativa en todo el sistema tecnológico de educación media superior de la Federación y de los Estados, incluyendo al CECYTEH. En este sentido, las 5 categorías, 11 variables y 13 indicadores del proceso de la evaluación oportuna aplicado en el CECYTEH pudiera servir como un elemento de juicio para implantar procesos similares en el futuro.