Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en...

27
Archivos Analíticos de Políticas Educativas Revista académica evaluada por pares Editor inglés: Sherman Dorn College of Education University of South Florida Editor Español: Gustavo E. Fischman Mary Lou Fulton Institute of Education Arizona State University Volumen 17 Número 16 Agosto 15, 2009 ISSN 1068–2341 Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España Esther López Martín Enrique Navarro Asencio Xavier G. Ordóñez Camacho Universidad Complutense de Madrid, España Sonia J. Romero Martínez Universidad Autónoma de Madrid, España Citación: López Martín, E., Navarro Asencio, E., Ordóñez Camacho, X. G., Romero Martínez, S. J. (2009) Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España. Archivos Analíticos de Políticas Educativas, 17 (16). Recuperado [fecha] de http://epaa.asu.edu/epaa/ Resumen: Este trabajo relaciona el rendimiento obtenido por los alumnos españoles en la evaluación PISA 2006 con variables del entorno del estudiante y del centro que están asociadas a la función básica de producción educativa (Hanushek, 1989) y, por lo tanto, a la eficiencia del sistema educativo. El análisis se ha llevado a cabo mediante la técnica de análisis multinivel, ya que permite el estudio adecuado de estructuras de datos anidados, como ocurre en el caso de datos educativos. A la luz de los resultados obtenidos es posible evidenciar una relación entre las diferentes variables de recursos, tanto de alumno (por ejemplo recursos educativos, posesiones culturales en casa) como de centro (titularidad o número de ordenadores por alumno, entre otras) con el rendimiento académico. Palabras clave: función de producción educativa; eficiencia; PISA-2006; análisis multinivel; SES y rendimiento académico. Study of the determinants of efficiency applying Hierarchical Linear Models in the assessment PISA 2006: the case of Spain Los lectores/as pueden copiar, mostrar, y distribuir este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, se distribuya con propósitos no-comerciales, no se altere o transforme el trabajo original. Más detalles de la licencia de Creative Commons se encuentran en http://creativecommons.org/licenses/by-nc-nd/2.5 . Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. AAPE/EPAA es publicada conjuntamente por el Mary Lou Fulton College of Education, Arizona State University y el College of Education, University of South Florida. Los artículos que aparecen en AAPE son indexados en el Directory of Open Access Journals http://www.doaj.org , ERIC, H.W. Wilson & Co. y SCOPUS. Contribuya con comentarios y sugerencias a [email protected] .

description

Este trabajo relaciona el rendimiento obtenido por los alumnos españoles en laevaluación PISA 2006 con variables del entorno del estudiante y del centro que están asociadas ala función básica de producción educativa (Hanushek, 1989) y, por lo tanto, a la eficiencia del sistemaeducativo. El análisis se ha llevado a cabo mediante la técnica de análisis multinivel, ya quepermite el estudio adecuado de estructuras de datos anidados, como ocurre en el caso de datoseducativos. A la luz de los resultados obtenidos es posible evidenciar una relación entre lasdiferentes variables de recursos, tanto de alumno (por ejemplo recursos educativos, posesionesculturales en casa) como de centro (titularidad o número de ordenadores por alumno, entreotras) con el rendimiento académico.Revista: Archivos Analíticos de Políticas Educativas (2009) 17 (16)

Transcript of Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en...

Page 1: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Archivos Analíticos de Políticas EducativasRevista académica evaluada por pares

Editor inglés: Sherman DornCollege of EducationUniversity of South Florida

Editor Español: Gustavo E. FischmanMary Lou Fulton Institute of Education Arizona State University

Volumen 17 Número 16 Agosto 15, 2009 ISSN 1068–2341

Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Esther López Martín Enrique Navarro Asencio

Xavier G. Ordóñez CamachoUniversidad Complutense de Madrid, España

Sonia J. Romero MartínezUniversidad Autónoma de Madrid, España

Citación: López Martín, E., Navarro Asencio, E., Ordóñez Camacho, X. G., Romero Martínez, S. J. (2009) Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España. Archivos Analíticos de Políticas Educativas, 17 (16). Recuperado [fecha] de http://epaa.asu.edu/epaa/

Resumen: Este trabajo relaciona el rendimiento obtenido por los alumnos españoles en la evaluación PISA 2006 con variables del entorno del estudiante y del centro que están asociadas a la función básica de producción educativa (Hanushek, 1989) y, por lo tanto, a la eficiencia del sistema educativo. El análisis se ha llevado a cabo mediante la técnica de análisis multinivel, ya que permite el estudio adecuado de estructuras de datos anidados, como ocurre en el caso de datos educativos. A la luz de los resultados obtenidos es posible evidenciar una relación entre las diferentes variables de recursos, tanto de alumno (por ejemplo recursos educativos, posesiones culturales en casa) como de centro (titularidad o número de ordenadores por alumno, entre otras) con el rendimiento académico.Palabras clave: función de producción educativa; eficiencia; PISA-2006; análisis multinivel; SES y rendimiento académico.

Study of the determinants of efficiency applying Hierarchical Linear Models in the assessment PISA 2006: the case of Spain

Los lectores/as pueden copiar, mostrar, y distribuir este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, se distribuya con propósitos no-comerciales, no se altere o transforme el trabajo original. Más detalles de la licencia de Creative Commons se encuentran en http://creativecommons.org/licenses/by-nc-nd/2.5. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. AAPE/EPAA es publicada conjuntamente por el Mary Lou Fulton College of Education, Arizona State University y el College of Education, University of South Florida. Los artículos que aparecen en AAPE son indexados en el Directory of Open Access Journals http://www.doaj.org, ERIC, H.W. Wilson & Co. y SCOPUS. Contribuya con comentarios y sugerencias a [email protected].

Page 2: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Abstract: This paper connects Spanish students’ performance in science in PISA 2006 with indicators of students, teachers and institutions associated to the educational production function (Hanushek, 1989) and, consequently, with the efficiency of the educational system. The analysis has been carried out by means of multilevel analysis; this technique is appropriate for the study of hierarchical data structures, as is the case for educational information. In light of the information provided it is possible to demonstrate a relationship between resources variables, both in the student's level (for example educational resources, cultural possessions in home) and at the school level (for example ownership, computers) with the academic performance.Key words: Educational production function; efficiency; PISA-2006; multilevel analysis; SES and academic achievement.

IntroducciónEl principal reto del sistema educativo español durante las últimas décadas ha sido

conseguir la plena escolarización pero, una vez alcanzado,1 los nuevos objetivos deben dirigirse hacia el logro de una educación de calidad para todos y para alcanzar esta meta la eficiencia educativa jugara un papel fundamental. De esta forma, la calidad y la eficiencia pasan a ser principios fundamentales (Muñoz-Repiso et al., 1995; González Galán, 2000; 1995; Gaviria et al., 2004; Murillo, 2005), no sólo del sistema educativo español sino también de los sistemas educativos de otros países (Comisión Europea, 2001).2

Con relación al concepto de calidad, es difícil encontrar una definición compartida por la mayor parte de los autores debido a que sigue siendo un término relativo que depende en gran medida de las preocupaciones, intereses y planteamientos de los diferentes agentes implicados en el sistema educativo. Ante esta situación De la Orden (1997) propone dos soluciones, por un lado, adoptar un punto de vista pragmático combinando criterios de calidad diferentes a la hora de actuar o, por otro, establecer una definición de la calidad a un nivel alto de abstracción a partir de la cual se puedan vincular dimensiones más reales (eficacia, funcionalidad y eficiencia).

Sea cual sea el concepto que se asuma, incrementar la calidad de la educación requerirá conocer los factores que están implicados en su consecución, para de esa forma, una vez identificados, poder establecer las estrategias de evaluación de la misma y las propuestas de mejora.

La calidad puede ser entendida como “un continuo cuyos puntos representan combinaciones de funcionalidad, eficacia y eficiencia altamente correlacionados, y su grado máximo, la excelencia, supone un óptimo nivel de coherencia entre todos los componentes fundamentales del sistema” (De la Orden, 1988, p.154), es decir, se trata de un constructo de valor que está determinando el nivel de coherencia entre los elementos de un sistema. Desde esta concepción de calidad se proporcionan las bases para determinar, con mayor precisión, indicadores de calidad educativa y criterios de funcionalidad, eficacia y eficiencia, susceptibles en muchos casos de expresión cuantitativa.

Atendiendo a la definición de calidad presentada por De la Orden, uno de los criterios que componen la calidad es la eficiencia. Desde la perspectiva económica, la eficiencia hace referencia a la relación entre los insumos y los productos educativos, es decir, entre los recursos que entran en un sistema de producción y los resultados que se consiguen. El sistema educativo, desde este punto de vista, puede considerarse un sistema de producción que requiere de unos recursos para obtener unos productos. Este sistema de producción estaría compuesto por cuatro elementos interrelacionados entre sí (el contexto, las entradas, el proceso educativo y los resultados). La escuela como unidad productora de resultados educativos requiere de toda una

Estudio de variables determinantes de eficiencia 2

1Las estadísticas elaboradas por el Ministerio de Educación y Ciencia (2006) reflejan que la tasa neta de escolarización en España durante el curso académico 2001-2002 era del 100% para la franja de edad comprendida de los 4 a los 15 años.

2 La Comisión Europea (2001) señala que la calidad de la educativa debe ser una de las principales prioridades de los estados miembros.

Page 3: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

serie de recursos necesarios para su consecución, como son las instalaciones, los equipos, el personal de apoyo, etc., que debe utilizar de la manera más eficiente posible para alcanzar esos logros educativos, que se verán reflejados, fundamentalmente, en un mayor rendimiento, mayor nivel de socialización y de competencias necesarias para desenvolverse en situaciones de la vida cotidiana, además de la adquisición de valores y actitudes adecuadas.

Como se puede deducir, tanto el contexto, como las entradas educativas y los procesos ejercen una gran influencia sobre los resultados, asociados generalmente al rendimiento académico, y es por ello que se pueden considerar elementos clave de calidad educativa en los centros.

En un momento en el que se aprecia gran preocupación3 por la calidad educativa, si el sistema educativo fuese un sistema cerrado en el que a partir de unas entradas se consiguiesen automáticamente mejores resultados, parecería que maximizando el efecto de esas entradas se podría mejorar el rendimiento de los alumnos, es decir, si las deficiencias de calidad se debiesen únicamente a la falta de recursos, aumentando las entradas se aumentaría la calidad (Pritchett y Filmer, 1997). Sin embargo, el análisis en las últimas décadas de diferentes reformas educativas muestra cómo el aumento significativo de recursos monetarios no necesariamente se ha traducido en mejores resultados educativos (Hanushek, 1989, 1994).

El sistema educativo es, por tanto, un sistema dinámico, cambiante, influido por infinidad de variables que condicionan directa o indirectamente los resultados o productos educativos. Por este motivo, un estudio más exhaustivo del sistema educativo y del funcionamiento de la función de producción educativa4 puede ayudarnos a conocer cuáles son las mejoras o las acciones necesarias que pueden contribuir a alcanzar una educación de mayor calidad. De forma más concreta, conocer cuál es la productividad relativa de cada uno de los recursos empleados en educación, con relación al coste de producción de los resultados educativos, puede ayudarnos a logra una mayor eficiencia de dichos recursos y, con ello, conseguir una mejora de la calidad educativa.

La función de producción educativa como base de la medida de la eficiencia

La función de producción educativa (Hanushek, 1989) centra su atención en la relación entre las entradas y los procesos del sistema educativo y los resultados que produce. La importancia de esta función productiva radica en que, una vez identificada esta relación, se puede llegar a predecir qué pasaría si los recursos aumentasen o disminuyesen y analizar qué decisiones se deberían de tomar si los precios de los recursos educativos variasen. En este sentido, eficiencia no implica una reducción de los costes, sino obtener unos mejores resultados con una mejor distribución de los recursos.

La función de producción al relacionar estadísticamente los recursos y los resultados educativos puede ayudarnos a valorar esa productividad. La definición básica de la función de producción educativa (Hanushek, 1989; Levin, 1996) es:

Rit = f(Ait, Pit, Eit)

Donde: Rit = Rendimiento académico del alumno i en el momento t de tiempo.

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 3

3Esta preocupación se puede evidenciar, entre otros, en la llamada que la Comisión de las Comunidades Europeas (2003, 2007) ha hecho a un aprovechamiento óptimo de los recursos y la importancia de invertir eficazmente en educación y formación.

4El estudio de la Función de Producción Educativa se ha utilizado tradicionalmente en el análisis de la eficiencia, sin embargo, en el ámbito educativo existe todo un abanico de técnicas paramétricas y no paramétricas con este fin. De dichas herramientas, las más utilizadas son el Análisis Envolvente de Datos (DEA) y el Análisis de Fronteras Estocásticas (SFE). Un resumen de los principales trabajos que han aplicado el DEA en el campo de la educación se puede encontrar en Worthington (2001).

Page 4: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Ait = Recursos y características familiares del alumno i acumuladas hasta el momento t que influyen en su rendimiento.

Pit = Recursos y características del profesor acumulados hasta un periodo t de tiempo que influyen en el rendimiento del alumno i.

Eit = Recursos y características de la escuela acumulados hasta un periodo t de tiempo que influyen en el rendimiento del alumno i.

De los primeros estudios que han intentado analizar la relación entre recursos (familiares,

escolares, contextuales, docentes, etc.) y resultados educativos obtenidos, debe destacarse el trabajo Equality of Educational Opportunity llevado a cabo por Coleman (1966) que, aunque no fue el primero, ha sido el que más impacto e influencia ha generado. Coleman, a través de técnicas de regresión, estableció relaciones entre el rendimiento educativo y las variables asociadas al background de los alumnos y de la escuela. Aunque la adecuación de las técnicas utilizadas ha sido objeto de numerosas críticas y reanálisis, el estudio evidencia como, una vez controladas las características del alumno y su contexto, las variables asociadas a la escuela ejercen un efecto comparativamente menor (con crecencia no estadísticamente significativo) sobre el rendimiento de los alumnos.

Posteriormente, algunos autores han llegado también a la conclusión de que aisladas las características de los alumnos y su estatus socioeconómico, no hay ninguna relación sistemática entre los recursos y los resultados educativos. Una de las más conocidas síntesis de este tipo de estudios es la llevada a cabo por Hanushek (1989), donde se analizó la relación entre el conjunto de factores5 que determinaba los gastos básicos en educación y el rendimiento de los alumnos. Entre las conclusiones a las que llegó el autor en este trabajo podemos encontrar que no hay una fuerte evidencia de que el número de alumnos por profesor6, la formación del profesorado o su experiencia tenga un efecto positivo sobre el rendimiento de los alumnos, en definitiva, el autor concluye que “no hay una fuerte o sistemática relación entre los gastos de la escuela y el rendimiento de los alumno” (Hanushek, 1989, p. 47).

Por su parte Hedges, Laine y Greenwald (1994) realizaron una revisión del trabajo de Hanushek con la finalidad de evidenciar la existencia de una relación sistemática y positiva entre dichas variables. Estos autores señalan que las limitaciones sobre la naturaleza de los estudios (antigüedad, estudios transversales, etc.), así como el método analítico utilizado es la consecuencia de que no se tenga suficiente evidencia empírica como para afirmar que no existen diferencias estadísticamente significativas en el rendimiento de los alumnos en función de los diferentes factores analizados, tal y como afirmaba Hanushek. De esta forma, tener en cuenta métodos de análisis más poderosos, como los análisis de la magnitud del efecto, permitirá dilucidar “algunos efectos positivos de las variables de recursos y poco apoyo para la existencia de efectos negativos” (Hedges, Laine y Greenwald, 1994, p. 80). Una posible explicación a esta falta de acuerdo entre los diferentes autores es que, al contrario de lo que ocurre en otros sectores, la forma exacta de la función de producción en el ámbito educativo es desconocida (Hanushek, 1986). La multitud de variables que entran en juego en el proceso educativo hace que en ocasiones no haya un acuerdo generalizado sobre qué variables de contexto, entrada, proceso o resultado se deben introducir en esta relación. Este hecho ha traído consigo que las diferentes estimaciones llevadas a cabo de dicha función hayan considerado como insumos educativos variables a las que se les atribuía una relación con los resultados educativos, sin analizar la significatividad de dicha relación.

Estudio de variables determinantes de eficiencia 4

5Los factores analizados fueron ratio profesor alumno, formación del profesorado, experiencia del profesorado, salario del profesorado, gasto por alumno, recursos administrativos e instalaciones. (Hanushek, 1989, p.47)

6La falta de evidencia empírica sobre la influencia significativa de estos factores sobre el rendimiento de los alumnos ha sido puesta de manifiesto por este autor en numerosas ocasiones (Véase, entre otros, Hanushek, 1994,1996, 1998, 2000)

Page 5: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Otra de las posibles limitaciones de los intentos anteriores por establecer esta relación entre los recursos y los resultados educativos radica en que este tipo de estudios se han apoyado generalmente en modelos de regresión múltiple (Coleman, 1966; Hanushek, 1979). Sin embargo, los modelos de regresión no permiten reflejar la estructura anidada de los datos educativos, lo cual puede llegar a afectar a los resultados y conclusiones oportunas al no tener en cuenta, entre otros, el efecto que ejercen las variables por las cuales los sujetos se asignan a los grupos o la varianza debida a cada nivel de agregación.

Objetivos y metodologíaEl presente trabajo nace de la necesidad de establecer un estudio de base empírica que

permita solventar las limitaciones puestas de manifiesto en el apartado anterior. De esta forma, el objetivo general perseguirá analizar la significatividad de las relaciones entre las variables de entrada y de proceso educativo con el rendimiento académico de los alumnos, respetando en todo momento la estructura anidada de los datos. Para alcanzar este objetivo se han utilizado datos referentes a los alumnos españoles procedentes de la evaluación PISA 2006.

Este objetivo general se traduce en los siguientes objetivos específicos: modelizar la función de producción educativa a partir de las variables contempladas en la evaluación PISA 2006; cuantificar la importancia que tienen las variables de alumno y las variables de centro sobre del rendimiento de los alumnos; e identificar las variables significativamente relacionadas con el rendimiento de los alumnos en vista a considerarlas en futuros trabajos de eficiencia.

Respecto a los aspectos metodológicos del presente estudio, la función de producción educativa que ponga en relación los recursos y los resultados que entran en juego en el sistema educativo va a quedar definida de la siguiente forma:

Rendimiento en Cienciasit = f (factores del alumnoit, factores de la Escuelait)Donde: i = Hace referencia a cada uno de los alumnos españolest = Indica el momento de la evaluación, en este caso PISA 2006.Es interesante señalar que no se van a utilizar variables referentes al profesor ya que los

datos de PISA no permiten identificar aulas o profesores asociados a los alumnos participantes. Por otro lado, y con la finalidad de solventar los problemas ocasionados por la naturaleza agregada de los datos, en este trabajo la relación entre las diferentes variables vendrá modelizada a partir de Modelos Multinivel o Modelos Jerárquicos Lineales (Goldstein, 1987, 1995).

Variables empleadasEl Programa para la Evaluación Internacional de los Alumnos (PISA) desarrollado por la

OCDE ha estado centrado, en su última aplicación de 2006, en la materia de ciencias. Las evaluaciones precedentes se centraron en lectura (2000) y matemáticas (2003). El conjunto de variables recabadas en el estudio PISA se pueden agrupar en tres tipos (Instituto de Evaluación, 2007; OCDE, 2008): las que informan sobre las características de los alumnos y del centro, y las relacionadas con el rendimiento de los alumnos.

Las variables referentes a las características de los alumnos se han recogido a partir de una serie de cuestionarios elaborados con esa finalidad. De esta forma, en el estudio se recoge información relativa a la estructura familiar de los alumnos, a la importancia que los alumnos otorgan al aprendizaje de las ciencias o a las estrategias de estudio que utilizan.

Dentro de las variables del centro los cuestionarios recogen aspectos relativos al clima escolar, a los recursos del centro o a la autonomía en aspectos curriculares y de gestión de los centros.

Respecto a las variables relacionadas con el rendimiento, los alumnos han sido evaluados en matemáticas, comprensión lectora, y ciencias (Instituto de Evaluación, 2007). Las pruebas evalúan la competencia de los alumnos para resolver problemas relacionados con las matemáticas, su capacidad para comprender e interpretar material escrito que puede encontrar en su vida diaria, y los conocimientos y destrezas que les ayudan a la hora de comprender e interpretar conceptos científicos.

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 5

Page 6: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

A partir de los resultados obtenidos por los alumnos españoles en la evaluación PISA 2006 y con la finalidad de dar respuesta a los objetivos que se persiguen en este trabajo, se han utilizado, como variables de primer nivel, los recursos y características familiares de los sujetos y, como variables de segundo nivel, los recursos y características de los centros educativos, tal y como se recoge en la Tabla 1.

Tabla 1Predictores introducidos en el modeloNivel 1 (alumno) Nivel 2 (escuela)Sexo Tamaño de la claseInmigrante Titularidad de la escuelaNivel de estudios de la madre Índice de responsabilidad en la asignación de

recursosÍndice de recursos educativos del domicilio familiar

Agrupación en las aulas

Índice de estatus económico, social y cultural Índice de calidad de los recursos en la escuelaUso del ordenador en casa Ratio de ordenadores para la instrucción

Responsabilidad en el currículumRatio profesor alumno

A continuación se detallan pormenorizadamente las variables introducidas en el modelo:

Producto educativo: rendimiento en ciencias.

Como resultado educativo se ha utilizado la puntuación obtenida por los alumnos españoles en ciencias, ya que ha sido la materia central en el estudio PISA de 2006. A partir de la evaluación de esta competencia se persigue indagar en qué medida los alumnos comprenden los conceptos científicos y aplican un punto de vista científico a la hora de pensar y resolver problemas de esta índole. En concreto esta variable es definida como el grado en que los estudiantes de 15 años, participantes en el estudio, tienen conocimiento científico y lo utilizan para identificar cuestiones, adquirir conocimientos, explicar fenómenos científicos y extraer conclusiones basándose en pruebas acerca de problemas relacionados con la ciencia; comprenden las características de la ciencia como forma de conocimiento e investigación; son consientes de que la ciencia y la tecnología conforman nuestro medio material intelectual y cultural; y se comprometen como ciudadanos reflexivos en problemas e ideas relacionados con las ciencias. (OCDE, 2008)

Predictores de primer nivel: recursos y características familiares e individuales

El interés generado por la temática relativa a la igualdad de oportunidades y la educación como herramienta para poder alcanzarla, hacen de la variable sexo un aspecto a considerar cuando hablamos de las características individuales de los alumnos que participaron en la evaluación. El hecho que justifica la introducción de esta variable viene de la mano de las posibles diferencias que esta variable pueda generar en el rendimiento de los alumnos (Instituto de Evaluación, 2007, OCDE, 2008), ya que como señalan García Garrido et al. (1998) existen diferencias en el ritmo de desarrollo de las capacidades e intereses de los alumnos en función del sexo y por ello es común detectar diferencias en el rendimiento asociadas a dicha variable. Además, es posible relacionar esta variable con algunas características de los centros como, por ejemplo, la titularidad y, así, determinar si se produce un efecto diferencial en función de esta determinado aspecto de los alumnos.

Otra de las características individuales a considerar es la condición de inmigrante del alumnado. Los alumnos de otras nacionalidades que participan en el sistema educativo, en unos años, pasaran a formar parte del mercado laboral, contribuyendo así al desarrollo de la economía de nuestro país, por este motivo es importante que los responsables políticos conozcan la

Estudio de variables determinantes de eficiencia 6

Page 7: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

situación académica específica de los mismos. El hecho de ser o no inmigrante alcanza una especial relevancia si consideramos su influencia sobre otras variables de carácter individual de los alumnos como su nivel socioeconómico y cultural (Fuligni y Yoshikawa, 2003). Del mismo modo, estudios como los llevados a cabo por Levels, Dronkers y Kraaykamp (2008) han puesto de manifiesto la influencia que tiene en el rendimiento de los alumnos su país de origen.

Junto con estas características individuales, uno de los aspectos que tradicionalmente se han contemplado, por su influencia sobre el rendimiento académico de los alumnos, son todas las variables que reflejan la situación económica, social y cultural de las familias (Yeung, 2004; Ruiz de Miguel y Castro, 2006; Lizasoain et al., 2007). Aunque estas variables no son controlables directamente a través de decisiones políticas, sí pueden moderar el impacto que éstas tienen sobre el rendimiento de los alumnos, proporcionando una mayor igualdad de oportunidades. Como reflejo de esta realidad se han empleado las siguientes variables (OCDE, 2008): el índice de estatus económico, social y cultural (ESCS) que refleja el poder adquisitivo y cultural de las familias y que ha sido elaborado a partir del mayor índice socioeconómico del estatus ocupacional del padre o de la madre, el índice del mayor grado de educación alcanzado por los padres7 y el índice de posesiones familiares; el índice de recursos educativos del domicilio familiar (HEDRES) que se ha construido a partir de las respuestas de los alumnos sobre la posesión de los siguientes recursos educativos: una mesa para el estudio, un lugar sin ruido para estudiar, un ordenador para hacer trabajos escolares, programas educativos, una calculadora, libros de apoyo para el estudio y un diccionario; y el índice de posesiones culturales (CULTPOSS) que se ha elaborado a partir de la información relativa a la disponibilidad en casa de literatura clásica, libros de poesía y obras de arte. Incluyendo estas variables del contexto socioeconómico y cultural de los estudiantes en el modelo podremos efectuar un control de las mismas y observar los efectos “reales” que producen las características del centro educativo. Los índices anteriores se han construido siguiendo los principios de la Teoría de Respuesta al Ítem y los valores positivos indican un mayor nivel socioeconómico y de recursos. Finalmente, como otra variable asociada al estatus económico y cultural de los alumnos encontramos el uso del ordenador en casa (COMPUH). Esta variable se ha introducido en el análisis ya que el acceso a este tipo de herramientas se vuelve imprescindible en la formación de los alumnos para enfrentarse a un mundo dominado por las tecnologías8.

Predictores de segundo nivel: recursos y características de centro

En este apartado se recogen todos aquellos recursos educativos, a nivel de centro, relacionados con aspectos de eficiencia educativa. La función de producción educativa, en este sentido, permite determinar la producción marginal de estas variables para posteriormente compararlo con los costes, de manera que se logre mejorar la eficiencia dentro del sistema educativo.

La ratio profesor alumno (CLSIZE1) es una de las principales variables introducidas en los estudios de eficiencia, fundamentalmente por las implicaciones de coste que conllevan las medidas educativas que han abogado por la reducción del tamaño de las clases. Sin embargo, no existe un acuerdo generalizado sobre que esta disminución venga acompañada de mejores resultados académicos por parte de los alumnos (Slavin, 1990; Hanushek, 1994, 1996; 1998; Hanushek y Luque, 2000; National Center for Policy Analysis, 2000). En el trabajo que aquí presentamos se ha utilizado esta variable para determinar su efecto en los centros españoles.

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 7

7A pesar de que en el índice de estatus económico, social y cultural (ESCS) se ha construido teniendo en cuenta el mayor nivel educativo alcanzado por los padres, se ha decidido introducir en el modelo la variable referente al nivel educativo de la madre (MISCED) para analizar si la varianza que explica esta variable, por separado, es significativa inicialmente.

8La preocupación por el acceso a las nuevas tecnologías, en general, y el uso del ordenador en particular, ha hecho que la OCDE publicase el informe “Are student ready for a technology-rich World? What PISA studies tell us ” (2006) a partir de los resultados del Informe PISA 2003.

Page 8: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Otra variable utilizada en un alto número estudios para analizar su efecto sobre el rendimiento es la titularidad de los centros educativos. A pesar de que la educación puede ser considerada un bien público, son numerosas las alternativas privadas que coexisten en el sector de la educación, sostenidas o no con fondos públicos. El generar opciones públicas y privadas permite que las escuelas incrementen los incentivos parar competir por los estudiantes, este hecho hace que numerosos economistas crean que un mercado competitivo mejora tanto la eficiencia técnica9 como la asignativa10 en el uso de recursos (Levin, 2001). Tanto unas como otras opciones pueden diferir en la forma de asignar y gestionar sus recursos humanos y materiales, de ahí su interés a la hora de analizar el efecto de esta variable sobre el rendimiento.

Otro grupo de variables, considerado por algunos autores, son las englobadas dentro de la denominada Eficiencia-X, en concreto Levin (1997) toma de Leibenstein el término para referirse a todas aquellas variables relacionadas con los incentivos, la motivación y otras dimensiones de las instituciones educativas que tienen implicaciones en la consecución de eficiencia. Las dimensiones que este autor identifica son: un objetivo claro unido a resultados medibles; incentivos vinculados a la consecución de este objetivo; acceso eficiente a la información para la toma de decisiones; capacidad de adaptación ante situaciones de cambio; y el uso de tecnología productiva consistente con los costes necesarios y/o obligatorios. Las variables empleadas en este estudio que se incluyen dentro de la Eficiencia-X son: el indice de responsabilidad en la asignación de recursos (RESPRES) que hace referencia a el número de decisiones relativas a los recursos del colegio que son responsabilidad del centro; la agrupación por capacidad en las aulas (ABGROUP) que permite diferenciar a los centros entre en tres categorías: los centros que no agrupan a los alumnos por capacidad para ninguna asignatura, los colegios que agrupan a los alumnos por capacidad en clases diferentes o en la misma clase para algunas asignaturas y los que utilizan esta forma de agrupación por capacidad en todas las asignaturas; el índice de calidad de los recursos en la escuela (SCMATEDU) o índice de recursos educativos del colegio que ha sido construido a través de la Teoría de Respuesta al Ítem a partir de la respuesta que daban los directores a las siguientes preguntas: escasez o inadecuación del equipo del laboratorio de ciencias, escasez o inadecuación de los materiales docentes, escasez o inadecuación de ordenadores para la enseñanza, falta o inadecuación de conexión a Internet, falta o inadecuación de programas informáticos para dar clase, falta o inadecuación de material de biblioteca y, falta o inadecuación de recursos audiovisuales; y la responsabilidad en el currículum (RESPCURR). que informa del número de decisiones relacionadas con el programa educativo de las que el centro es responsable.

Finalmente, se ha introducido la variable ratio de ordenadores para la instrucción en la escuela (IRATCOMP) como indicador de la inversión que realizan los centros educativos en el uso de nuevas tecnologías dentro del proceso de enseñanza-aprendizaje. Este indicador se ha calculado como el cociente del número de ordenadores dedicados a la instrucción en el colegio y el número total de alumnos, una mayor ratio implicará, por tanto, una mayor proporción de ordenadores por alumno dentro del centro.

MuestraEl total de alumnos que participaron en el estudio PISA 2006, en España, asciende a

19604. Éstos están distribuidos de forma equitativa respecto al género, el 50% (9801) son chicas y el otro 50% (9803) son chicos. La mayor parte de la muestra, el 95,3% son estudiantes nativos, es decir, han nacido en España y sus padres también; un 4,2% son estudiantes que no han nacido

Estudio de variables determinantes de eficiencia 8

9La eficiencia técnica hace referencia a la producción de la máxima cantidad de productos dadas unas cantidades concretas de factores productivos o recursos.

10La eficiencia asignativa permite identificar, una vez conocidos los precios de los diferentes factores productivos, las unidades de producción técnicamente eficientes que minimizan los costes de producción.

Page 9: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

en el país; y sólo el 0,5% son estudiantes de segunda generación, que son aquellos nacidos en España pero con padres inmigrantes.

El total de centros incluidos en el estudio es de 640, no obstante la base de datos de PISA 2006 contiene información de 686 escuelas. Esta cantidad inicial se ha visto reducida tras eliminar los casos con algún valor perdido en las diferentes variables utilizadas. Este paso es necesario para realizar el análisis con el programa HLM. De estos centros el 57,2% (366) son públicos, un 36,6% (234) son concertados y el resto, un 6,3% (40) tienen una gestión completamente privada.

La representación de las diferentes Comunidades Autónomas en el estudio se distribuye de la siguiente forma:

Tabla 2Distribución de los centros participantes.

Frecuencia Porcentaje Porcentaje acumulado

Andalucía 49 7,7 7,7

Aragón 46 7,2 14,8

Asturias 51 8,0 22,8

Cantabria 49 7,7 30,5

Castilla y León 49 7,7 38,1

Cataluña 47 7,3 45,5

Galicia 52 8,1 53,6

La Rioja 43 6,7 60,3

Navarra 49 7,7 68,0

País Vasco 137 21,4 89,4

Resto de España 68 10,6 100,0

Total 640 100,0

Análisis de datosLos datos en educación tienen en la mayor parte de los casos una estructura anidada o

jerárquica. Por ejemplo, las puntuaciones de los alumnos están agrupadas dentro de las diferentes aulas que conforman los centros educativos, y, además, estas organizaciones pueden estar anidadas dentro de distritos, comunidades e, incluso, países.

La asociación jerárquica de los datos no es accidental ni debe ser ignorada. Un ejemplo de esto es la posibilidad de que estudiantes con las mismas aptitudes sean agrupados en escuelas altamente selectivas. En otros casos, el agrupamiento puede darse por otros motivos. Sin embargo, cuando el grupo está definido, todos sus miembros afectarán y serán afectados por el resto y tenderán a diferenciarse de otros grupos (Delprato, M., 1999). Ignorar los efectos de los grupos puede invalidar las técnicas de análisis estadístico tradicionales que son utilizadas para el estudio de las relaciones entre datos de estas características. Los datos que provienen de observaciones individuales no son siempre independientes. Cuando las características de los alumnos son similares dentro de las escuelas, pero diferentes entre éstas, la utilización de técnicas de análisis tradicionales conlleva sesgos en los resultados, distorsionando (típicamente subestimando) los términos de error y, por tanto, la significatividad de los parámetros estimados

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 9

Page 10: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

(Gaviria y Castro, 2005). El grado de homogeneidad de los contextos viene dado por la autocorrelación o correlación intraclase11.

Los modelos de regresión lineal no permiten tener en cuenta los efectos que puede provocar, sobre el resultado, el modo en que los alumnos se asignan a los centros o a las clases dentro de los centros. Por ejemplo, en determinados países, el contexto socioeconómico de un alumno puede determinar el tipo de centro al que asiste y, por tanto, la variación de ese contexto entre los alumnos del centro será muy poca. En otros países, los centros pueden seleccionar alumnos que proceden de diversos contextos socioeconómicos, pero dentro del centro este contexto es determinante a la hora de agrupar a los estudiantes en aulas, como resultado la varianza dentro del centro será muy alta (INECSE, 2006). Un modelo de regresión lineal que no tenga en cuenta la estructura jerárquica de los datos, no diferenciará entre la varianza que es debida al alumno y aquella que es debida al centro.

La regresión multinivel tiene en cuenta este carácter anidado de los datos dentro de unidades más amplias, calculando una ecuación diferente para cada nivel de agregación. Los modelos multinivel expresan las relaciones que se producen entre variables dentro de un mismo nivel y especifican cómo las variables de un nivel influyen en otro. De esta forma, es posible diferenciar que parte del logro es explicado por el alumno y cuál es debido al centro educativo, además es posible realizar inferencias a partir de variables que actúan en distintos niveles.

Las variables definidas con anterioridad se distribuyen en dos niveles diferenciados: alumnos (nivel 1) y centros (nivel 2). El modelo general del rendimiento en ciencias12 quedaría establecido de la siguiente forma:Para el nivel uno (alumno)

Donde es el rendimiento en ciencias del alumno i de la escuela j; es la media en

rendimiento para todos los alumnos de la escuela j; es el incremento en el rendimiento del

alumno por cada variable de primer nivel introducida en el estudio (X); hace referencia a las

diferentes variables relacionadas con el alumno y su entorno, donde q es una covariable del alumno i; y es el rendimiento diferencial del alumno i de la escuela j, una vez controlado el

efecto de estas variables de primer nivel. Este término se distribuye de forma normal con media cero y varianza constante, por tanto:

rtij ~ N(0,σ2)Cada coeficiente de primer nivel pasa a ser una ecuación en el segundo. Este nivel dos

(escuela) quedaría formulado como se índica a continuación:

Donde γ00 es el rendimiento medio para todas las escuelas, una vez considerado el efecto de los predictores (Wsj) incluidos en el modelo; es el incremento sobre el rendimiento medio

Estudio de variables determinantes de eficiencia 10

11La autocorrelación (ρ) representa una medida de homogeneidad interna de los grupos, estableciendo la similitud entre las unidades de nivel individual y la diferencia entre las unidades de nivel superior. (Gaviria, J.L y Castro, M., 2005).

12Para el modelo se ha utilizado la nomenclatura desarrollada en HLM (Bryk, A., Raudenbusch, S. y Congdon, R.Goldstein, 2000)

Page 11: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

por cada predictor de segundo nivel( Wsj); y es el efecto diferencial producido por la escuela

j sobre aquellas que tienen sus mismas características.Entonces:

De forma que es el incremento medio de todas las escuelas para cada predictor de

nivel 1; es la aportación de cada variable de la escuela a γq0, es decir, es un efecto de

interacción entre niveles, por ejemplo el efecto del nivel educativo de los padres en el rendimiento de los alumnos puede ser distinto para escuelas públicas y para escuelas privadas; y

es el efecto aleatorio producido por la escuela j en cada uno de sus predictores. Por lo tanto:

uqj ~ N(0,T) Así, el modelo general completamente aleatorio de dos niveles estaría compuesto por una

parte sistemática o fija, que incluye todos los parámetros que definen la media del rendimiento de todos los alumnos o la relación entre este y los predictores y, una parte aleatoria, la cual muestra la estimación de la varianza en cada nivel de agregación, en este caso los alumnos (primer nivel) y los centros (segundo nivel), para cada parámetro incluido en la parte sistemática.

Para la realización del análisis de datos se ha utilizado el programa de estimación de modelos multinivel HLM 5 (Bryk., Raudenbusch y Congdon, 2000) es su faceta de trabajo con valores plausibles. El programa utiliza estadística empírica bayesiana para estimar los coeficientes de nivel 1 ( ), utilizando para la estimación en cada centro los datos de la propia escuela y de

otras con características similares, así se utiliza la mayor parte de información contenida en los datos. Para los coeficientes de nivel 2 ( ) utiliza mínimos cuadrados generalizados debido a la compleja estructura del error del modelo y, por tanto, debe tenerse en consideración la precisión diferencial de la información proporcionada por cada uno de los centros. Finalmente, las varianzas y covarianzas que componen los diferentes modelos estimados se obtienen a partir de procedimientos de máxima verosimilitud, de esta forma, debido al desequilibrio natural de los datos en muchas aplicaciones de los modelos jerárquicos lineales (por ejemplo, el número de alumnos varía en cada centro), las técnicas de estimación iterativas proporcionan una mejor estimación de los componentes de varianza-covarianza frente a los métodos tradicionales de estimación que fallan en la obtención de estimaciones eficaces (Bryk., Raudenbusch y Congdon, 1996).

ResultadosLa estimación de un modelo jerárquico exige un análisis sistemático partiendo del

modelo más simple posible, el modelo nulo. Este modelo no incluye predictores en ninguno de los niveles, sólo estima la media global del rendimiento y la varianza en cada uno de los niveles de agregación (Raudenbush y Brik, 2002). A partir de estos datos se puede calcular la parte de la variabilidad del rendimiento del alumno que es explicada mediante factores de la escuela, es decir, el ya mencionado coeficiente de correlación intraclase ρ.

El modelo nulo es la base de comparación de los modelos más complejos. El resto de modelos alternativos son variaciones de este modelo. Aceptar o rechazar un modelo posterior dependerá de sí ajusta significativamente mejor que el nulo. Para llevar a cabo esta comparación debemos utilizar la razón de verosimilitud de cada modelo, a este parámetro se le denomina Deviance. La diferencia entre los valores respectivos de la razón de verosimilitud de ambos modelos se utiliza como prueba estadística con una distribución 2, utilizando como grados de libertad la diferencia entre el número de parámetros añadidos en cada modelo.

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 11

Page 12: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

El análisis se ha dividido en cuatro partes: estudio descriptivo de las variables implicadas; análisis del modelo nulo, que no incluye predictores; introducción, uno a uno, de los predictores de primer nivel, estimando los coeficientes y desestimando aquellos que no resulten significativos a un nivel de probabilidad inferior al 0,05; y, finalmente, en la cuarta parte del análisis, la inclusión de predictores de nivel dos y la realización del modelo multinivel definitivo.

Estudio descriptivo de las variables

Antes de comenzar con el análisis multinivel es conveniente conocer los valores de las variables que vamos a introducir en el modelo, tanto aquellas relacionadas con el alumno y su entorno, como las que hacen referencia a características de los centros educativos.

El nivel 1 del modelo, representado por los alumnos, tiene cinco puntuaciones diferentes de rendimiento que reflejan valores plausibles extraídos al azar de la distribución de puntuaciones obtenidas por los alumnos. En lugar de estimar directamente el rendimiento de un alumno, se estima una distribución de probabilidad, es decir, en lugar de obtener una estimación puntual, se calcula un abanico de valores posibles con una probabilidad asociada a cada uno. Los valores plausibles son, por tanto, selecciones aleatorias de esta distribución estimada del rendimiento para un alumno (INECSE, 2006). Estos valores tienen los siguientes estadísticos descriptivos para el caso de los alumnos españoles:

Tabla 3Estadísticos descriptivos de los valores plausibles.

Mínimo Máximo Media Desv. típ.Valor Plausible 1 23,722 920,482 504,448 86,537Valor Plausible 2 23,443 924,212 504,528 86,695Valor Plausible 3 23,722 884,116 504,516 86,953Valor Plausible 4 23,722 883,183 504,170 87,283Valor Plausible 5 23,722 952,187 504,891 87,216

Además, el nivel 1 consta de diferentes variables relacionadas con características del alumno y su contexto familiar:

Tabla 4Estadísticos descriptivos de los predictores del alumno.

  PercentilesPercentilesPercentiles Mínimo Máximo Media Desv. típ.

 25 50 75

Mínimo Máximo Media Desv. típ.

Indice de Posesiones Culturales -0,692 -0,027 0,902 -1,62 0,9 0 0,864

Índice de Recursos Educativos -0,465 -0,465 0,868 -4,7 0,88 0 0,936

Índice de status económico, social y cultural PISA 2006

-0,76 -0,063 0,765 -4,91 2,97 0 1,031

  Mínimo Máximo Mediana ModaSexo 0 1 1 1Nivel educativo de la madre

0 6 4 2

Status de inmigrante 0 2 0 0Uso de ordenador en casa

0 4 4 4

Estudio de variables determinantes de eficiencia 12

Page 13: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Las variables de primer nivel que hacen referencia a los índices de posesiones culturales, recursos educativos y estatus económico, social y cultural se han centrado en la gran media13. El segundo nivel, que representa los centros, está también compuesto por variables que expresan determinadas características de los mismos, sus estadísticos descriptivos son los siguientes:

Tabla 5Estadísticos descriptivos de los predictores de los centros.

  PercentilesPercentilesPercentiles Mínimo Máximo Media Desv. típ.

 25 50 75

Mínimo Máximo Media Desv. típ.

Ratio de ordenadores destinados a la instrucción

0,053 0,080 0,133 0,013 0,720 0,105 0,079

Índice de responsabilidad en laasignación de recursos

-0,851 -0,396 0,969 -1,215 1,880 0,007 0,907

Índice de responsabilidad en elcurrículum y en la evaluación

-0,640 -0,084 1,028 -1,566 1,028 0,006 0,816

Índice de calidad de los recursoseducativos PISA 2006

-0,600 -0,145 0,618 -3,501 2,068 0,006 0,951

  Mínimo Máximo Mediana Moda

Ratio media 0 8 2 2Agrupación por habilidades

0 2 1 1

Las variables de segundo nivel que indican los índices de responsabilidad en la asignación de recursos, de responsabilidad en el currículum y en la evaluación y de calidad de los recursos educativos, de la misma forma que ocurría en determinadas variables de los alumnos, han sido centradas respecto a la gran media y, así, facilitar su interpretación.

Además, se han creado dos variables dummy, una para centros concertados y otra para privados, de esta forma se podrá comprobar la aportación diferencial al rendimiento de este tipo de centros, en comparación con los centros de titularidad pública.

Modelo nulo

El modelo nulo quedaría compuesto, en el primer nivel, de la siguiente forma:

En esta ecuación, Yij es el rendimiento en ciencias del alumno i de la escuela j; βoj es el rendimiento medio en ciencias para todos los alumnos de la escuela j; y es el efecto diferencial

del alumno i de la escuela j con respecto al rendimiento medio de su escuela. Este término aleatorio se distribuye de forma normal con media cero y varianza constante σ2

Para el nivel 2:

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 13

13 Se han calculado las puntuaciones diferenciales respecto a la media global, en cada variable.

Page 14: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Donde γ00 es el rendimiento medio general, en ciencia, para todas las escuelas; u0j es el efecto diferencial producido por la escuela j. Se distribuye de forma normal con media cero y varianza τ00.

Sustituyendo los coeficientes de nivel 2 en la ecuación de primer nivel:

Por lo tanto, la varianza del rendimiento de los estudiantes es:

Y el Coeficiente de Correlación Intraclase (CCI) sería:

Tabla 6Modelo Nulo.

MODELO NULO

EFECTOS FIJOSEFECTOS FIJOS

Predictores de Nivel 1

Intercept, β0503,044****

(1,547)EFECTOS ALEATORIOSEFECTOS ALEATORIOS

Nivel 1. R6333,316****

(79,582)

Nivel 2. u01231,179****

(3,509)Deviance 214479,375

Parámetros estimados 3

CCI (ρ) 0,16

****Sig. p<0,001

La estimación de este modelo índica la existencia de varianza sin explicar en el rendimiento de los alumnos (r=6333,316). Las escuelas explican un 16% de la varianza del rendimiento, como muestra la correlación intraclase, el resto es debido a los efectos de las variables del alumno y su entorno. A la vista de estos resultados el análisis jerárquico es conveniente.

Modelo con predictores de primer nivel

En la tabla siguiente aparecen los diferentes modelos estimados con predictores de nivel uno. Quedan reflejados los coeficientes de cada parámetro incluido en la parte fija del modelo y su error típico. También aparece en la tabla la varianza de cada nivel de agregación, el coeficiente de correlación intraclase, la razón de verosimilitud (deviance) y el número de parámetros significativos incluidos en la parte fija y aleatoria.

Estudio de variables determinantes de eficiencia 14

Page 15: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Tabla 7Modelos con predictores de Nivel 1 (parte 1).

MODELO NULO MODELO 1 MODELO 2

EFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOS

Predictores de Nivel 1

Intercept, β0503,044****

(1,547)500,520****

(1,558)473,157****

(1,771)

Sexo, β15,052****

(1,397)4,113****

(1,383)

Nivel educativo de la madre, β28,234****

(0,365)EFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOS

Nivel 1. R6333,316****

(79,582)6273,474****

(79,205)6097,002****

(78,083)

Nivel 2. u01231,179****

(3,509)1047,066****

(32,358)713,713****

(26,715)Deviance 214479,375 214442,712 213869,112

Parámetros estimados 3 5 7

CCI (ρ) 0,16 0,14 0,10****Sig. p<0,001; ***Sig. p<0,005; **Sig. p<0,01; *Sig. p<0,05

Tabla 8Modelos con predictores de Nivel 1 (parte 2).

MODELO 3 MODELO 4 MODELO 5 MODELO 6 MODELO 7

EFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOS

Predictores de Nivel 1

Intercept, β0475,801****

(2,940)447,917****

(2,443)454,257****

(2,410)460,049****

(2,425)482,142****

(2,940)

Sexo, β14,139***(1,362)

3,711**(1,348)

7,726****(1,316)

8,630****(1,316)

7,596****(1,295)

Nivel educativo de la madre, β2

8,374****(0,358)

7,856****(0,356)

6,016****(0,357)

5,831****(0,357)

0,815(0,489)

Condición de inmigrante del alumno, β3

-29,641****(1,916)

-27,687****(1,905)

-24,029****(1,846)

-23,575****(1,851)

-21,864****(1,850)

Uso de ordenador en casa, β4

8,681****(0,568)

7,987****(0,575)

6,369****(0,598)

5,012****(0,606)

Índice de posesiones culturales, β5

18,137****(0,755)

16,729****(0,760)

12,791****(0,805)

Índice de recursos educativos, β6

5,035****(0,799)

3,295****(0,774)

Índice de status económico, social y cultural PISA 2006, β7

15,419****(1,082)

EFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOS

Nivel 1. r5979,866****

(77,33)5898,163****

(76,800)5700,577****

(75,502)5643,246****

(75,122)5539,134****

(74,425)

Nivel 2. u0772,894****

(27,801)835,869*(28,911)

746,114*(27,315)

646,580****(25,428)

617,154****(24,843)

Deviance 213481,473 213227,203 212586,543 212498,551 212202,402

Parámetros estimados 9 10 11 13 15

CCI (ρ) 0,11 0,12 0,12 0,10 0,10****Sig. p<0,001; ***Sig. p<0,005; **Sig. p<0,01; *Sig. p<0,05; En negrita predictores centrados en la gran media.

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 15

Page 16: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Una vez introducidos los predictores de primer nivel podemos concluir que el modelo siete, ha conseguido reducir la varianza inexplicada en ambos niveles. Además, el modelo resulta significativo a p<0’05, la diferencia de la Deviance con el modelo anterior es de 296,149, con dos grados de libertad siguiendo una distribución chi cuadrado, su probabilidad es aproximadamente cero. La diferencia con el modelo nulo también resulta significativa a p<0’05, la resta de las Deviance es de 2276,972 con 12 grados de libertad y su probabilidad es cercana a cero.

Teniendo en cuenta la operativización de las variables del entorno del alumno, el intercepto de este modelo quedaría definido como el rendimiento de las chicas con madres sin estudios, nativos, que no usan ordenador en casa, con un nivel medio de recursos culturales y de recursos educativos en casa y, finalmente, con un nivel socioeconómico y cultural medio.

El predictor condición de inmigrante (INMIG) disminuye en 21,864 puntos el rendimiento en ciencias de los estudiantes de segunda generación respecto a los alumnos nativos, y el doble, es decir, 43,728 puntos para los estudiantes de primera generación. Las posesiones culturales en casa (CULTPOSS) aumentan en 1,28 puntos el rendimiento en ciencias por cada 0,1 puntos en dicha variable, lo cual resulta de gran importancia si consideramos que un 25% de los estudiantes obtienen 0,9 puntos en esta variable.

Un caso particular es lo que ocurre con la variable nivel de estudios de la madre (MISCED). Inicialmente influye positivamente en el rendimiento de los estudiantes, aumentándolo en 8,374 puntos por cada nivel de esta variable. No obstante, esta variable pierde su significatividad al introducir el estatus económico, social y cultural (ESCS). Esta pérdida se debe a que el estatus económico utiliza el nivel de estudios de la madre, entre otras variables, para el cálculo de su puntuación. De esta forma hemos podido comprobar el efecto de la multicolinealidad en los predictores del rendimiento y, por tanto, la necesidad de hacer una exhaustiva revisión previa de las variables que van a formar parte del modelo.

Con los predictores de primer nivel incluidos en el modelo se ha reducido la varianza de primer nivel en un 12,5% y la de nivel dos en casi un 50%. Esto quiere decir que las variables del alumno y su entorno reducen a la mitad la varianza del rendimiento entre escuelas, no obstante, todavía queda una parte significativa de varianza sin explicar. Además, la correlación intraclase se ha reducido a un 10%, es decir, los centros explican un 10% de la varianza del rendimiento de los alumnos, una vez introducidos los predictores de primer nivel.

Estudio de variables determinantes de eficiencia 16

Page 17: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Modelo con predictores de segundo nivel

Tabla 9Modelos con predictores de Nivel 2.

MODELO 8 MODELO 9 MODELO 10MODELO

FINALMODELO

FINALEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOSEFECTOS FIJOS

Predictores de Nivel 1

Intercept, β0486,938****

(3,017)492,072****

(2,998)490,988****

(2,976)490,999****

(2,949)490,999****

(2,949)

Sexo, β17,499****

(1,586)6,772****

(1,355)6,748****

(1,353)6,641****

(1,354)6,641****

(1,354)

Condición de inmigrante, β3-22,204****

(2,164)-21,395****

(1,857)-21,298****

(1,855)-21,372****

(1,857)-21,372****

(1,857)

Uso de ordenador en casa, β44,742****

(0,762)5,072****

(0,621)5,033****

(0,622)5,251****

(0,613)5,251****

(0,613)Índice de posesiones culturales, β5

12,188****(0,991)

12,686****(0,808)

12,679****(0,806)

12,681****(0,806)

12,681****(0,806)

Índice de recursos educativos en casa, β6

4,104****(0,940)

8,180****(1,485)

8,246****(1,482)

3,441****(0,789)

3,441****(0,789)

Índice de status económico, social y cultural, β7

16,279****(0,979)

16,458****(0,797)

16,277****(0,804)

16,277****(0,801)

16,277****(0,801)

Predictores de Nivel 2

Titularidad: Concertado, β01-9,702*(5,028)

-6,288*(2,472)

-6,141*(2,466)

-5,837*(2,468)-5,837*(2,468)

Titularidad: Privado, β0230,551**(10,177)

28,593**(10,427)

24,485*(10,365)

25,016*(10,197)25,016*(10,197)

Privado*Chico, β1214,343**(4,311)

14,369**(4,253)

14,297**(4,263)

14,441**(4,256)

14,441**(4,256)

Titularidad: Privado*Uso de ordenador en casaβ42

-5,601*(2,375)

-6,111*(2,398)

-6,107**(2,387)

-6,392**(2,330)

-6,392**(2,330)

Ratio de ordenadores destinados a la instrucción, β03

-55,121**(16,180)

-47,317**(15,984)

-48,623**(15,938)

-48,623**(15,938)

Índice de responsabilidad en la asignación de recursos, β04

4,545****(1,423)

5,453****(1,474)

5,453****(1,474)

Índice de responsabilidad en el currículumy en la evaluación, β05

-3,481*(1,583)-3,481*(1,583)

EFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOSEFECTOS ALEATORIOS

Nivel 1. R5582,443****

(74,716)5576,831****

(74,678)5575,334****

(74,668)5582,223****

(74,714)5582,223****

(74,714)

Nivel 2. u0599,235****

(24,479)593,704****

(24,366)589,579****

(24,281)582,032****

(24,125)582,032****

(24,125)Deviance 212149,150 212168,232 212152,635 212146,810212146,810

Parámetros estimados 17 18 20 2121

CCI (ρ) 0,097 0,096 0,096 0,0940,094****Sig. p<0,001; ***Sig. p<0,005; **Sig. p<0,01; *Sig. p<0,05; En negrita predictores centrados en la gran media.

Una vez modelizada la relación entre las diferentes variables, la ecuación final multinivel de rendimiento ha quedado definida tal y como se muestra a continuación:

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 17

Page 18: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Figura 1. Modelo final multinivel

El modelo final resulta significativo a p<0’05, la diferencia de la Deviance con el modelo anterior es de 5,825 con un grado de libertad siguiendo una distribución chi cuadrado, su probabilidad es aproximadamente 0,02. La diferencia con el modelo nulo también resulta significativa a p<0’05, la resta de las Deviance es de 2232,564 con 18 grados de libertad y su probabilidad es cercana a cero.

El intercepto de este modelo final quedaría definido como el rendimiento en ciencias de las chicos con madres sin estudios, nativos, que no usan ordenador en casa, con un nivel medio de recursos culturales y de recursos educativos en casa y, finalmente, con un nivel socioeconómico y cultural medio. Estos alumnos pertenecen a centros públicos con una ratio de ordenadores para la instrucción en la escuela (IRATCOMP), un índice de responsabilidad en la asignación de recursos (RESPRES) y un índice de responsabilidad sobre el currículum y la evaluación (RESPECURR) medio.

Respecto a los predictores de segundo nivel, la ratio de ordenadores para la instrucción en la escuela (IRATCOMP) disminuye en 4,86 puntos el rendimiento por cada 0,1 puntos en dicha ratio, es decir, a mayor ratio menor rendimiento, así el centro con la ratio más alta obtiene 27,72 puntos menos que aquellos con una ratio media. El índice de responsabilidad en la asignación de recursos produce un efecto estadísticamente significativo y positivo sobre el rendimiento de los alumnos, llegando poder aumentar la puntuación de los sujetos hasta en 0.545 puntos por cada 0.10 puntos de aumento de la responsabilidad en la asignación de recursos, el 25% obtiene al menos 0,96 puntos en esta variable.

Los centros privados obtienen 25 puntos más de media que los públicos, aunque para los chicos que estudian en dichos centros privados sólo son 14,441 puntos más. Los centros concertados obtienen 9,702 puntos más de media que los públicos. La variable uso del ordenador en casa (COMPUH), que produce un efecto positivo (aumenta en 5,251 puntos el rendimiento) sobre los alumnos y alumnas, cuando se cruza con la variable de segundo nivel que identifica los centros privados cambia de sentido, es decir, el alumnado de centros privados que utilizan el ordenador en casa obtienen 6,392 puntos menos de media.

El modelo con predictores de ambos niveles y con variables que relacionan dichos niveles consigue reducir la varianza inexplicada entre centros en un 52,7% y la de alumnos en un 11,9% aproximadamente. Así, hemos conseguido explicar la mitad de la varianza existente en el rendimiento en ciencias de los centros. No obstante, las variables de nivel dos sólo han conseguido reducir un 2,7% dicha varianza y nada de la de los estudiantes. La correlación intraclase se ha reducido a menos del uno por ciento y, por tanto, queda muy poca varianza en el rendimiento de los alumnos que se explique por factores del centro educativo.

Estudio de variables determinantes de eficiencia 18

Page 19: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

ConclusionesCualquier sistema educativo que persiga dirigir sus pautas de actuación hacia el logro de

una educación de calidad no puede perder de vista las relaciones de coherencia entre los diferentes elementos que conforman el sistema. De esta forma, tal y como señala De la Orden (1997), “la coherencia entre, por un lado, entradas y procesos y por otro, productos, define la calidad (…) como eficiencia”. La evaluación de esta relación, y con ello de la eficiencia educativa, debe buscar a través de la evidencia empírica la relación entre los recursos educativos que utiliza y los resultados que produce. En este sentido, han sido varios los autores (Hanushek, 1989, 1994; Hedges, Laine y Greenwald, 1994; Maradona y Calderón, 2004) que han centrado sus análisis en determinar en qué medida algunos de los indicadores del sistema educativo, ejes centrales de algunas reformas educativas, como el gasto por alumno, la experiencia del profesor, la formación del profesor, el salario del profesor o la ratio profesor-alumno producen o no un efecto significativo sobre el rendimiento de los alumnos.

Sin embargo, a pesar de los esfuerzos realizados, no se ha alcanzado un acuerdo sobre cuáles son las variables de entrada y de proceso que ejercen un efecto estadísticamente significativo sobre el rendimiento académico de los alumnos. Como razones de esta falta de consenso se pueden encontrar el desconocimiento de la forma exacta de la función de producción en el ámbito educativo y la utilización de modelos de regresión para establecer la relación entre los recursos y los resultados educativos sin tener en cuenta la naturaleza anidada de los datos.

Los obstáculos anteriores justifican que el objetivo fundamental de este trabajo haya sido analizar la significatividad de las relaciones entre las variables de entrada y de proceso educativo con el rendimiento académico de los alumnos, manteniendo en todo momento la estructura anidada de los datos. Con el fin de respetar esta estructura jerárquica los análisis oportunos han sido realizados a través de los Modelos Jerárquicos Lineales, estableciendo para ello dos niveles: en un primer nivel las variables relativas a los alumnos y en otro las variables asociadas a los centros educativos. Respecto a la muestra utilizada ha estado compuesta por las puntuaciones provenientes de los alumnos que participaron en la evaluación PISA 2006 en España.

Los resultados obtenidos evidencian como las variables de primer nivel relacionadas con el entorno socioeconómico y cultural de los alumnos, expresado a partir del índice de estatus económico, social y cultural (ESCS), del índice de recursos educativos del domicilio familiar (HEDRES) y del índice de posesiones culturales (CULTPOSS), producen diferencias estadísticamente significativas en su rendimiento en ciencias. Otra variable asociada a los recursos disponible en el hogar como es el uso de ordenadores en casa (COMPUH) también ejerce un efecto significativamente positivo sobre dicho rendimiento. Esta influencia del nivel socioeconómico de los alumnos sobre sus resultados académicos es consistente con los hallazgos de otros trabajos (Yeung, 2004; Ruiz de Miguel y Castro, 2006; Lizasoain et al., 2007, Navarro y Redondo, 2007).

Como consecuencia de estos resultados, es conveniente el control de este tipo de variables para aislar el efecto que producen sobre el rendimiento, ya que una vez controlado el contexto económico, social y cultural del alumno se podrá llevar a cabo una interpretación más válida de las variables de eficiencia educativa.

Respecto a las variables agrupadas dentro de Eficiencia-X (Levin, 1997), se observa que la responsabilidad en la asignación de recursos (RESPRES) por parte de los centros produce un efecto significativamente positivo en el rendimiento de los alumnos, es decir, los centros que tienen mayor libertad a la hora de asignar sus recursos obtienen mejor rendimiento. No obstante, la variable responsabilidad en el currículum (RESPCURR) por parte de los centros, refleja lo contrario, produciendo un ligero descenso del rendimiento de los alumnos en ciencias.

Otra de estas variables de eficiencia, específicamente relacionada con los recursos educativos en el centro, es la ratio de ordenadores destinados a la instrucción (IRATCOMP). Los resultados obtenidos muestran como una mayor ratio de ordenadores por alumnos produce un descenso del rendimiento en ciencias. Aunque a simple vista una orientación de la inversión hacia la disminución del número de ordenadores en los centros podría mejorar el rendimiento en

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 19

Page 20: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

ciencias, esta conclusión hay que tomarla con cautela ya que los resultados obtenidos podrían deberse a una relación no lineal entre ambas variables, es decir, que exista un punto en el que un mayor número de ordenadores por alumnos deje de ejercer un efecto positivo sobre el rendimiento pasando a ser negativo. Finalmente, es interesante señalar como los predictores ratio profesor alumno (CLSIZE1), agrupación por capacidad en las aulas (ABGROUP) e índice de calidad de los recursos educativos en la escuela (SCMATEDU) no han producido diferencias estadísticamente significativas sobre el rendimiento en ciencias. Como se analizó en el apartado dedicado a las variables introducidas en el estudio, el índice de calidad de los recursos educativos se construyó a partir de las respuestas de los directores de los centros a cuestiones relacionadas con la escasez o inadecuación de diferentes recursos educativos, por tanto, si se analizan los estadísticos descriptivos de esta variable (Tabla 10) para los distintos tipos de centro (público, concertado y privado), se observa como a medida que los centros dependen más de la financiación pública su valoración hacia los recursos de su centro va decreciendo. Por este motivo y debido a que la mayor parte de la muestra son centros públicos y concertados, la afirmación de que los recursos educativos en los centros no influye en el rendimiento en ciencias hay que tomarla con precaución.

Tabla 10Índice de calidad de los recursos educativos por titularidad del centro

N Mínimo Máximo Media Desv. Típ.Privado 40 -1,1399 2,1351 0,428 0,928Concertado 234 -1,9343 2,1351 0,106 0,853Público 366 -3,4335 2,1351 0,003 0,997

Como se ha podido observar a lo largo de esta exposición, el conocer la manera en que las variables de entrada y de proceso del sistema educativo se relacionan con los resultados que allí se obtienen es fundamental a la hora de tomar decisiones que permitan aumentar la eficiencia educativa de las instituciones y, con ello, alcanzar unos niveles de calidad óptimos para los diferentes sistemas educativos. Sin embargo, debemos ser conscientes de la dificultad que conlleva intervenir sobre algunas de las variables relacionadas con el rendimiento académico de los alumnos, fundamentalmente las que hacen referencia al contexto familiar del alumno y a las habilidades y capacidades del sujeto, aunque sí pueden darse orientación a las familias sobre el tipo de recursos educativos que pueden mejorar el rendimiento de sus hijos. Por otro lado, existe todo otro conjunto de variables sobre las que sí es posible ejercer algún tipo de influencia y control con la finalidad de aumentar la eficiencia de los centros y con ello la productividad educativa, por ejemplo, la autonomía de gestión de recursos en los centros o el número de ordenadores dedicados a la enseñanza. También se extrae de estos resultados la necesidad de medidas prioritarias de atención al alumnado inmigrante, ya que se encuentran en una clara desventaja.

Estudio de variables determinantes de eficiencia 20

Page 21: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Anexo 1: Operativización de las variables

Variable Nombre Valores

GENDER Sexo0 = Femenino1 = Masculino

MISCED Nivel educativo de la madre

0 = Ninguno1 = ISCED 12 = ISCED 23 = ISCED 34 = ISCED 45 = ISCED 56 = ISCED 6

IMMIG Status de inmigrante0 = Nativo1 = Segunda generación2 = Primera generación

COMPUH Uso del ordenador en casa

0 = Nunca1 = Una vez al mes o menos2 = Pocas veces al mes3 = Una o dos veces a la semana4 = Casi todos los días

CULTPOSS Índice de posesiones culturales en casaVariable construida mediante TRI. Valores positivos en la escala indican mayor nivel de posesiones culturales en casa. Centrada en la gran media

HEDRES Índice de recursos educativos en casaVariable construida mediante TRI. Valores positivos en la escala indican mayor nivel de recursos educativos en casa. Centrada en la gran media

ESCSÍndice de status económico, social y cultural PISA 2006

Variable construida mediante TRI y normalizada. Centrada en la gran media

SCHLTYPE TitularidadSe han creado dos variables dummy :a. Privado: 1. privado; 0. público y concertado.b. Concert: 1. concertado; 0. público y privado.

CLSIZE1 Ratio media

0 = 15 estudiantes o menos1 = De 16 a 20 estudiantes2 = De 21 a 25 estudiantes3 = De 26 a 30 estudiantes4 = De 31 a 35 estudiantes5 = De 36 a 40 estudiantes6 = De 41 a 45 estudiantes7 = De 46 a 50 estudiantes8 = Más de 50 estudiantes

ABGROUPAgrupación por habilidades dentro de la escuela

0 = Para ninguna asignatura1 = Para alguna asignatura2 = Para todas las asignaturas

IRATCOMPRatio de ordenadores destinados a la instrucción por tamaño de la escuela

Número de ordenadores dedicados a la enseñanza divididos entre el total de alumnos del centro.

RESPRESÍndice de responsabilidad en la asignación de recursos

Variable construida mediante TRI. Valores positivos en la escala indican mayor responsabilidad en este aspecto. Centrada en la gran media

RESPCURRÍndice de responsabilidad en el curriculum y en la evaluación

Variable construida mediante TRI. Valores positivos en la escala indican mayor responsabilidad en este aspecto. Centrada en la gran media

SCMATEDUÍndice de calidad de los recursos educativos PISA 2006

Variable construida mediante TRI. Valores positivos en la escala indican impresiones positivas en ese aspecto. Centrada en la gran media

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 21

Page 22: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Referencias

Bryk, A. S., Raudenbush, S.W., Seltzer, M., & Congdon, R.T. (1988). An introduction to HLM: computer program and user´s guide. Chicago: University of Chicago.

Bryk, A. S., Raudenbush, S.W., & Congdon, R.T. (1996). Hierarchical linear and nonlinear modeling with the HLM/2L and HLM/3L programs. Chicago: SSI

Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, A. M., Weinfeld, F. D. & York, R. L. (1966). Equality of educational opportunity (2 vols.). Washington, DC: US Government Printing Office.

Comisión Europea (2001). European report on the quality of school education. Sixteen quality indicators. Luxemburgo: Office for official publications of the European Communities. Recuperado el 19 de enero de 2008 de http://ec.europa.eu/education/policies/educ/indic/rapinen.pdf

Comisión de las Comunidades Europeas (2003). Invertir eficazmente en educación y formación: un imperativo para Europa. Recuperado el 21 de abril de 2007 de http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2002:0779:FIN:ES:PDF

Comisión de las Comunidades Europeas (2007). Un marco coherente de indicadores y puntos de referencia para el seguimiento de los avances hacia los objetivos de Lisboa en el ámbito de la educación y la formación. Recuperado el 22 de abril de 2007 de http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2007:0061:FIN:ES:PDF

De La Orden, A. (1988). La calidad de la educación. Bordón 40 (2), pp.149-161.De La Orden, A.; Asensio, I.; Carballo, R.; Fernández, J.; Fuentes, A; García, J. M.; Guardia, S. &

Navarro, M. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativas, 3 (1). Consultado el 5 de mayo de 2007 de http://www.uv.es/relieve/v3n1/RELIEVEv3n1_2.htm

Delparto, M. (1999). Determinantes del rendimiento educativo del nivel primario aplicando la técnica de análisis multinivel. Córdoba: IERA.

Fuligni, A. & Yoshikawa, H. (2003). Socioeconomic resources, parenting, and child-development among immigrant families. En M.H. Bornstein, & R.H. Bradley (Eds.), Socioeconomic Status, Parenting, and Child Development (pp. 107-124), Mahwah, NJ: Erlbaum.

Gaviria, J.L. & Castro, M. (2005). Modelos jerárquicos lineales. Madrid: La muralla.Gaviria, J. L.; Martínez-Arias, R. & Castro, M. (2004). Un Estudio Multinivel Sobre los Factores

de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil. Education Policy Analysis Archives, 12 (20). Recuperado el 10 de marzo de 2005 de http://epaa.asu.edu/epaa/v12n20/.

García Garrido, J.L., et al., (1998). Elementos para un diagnóstico del sistema educativo español. El sistema educativo en el último tramo de la escolaridad obligatoria. Madrid: INCE

Goldstein, H. (1987). Multilevel models in educational and social research. New York: Oxford University Press.

Goldstein, H. (1995). Multilevel statistical models. London: Edward Arnold.González Galán, A. (2000). Calidad, eficacia y clima en centros educativos: Modelos de evaluación y relaciones

causales. Tesis Doctoral inédita. Madrid: Universidad Complutense de Madrid.Hanushek, E. A. (1979). Conceptual and Empirical Issues in the Estimation of Educational

Production Functions. The Journal of Human Resources, 4 (3), pp. 351-388.Hanushek, E. A. (1986). The economic of schooling: production and efficiency in public

schools. Journal of Economic Literature, 24 (3), pp. 1141-1177.Hanushek, E. A. (1989). The impact of differential expenditures on school performance.

Educational Researcher, 18 (4), pp. 45-51. Hanushek, E. A. (1994). Making Schools Work. Washington, D.C.: Brookings Institution Press.Hanushek, E. A. et al. (1996). Aggregation and the estimated effects of school resources. The

Review of Economics and Statistics, 78 (4), pp. 611-627.

Estudio de variables determinantes de eficiencia 22

Page 23: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Hanushek, E. A. (1998). The Evidence on Class Size. (Occasional Paper Nº 98-1.) NY: University of Rochester, W. Allen Wallis Institute of Political Economy. Consultado el 24 de junio de 2005 en http://www.edexcellence.net/library/size.html.

Hanushek, E. A. & Luque, J. (2000). Smaller Classes, Lower Salaries? The Effects of Class Size on Teacher Labor Markets. En S. W. M. Laine & J.G. Ward (Eds.), Using What We Know: A Review of the Research on Implementing Class-Size Reduction Initiatives for State and Local Policymakers (pp. 35-51). Oak Brook, IL.: North Central Regional Educational Laboratory.

Hedges, L.V., Laine, R.D., & Greenwald, R. (1994). Does Money Matter? A Meta-Analysis of Studies of the Effects of Differential School Recursos on Student Outcomes. Educational Researcher, 23(3), pp.5-14.

Instituto de Evaluación, (2007). PISA 2006. Programa para la evaluación internacional de los alumnos de la OCDE. Informe Español. Madrid: Ministerio de Educación y Ciencia.

INECSE (2006). Manual de análisis de datos de PISA 2003: usuarios de SPSS. Madrid: Ministerio de Educación y Ciencia.

Levels, M., Dronkers, J., & Kraaykamp, G. (2008). Immigrant Children’s Educational Achievement in Western Countries: Origin, Destination, and Community Effects on Mathematical Performance. American Sociological Review, 73, pp. 835-853.

Levin, H. M. (1996). Aumentando la productividad educativa. En J. Grao y A. Ipiña (eds.): Economía de la Educación. Temas de estudio e investigación. (pp. 47-62). Vitoria: Servicio Central de Publicaciones del Gobierno Vasco.

Levin, H. M. (1997). Raising School Productivity: an X-Efficiency Approach. Economics of Education Review,16 (3), pp. 303-311.

Levin, H. M. (2002). The cost effectiveness of whole school reforms. New York: Teachers College, Columbia University

Lizasoain, L., Joaristi, L., Lukas, J. F. & Santiago, K. (2007). Efectos contextuales del nivel socioeconómico sobre el rendimiento académico en la educación secundaria obligatoria en la Comunidad Autónoma Vasca (España). Estudio diferencial del nivel socioeconómico familiar y el del centro escolar. Archivos Analíticos de Políticas Educativas, 15 (8). Recuperado el 2 de abril de 2008 de: http://epaa.asu.edu/epaa/v15n8/.

Maradona, G. & Calderón, M. (2004). Una aplicación del enfoque de la función de producción educativa, Revista de Economía y Estadística, 42 (1), pp. 1-30.

Ministerio de Educación y Ciencia (2006). Datos Básicos de la Educación en España en el Curso 2006/2007. Madrid: Subdirección General de Información y Publicaciones. Consultado el 23 de Noviembre de 2006 en: http://www.oei.es/quipu/espana/datos_basicos2006_2007.pdf

Muñoz-Repiso, M., Cerdán, J., Murillo, F.J., Calzón, J., Castro, M., Egido, I., García, R. & Lucio-Villegas, M. (1995). Calidad de la educación y eficacia de la escuela. Estudio sobre la gestión de los recursos educativos. Madrid: CIDE.

Murillo, F. J. (2005). La investigación sobre Eficacia escolar. Barcelona: Octaedro.National Center for Policy Analysis (2000), Does reducing class size improve education? Recuperado el

28 de febrero de 2008 de: http://www.ncpa.org/sub/dpd/?Article_ID=9487&page=article

Navarro, E. & Redondo, S. (2007). Estudio sobre el Rendimiento en Matemáticas en España a partir de los Datos del Informe PISA 2003. Un Modelo Jerárquico de Dos Niveles. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 5 (3), pp.118-136. Recuperado el 20 de enero de 2008: http://www.rinace.net/arts/vol5num3/art13.pdf.

OCDE (2006). Are Students Ready for a Technology-Rich World? What PISA Studies Tell Us. París: OCDE. Recuperado el 24 de abril de 2008 de: http://www.oecd.org/dataoecd/28/4/35995145.pdf

OCDE (2008). Informe PISA 2006: competencias científicas para el mundo del mañana. Madrid: Santillana.

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 23

Page 24: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Pritchett, L & Filmer, D. (1999). What education production functions really show: a positive theory of education expenditures. Economics of Education Review, 18(2), pp. 223-239

Raudenbush, S. W. & Bryk, A. S. (2002). Hierarchical linear models: applications and data analysis methods (2ª Edición). Newbury Park, CA: Sage.

Ruiz, C. & Castro, M. (2006). Un estudio multinivel basado en PISA 2003: factores de eficacia escolar en el área de matemáticas. Archivos Analíticos de Políticas Educativas 14 (29). Recuperado en 20 de diciembre de 2008 de http://epaa.asu.edu/epaa/v14n.29.

Slavin, R. (1990). Class size and student achievement: is smaller better?.Contemporary education, 62 (1), pp. 6-12.

Worthington, A. C. (2001). An empirical survey of frontier efficiency measurement techniques in education. Education Economics, 9 (3), pp. 245-268.

Yeung, W. J. (2004). Fathers: An Overlooked Resource for Children's School Success. En D. Conley & K. Albright (Eds.) After the Bell: Solutions Outside the School. Londres: Routledge Press.

Acerca de los autores: Esther López Martin: Licenciada en Pedagogía por la Universidad Complutense de Madrid y Especialista en Gestión de Recursos Humanos por el Centro de Estudios Financieros. Actualmente disfruta de una beca para la Formación del Profesorado Universitario en el Departamento de Métodos de Investigación y Diagnóstico en Educación de la Universidad Complutense de Madrid. Sus líneas de trabajo son: Análisis de la Eficiencia y la Productividad en el Sector Educativo, Evaluación de Sistemas Educativos, Modelos de Valor Añadido en Educación y Técnicas de Análisis Multinivel. Ha sido profesora en la Universidad Camilo José Cela (Madrid).

Enrique Navarro AsencioLicenciado en Pedagogía e Investigador en el área de métodos de investigación y diagnóstico en educación. Miembro del grupo “Medida y Evaluación de Sistemas educativos” (MESE) de la Universidad Complutense de Madrid y colaborador del Centro de Investigación y Documentación Educativa (CIDE). Sus líneas de trabajo son: Evaluación de Sistemas Educativos, Modelos de Valor Añadido en Educación y Técnicas de Análisis Multinivel.

Xavier G. Ordoñez CamachoMáster en Metodología de las Ciencias del Comportamiento y de la Salud por la Universidad Autónoma de Madrid. Actualmente es profesor ayudante en el Departamento de Métodos de Investigación y Diagnóstico en Educación de la Universidad Complutense de Madrid. Sus líneas de trabajo son: Aplicación de modelos de valor añadido en los sistemas educativos, modelos de teoría de respuesta al ítem y estadísticos para la detección de copiadores en pruebas de selección múltiple. Ha sido profesor en la Universidad Nacional de Colombia y en la  Universidad de los Andes (Colombia), entre otras.

Sonia J. Romero MartínezMáster en Metodología de las Ciencias del Comportamiento y la Salud por la Universidad Autónoma de Madrid. Especialista en Estadística por la Universidad Nacional de Colombia. Asistente de Investigación Universidad Autónoma de Madrid. Líneas de Investigación: Psicometría, modelos de diagnóstico cognitivo y validez. Ha sido profesora de la Universidad de los Andes (Colombia), Universidad Cooperativa de Colombia, entre otras.

Estudio de variables determinantes de eficiencia 24

Page 25: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

Archivos Analíticos de Políticas Educativas http://epaa.asu.edu

EditorGustavo E. Fischman Arizona State University

Hugo Aboites UAM-Xochimilco, México

Armando Alcántara SantuarioCESU, México

Claudio Almonacid AvilaUMCE, Chile

Dalila Andrade de Oliveira UFMG, Brasil

Alejandra Birgin FLACSO-UBA, Argentina

Sigfredo ChiroqueIPP, Perú

Mariano Fernández Enguita Universidad de Salamanca. España

Gaudêncio Frigotto UERJ, Brasil

Roberto LeherUFRJ, Brasil

Nilma Lino Gomes UFMG, Brasil

Pia Lindquist WongCSUS, USA

María Loreto Egaña PIIE, Chile

Alma MaldonadoUniversity of Arizona, USA

José Felipe Martínez FernándezUCLA, USA

Imanol OrdorikaIIE-UNAM, México

Vanilda PaivaUERJ, Brasil

Miguel A. Pereyra Universidad de Granada, España

Mónica Pini UNSAM, Argentina

Romualdo Portella de OliveiraUniversidade de São Paulo, Brasil

Paula RazquinUNESCO, Francia

José Ignacio Rivas FloresUniversidad de Málaga, España

Diana RhotenSSRC, USA

José Gimeno SacristánUniversidad de Valencia, España

Daniel Schugurensky UT-OISE Canadá

Susan StreetCIESAS Occidente,México

Nelly P. StromquistU-Maryland, USA

Daniel Suárez LPP-UBA, Argentina

Antonio TeodoroUniversidade Lusófona, Lisboa

Jurjo Torres SantoméUniversidad de la Coruña, España

Lílian do Valle UERJ, Brasil

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 25

Page 26: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

EDUCATION POLICY ANALYSIS ARCHIVES http://epaa.asu.edu

Editor: Sherman Dorn, University of South Florida

Production Assistant: Chris Murrell, Arizona State UniversityGeneral questions about appropriateness of topics or particular articles may be addressed to the Editor, Sherman Dorn, [email protected].

Editorial BoardNoga Admon Jessica Allen

Cheryl Aman Michael W. Apple

David C. Berliner Damian Betebenner

Robert Bickel Robert Bifulco

Anne Black Henry Braun

Nick Burbules Marisa Cannata

Casey Cobb Arnold Danzig

Linda Darling-Hammond Chad d'Entremont

John Diamond Amy Garrett Dikkers

Tara Donohue Gunapala Edirisooriya

Camille Farrington Gustavo Fischman

Chris Frey Richard Garlikov

Misty Ginicola Gene V Glass

Harvey Goldstein Jake Gross

Hee Kyung Hong Aimee Howley

Craig B. Howley William Hunter

Jaekyung Lee Benjamin Levin

Jennifer Lloyd Sarah Lubienski

Les McLean Roslyn Arlin Mickelson

Heinrich Mintrop Shereeza Mohammed

Michele Moses Sharon L. Nichols

Sean Reardon A.G. Rud

Ben Superfine Cally Waite

John Weathers Kevin Welner

Ed Wiley Terrence G. Wiley

Kyo Yamashiro Stuart Yeh

Estudio de variables determinantes de eficiencia 26

Page 27: Estudio de variables determinantes de eficiencia a través de los modelos jerárquicos lineales en la evaluación PISA 2006: el caso de España

EDUCATION POLICY ANALYSIS ARCHIVES http://epaa.asu.edu

New Scholar BoardEnglish Language Articles

2007–2009

Wendy Chi Corinna Crane

Jenny DeMonte Craig Esposito

Timothy Ford Samara Foster

Melissa L. Freeman Kimberly Howard

Nils Kauffman Felicia Sanders

Kenzo Sung Tina Trujillo

Larisa Warhol

Archivos Analíticos de Políticas Educativas Vol. 17, No. 16 27