Ponencia: abstve04.(diaz)

EVALUACIÓN DE LA CALIDAD DE LOS MATERIALES EDUCATIVOS MULTIMEDIALES

Luis Fernando Díaz lfdiaz@uned.ac.cr

En el campo de las nuevas tecnologías aplicadas a la producción de materiales educativos, en relación con la evaluación y el control de calidad, se han efectuado diversas experiencias y se han publicado algunos trabajos a lo largo de los últimos diez años. Una característica frecuente de estos textos es la propuesta de esquemas teóricos, bastante estructurados y compuestos por diversos criterios y estándares (Cabero y Duarte, 1999; Cabero y Márquez, 1999; Díaz, 2003; Galvis, 1994). Sin embargo, varios de estos modelos carecen de referencias empíricas concretas: se nota especialmente la ausencia de una práctica continuada, de seguimiento sobre objetos relativamente estables y que faciliten el ejercicio de comparaciones.

En cambio, en las empresas y en las unidades funcionales encargadas de la producción, se encuentran, generalmente como parte de la organización habitual, aparatos y sistemas de control de la calidad. En la Universidad Estatal a Distancia (UNED) de Costa Rica, las tareas regulares de evaluación de materiales educativos multimediales se llevan a cabo en el Programa de Producción Electrónica Multimedial (PEM), como parte del proceso de producción de materiales didácticos.1

Los resultados del trabajo realizado en la UNED desde 1999 hasta finales del año 2002, fueron expuestos en el Congreso Calidad, tecnología y valores. X Encuentro Iberoamericano, realizado en San José en julio de 2003 (Díaz, 2003). En esa oportunidad se presentó el conjunto de estándares organizados como un modelo con la finalidad de facilitar, esencialmente, el control de calidad de la producción de multimedia.

Con base en esa experiencia, durante el último año, en el PEM se han llevado a cabo diversas actividades de aplicación del modelo de evaluación de materiales multimediales. Estas pueden clasificarse, por lo menos, en tres grupos.

El primero de los grupos se refiere al uso del modelo y de los estándares como una operación ordinaria y recurrente dentro de las actividades de producción. Durante el periodo se produjeron en el PEM once materiales diferentes. No todos aspiraban a ser cursos o programas educativos: algunos son memorias de congresos y seminarios u otros informes. A lo largo de la preparación de todos ellos se siguieron, sistemáticamente, las listas de control provistas por el modelo. Los controles se incluyeron a lo largo de las etapas de producción, una vez que se habían usado como esquema para el planeamiento, y eventualmente, para la preparación del guión de producción (o storyboard, en algún caso).

El segundo grupo corresponde a la evaluación en sí misma. Aunque se realizaron diversas actividades parciales sobre productos incompletos o sobre áreas de especial interés en un momento dado, si se examinaron tres productos completos usando la metodología exhaustivamente. Uno de estos trabajos fue la preparación de un multimedia de carácter evaluativo (un multimedia de segundo grado, podría decirse, o “multimedia sobre el multimedia”). Otro, fue la revisión de un producto realizado en otra dependencia de la Universidad en condiciones de ausencia total de controles. Y, finalmente, la evaluación de un curso preparado por una organización totalmente independiente: la Escuela Judicial de la Corte Suprema de Justicia. En este último se trataba de evaluar el curso “Pensiones Alimentarias”, un programa de formación dirigido a jueces en el campo de abandono familiar. Además de la 1 El Programa de Producción Electrónica Multimedial (PEM) de la Universidad Estatal a Distancia

(UNED) fue creado mediante acuerdo del Consejo Universitario, del 3 de abril de 1998, con la responsabilidad institucional de “producir materiales didácticos utilizando tecnologías que apoyen el proceso de enseñanza y aprendizaje a distancia” (Acta No. 1321-98). Además, al PEM “le corresponde asesorar a las escuelas universitarias en diseño curricular de carreras y asignaturas desde la perspectiva de la producción multimedial” (Anexo No. 3 al Acta No. 1371-99, 17 de febrero de 1999).

1

evaluación, para equiparar competencias, fue necesario realizar un programa de capacitación para funcionarios de la Escuela Judicial de variada procedencia profesional: pedagogos, abogados, diseñadores gráficos, informáticos, expertos en audiovisuales, sicólogas, etcétera. Marginalmente, se han evaluado también algunos textos denominados “libros electrónicos”, así como numerosos materiales producidos por otras universidades o empresas comerciales. Las finalidades que se seguían con la evaluación de los últimos abarcan tanto las decisiones de adopción para cursos en la Universidad, como la revisión con propósitos de aprendizaje interno.

En el tercer grupo se encuentran los informes (en disco compacto) de las evaluaciones realizadas en tres carreras universitarias, con el fin de procurar la acreditación. Las características de estos productos condujeron a que el ejercicio realizado, más allá del simple perfeccionamiento de las condiciones del informe en su versión multimedial, se reflejaran, como resultados de una metaevaluación, en cambios y algunas mejoras, del producto en tanto que evaluación de programas. Es decir, que el proceso de control de calidad transcendió los aspectos formales y tuvo un impacto sobre el contenido de los informes.

En esta ponencia se acomete un análisis del modelo desarrollado en el PEM a lo largo de cuatro años entre 1999 y 2004. Y se estudia la forma en que el procedimiento, componente por componente, fue siguiéndose en casos ejemplares de cada uno de los tres tipos enumerados arriba.

1. Límites de esta propuesta Dadas las condiciones internas de la producción, la cantidad y el tipo de productos, y la naturaleza de la actividad del PEM, así como el uso incipiente y restringido de este tipo de recursos en los programas universitarios, los propósitos y el alcance de este trabajo están claramente establecidos.

- Se utiliza una muestra de catorce trabajos realizados por el PEM, cuyas características se van describiendo a lo largo del texto. Deben sumarse otros tres trabajos en que la tarea del PEM consistía estrictamente en la evaluación.

- La evaluación está restringida al análisis de condiciones técnicas sobre las que existe suficiente documentación externa de criterios de calidad que permitan confrontar la actividad local con experiencias en otros contextos.

Una característica muy llamativa de los multimedia es lo poco que se sabe sobre ellos. Aunque en realidad, se sabe mucho, tal vez demasiado, pero no sobre la dimensión de ellos que más interesa a la educación. Por ejemplo, se conocen y se han documentado en profusos manuales las condiciones técnicas de la producción; es vastísima la bibliografía disponible sobre el diseño computacional (el uso estricto del software), y sobre aspectos concretos del diseño gráfico, como teoría y uso del color, diagramación, tipografía, ingeniería del sonido, diseño tridimensional, animación de imágenes, etc. También se sabe el enorme atractivo que ejercen sobre los usuarios los productos con riqueza visual y sonora, como los juegos electrónicos; y se cuenta con estimaciones significativas del impacto sobre la conducta de los individuos de los mensajes reforzados mediante el uso de lenguajes alternativos y múltiples.2 Pero, en el balance, lo que se conoce sobre la bondad del aprendizaje y sobre el aprovechamiento escolar con la utilización (o en ausencia) de recursos multimediales es notablemente exiguo.

- Se evita la consideración de aspectos relacionados con la socialización y adopción de los materiales, así como en relación con el impacto que puedan haber tenido sobre el aprendizaje. A pesar de que esta particularidad no se profundiza en este texto, cabe aclarar que los tutores y encargados de cátedra que han utilizado los multimediales producidos en el PEM, se expresan positivamente sobre la experiencia, y le atribuyen al material incidencia sobre el rendimiento y el aprovechamiento de los alumnos.

2 La propaganda goebbeliana se cita como el ejemplo característico y paradigmático

2

Con esta propuesta se pretende llenar la necesidad de un modelo integral, dado que un problema recurrente es la falta de generalidad de los instrumentos disponibles. La mayoría de ellos presentan modos o énfasis en la evaluación que responden a los intereses particulares de los autores. Algunos proponen listas de comprobación de condiciones de operación de los multimedia que no son dimensiones de la evaluación, sino, como se verá más adelante, criterios mínimos de funcionamiento. Otros enfocan aspectos muy concretos y depositan su énfasis en aspectos separados, como la evaluación del proceso de creación (a veces del proceso como si fuera estrictamente “técnico computacional”), el uso y, ocasionalmente, el impacto. Otros se centran en las finalidades de los materiales; por ejemplo: formar versus informar. Esta diversidad no es mala, pero acentúa la conveniencia de contar con un enfoque integrador; y reitera la necesidad de clarificar los alcances de esta propuesta, como se indica en estos párrafos.

El modelo que se ha desarrollado es sencillo: consiste de tres categorías en que se clasifican las dimensiones a evaluar para comprobar la calidad de la producción multimedial. Esas son:

- Las condiciones de partida.- Los determinantes de la calidad.- Las variables y los criterios de evaluación de la calidad.

Este modelo parte de la consideración de que la calidad es un resultado y no una variable. Que las características evaluables de los productos son pocas y los criterios que se les aplican son sencillos y se mueven dentro de un reducido rango de valores. Esa visión modifica la importancia del proceso de diseño y elaboración de los materiales. Destacan, como momentos claves, las actividades de preparación de la producción; las condiciones previas, las decisiones que regulan y proveen el marco para las actividades ulteriores son las más importantes y se convierten en la estructura dentro de la cual se crea y se produce. Parte de dichas condiciones de partida son los aspectos “suaves” propios de los resultados, como la “comunicabilidad”; y parte son aspectos más concretos, como la disponibilidad de facilidades de realización (los “programas autor”, por ejemplo). Ambos aspectos están relacionados muy estrechamente. Pero lo clave para la evaluación es que una estructura como ésta no puede esperarse que surja, aleatoriamente, al final del proceso. Es, al contrario, una condición “de arranque”. De la misma forma se identifica el papel de la planificación de los procesos: es innegable la trascendencia del plan en relación con la calidad; pero se sabe que el plan no se puede evaluar (y mejorar) desde los productos, y que debe hacerse como parte del proceso, como una condición previa o determinante.

2. Las condiciones de partidaExiste un conjunto de características de los multimedia que no deben ser objeto de la evaluación, sino que deben considerarse como condiciones previas o condiciones de ingreso al “sistema evaluación”. Sin entrar en consideraciones sobre la bondad, la belleza o cualquier otro de los atributos que podrían ser objeto de la calificación, antes de iniciar tal valoración, es obligado realizar una comprobación de las propiedades o rasgos comunes con que deben contar todos los multimedia.

Lo primero es la verificación de que el material “funciona”. Aunque el medio físico no es importante en ninguna otra fase del proceso de evaluación, en ésta es central, dado que propio del multimedia es su presentación y acceso en discos compactos (CD), la fase previa a la valoración debe iniciarse con la comprobación de que el CD es “leído” sin problemas en las máquinas (computadoras) para las que ha sido diseñado y divulgado. Desde la perspectiva del diseño y la programación se debe comprobar que las facilidades utilizadas y los productos elaborados con ellas, y que forman parte del multimedio, pueden ser “abiertas” o “accesadas” sin dificultad utilizando un equipo con la memoria mínima prevista y con idénticas facilidades instaladas (software). Se trata de comprobar el funcionamiento de componentes o procesos tales como “arranque automático” (CD autoejecutables), cortinas o pantallas de entrada animadas y musicalizadas, operación de otras animaciones, y desempeño de menús o

3

botoneras, directorios y vínculos, entre otros. Obviamente, las facilidades necesarias para la lectura y el funcionamiento deberán considerarse parte del diseño y del producto.3

Aunque para la evaluación pedagógica son condiciones mínimas de operación, la existencia y la compatibilidad de las facilidades, así como algunas características específicas de ellas en términos de su potencial o capacidades, son objeto de control y evaluación durante el proceso. Es difícil identificar esas características más allá de un concepto flexible de “generación”, frecuentemente el nombre popular y a veces la marca del software. Pero, como condición general, puede afirmarse que para producir multimedia se requiere en la actualidad de un “programa autor” de última generación que permita la programación dinámica y en tiempo real.4 Pero este factor depende también del entrenamiento y de la destreza de los realizadores o diseñadores, así como de la comunicación y la estructura de liderazgo en los distintos equipos de trabajo. En el caso del Curso de Pensiones Alimentarias, uno de los hallazgos significativos fue comprobar que existía una gran distancia entre las decisiones de diseño y la expresión de esas decisiones como parte del producto; en contraste, en el PEM opera casi automáticamente, sin transición, la ejecución de los cambios y su evaluación.

En relación con el equipo o hardware las condiciones deben ser equivalentes. La calidad de los multimedia no es un concepto que pueda valorarse en abstracto, sino que debe hacerse en función de los equipos para los que fueron diseñados. Por eso, para los multimedia que se encuentran disponibles en los mercados en la actualidad, la computadora debe contar con un procesador potente y veloz, memoria “RAM” suficiente para realizar multitareas incluyendo el manejo simultáneo de procesos de cálculo, imágenes animadas y programas de audio.5 Otro requisito es contar con suficiente capacidad de memoria en disco para almacenar numerosos programas muy elaborados, así como aplicaciones y archivos -de texto, imágenes y sonido- muy grandes. También debe contar con un buen reproductor de discos compactos (CD ROM), que sea rápido y que no distorsione la lectura, y con unidades de video de alta resolución y de audio de alta fidelidad. Finalmente, las velocidades de acceso entre los distintos componentes deben ser compatibles, de manera que no se produzcan cuellos de botella.

No debería sorprender el comprobar que la falla más recurrente en las sesiones de capacitación con el grupo de la Escuela Judicial, fue la ausencia de facilidades tanto de hardware como software para hacer funcionar los multimedia. Del mismo modo, se ha sufrido idéntica deficiencia en la presentación de los trabajos finales de graduación de los estudiantes de la Maestría en tecnología educativa con énfasis en la gestión de medios instruccionales de la UNED (2004).

3. Los determinantes de la calidadEl eje de la producción multimedial es el proceso que se conoce como realización. Su importancia radica especialmente en que sus resultados son los objetos con los que el usuario entra habitualmente en contacto y, precisamente por eso, es el aspecto que con frecuencia se convierte en el blanco de las críticas o, por lo menos, de los análisis parciales. La realización multimedial incluye labores de programación, de ilustración, de diseño gráfico, de diseño digital y de animación, entre otras, y exige conocimientos especializados y destreza en el uso de técnicas de planificación, de comunicaciones, de informática y telemática, de artes gráficas y de dibujo, aparte conocimientos especializados sobre temas particulares en cada caso.

3 Muchos multimedia contienen software de libre acceso o medios para adquirirlo. Versiones actualizadas de navegadores en la WWW y de facilidades como Flash Player® o Adobe Reader® son las que se incluyen habitualmente.

4 Se trata típicamente de programas como Macromedia Director®, aunque, para ciertos productos, pueden utilizarse software similares a Dreamweaver® o, con limitaciones, Adobe Acrobat®.

5 “Obtener este nivel de rendimiento con un moderno PC dependerá principalmente del procesador, el chipset, la tarjeta de gráficos y la memoria RAM. Si sólo uno de estos componentes no ofrece el funcionamiento esperado en comparación con el resto del sistema, el rendimiento general del PC caerá en picada.” www.intel.com/es/home/maximize/ experience/gaming/ultimate.htm

4

Sin embargo, antes de iniciar las actividades propias de la realización deben completarse un conjunto de tareas previas que son indispensables y que operan, en definitiva, como determinantes de la calidad. Estas condiciones son:

- El plan de producción del multimedia.- El guión multimedial.- Un texto escrito bajo estrictos parámetros de calidad.

a. La planificación de la producción La estrategia pedagógica que se expresa en un plan de producción se encuentra en la base de todo material educativo. Determinar los objetivos, identificar el mercado o audiencia y establecer la naturaleza del producto son los componentes esenciales de esa estrategia. Por el contrario, la ausencia de un buen plan es palpable al evaluar la calidad de los materiales multimediales.

La identificación correcta de la audiencia para la que se va a elaborar el producto y los propósitos que se persiguen con su uso, son los primeros pasos correctos en la preparación de material multimedial. Dentro de las interrogantes críticas del proceso de planeamiento, la primera que debe responderse es “¿A quién se dirige el producto?”. Para elaborar un plan significativo, este cuestionamiento implica las siguientes preguntas:

- ¿Cuáles son las necesidades educativas que se pretende subsanar?- ¿En qué curso o cursos se va utilizar el material? - ¿Cuál es la relación de este curso con otros en el mismo nivel y dentro del programa

de la carrera? - ¿Cuál es el grado de alfabetización tecnológica que se espera cuenten los

estudiantes? ¿Cuál el grado de acceso a equipos?Además, deben conocerse las características generales que delinean el perfil de los estudiantes:

- ¿Cómo afectan las condiciones sociales, geográficas y demográficas? - ¿Dónde viven? - ¿Cuál es la edad y el sexo de los alumnos? - ¿Hay diferencias importantes entre ellos?

Interpretar de manera correcta la importancia de las necesidades específicas, al mismo tiempo que las competencias, el nivel socioeconómico y otras características ha sido una tarea compleja en la experiencia del PEM.

Por ejemplo, durante dos ciclos lectivos en el año 2001, se enfrentó una curva de aprendizaje acelerada en la que fue característico el diseño del material para el Curso Introducción a la Educación Especial. Inicialmente, se preparó la entrega total de la docencia y los materiales utilizando el sistema de formación en línea (Microcampus). Afinado el producto, el curso se ofreció a los estudiantes bajo esa modalidad, pero se presentaron quejas por falta de acceso a equipos comunicados a la WWW. Se procedió entonces a preparar el “curso” como un multimedio y se distribuyó a los estudiantes en un disco compacto, pero se presentaron quejas de nuevo, ahora porque no contaban con lectoras de CD en sus equipos. Finalmente, autores y productores se vieron obligados a producir una antología impresa, para el uso de los estudiantes que rechazaban recurrentemente los nuevos medios.

En etapas ulteriores, por ejemplo en la evaluación del curso de Pensiones Alimentarias, el enfoque de los usuarios adquirió otras características, pero mantuvo el mismo nivel de importancia. En el caso concreto se trataba del entrenamiento de jueces de derecho de familia en servicio y las características de referencia se establecieron por la vía normativa: como condiciones de equipamiento mínimo de un juzgado, aunque finalmente se comprobara que la realidad se encuentra lejos de las expectativas, por lo que la recomendación evaluativa consiste en producir ajustes a los programas

5

educativos en función no solo de los equipos disponibles, sino también de la alfabetización tecnológica de los funcionarios judiciales.

Más allá de las generalizaciones necesarias sobre la importancia del curso y el material, como la valoración de las necesidades sociales y la definición del perfil profesional del graduado, en un segundo momento del plan es indispensable concretar los propósitos del multimedia. “¿Para qué?” es la pregunta relevante. Aquí debe contestarse en términos didácticos, es decir cuáles finalidades educativas concretas se persiguen y en qué forma el diseño responde expresamente -en forma realista y exclusiva- a esos objetivos. Un propósito general de los multimedia es proveer la totalidad de los materiales y los requisitos de información requeridos en un curso. Dada la capacidad de almacenamiento de los CD es posible incluir en un medio único los textos y otro material de lectura, las guías de trabajo -incluyendo guías de investigación y de trabajo en grupo-, los ejercicios y sus solucionarios, numerosas ilustraciones y ejemplos, fuentes alternas y bibliografías (incluso con acceso mediante hipervínculos a la WWW). En la práctica, con un CD pueden atenderse todas las necesidades y finalidades educativas de casi cualquier materia. De nuevo el curso de Pensiones Alimentarias, y también un texto electrónico preparado para Historia del Arte I, proveen información relevante: el espacio utilizable de un CD es sorprendentemente grande, y admite una cantidad de información a veces insospechada tanto por maestros como por alumnos.

Sin embargo, en algunos casos, el material multimedial puede ser estrictamente un apéndice enciclopédico para un curso, un ciclo de conferencias, o un libro de texto (reelaborado a partir de un texto escrito, por ejemplo). En el PEM se han realizado diversos tipos de experiencias. La biblioteca de consulta y apoyo para el curso de Biología General es un producto que integra los trabajos de la Dirección de Producción, autores y productores académicos, y realizadores del PEM con una finalidad didáctica muy específica: dotar a los estudiantes con un material de consulta, semi enciclopédico, de libre acceso. El Catálogo Unificado de Tarjetas Telefónicas de Costa Rica es también un producto de carácter enciclopédico (una lista exhaustiva) con valor descriptivo y con propósitos taxonómicos, pero está presentado en disco compacto como producto multimedial, utilizando todos los recursos disponibles e incorporando todas las facilidades de las tecnologías más innovadoras en programas autor.

También se han preparado versiones multimedia de varios libros de texto.6 En estos casos la finalidad predominante ha sido, hasta ahora, la sustitución de la lectura en el medio impreso por la lectura en pantalla. El concepto, el diseño y la apariencia estética de este tipo de productos no son muy diferentes a las características de los textos impresos. Tal vez la principal diferencia radica en las facilidades de “navegación” entre tema y tema, saltándose la linealidad de los capítulos numerados sucesivamente. La experiencia reciente con la producción del libro Historia del Arte I, marca un nuevo hito, pues incorpora innovaciones notables en versiones nuevas del software para este tipo de trabajos (PDF).

La tercera pregunta esencial al planeamiento tiene que ver con el contenido del multimedia: “¿Qué?” es el interrogante central, acompañado de las preguntas: ¿Cuál es el tema? ¿Cuál la extensión? ¿Cuál la profundidad del tratamiento?

Ya desde este punto se enfrenta el problema de la pertinencia. Primero el problema epistemológico que plantea la viabilidad de la captura de determinado objeto de conocimiento y su representación con recursos de diseño peculiares o novedosos que exhiben como aspiración central una estrategia de presentación que no casualmente se llama “realidad virtual”. ¿Es la misma realidad? ¿Idéntica? ¿Verla de esta forma, no implica “otra realidad”? Todas esas y otras

6 Los primeros fueron Atención del Niño Excepcional, de Gabriela Marín e Internet llega al Aula, de Ida Fallas. Estos son diferentes a los llamados PDF, que, aunque han evolucionado, siguen siendo esencialmente versiones con propósitos de registro, almacenamiento y, eventualmente, de impresión económica.

6

discusiones de igual relevancia y profundidad son el centro de esta problemática. En algunos seminarios internos de capacitación en la UNED se ha planteado la temática y, aunque no se ha profundizado, ha suscitado interés suficiente como para justificar la intención de darle continuidad.

La mayor parte de las veces, sin resolver esa discusión, debe abordarse la siguiente que consiste en la delimitación del objeto o segmento de la realidad que se percibe como independiente a la vez que susceptible de ser reducido (o maquillado), mediante el lenguaje propio del medio a utilizar para la difusión, usando los recursos técnicos disponibles. Este proceso de elaboración de significados propios del material multimedial se caracteriza por la selección de las características del objeto en consonancia con las facilidades de diseño (las limitaciones del programa autor, es otra forma de verlo).

Si la creación de materiales multimediales fuera semejante a la creación artística, la libertad de los productores y diseñadores sería casi total. Podrían reflejar en el producto sus inclinaciones y deseos personales; o podrían recurrir a él con intereses casi periodísticos, por ejemplo, para representar la actualidad, la novedad o el conflicto de las temáticas. Sin embargo, los valores predominantes en la producción con fines educativos son el propósito y el interés formativo, así como la estética al servicio del mensaje y no con propósitos lúdicos y autocomplacientes. (Aunque se ha comprobado el gozo compartido por los miembros del PEM al participar en distintos proyectos).

Un conjunto de restricciones formales propias del plan limitan la libertad de los realizadores multimediales. Estas son, en cierto sentido, normas de calidad esenciales al proceso. Se trata, primero, de que, independientemente del medio a utilizar, es ventajoso cumplir con todos los principios del diseño, especialmente la planificación a que se hace referencia en esta sección. Una segunda regla establece que todos los materiales tienen que reflejar una unidad del diseño gráfico, la que tiene su punto de partida en la interfase o pantalla inicio y de navegación principal del producto.

b. El guión multimedialMuchas de las preguntas relacionadas con el contenido del multimedia se resuelven cuando la planeación se lleva al ámbito operativo. En esa fase, el instrumento más popular y cuya utilidad práctica ha sido probada reiteradamente, es el guión multimedial (análogo en todo sentido al guión escénico o fílmico, en los medios de referencia).7

En el diseño de materiales multimediales el guión puede prepararse como una secuencia de pantallas (o páginas, llamadas a veces páginas “web” o páginas de hipertexto, por analogía con esos medios o por el uso de recursos usuales de esos medios. Bajo ciertas circunstancias, pueden utilizarse páginas con facilidades elementales de presentación como Power Point®). Así concebido el guión, puede ser de gran utilidad el uso de mapas conceptuales; de estos, unos pueden dedicarse a la enumeración de contenidos y los enlaces entre ellos; otros, más especializados, servirán como lista de comprobación de los elementos típicos de las páginas. Estos elementos son, normalmente:

En relación con los contenidos: - Componentes de texto, audio y video.- Animaciones.

De navegación:- Menús.

7 En algunas actividades se ha difundido una especie de rechazo a la disciplina que provee el trabajar con un guión. En el PEM se han experimentado las dificultades que eso plantea cuando se han acometido encargos de la Dirección de Producción que involucran a diversas unidades. Un guión, para ser efectivo, debe ser bastante más de lo que se conoce, en otras subdisciplinas, como storyboard.

7

- Navegación entre páginas (anterior, siguiente, inicio).- Navegación -vínculos- entre textos (otras páginas).

Sobre características específicas, por ejemplo tipografías (o recursos tipográficos de hipertexto), colores, resolución gráfica, tiempo estimado de las animaciones, entre otras, aunque pueden sugerirse desde la elaboración del guión, conviene reservar el juicio y las decisiones finales sobre ellas para las etapas de diseño y control de calidad. Un caso en que el PEM ha enfrentado fuertes críticas por el uso de ciertos colores ha sido el del Curso Estrategia de Mercadeo. En éste se decidió utilizar combinaciones de colores muy fuertes: rojos, naranjas y marrones. Por razones ajenas a este tema, posteriormente debió prepararse una presentación especial, una especie de “multimedia sobre el multimedia”, la que, por su naturaleza evaluativa, hizo muy evidentes las distintas deficiencias.

Dos restricciones han mostrado ser de principal importancia al iniciar la preparación del guión. La primera consiste en que aunque se cuente con un inventario detallado de todos los contenidos deseables por incluir en el multimedia, ningún material educativo puede satisfacer todas las necesidades formativas de la audiencia ni los deseos e intereses de los curriculistas. Así, la preparación del guión implica la selección de ciertos contenidos al mismo tiempo que la posposición de otros. La segunda es que el guión es un instrumento que tiene capacidad limitada para administrar los listados de contenidos y las actividades que en relación con ellos pueden organizarse. De manera que el guión no será nunca un asistente perfecto, pero si será invaluable su ayuda para establecer la relevancia de los contenidos, así como límites significativos para su desarrollo. La importancia de su papel se hace evidente cuando se considera que muchos materiales multimediales se conciben con la intención de dotar a los estudiantes de información y formación, con la pretensión de sustituir, con la autoayuda y con el medio electrónico, los recursos típicos de la clase tradicional, incluida la función docente.

El guión puede ayudar a controlar el balance y el ritmo del multimedia. Dadas ciertas restricciones particulares de producción, la incorporación de segmentos de video en los materiales producidos por el PEM hasta ahora ha sido restringida, pero los productores y los realizadores están conscientes, gracias a la disciplina del uso de guiones, que la imagen y el sonido merecen la misma importancia que el texto escrito, que el valor comunicativo de todos los medios, en conjunto, al sensibilizar todos los sentidos del usuario, es superior, al uso desbalanceado de los recursos. A esto debe agregarse el manejo del tiempo. Para cada una de las páginas, en el guión, conviene establecer los segundos que deben durar las animaciones y las cortinas, así como estimaciones realistas de los tiempos de lectura o de atención exigida por los mensajes de voz. La brevedad de la exposición ha probado ser valiosa, pero tampoco deben sacrificarse la claridad y la plenitud de los mensajes. En resumen, un buen multimedia integra, en forma balanceada y oportuna, todos los elementos y este control arranca desde la formulación del guión.

Conviene recordar que el multimedia (y por tanto el guión) no es una respuesta exhaustiva a todas las necesidades de información y de formación requeridas por los estudiantes. En realidad una de las fortalezas esperadas de un material de este tipo, es su capacidad de sugerir y orientar nuevas búsquedas de conocimiento en otras fuentes, así como el interés por poner en práctica y comprobar, mediante la experimentación, los contenidos del aprendizaje.

c. La calidad propia (interna) del texto escritoOtra condición que es determinante de la bondad del multimedia ( y de todos los recursos didácticos) es la calidad intrínseca del texto escrito en que se basa el producto. Esto es más delicado en el caso de los materiales multimediales, porque al integrar diversas tecnologías se multiplica el riesgo tanto de error como de acierto. En la

8

experiencia del PEM no se registra ningún caso en que exista total independencia en la concepción del multimedia respecto de materiales convencionales para cursos tradicionales.

Dos condiciones se manifiestan como imperativos de la calidad. La primera tiene que ver con el texto en sí mismo, que debe que ser veraz, relevante y completo, además de estar bien escrito, con buena ortografía, gramaticalmente correcto y con manifiesto poder comunicativo. La segunda se relaciona con el compromiso y las competencias del autor o los autores. Si el autor escribe sus páginas bajo la idea de que el texto convencional, por arte, casi, de magia, se convierte en un material que puede leerse en otro medio, toda la producción sale perdiendo. Esa ha sido la principal razón por la cual el PEM ha completado menos proyectos de los que se han iniciado.

Todo el personal responsable, y en forma especial los autores y los productores editoriales y revisores de texto, tanto especialistas como filólogos deben estar dispuestos a comprometerse con un contrato especial de producción que significa y demanda la realización multimedial.

Por otro lado, son muy importantes las tareas de documentación y levantamiento de información sobre el tema. Es obligatorio que la información escrita sea verificada. Debe comprobarse su veracidad, su relevancia y su actualidad. Debe procurarse que sea exhaustiva y que no atente, en forma alguna, contra derechos esenciales de los individuos. Debe buscarse su presentación en función de los objetivos de aprendizaje y debe matizarse en función de las audiencias posibles. También hay que custodiar la profundidad y la amplitud con que se va a tratar el tema, todo bajo normas de coordinación con otros cursos, dentro de la totalidad de la carrera y a la luz de las condiciones de programación acordadas por las autoridades universitarias. Todo este es trabajo que compete al autor principal con la ayuda de los especialistas. Por eso, la selección y los términos de referencia de ellos consisten en una condición de calidad que se entiende como determinante y necesariamente previa a la producción del material multimedial.

Una experiencia relevante para el PEM, fue participar en la preparación de CD para trasmitir los informes de evaluación de tres carreras de la UNED, para su eventual presentación ante el organismo acreditador. La revisión meticulosa de los textos, bajo condiciones de calidad propias de la producción multimedial, contribuyó inequívocamente a que se examinaran, con mayor escrupulosidad, todos los aspectos de dichos informes relacionados con la presentación formal. Un aspecto concreto que requirió particular atención fue la elaboración de cuadros, caso en que la condición fundamental es que se sometan a los realizadores en el formato más limpio y sencillo posible.

El uso de técnicas alternativas de exposición es recomendable. Contar con muchos textos alternos sobre el tema es un activo importante en la preparación de multimedios. Dada la hipertextualidad, la forma en que pueden usarse los contenidos es múltiple y puede ser muy rica si los textos se han elaborado usando recursos como las metáforas y otras formas o figuras literarias. Los temas pueden presentarse recurriendo a historias, anécdotas o descripciones de situaciones cotidianas. Este tipo de recursos favorecen la identificación de los usuarios porque mueven sus emociones y sus sentimientos, creando empatía y complicidad, lo que favorece la exploración y el uso del multimedia por los estudiantes. A pesar de la importancia de custodiar la veracidad y la verosimilitud, estos recursos son importantes, dada la frialdad implícita en la comunicación vía máquinas y medios electrónicos.

4. Las variables y los criterios de evaluación de la calidadUna vez concluidos los productos, con la certeza de que se han cumplido las condiciones previas a la evaluación, puede sometérseles a una revisión de calidad más o menos meticulosa. Obviamente, el control de calidad también se efectúa a lo largo del

9

proceso de realización multimedial. Al ejecutar estas tareas, en el PEM se han utilizado diversos instrumentos, modelos parciales y listas de comprobación. Pero, el que ha servido en forma continua -y se discute en esta sección- es el instrumento preparado internamente y que se ha nutrido de trabajos críticos como el presente.

La lista de comprobación de dimensiones y criterios de evaluación que se presenta en el Cuadro 1, permite hacer evaluaciones ejecutivas muy económicas, al mismo tiempo que ayuda a normalizar ciertas variables y valores. Parte muy importante del trabajo de diseño y evaluación de materiales multimediales en el PEM ha sido el proceso de aprendizaje sostenido, no solo sobre los aspectos técnicos, sino también, y tal vez de manera pivotal, sobre los elementos pedagógicos y curriculares. Sin embargo, en esta lista, como se ha advertido con anterioridad, el énfasis se deposita en las condiciones externas del multimedia, sus características estándar y la evaluabilidad, aspectos que resultan y se sistematizan a lo largo del proceso de aprendizaje interno comentado.

CUADRO 1UNA LISTA DE COMPROBACIÓN DE DIMENSIONES Y CRITERIOS DE EVALUACIÓN

LA INTERFASE

Apariencia. ¿Es elegante? ¿Es proporcionada?¿Se identifica con la imagen institucional? ¿Usa los colores institucionales?¿Es sencilla? ¿Los menús y las botoneras son claros, pocos, bien distribuidos (en grupos afines)?

Funcionamiento –navegabilidad-¿Llevan los botones a donde deben llevar?¿Están previstas todas las necesidades de navegación?

Adaptabilidad de la interfase.¿Es flexible? ¿Sirve para diversidad de cursos y programas?

USO DEL HIPERTEXTO Y NAVEGABILIDAD

Forma de distribución del texto. Tratamiento de la información.Lineal versus secuencial. Redes, anillos, niveles.Otros recursos (textos ocultos).

Funcionamiento –navegabilidad-Tiempo-velocidad de respuesta-acceso.¿Llevan los botones a donde deben llevar?¿Están previstas todas las necesidades de navegación?

Glosario y otras ayudas. Número. Características. Facilidad de acceso.

CONDICIONES ESTÉTICAS

Integración de diferentes medios y tipos de información: gráfica, sonora, textual y visual.Apariencia en general. ¿Es agradable?Distribución de los materiales en las páginas. Balance de los materiales.Colores. ¿Se procuran normas estándares?Tipografías. Tamaño, alineado, color.

(continúa)USO DE LA METÁFORA

Pertinencia de la metáfora. ¿Pueden realmente hacerse hipótesis sobre su valor pedagógico?

Valor semántico.

10

Relación y potencialidad con otros medios de transmisión del mensaje.Poder de síntesis y capacidad integradora de medios.Calidad gráfica de la metáfora.

Usa otros medios y recursos, ie. fílmicos y sonoros.Formas alternas utilizadas (reiteración innecesaria de la imagen).

INTERACTIVIDAD

Relevancia de las actividades.Número y balance de actividades en el multimedia.Operación independiente y personalizada.Apariencia. Animación. Tamaño y tipo de espacios para el trabajo individual.

La interfaseUna de las primeras experiencias en el PEM fue construir una interfase que pudiera ser utilizada, eventualmente, como modelo para futuros diseños y productos. El proceso se inició con la adopción/adaptación de la interfase que se empezaba a utilizar para el diseño de cursos en línea (Microcampus). La propuesta realizada en esa oportunidad fue una respuesta y una reacción a la anterior. El primer dilema se presentó al valorar los colores; Microcampus utilizaba verde oscuro, azul marino y naranja; el contraste era muy fuerte y la legibilidad pobre. El PEM utilizó una combinación de gris, azul y medios tonos, ya presente en el logotipo de la UNED. Se redujo el número de botones y se organizaron, adaptando las denominaciones al lenguaje propio de los usos comunes de la WWW. Finalmente, se propuso un estándar ya común para la distribución global de los elementos utilizando tres marcos (frames). Uno para el encabezado, una columna (aproximadamente ¼ de pantalla) a la izquierda para los menús y un centro “limpio” para el texto de la página de referencia.

En la preparación de cada multimedia o CD en la actualidad, se dedica buena parte de la investigación inicial a definir una interfase elegante y dinámica, gráficamente relacionada con la metáfora y muy amigable con el usuario, especialmente en términos de la navegabilidad.

Uso del hipertexto y navegabilidadUna característica que poco a poco fue surgiendo como preferencia en los diseños del PEM fue el hacer páginas cortas, que permitieran la lectura completa en forma rápida, pero que tuvieran numerosas vinculaciones con otras páginas, todas relevantes, pero con idénticas características. Se preveía que este diseño propiciaría el ejercicio de la voluntad y ayudaría a evitar el tedio y el cansancio. Las páginas cortas, además, requieren poco esfuerzo y ninguna complicación en el manejo del mouse en ellas. El uso de archivos e imágenes “livianas” (que exigen pocos recursos de memoria) ha contribuido, cada vez más, a hacer que los productos del PEM sean muy ágiles y de pronta respuesta.

Condiciones estéticasComo puede verificarse en publicaciones recientes, por ejemplo el libro Emotional Design de Don Norman (Johnson, 2004) el papel de la estética es examinado cada vez con mayor atención. Una de las tendencias señaladas por este autor es la relación entre las emociones (provocadas estratégicamente por condiciones estéticas del software) y aspectos cognitivos, los que él considera inseparables. Este es sin embargo, un campo que demanda mayor exploración, especialmente cuando se le compara con otras dimensiones de la estética del diseño.

En los procesos de realización una de las actividades más ricas y aleccionadoras ha probado ser la revisión y la discusión, entre productores, realizadores y diseñadores, de

11

las características y facilidades utilizadas por otros autores de materiales educativos. Gracias al acceso a Internet, en el PEM se han organizado numerosas y variadas actividades de investigación y discusión de los logros de otros. Pronto se fue creando una especie de conciencia colectiva sobre la importancia y el valor de hacer la comunicación con el usuario lo más sencilla y directa posible. Como ya se ha comentado, el impacto real de los productos no ha sido medido ni se supone medible en el corto plazo, pero el efecto inmediato sobre el interés de los tutores, los encargados de cátedra y de programa y sobre los colegas de programas afines, si se ha tomado en cuenta.

En la experiencia del PEM, para los libros electrónicos y otros materiales de lectura, destacan como preferencia los colores de fondo pastel, por encima de todos los grises y los amarillos. En otros productos se han aceptado y, a veces abanderado, combinaciones de color un poco más fuertes, sin llegar a disonancias violentas (salvo el caso comentado del Curso de Mercadeo Estratégico). Iguales mecanismos han definido y reforzado las preferencias por las tipografías. Entre éstas predominan las letras rectas, sin énfasis, muy legibles (sin esfuerzo y sin lentes, a un metro de la pantalla), de color negro, aunque ocasionalmente, para los vínculos y otras opciones de navegación, se usan los azules y otros tonos similares.

Se ha ido comprobando también que los textos justificados en ambos márgenes tienden a cansar la vista, por el espacio distinto, a veces muy marcado entre letras. Hoy en el PEM se prefiere trabajar utilizando líneas de corta extensión y con el texto alineado a la izquierda.

Dos condiciones sobre el balance han ido ganando un lugar: la primera es no saturar una misma página con numerosos mensajes en distintos medios. Una independencia adecuada entre las distintas estrategias de comunicación parece favorecer la atención. La segunda es que los textos dentro de los marcos, tal como se ha explicado al comentar la interfase, también deberían de ser equilibrados y no deberían ocultarse unos dentro de otros, o moverse (scroll), todos simultáneamente, o de forma muy extensa (“páginas largas”).

En resumen, la condición más importante podría enunciarse como: “sobriedad en la presentación, sencillez en el uso”.

Uso de la metáforaUna fase crítica es la identificación o creación de una metáfora pedagógica adecuada. La metáfora es un elemento comunicativo, usualmente gráfico, a veces animado, que trasmite en forma sucinta y reiterada el mensaje educativo central del multimedio. Parte de su valor formativo consiste en que refuerza, mediante la repetición, el mensaje y los contenidos, contribuyendo al aprendizaje y a la internalización de los conocimientos, los valores y las conductas que, simultáneamente, se comunican mediante otros lenguajes.

Una de ventajas del uso de la metáfora que pronto se aprendió en el PEM fue su contribución al diseño gráfico estrictamente. En Atención del Niño Excepcional, un libro electrónico que ya se ha citado, permitió crear un marco dinámico, que le daba unidad al material y que hacía fácil la lectura “suavizando” los efectos brillantes de la pantalla. En Internet llega al Aula, la metáfora facilitó la construcción y la presentación de índices, menús y botoneras para la navegación dentro del multimedia. Formas elaboradas de la metáfora (lápices de color, en este caso) permiten a los lectores distinguir textos vinculados con el mensaje principal, pero que obedecen a finalidades distintas del dominio de contenidos de aprendizaje. Dentro de ellas se encuentran, por un lado, lecturas con propósito estrictamente informativo y, por otro, comentarios inquisitivos de carácter y contenido ético y con claras intenciones formativas.

De los distintos trabajos realizados en el PEM, los participantes han llegado a la conclusión de que el mayor “descubrimiento”, y que se refleja como logro específico en los diversos multimedia, es el elemento de diseño que se ha caracterizado como la metáfora pedagógica.

12

Una buena metáfora permea y orienta toda la producción, se reproduce y se enriquece a sí misma y, concentra la atención de los usuarios. Eventualmente, se espera de ella un efecto multiplicador sobre el aprendizaje.

InteractividadEn la opinión de los actores, este es uno de los aspectos en que se ha desarrollado menos competencia en el PEM. Aunque señalan, además, que es de por sí uno de los campos en que mayores expectativas, potencial y necesidad de desarrollo existe.

En el futuro las condiciones mínimas hacia las que se mueve la categoría interactividad incluyen, más allá de la navegación en hipertexto y búsquedas con múltiples trayectorias, diálogo y escritura creativa con recursos de almacenamiento. En relación con el potencial gráfico, sería deseable contar con capacidad para realizar cambios libres en las imágenes (edición de: color, forma, tamaño, imagen, textura, rotaciones, etc.) y crear archivos personalizados con ellas. De la misma forma se esperaría poder crear efectos de sonido y, eventualmente “conversar” con la aplicación. En relación con las animaciones se podría controlar el inicio, la pausa, el final y la presentación en reversa; el usuario podría dirigirse a un cuadro determinado moviéndose hacia delante o hacia atrás y podría controlar la velocidad de la animación. Idénticas opciones deberían poder hacerse con los recursos fílmicos. Se podría incluso crear e incorporar videos propios. (Abdul Aleem, 2000).

Es claro que esto se refiere a un multimedia “abierto” y que posiblemente se insertaría ya en una generación avanzada de inteligencia artificial. En realidad no es sino hasta ese grado de avance que la máquina puede efectivamente “aprender”, de manera que los cambios introducidos por el usuario sean significativos, permanentes y, en consecuencia, se convierten en parte integral del multimedia.

5. Comentarios finalesAmorós y Rodríguez (2000) destacan, como elemento medular en su modelo, los aspectos relacionados con la planificación curricular, concretamente de la coordinación y la coherencia entre los distintos tipos de objetivos y los niveles de programación. Se trata de lograr la concordancia del currículo con el proceso de enseñanza; y, simétricamente, del programa con los objetivos, del contenido con los objetivos, del contenido con el nivel evolutivo del alumno, de las actividades y de la calidad de los aspectos formales y, finalmente, de la concordancia que guarda la evaluación con respecto a los objetivos, los contenidos y las actividades. Esa es una pretensión válida y relevante, como se ha señalado atrás (y en otros trabajos: Díaz, 2001), y tales preocupaciones deben ser objeto del control de calidad de los materiales, aunque cabe reiterar que no eran parte del foco de este trabajo. Sin embargo, es indudable que los nuevos desarrollos y las versiones ulteriores de los modelos tendrían que concentrarse en este campo prioritariamente.

Otro elemento que comentan las autoras mencionadas se relaciona con las consideraciones económicas y los aspectos formales de la distribución de los materiales, incluida la discusión sobre el presupuesto y la rentabilidad. Un aspecto crítico que debe analizarse es el del costo invertido en función de los beneficios esperados. Pero es conveniente recordar que este elemento es central a la evaluación, solo en el tanto en que afecte la disponibilidad y la accesibilidad, o sea, en última instancia, la equidad. De la misma forma cabe considerar los problemas relacionados con la distribución, aunque en Costa Rica, dada la cobertura geográfica de la UNED y por la eficiencia de sus sistemas de distribución de materiales, este es un problema menor.

La conclusión que es importante recordar, como hallazgo reiterado, es que uno de los aspectos claves del proceso ha sido el aprendizaje de los miembros internos del equipo de producción. Puede repetirse, siguiendo la idea de los profesores de la Universidad de Cádiz (y otros, ie. Cabero, passim). que el “valor no estará tanto en el producto acabado, sino más bien en el proceso seguido en su diseño y producción” (Pavón et al, 1993). En este sentido, para los

13

miembros del PEM, el aporte recurrente, pero siempre novedoso y distintivo se relaciona con la metáfora pedagógica. El potencial que se le adjudica y que se ha experimentado, y la comprobación de su poder como mecanismo catalizador del mensaje, le otorgan un lugar de privilegio tanto en las decisiones de diseño como en las tareas evaluativos y de control de calidad.

Otra lección concreta que se ha obtenido se relaciona con los valores, en particular con algunos valores esenciales a la educación superior, de conformidad con los esquemas normativos a los que se les adjudica vigencia global hoy (UNESCO, passim; Díaz, passim). Al hablar de evaluación, hay que considerar otras variables que podrían ser no solo de igual importancia, sino determinantes entre sí. Algunas de ellas son elementos de una ética y una moral social más amplias, como la equidad y la solidaridad. Sobre estos aspectos, aquí solo cabe hacer una reflexión o aspiración en cuanto a que la evolución futura en los campos del diseño y la realización de productos educativos multimediales incorporará, además de las condiciones objetivas, también, condiciones éticas de calidad.

En este último campo, siguiendo las ideas de Amorós y Rodríguez (2000), se suman, como categorías relevantes, las siguientes: la accesibilidad y el control (alcance y grado) del alumno sobre el proceso, transparencia del proceso y de sus resultados, e impacto sobre la motivación y la creatividad. Esta lista confirma, sin duda, la urgencia de dedicar energía y recursos a estas actividades con el interés de obtener mejores modelos -probados y validados- que contribuyan a elevar sistemáticamente la calidad de los materiales educativos.

14

BIBLIOGRAFÍAAbdul Aleem, “A Media Taxonomy of Interactivity”. (2000). http://www.seas.qwu.edu/projects/multimedia/instruction.html

Adell Segura, Jordi, “World Wide Web: un sistema hipermedia distribuido para la docencia universitaria”, en Nuevas Tecnologías de Información y Comunicación para la Educación, Memoria del Congreso Nuevas Tecnologías de Información y Comunicación para la Educación, Badajoz, 14-17 de diciembre de 1993, Sevilla: Ediciones Alfar, 1994.

Amorós Podeva, Lucía y Rodríguez Cifuentes, María Trinidad. "Instrumento de Evaluación para Multimedia Didáctico” en http://tecnologiaedu.us.es/edutec/paginas/indtemas.htm#4, 2000.

Cabero, J y Márquez, D., et al, La producción de materiales multimedia en la enseñanza universitaria. Sevilla: Kronos. 1999.

Cabero, Julio y Duarte, Ana, “Evaluación de medios y materiales de enseñanza en soporte multimedia”. Pixel-Bit. Revista de Medios y Educación, 13, 1999.

Díaz, Luis Fernando, “Condiciones de calidad de la producción multimedial” en Calidad, tecnología y valores. X Encuentro Iberoamericano, Memoria de Congreso, UNED: julio de 2003.

Díaz, Luis Fernando, “El constructivismo y la educación a distancia”, en Innovaciones Educativas (12), San José: UNED, 2000.

Díaz, Luis Fernando, “Evaluación de Carreras Universitarias”, Revista de Ciencias Sociales 94, Universidad de Costa Rica, 2001.

Díaz, Luis Fernando y Rosales, Rotsay, Metaevaluación, San José: EUNED, 2003.

Galvis Panqueva, Álvaro, Ingeniería de Software Educativo, Bogotá: Ediciones Uniandes, 1994.

Johnson, Steven, “Beauty and the beastly PC”, en Discover, mayo de 2004.

Norman, Don, Emotional Design, the Nielsen Norman Group, citado en Johnson, 2004.

Pavón, Francisco y otros, “Proyecto para la creación de un “Centro de Recursos Audiovisuales” en la Universidad de Cádiz (CRUCA)” en Nuevas Tecnologías de Información y Comunicación para la Educación, Memoria del Congreso Nuevas Tecnologías de Información y Comunicación para la Educación, Badajoz, 14-17 de diciembre de 1993, Sevilla: Ediciones Alfar, 1994

Ríos, J. M. y Cebrián de la Serna, M. Nuevas Tecnologías de la Información y la Comunicación aplicadas a la Educación. Málaga: Ediciones Aljibe.2000.

Román, P, Ballesteros, C., López Meneses, E, Barroso, J y Fernández, J.M. "La formación universitaria en y con tecnologías multimedia. Una experiencia colaborativa con alumnos de Ciencias de la Educación y Geografía". En el IV Congreso EDUTEC 1999: Nuevas Tecnologías en la Formación flexibles y a distancia. Sevilla. http://tecnologiaedu.us.es/edutec/default.htm, http://tecnologiaedu.us.es/edutec/paginas/p2f2.ht

UNESCO, WCHE (Conferencia Mundial sobre la Educación Superior en el Siglo XXI), Declaration (Draft), http://www.education.unesco.org/educprog/wche/, (enero, 2000)`.

15