Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

Una experiencia de autoevaluación y evaluaciónnegociada en un contexto de aprendizaje basado en

problemas (ABP) �

ANTONI FONT RIBAS1

Grupo de innovación docente2 “Dikasteia”Proyecto “Escola de ciutadans3”

Resumen

La experiencia que presentamos se inserta en el contexto de una metodología de aprendizaje porproblemas. El sistema de evaluación condiciona la metodología, por lo que hay que ser muyprudentes a la hora de su elección. Concebido el aprendizaje como un proceso, la evaluación seintegra con distintas variables. El sistema es suficientemente riguroso y satisface las exigenciasde calidad. Los instrumentos utilizados han sido la heteroevaluación, la evaluación entre igua-les, la autoevaluación y el portafolios. Los criterios se proponen al inicio del curso y se nego-cian con los alumnos. Son objeto de negociación tanto los propios criterios, como su pondera-ción en la calificación final. Se evalúa periódicamente y se obtienen indicadores de calificación.El proceso culmina con una negociación. El objetivo último consiste en comprometer al alumnoen su propio proceso de aprendizaje. Sólo asumiendo y compartiendo esa responsabilidad esposible formar ciudadanos libres y responsables, capaces de mediar en los conflictos sociales.

PALABRAS CLAVE: Aprendizaje basado en problemas, evaluación de aprendizajes, evalua-ción por pares, autoevaluación, portafolios.

La traducción del original “Una experiència d’autoavaluació i avaluació negociada en un contextd’aprenentatge per problemes (PBL)” se ha realizado gracias a la colaboración de INTERNOSTRUM, untraductor automático bidireccional desarrollado por un equipo de expertos de la Universitat d’Alacant.

1 © 2003 by Antoni Font

2 En proceso de consolidación. Hasta la fecha los materiales, el diseño electrónico, las presentaciones,revisiones de textos y otros trabajos que acostumbran a realizar los becarios, han sido llevados a cabopersonalmente por los miembros del equipo, desde un funcionario del cuerpo de catedráticos de universi-dad (número de registro de personal 4620799257) hasta un asociado nivel A, cuya retribución ronda los180 euros mensuales. A todos ellos, Mariona Gual, Cristina Roy, Carmenchu Buganza, Isabel Tur, JoanFerré, Rafael Guasch, Sílvia Gómez y Lluís Caballol, mi más sincero agradecimiento. Mi agradecimientose extiende también a Cristina Casamitjana, Assumpta Valero, Pere González, Laura González, JuditMorales y Carolina Hernández, estudiantes del segundo año de doctorado y, en especial, a Dario Manna ya André da Sousa, que procedentes de las universidades de La Sapienza de Roma y Católica de Porto, enPortugal han participado con entusiasmo en la experiencia en calidad de tutores. Tampoco puedo olvidaraquí la colaboración prestada por María José Josa, nuestra compañera en las tareas administrativas y degestión del Departamento.

3 Escuela de ciudadanos

100

*

*

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

Abstract

This paper describes an experience in assessment in a problem based learning environment. Theunderlying assumption is that the assessment system has a significant influence on learning, soit should be chosen with extreme care. If learning is understood as a process, assessment be-comes one of the many variables in the picture. The system developed seems to be valid andsatisfy some basic quality guarantees. Continuous teacher assessment, peer assessment, self-assessment and portfolios have been included. Assessment criteria and their weight on the finalgrade are communicated at the beginning of the course and negotiated with the students. Thefinal end is to actively involve the student in his/her own learning process, since it is understoodthat only by assuming and sharing this responsibility it is possible to help students in theirgrowth to become free and responsible citizens able to act a mediating role in social conflicts.

KEYWORDS: Problem based learning, assessment of learning, peer assessment, self-assessment, portfolios

A partir de este momento la citada meto-dología ha sido implantada en las siguientesasignaturas del Departamento de DerechoMercantil (Tabla 1):

Tabla 1. Asignaturas que han implantado la metodología ABP

Asignatura Ense-ñanza

Ciclo Carácter Horas Grupos

Derecho Mercantil I Derecho 2º Troncal 45 1 (mañana)

Derecho Mercantil II Derecho 2º Troncal 75 1 (mañana)

Derecho Mercantil III Derecho 2º Troncal 60 3 (mañana y tarde)

Practicum II Derecho 2º Troncal 45 1 (mañana)

Practicum III Derecho 2º Troncal 60 2 (mañana)

Derecho Empresarial ADE 1º Troncal 60 2 (mañana y tarde)

Derecho de los consumidores Derecho 2º Optativa 45 1 (mañana)

Derecho cooperativo Derecho 2º Optativa 30 1 (mañana)

Derecho de seguros Derecho 2º Optativa 30 1 (mañana)

Los derechos de exclusiva en la sociedadde la información

Derecho 2º L. elec-ción

30 1 (tarde)

Competencia y mercado Derecho 3º Optativa 30 1 (tarde)

101

1. A modo de introducción

La experiencia que presentamos empieza atener una historia un poco dilatada. Arranca

4 A raíz de la presentación pública de la experiencia, un compañero del Departamento de Derecho Civil, el Dr. J oan Marsal, a quien quiero expresar públicamente y de un modo muy especial mi más sincero agradecimiento, mecomentó la existencia de la metodología de Aprendizaje Basado en Problemas (ABP) y me dio la primera referencia para acceder a su conocimiento: la Universidad de Maastricht (www.unimaas.nl/pbl).

de un intento de mejora de la calidad do-cente e inicialmente pretendía sólo incre-mentar la orientación práctica de la ense-ñanza. Se llevó a término durante el cursoacadémico 1998-99 en la asignatura Dere-cho Mercantil I. El año siguiente se empezóa organizar en su estructura actual con losmismos alumnos (131) en la asignaturaDerecho Mercantil III. Para ello fue necesa-rio dividirlos en grupos de 30-35 personas.El equipo docente constaba de una profeso-ra asociada a tiempo completo y una aspi-rante a docente, que junto conmigo, se en-cargaban de realizar las tutorías. Se hizouna presentación pública4 en el centro conuna notable asistencia de profesores jóve-nes, que representaban aproximadamenteun 10% del censo.

¿Cómo se organiza el trabajo?

Hay diversas maneras de hacerlo, pero lamás habitual es la de trabajar con gruposreducidos (entre 5 y 15 alumnos). En lasexperiencias que hemos llevado a cabo laorganización de los colectivos se ha hecho aun doble nivel:

- Los grupos (máximo 25-30 alumnos)- Los equipos (5-6 alumnos por equipo).

Los equipos escogen para cada sesión a

- Un portavoz- Un secretario

Un grupo integra a 5 o 6 equipos comomáximo. La cifra ideal es, sin embargo, lade 4 equipos por grupo con un total de 20alumnos.

¿Cómo son las sesiones de trabajo?

- La tutoría de preparación, por equipos,y con la presencia de los tutores (sesiónde 1 hora semanal para presentar elproblema o actividad que hay que desa-rrollar durante la semana, formular losobjetivos del aprendizaje y diseñar laestrategia para adquirir los conoci-mientos necesarios).

- La sesión plenaria (sesión de 2 horassemanales de todos los equipos reuni-dos en grupo con el fin de presentar losresultados de su trabajo y dar paso aldebate y a las conclusiones)

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

¿Cuáles son las actividades que se llevana cabo?

- La resolución de casos prácticos- Las visitas a organismos, centros o

instituciones (p. ej., la Bolsa, el Regis-tro Mercantil, una oficina judicial, ad-ministrativa, etc.)

- El trabajo en línea en el aula informáti-ca. (búsqueda en bases especializadas,simulaciones, soporte previo a visitas,etc.)

- Las simulacioneso Simulación de la negociación de

un contratoo Simulación de una mediacióno Simulación de la vista oral de un

juicio

102

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

¿Quién se encarga de la docencia?

El ABP prescinde de la docencia en sentidotradicional y se basa en el autoaprendizaje.En este contexto el docente asume otratarea: la de generar feedback. Los docentestradicionales han sido sustituidos por laidea de equipo docente.

¿Quién integra los equipos docentes?

- Un profesor experto, responsable delgrupo

- Un profesor novel, que asiste al respon-sable del grupo

- Los tutores responsables de cada uno delos equipos (para esta tarea hemos utili-zado a alumnos de segundo año dedoctorado, junto con docentes consoli-dados, con un resultado muy satisfacto-rio)

¿Cuántas horas de dedicación exige alalumno?

La media que hemos obtenido este año conuna encuesta semanal es la de 10 horas detrabajo5 no presencial (sin el profesor) quese añaden a las 3 horas presenciales (con elprofesor y/o el tutor). El cuestionario estabadividido en varios ítems. A modo de ejem-plo: búsqueda de bibliografía, redacción deinformes o trabajos, consultas al dossierelectrónico, reuniones con el equipo, etc.

Ello significa que la eventual extensión dela metodología a todo el currículo tiene quecomportar forzosamente la integración delas actuales asignaturas en bloques de ma-terias y no incluir más de 2 o 3 bloques porsemana, con un máximo de 9 horas presen-ciales.

¿Cuántas horas de dedicación exige a losdocentes?

Resulta muy difícil hacer una evaluación dela dedicación horaria de los docentes. Unprofesor experto puede asumir bien la res-ponsabilidad de dos grupos, simultánea-mente. Se puede llegar hasta tres, pero conmucho esfuerzo. Más de tres, diría que esimposible. La dedicación de los otros inte-grantes del equipo puede ser inferior, enfunción de las tareas que asuman o puedanasumir, según su experiencia, capacitación,o grado de formación.

¿Cuáles han sido los materiales para elaprendizaje?

- Materiales de estudio

5 10 horas de trabajo no significan 10 horas de estudio. Como se indica más adelante el cuestionario contenía varios ítems, algunos de cuyas respuestas eran verdaderamente exageradas (1 hora para rellenar una ficha de autoevaluaciónque no lleva más de 10 minutos). Otros estu diantes de fuera de la ciudad computaban los tiempos de desplaza-miento a sus respectivos domicilios, lo que les llevaba a añadir 2 horas más al tiempo dedicado a reuniones. Por éstas y otras razones, hay que relativizar la cifra arrojada por la encuesta. Sin embargo, vale como tendencia.

103

o Se recomienda el uso de un buenmanual. Los estudiantes acos-tumbran a ser reticentes a la ad-quisición de manuales, pero alcabo de pocas semanas de expe-riencia ya preguntan qué ma-nual(es) es/ son aconsejable(s).

o Algún artículo monográficocorto y específico recomendadopara cada sesión. La práctica po-ne de manifiesto que los estu-diantes acaban buscando y en-contrando más material del re-comendado inicialmente.

- Material informativo (prensa, do-cumentación obtenida a la red, etc.)

- Material clasificado previamente(búsqueda en bases de datos)

- Material on line (tv-lmi.ub.es/dret)- Ejercicios de autoevaluación en lí-

nea- Forum de debate (muy útil para

contextualizar el aprendizaje)

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

- Vídeos en fragmentos para introdu-cir un tema (p. ej. Gilda para intro-ducir el tema del cártel) o comple-tos para la resolución de un caso (p.ej. Erin Brokovich para resolver uncaso de responsabilidad civil pordaños a una colectividad. Lo idealseria poder presentar todos los ca-sos en formato de vídeo.

- Presentaciones animadas

¿Cuáles han sido las herramientas desoporte?

Es muy útil poder contar como soporte conuna herramienta del tipo de un dossierelectrónico (orbita.bib.ub.es/docs/4003/mercantil.htm) o un campus virtual, pero noes condición necesaria. Los campus virtua-les y, en cierta medida, también losdossiers, permite llevar una gestión máscuidada de los recursos y de la actividad.

La Tabla 2 indica los resultados de unavaloración realizada por una muestra6 de 63

6 La muestra incluye alumnos de mañana y tarde y de asignaturas diferentes. Los resultados desarrollados muestran desviaciones importantes en

estudiantes (valores de 0 a 67) sobre la uti-lidad de las herramientas utilizadas.

En un sistema de aprendizaje concebidocomo un proceso, la evaluación de dichoaprendizaje debe basarse en la misma idea.Por esta razón hay que desterrar por com-pleto cualquier sistema de evaluación deacto único en cualquiera de sus modalida-des conocidas (examen oral, escrito, o derespuesta múltiple). Si ese proceso deaprendizaje8 es, además, una pieza inte-grante de un sistema más complejo de co-municación, no hay duda de que la evalua-ción, integrada en dicho proceso, participaigualmente, de esas mismas características.

Por ello, cualquier proyecto de evaluaciónque se ensaye debe tener en cuenta las si-guientes premisas:- El sistema de evaluación elegido condi-

ciona el método de aprendizaje e influ-ye en el aprendizaje mismo.

- La alternativa a un sistema de evalua-ción de acto único debe consistir en unametodología procesual.

- La evaluación implica un compromisoentre las partes que participan de unmismo proceso

¿Qué queremos evaluar?

Obviamente, un proceso significa dos co-sas: una dinámica de continuidad y unapluralidad de elementos. Por tanto, la eva-luación de los resultados del aprendizajedebe comprender tanto el proceso como elproducto. En este punto hay que dejar bienclaro que la evaluación del producto depen-de de la combinación de dos magnitudesdistintas: esfuerzo y rendimiento. Con fre-

algunos aspectos pero, por lo general, las tendencias se repiten en todos los grupos(0= Inútil; 1 = Muy poco útil; 2 = Poco útil; 3 =Útil; 4 = Bastante útil; 5 = Muy útil; 6 = Imprescindible).

8 Lernprozeß. La expresión ha sido tomada de Niklas Luhman. También es de Luhman la idea del sistema decomunicación (Kommunikationssystem).

Tabla 2. Utilidad de las distintas actividades incluidas percibida por una muestra de estudiantes(0= Inútil; 6= Imprescindible)

Visitas a centros o instituciones 3,44

Ejercicios de autoevaluación 3,25

Simulaciones 4,82

Negociación 4,51

Vídeo 3,18

Correo electrónico 4,30

Forum de debate 3,20

Juntas de portavoces 4,74

Reuniones con tutores 4,58

Casos prácticos 5,00

Presentaciones 4,13

Esquemas 3,79

Revista de prensa 2,84

cuencia se tiende a establecer una igualdad(esfuerzo = rendimiento) y esto es falso.Ello no significa que no deba valorarse elesfuerzo empleado, pero en cualquier casodebe insertarse en el proceso; el esfuerzodebe medirse a lo largo del tiempo y valo-rarse en relación con el rendimiento obteni-do.

Para realizar esa valoración puede ser muyútil recordar la escala taxonométrica deBloom (Bloom, 1975) que categoriza nive-les de abstracción, en orden creciente, delos procesos de aprendizaje:

104

7

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

1. Conocimiento (recordar ideas, sucesos,datos ... )2. Comprensión (comprender informa-ción, interpretar, trasladar a contextos nue-vos)3. Aplicación (utilizar la información, usarmétodos, conceptos, teorías, resolver pro-blemas, etc.)4. Análisis (percibir parámetros de orga-nización y significados ocultos, identificarcomponentes, elementos, organizar partes)5. Síntesis (crear nuevas ideas, generali-zar, relacionar, deducir, extraer conclusio-nes)6. Evaluación (comparar y discriminarideas, evaluar teorías, tomar decisionesrazonadas, discriminar entre aspectos sub-jetivos y objetivos).

La docencia tradicional en la universidadbasada en la lección magistral, la toma deapuntes, el estudio individual y la evalua-ción con exámenes muestra muchos puntosdébiles en relación con el proceso de apren-dizaje.

Desde el punto de vista de la docencia, laclase magistral aprovecha a una minoría deestudiantes e incluso, en las mejores condi-ciones (oyentes muy motivados, buen ora-dor), la atención del estudiante disminuyede manera espectacular a partir de los 16minutos de exposición (un 40% del conte-nido presentado), llegando al 25% a partirdel minuto 31 y al 20% en el minuto 46(Pender, 1978). De ahí que se recuerde muypoco el contenido expuesto (Boakes y

Dickinson, 1979), que se aprendan sim-plemente hechos de bajo nivel cognitivo,obviando el pensamiento, la crítica, el de-bate y el intercambio de ideas. El resultadoes un aprendizaje uniforme (los estudiantesaprenden lo mismo y de la misma manera,“de oídas”) y no precisan mayor informa-ción que la suministrada en las aulas (elprofesor quiere que “pongan” en el examenlo que él recita). En estas condiciones secomprende que los estudiantes no esténmuy motivados y que no tengan interés encambiar sus actitudes respecto a la capaci-dad y la aptitud de aprender. Se trata de unsistema que perdura desde la universidadmedieval y que es muy económico, tantopara la institución (no importa el tamañodel grupo), para el profesor (el tiempo queocupa es mínimo9) y para el estudiante(sólo tiene que memorizar los llamados“apuntes de clase”). Es cómodo10 y segu-ro11; el sistema no le obliga a ningún gradode compromiso; le reconoce derechos y notiene necesidad de tomar decisiones. Natu-ralmente, carece de libertad. No puede es-coger contenidos, profesores, métodos,bibliografía ni sistema de evaluación y, enel fondo, tanto ellos como sus progenitorespiensan que “ya les enseñará la vida12”. La

9 Es el llamado sistema de las tres tes (two hours, tuesday and thursday) La expresión la he tomado de Joseph D. Harbaugh, decano de la School of Law de la Nova Southeastern University en Florida con ocasión de una conferenciaque pronunció en la Facultad de Derecho de la Universidad de Barcelona el día 28 de setiembre de 2002.

10 Después de presentar el primer día nuestro sistema de trabajo a los alumnos y pese a la supresión del famoso "examen final” sufrimos una deserción superior al 50% de la matrícula. En aquéllos grupos en los que la deserción no esposible (por no existir alternativas), una ligera mayoría de estudiantes (superior al 50%) se inclina por mantener el"examen final” como opción del alumno para ser evaluado.

11 El estudiante encuentra su seguridad en el anonimato. Se limita a jugar un rol pasivo, que es lo que le exige el sistema.

12 Seguro que más de una vez hemos oído ésta o similar expresión (“ya les suspenderá la vida”, “lo importante ya lo aprenderán luego”, etc.) Representa la crítica más atroz al sistema universi tario y condensa su fracaso social. Pordesgracia la libertad cotiza a la baja en las bolsas universitarias; la uniformidad, y el pensamiento único, al alza. Son valores seguros.

licenciatura se convierte así en una “carre-ra” (de obstáculos, por supuesto).

105

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

Desde el punto de vista de la evaluación, elpomposamente llamado plan13 de estudiosorganizado en asignaturas14 no puede cul-minar más que con un sistema más o menosordenado de exámenes. Las asignaturasestán únicamente orientadas a la adquisi-ción de conocimientos necesarios y unifor-mes, se estructuran a través de un progra-ma, cuyo nombre actual es el de plan15

docente (los mismos perros con distintoscollares), que no es más que un listado detemas que nunca llegan a explicarse porcompleto, pero que están ahí para que elalumno lo sepa; sepa que existe algo tanimportante como la anticresis o el condo-minio de buque y que si no se explica espor falta de tiempo. ¿Cómo no va a faltartiempo si en nuestra universidad se dedican¡12 semanas16 12! sólo a exámenes, durantelas cuales no hay ningún tipo de actividadacadémica. Los exámenes sólo dan infor-mación de los primeros niveles de la taxo-nomía de Bloom (conocimiento y compren-sión) y obvian por completo los nivelesaltos (aplicación, análisis, síntesis, evalua-ción). Según Javier Bará, la experienciademuestra (p. ej. Univ. de Twente, PaísesBajos) que la presencia de PBL en propor-ción elevada en el currículum (>50%) tien-

13 Subrayo la palabra “plan” como opuesta a “contrato” que significa libertad, voluntad, negociación y responsabilidad.14 Obsérvese el contenido compulsivo del térmi no. La semántica es de gran ayuda en estos casos.15 De nuevo la palabreja “plan”. Aunque ahora nos lo pretenden hacer tragar como una información que orienta al

estudia nte sobre criterios de evaluación, metodología docente, bibliogra fía, etc. La mona sigue vistiéndose de seda. Soyromanista y chapado a la antigua. Prefiero el contrato al plan. Por ello no tengo plan docente, sino contrato docente.

16 Prácticamente el mismo número de semanas lectivas de un cuatrimestre. Giner de los Ríos, (La Universidad Española,

Madr id 1902) ya decía que nuestros alumnos más que estudiantes son “examinandos”.

de a afectar negativamente los resultados delos exámenes17.La respuesta a la pregunta que encabezaeste epígrafe está clara: si sólo queremosevaluar conocimientos nos basta con losexámenes y, además podemos venderlo

como tradición casi milenaria a algún mu-seo antropológico. Si pretendemos evaluarel aprendizaje como proceso, deberemosrecurrir a otras alternativas.

¿Hay alternativas?

Por supuesto. El ABP entendido como pro-ceso comprende, como se ha dicho, la eva-luación como parte integrante de éste. Paraello es preciso dotarse de diversos instru-mentos que han de proporcionar distintostipos y calidades de información, que seránla base del proceso.

La evaluación por terceros

Es la forma tradicional de evaluación. Elexaminador debe ser un tercero, cuanto másalejado del estudiante, mejor, y si puede serun tribunal, aún mejor. Así se garantiza laobjetividad, la imparcialidad y la transpa-rencia del proceso.

El ABP no elimina la evaluación por terce-ros, pero la limita a determinados aspectos:

- Evaluación de conocimientos básicos,mediante un test por sorpresa. Propor-ciona tanto información al profesor so-bre el nivel general del grupo (en estecaso es indiferente que sea anónimo ono) como para el alumno sobre el do-minio de estos conceptos básicos parasu proceso de aprendizaje. En nuestraexperiencia hemos realizado un test

17 Javier Bará, Técnicas de aprendizaje basado en problemas, UPC, Barcelona 2002. En nuestro caso, es un comentario gene ralizado entre nuestros alumnos, con un buen rendimiento académico en PBL, que en el examen de las

asignaturas ordinarias (léase en su peor acepción) rinden menos porque les obliga a “cambiar el chip” y porque a lo l argo del c ua trimestre han estado únicamente concentrados en las materias que se imparten con metodología PBL.

106

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

mensual con un número reducido depreguntas (10 o 15) y siempre sobreconceptos considerados básicos. El testexige una buena preparación y unaformulación muy clara en las alternati-vas ofrecidas. La media obtenida ha si-do un 7,08 sobre 10. También hemosinvitado a los alumnos a que realizaransus propias propuestas de preguntas detest, la mayoría de las cuales eran in-servibles como tales, muy rebuscadas,mal formuladas y sobre cuestiones queno eran básicas en modo alguno.

- Evaluación de los portavoces de equi-po. Semanalmente, los portavoces deequipo debían informar oralmente alcolectivo o grupo de los resultados desu trabajo. A partir de los diferentes in-formes se iniciaba el debate sobre eltema que era objeto de discusión. Laevaluación del portavoz era el resultadode un debate realizado por el equipodocente sobre la base de los siguientescriterios:

o expresión oralo capacidad de improvisacióno capacidad de iniciativao capacidad de argumenta-

cióno capacidad de críticao grado de respuesta a argu-

mentación y crítica

Al final de la sesión se emitía la califi-cación respecto a este extremo.

- Evaluación de los informes de equipo.Cada equipo venía obligado a entregarsemanalmente un informe escrito quepresentaba el portavoz. La evaluaciónse realizaba también semanalmente ycomprendía:

o Presentacióno Exposición y análisis de los

hechoso Estrategias desarrolladaso Solución alcanzadao Materiales utilizados (bi-

bliografía, jurisprudencia18)

18 Algunos estudiantes de cuarto curso han re conocido que hasta la fecha desconocían la existencia de la

base de datos más popular en el

La evaluación entre iguales o peer re-viewing

Se ha utilizado la evaluación entre igualesen algunas ocasiones y los resultados hansido sorprendentes por la coincidencia casiabsoluta (con desviaciones sólo de centési-mas) entre las calificaciones del equipodocente (que los alumnos desconocían) ylas realizadas por los distintos equipos. Seutilizaba la técnica del jurado deportivo, enla que cada miembro del equipo otorgabauna calificación y, a continuación se pro-mediaba, pero sin publicidad respecto alvoto individual de cada uno. También se hautilizado la evaluación entre iguales paracalificar a los portavoces de equipo porparte de sus compañeros.

La autoevaluación

En un sistema de aprendizaje a través de lasolución de problemas, tanto el equipo do-cente como los alumnos tienen que tenerclaro cuáles son los fines del aprendizaje,qué habilidades se pretende desarrollar ycon qué medios o recursos se va a contarpara alcanzarlos. Este sistema de enseñan-za, exige formas alternativas de evaluación,y en esta línea es indispensable que elalumno participe en su propia evaluación.La autoevaluación no es más que un com-promiso del alumno consigo mismo y yaque el aprendizaje no es sino un proceso decomunicación, el alumno no sólo puede,sino que debe tomar parte en él, a riesgo defrustrar este mismo proceso. Para cada sesión se proponen una serie deobjetivos que se pretende alcanzar. Algunosde ellos son relativos a conceptos básicosdel aprendizaje y otros, en cambio, corres-ponden a habilidades que tienen que de-sarrollar y que son de distinta índole. Tantola actividad de la sesión como los objetivosse presentan a los alumnos a través de unsoporte electrónico que pueden consultarmediante acceso remoto. La primera toma

mundo del derecho: el “Repertorio cronológico de jurisprudencia Aranzadi” o “aranzadi” a secas.

107

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

de contacto con los estudiantes se realiza enuna reunión del tutor con los equipos en laque se discuten los objetivos, se detectanlos problemas y se empieza a trabajar conlas primeras aproximaciones a la solución yal diseño de estrategias. Durante toda lasemana queda abierto un foro virtual dóndelos alumnos y el tutor se mantienen encontacto. La ventaja de esta herramienta esque todos -alumnos y profesor- participanen las cuestiones que se van suscitando parala resolución de los problemas.

En la sesión plenaria, cada equipo aporta“su” solución a los problemas, la cual sepresenta oralmente por el portavoz en for-ma de informe. Durante esta sesión se tra-bajan los conceptos, se valoran las diferen-tes soluciones posibles que han sido aporta-das por los alumnos y se resuelven las du-das o problemas planteados.

La tarea del profesor consiste en promoverel debate y la participación. Al final de lasesión propone un modelo de respuesta queposteriormente publica en el mismo soporteelectrónico, pero a su vez tiene que ser ca-paz de valorar todas las propuestas aporta-das por los alumnos, para que al final de lasesión sea posible realizar unas conclusio-nes que determinen si se han logrado losobjetivos y en qué medida. Finalmente, losalumnos disponen de unos minutos paravalorar su propio trabajo, hacer aclaracioneso correcciones en sus propuestas iniciales yfinalmente deben evaluar el resultado otor-gándole la calificación que crean justa antesde entregarla al profesor para la revisión.

De este modo, la autoevaluación se vaelaborando durante el curso de forma conti-nuada, lo que permitirá al alumno familiari-zarse con el sistema, para que al final seacapaz de hacer un balance que refleje si sehan logrado los objetivos del curso y en quémedida.

La carpeta del equipo

Cada uno de los equipos viene obligado allevar una carpeta, dossier o portafolios quetiene por misión recoger de forma sistemá-tica y ordenada las evidencias del aprendi-zaje del equipo. La carpeta es un instru-mento muy útil de evaluación, porque con-tiene o debe contener toda la informaciónrelativa a la tarea colectiva del equipo. La

carpeta pretende ser una representacióndinámica de la actividad desplegada por elequipo. Siguiendo la metodología propuestapor María Teresa Colén (Colén, 2002), lacarpeta contiene dos tipos de evidencias; lasobligatorias y las voluntarias. La distinciónen nuestro caso la hemos utilizado para queaquellos miembros de un equipo, más moti-vados o con mayor iniciativa puedan refle-jar su esfuerzo personal en el trabajo delcolectivo. Ello a veces provoca problemasentre los miembros del equipo, acostum-brados como están al encubrimiento y alanonimato en el que se han sumergido todasu vida, pero terminan por comprenderlo.

Las evidencias obligatorias vienen repre-sentadas por el índice o esquema concep-tual, las autoevaluaciones, las evidencias decontenido (bibliografía consultada, juris-prudencia manejada, actividades realizadas,etc.) y las evidencias de los procesos deaprendizaje, entre los que destacan las actasde las sesiones de las reuniones de los equi-pos que deben ser redactadas por el secreta-rio y aprobadas por el colectivo. María Te-resa Colén propone asignar un 70% de lavaloración de la carpeta a las evidenciasobligatorias y un 30% a las voluntarias. Ennuestro caso, y dado que ha sido la primeraexperiencia, no nos hemos sometido a nin-gún patrón rígido. Los criterios utilizadospara valorar cada una de las partes de lacarpeta han sido: la relación entre los con-ceptos y su presentación, la originalidad enla presentación, la relevancia de las eviden-cias en relación con los conceptos básicostratados, la selección de evidencias no tri-viales (evitar la valoración “a peso”)

La carpeta es objeto de revisión por lo me-nos dos veces durante el cuatrimestre, aun-que sería aconsejable realizar más revisio-nes, y sobre todo la primera al cabo de po-cas semanas de empezar el curso, debido ala falta de costumbre y a la necesidad deindicar pautas para corregir los defectosdetectados.

La evaluación negociada

Este curso hemos llevado a cabo por prime-ra vez una experiencia de evaluación nego-ciada con un resultado altamente satisfacto-rio: por primera vez en mis 30 años de do-cente no he sentido aversión a emitir un

108

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

juicio sobre el aprendizaje. Han sido objetode negociación tanto los criterios de eva-luación como los resultados de esa mismaevaluación.

Como se recordará, los estudiantes eranobjeto de evaluaciones semanales en susdistintas modalidades ya comentadas. Laexpresión numérica de dichas evaluacionesse iba acumulando en una tabla, de modoque al final de las 12 semanas del cursocada alumno poseía tres magnitudes acu-muladas: la del equipo, la de evaluación poriguales y la de las autoevaluaciones indivi-duales.

Cada uno de los equipos ha sido convocadoa una entrevista a lo largo de distintos días(una mañana por equipo). La primera horase dedicaba a una reunión del colectivojunto con el responsable del grupo y el tu-tor. Se comentaba el trabajo realizado por elgrupo y se proponía una calificación razo-nada por parte del equipo docente que teníasobre la mesa toda la información recogidaen la carpeta y disponía, además, de suspropias notas, informes, etc. No ha habidoningún equipo que se haya mostrado dis-conforme con la calificación propuesta.

Terminada esta primera reunión (de 1 horaaproximadamente de duración) se procedíaa entrevistar individualmente a cada uno delos miembros del equipo. En esta ocasión elequipo docente trataba de suministrar alalumno su opinión sobre sus puntos fuertesy débiles y sobre el progreso experimentadoen su proceso de aprendizaje. Se invitaba alalumno a reflexionar sobre ello y se le in-quiría sobre cuál de las magnitudes queproporcionaba la evaluación semanal leparecía más aceptable. A partir de ahí elequipo docente proponía al alumno unacalificación que, en la mayoría de los casos,ha sido aceptada y no ha sido necesariocontinuar negociando. En algunos casos elestudiante se ha salido con la suya y haobtenido una calificación política ligera-mente superior a la que le correspondería enopinión del equipo docente. Con la califica-ción “política” se trata de motivar a algunosde estos mismos alumnos que van a conti-nuar aprendiendo con el mismo sistema otraasignatura del segundo cuatrimestre, y quenecesitan reforzar su seguridad y autoesti-ma. Suelen ser alumnos que confunden

esfuerzo con rendimiento y no aceptan fá-cilmente que se les califique por debajo deotro compañero. Se les advierte que la cali-ficación es “política” y que para mantenerlaen el segundo cuatrimestre tiene que mejo-rar los aspectos débiles que le han sido in-dicados. En otros casos, el alumno ha obte-nido una calificación ligeramente inferior ala que mostraban los distintos indicadores,pero no ha habido ninguna disconformidady todos ellos han manifestado querer conti-nuar la experiencia. En general se hanmostrado muy sinceros y honestos y elequipo docente ha aprendido mucho conello.

¿Qué se ha evaluado?

- Individualmente

o Trabajos o informes realizadosde forma individual y, en gene-ral, cualquier aportación indivi-dual (recensiones, escritos, co-mentarios, participación en el fo-ro de discusión). Se valoran es-pecialmente las iniciativas de losalumnos (p. ej., se han realizadopresentaciones animadas y consonido). La valoración compren-de tanto el contenido como laforma.

o Informe de los portavoces (sevaloran las habilidades para laexposición oral, la capacidad deimprovisar, la forma de argu-mentar, la capacidad de reaccióno respuesta a la crítica), rotándo-se en este rol.

Las actas de los secretarios (se valora lafidelidad al reflejar la actividad del equipoen sus reuniones, intervenciones individua-les, contribución de cada miembro a lasdiferentes tareas, etc.). Inicialmente seotorgaba la misma importancia a cada ítem,pero posteriormente, tras algunas reflexio-nes, se ha optado por una valoración ponde-rada. Se puntúa únicamente de 0 a 4 (0 =suspenso, 1 = aprobado, 2 = notable, 3 =sobresaliente y 4 = honor . El curso próxi-mo será de 1 a 7, siguiendo la escala euro-

109

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

110

la puntuación se va introduciendo desglosa-da en una hoja de cálculo que se publicasemanalmente en el dossier electrónico. Seha podido comprobar que el conocimientosemanal de la evaluación hecha por el equi-po docente actuaba también como estímulopara el aprendizaje. Los alumnos lo hanentendido así y en las encuestas han denun-ciado los retrasos como un defecto de orga-nización.

- Colectivamenteo Informes escritos de los equipos

(la valoración se centra en elcontenido)

o Los cuestionarios para los ejerci-cios en línea

Las actividades colectivas (como puedenser las simulaciones de negociación, losinformes de equipo en las sesiones plena-rias, etc.) son evaluadas colectivamente.Como pauta de evaluación se ha optado porpreferir la colectiva sobre la individual.

¿Cuáles han sido los criterios?

o La actitud del grupo en relacióncon la resolución del problema

o Las habilidades en la argumenta-ción

o El trabajo en equipoo La cantidad y la calidad de mate-

riales empleados en la prepara-ción

o La abundancia y la coherenciade los argumentos

19 EXCELENTE: 7 Resultado extraordinario con solo algunos errores de escasa relevancia MUY BIEN: 6 Por encima de la media pero con algunos errores BIEN: 5 Buen trabajo de con junto con un notable número de errores SATISFACTORIO:

4 Correcto pero con un déficit significativo SUFICIENTE: 3 El resultado cu bre los mínimos SUSPENSO: 2 Hay que

realizar trabajo adicional para conseguir los créditos SUSPENSO: 1 Hay que realizar mucho trabajo adicional

¿Cómo se ha evaluado?

Se otorga una calificación idéntica a todoslos miembros del equipo. Si algún miembrodel equipo no asiste a la reunión sin justifi-cación la calificación que le corresponde esde 0 puntos. Dado el estrecho margen decalificación de 1 a 4, un 0 supone una pe-

nalización importante que trata de disuadirconductas oportunistas. Los alumnosaprenden a excusar su falta de asistencia alas reuniones.

Todas las actividades realizadas colectiva-mente son objeto de evaluación. El 60% dela calificación corresponde a la resoluciónde casos y otros actividades centrales. Elresto (participación en el foro, confecciónde ejercicios de autoevaluación, esquemaconceptual, etc.) se distribuye a partesiguales.

¿Cómo se lleva a cabo el proceso de eva-luación?

- Evaluación semanal. Cada semana sepublican los resultados de les evalua-ciones, de terceros (del equipo docen-te), de entre iguales ( o peer reviewing)y el de las autoevaluaciones. Las mag-nitudes se van acumulando, de modoque el estudiante puede comprobar entodo momento los indicadores del pro-greso de su aprendizaje.

- Evaluación final

o Evaluación de la carpeta de equi-po. El índice y las actas jueganun papel preponderante.

o Negociación. La calificación fi-nal obtenida por el alumno es elresultado de una negociación, talcomo se ha descrito anterior-mente, en la cual se ponen sobrela mesa todos los elementos deinformación: autoevaluaciones,evaluaciones individuales, colec-tivas, carpeta, etc. Se realiza unaentrevista con cada uno de losequipos para evaluar la carpeta yuna entrevista individual con ca-da alumno para pasar revista a sutrayectoria durante el curso y a

su contribución como miembrode un colectivo.

pea propuesta para los créditos ECTS19) y

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

El sistema de evaluación utilizado ha sidoun incentivo importante para el estudio. Lascifras obtenidas a partir de una muestraaleatoria realizada con 90 alumnos son muyelocuentes sobre la impresión que tienen losestudiantes acerca de la contribución deeste sistema al incremento de su aprendi-zaje. Un 36 por ciento de los encuestadosafirman que el sistema de evaluación hamejorado su aprendizaje y un 37 por cientoseñala que el sistema ha contribuido muchoa ello. En total, pues la cifra representa un73% de los alumnos de la muestra. Si aña-dimos que un 17% piensa que ello ha con-tribuido bastante y un 6% que lo ha hechode manera extraordinaria, la cifra asciendehasta el 96% y sólo un 4% opina que hacontribuido poco o nada ( ver Tabla 3 )

Como muestra, se puede ver en el siguientegráfico (Gráfico 1) los motivos que expre-san los estudiantes sobre la forma de lacontribución del sistema de evaluación aincrementar su aprendizaje.

Hay que destacar que el mayor porcentajede estudiantes (61,54%) considera comohecho más positivo la valoración de la ad-quisición de habilidades y el desarrollo deaptitudes, que junto con la evaluación deuna pluralidad de cuestiones (un 55,38%)ponen de relieve el rechazo a un sistema deevaluación centrado únicamente en la ad-quisición de conocimientos.

Preguntados los alumnos sobre la posibili-dad de extender la experiencia de un apren-dizaje en PBL a otras materias, la respuestaha sido la siguiente: sólo un 1% no ve posi-ble ampliarla o trasladarla a otras materias.Téngase en cuenta que a los estudiantes nose les explicó cómo podrían impartirse lasmaterias (en forma de bloques o unidadesque integran distintas áreas) y tampoco seles aclaró que materia no equivale a asig-natura. Aún así, sólo un 1% (en la muestra,1 estudiante) manifiesta que ello no es po-sible. La respuesta todavía es más elocuentecuando se les pregunta si recomendarían laexperiencia. Entre los encuestados un 98%se pronuncia afirmativamente.A continuación se muestran algunas de lasrespuestas20 de los estudiantes a la pregun-ta, siguiente a la de ¿recomendarías la expe-riencia?, ¿qué les dirías?

- Como forma de estudio es mucho másventajosa que las que se imparten deforma tradicional, con la evaluacióncontinuada se aprende mucho más y seestudia más, se deduce, se rectifican in

los posibles problemas que se pue-

dan encontrar tanto en las clases comocon los tutores, hay una confianza entreprofesor y alumno

- Que lo probaran porque interesa más delo que puedes imaginar a la primeraimpresión porque aprendes desde dife-rentes puntos la materia y los conceptosy los objetivos de la materia quedanmucho más claros y son más difícilesde olvidar con el paso del tiempo

20 Las respuestas se han trasladado tal como las han escrito los estudiantes. No se ha realizado ninguna modificación, ni de forma ni de conte nido y sólo mostramos algunos ejemplos.

situGráfico 1. Motivos de la contribución de la evaluación al aprendizaje

Motivos de la contribución al aprendizaje

6

14

9

11

736,84%

57,89 %

47,37%

73,68%

31,58%Porque es paralelo al método detrabajo

Porque permite discutirlo con elprofesorado

Porque permite olvidarse delexamen final

Valores absolutos Valores en porcentaje

Tabla 3. Calidad delaprendizaje

Mejor 36%

Bastante mejor 17%

Mucho mejor 37%

Extraordinaria 6%

TOTAL 96%

NO 4%

111

Revista de la Red Estatal de Docencia Universitaria. Vol 3. N.º2

y a ello no es ajeno el sistema de evalua-ción. En tercer lugar, hay que señalar quetambién una importante porción de estu-

diantes señala como uno de los aspectosmás positivos del sistema (corroborado poralgunos comentarios libres) la autonomía enel proceso de aprendizaje. Pese a que aprimera vista parezca que se incrementa elrigor y el control sobre los sujetos del pro-ceso, en la práctica son éstos quiénes tienenque construir su propio sistema de conoci-mientos y así lo advierten expresamente. Encuarto lugar, el contrato docente, la autoe-valuación y la evaluación negociada incre-mentan el sentido de la responsabilidad. Elestudiante toma conciencia de que sólo él esresponsable de sus propios actos y acabapor aceptarlo, pese a que le resulta difícil enun principio. Esta idea supera el estrictomarco educativo y hay que ponerla en co-nexión con la autonomía en el proceso deaprendizaje. Sólo se es autónomo, es decirlibre, en la medida en que se es responsa-ble. No descubrimos nada nuevo, ya lopusieron en evidencia los juristas romanos,padres de nuestro actual derecho privado,conocido en Roma como ius civile. El pactolibre, es decir, el contrato, y la responsabi-lidad son dos de las instituciones básicas deeste derecho. Por ello nuestro proyectolleva por título Escola de ciutadans (“Es-cuela de ciudadanos”).

REFERENCIAS

Bloom, Benjamin S. Taxonomía de los objetos de la educación. Alcoy Marfil 1975, pág. 30 yss.

Boakes A. & Dickinson, A. (ed.), Mechanisms of learning and motivation. Hillsdale, New Jer-sey : L. Erlbaum, 1979

Colén, M.T. “La evaluación de los procesos de enseñanza y aprendizaje a través del portafolios.¿Una moda o un proceso de evaluación que favorece el cambio en las aulas universitarias”, en VJornades sobre Docència Universitària, L’avaluació dels aprenentatges de l’alumnat. Intercanvid’experiències d’innovació. Barcelona 2002, pág. 4.

Penner, Louis A., Social psychology a contemporary approach ( in collaboration with S.L. Cohen and B. C. Stearns) 2d. print, New York Oxford University Press

1978,.

- Que aprovechen la oportunidad si quie-ren aprender y que se busquen un buenequipo en el que confiar

- ¡Arrójate a la vida! Merece la pena salirde la dinámica, o mejor dicho, ausenciade dinámica de los cursos anteriores

- Es útil un sistema así porque te hacetrabajar de forma continua, a saber bus-car la información, a hablar en público,a trabajar en equipo y a aprender sindarte cuenta.

Conclusiones

La primera y principal conclusión que seobtiene es que la evaluación continuadacontribuye de forma decisiva a estimular alalumno a seguir con su proceso de aprendi-zaje. Una gran mayoría de alumnos respon-den que el sistema de evaluación ha contri-buido a incrementar su aprendizaje. Lasegunda, y no menos desdeñable, consisteen que ese aprendizaje no sólo es mayor,sino mejor. La impresión que tienen losalumnos es que han aprendido más y mejor

112