206.217

El Instituto de Estudios de la Salud (IES), organismo del De-partamento de Salut de la Generalitat de Catalunya, siendofiel a su función dentro del sistema sanitario, de formación yevaluación de la competencia clínica (ECC) de los profesio-nales sanitarios, inició hace más de 12 años diversos pro-yectos dirigidos a la mejora de la formación y evaluación,tanto en el pregrado como en el posgrado y para la acredita-ción y certificación profesional1 (tabla 1).A petición de las facultades de medicina de Cataluña, el IESha realizado diversos proyectos de evaluación en pregradocon la finalidad de conocer con más rigor la competenciaclínica de los médicos que finalizan su formación, al consta-tar que los métodos tradicionales usados hasta entonces noevaluaban plenamente las habilidades clínicas básicas2.Desde el año 1993, se comenzó a fraguar todo un modeloconceptual y metodológico de lo que debería ser en el futu-ro, no sólo la evaluación de médicos y estudiantes, sinotambién su formación. El fundamento sobre el cual naceeste proyecto innovador que pretende influir en el ámbito dela educación médica, fue el de la ECC y la formación basa-da en competencias. La filosofía de este concepto sirviópara comenzar a buscar en la evaluación una congruenciacon el proceso formativo garantizando que la enseñanza dela medicina se adaptara a las necesidades de la sociedad.Para ello se debería comprobar la calidad tanto del resulta-do (el profesional sanitario) como del sistema que los forma,mediante unos instrumentos de medida fiables y válidosque puedan certificarla.Con el apoyo de la Educational Comission for Foreing Medi-cal Graduates (ECFMG) del National Board of Medical Exa-miners (NBME) de Estados Unidos y el Centre d’Évaluationdes Sciences de la Santé de l’Université Laval de Quebec(Canadá), comenzamos a conocer la experiencia internacio-nal en cuanto a la aplicación de las técnicas de ECC3-8 y a in-corporarlas progresivamente a nuestro medio educativo, es-tableciendo nuestro propio marco conceptual y metodológicoen una guía de proyectos de ECC9,10. Fruto de este trabajo,en enero de 1994 se realizó, en colaboración con el ECFMG,el primer proyecto de ECC diseñado para los estudiantes delúltimo curso de la carrera11. Desde entonces se inició una in-vestigación sistemática y en los años posteriores se diseña-ron proyectos más complejos, hasta que las pruebas de ECCadquirieron el formato actual llamado evaluación clínica ob-jetiva y estructurada (ECOE). Los proyectos de ECOE de las

facultades de medicina de Cataluña se han presentado enlos congresos internacionales de la Ottawa Conference onMedical Education desde 1998 (Philadelphia, Estados Uni-dos)12-16 hasta el último en 2006, y en el congreso de la As-sociation for Medical Education in Europe (AMEE) en 2002(Lisboa)17,18, participando y compartiendo las experienciasmetodológicas internacionales, especialmente sobre ECC ysobre otros proyectos en educación médica.Este artículo presenta el desarrollo y la evolución de los for-matos evaluativos en los sucesivos años, desde su primeraedición en 1994 hasta la edición de 2006, y muestra el di-seño y el resultado de los proyectos en 2 grandes etapas, ladel período inicial 1994-1997 y la del período con los for-matos ECOE, desde 1998 hasta 2006.

Personas, materiales y métodoMarco conceptual

Muchos autores han definido el constructo competencia clínica (CC). En esesentido, inicialmente asumimos la definición genérica de Kane, donde los co-nocimientos, habilidades, actitudes y buen juicio eran aplicados a la resolu-ción de problemas4. El perfeccionamiento progresivo de los métodos de eva-luación nos permitió asumir la medición de aspectos más complejos y basarnuestros trabajos en definiciones más completas del constructo CC, como,por ejemplo, la que considera al profesional competente como «aquel queusa de modo habitual y sensato los conocimientos, habilidades técnicas, lashabilidades de comunicación, el razonamiento clínico, las emociones, valoresy reflexión de la práctica diaria para el beneficio del individuo y la comunidada la que se sirve»5. Ronald Epstein completa esta definición añadiendo que

ARTÍCULO ESPECIAL

Med Clin (Barc). 2007;129(20):777-84 777

Evaluación de la competencia clínica de las facultades de medicina de Cataluña, 1994-2006: evolución de los formatos de examen hasta la evaluación clínica objetiva y estructurada (ECOE)

Eduard Kronfly Rubianoa,b, José I. Ricarte Díezb, Sebastián Juncosa Fonta,b

y Josep Maria Martínez Carreteroc

aMedicina de familia. Institut Català de la Salut (ICS). Barcelona.bUnitat d’Avaluació de les Competències Clíniques.cSubdirección. Institut d’Estudis de la Salut. Barcelona. España.

Correspondencia: Dr. J. M. Martínez Carretero.Subdirección. Institut d’Estudis de la Salut.Roc Boronat, 81-95. 08005 Barcelona. España.Correo electrónico: jmartinezcarre@gencat.net

Recibido el 25-4-2007; aceptado para su publicación el 25-5-2007.

TABLA 1

Proyectos sobre evaluación de las competencias clínicas1994-2006

Pregrado Proyectos (n) Total evaluados

Medicina (ECC) 16 897Medicina (ECOE) 64 4.153Enfermería (ECC) 4 255Enfermería (ECOE) 33 1.856Seminarios paciente-monitor 21 1.471

Posgrado

Valoración formativa residentes Diversos proyectos No cuantificadosde medicina de familia y comunitaria

Certificación y acreditación profesional

ECOE de medicina interna, 53 1.201medicina de familia y comunitaria, pediatría, geriatría, neonatología, matronas y análisis clínicos

Técnico en transporte sanitario 6 4.670Sistema de incentivación Elaboración

y promoción profesional documento 1997

Total 197 14.503

ECC: evaluación de la competencia clínica; ECOE: evaluación clínica objetiva y estructurada.

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 777

«la competencia se construye sobre una base de habilidades clínicas integra-das, relacionales, de conocimiento científico y de desarrollo moral».Teniendo en cuenta tales conceptos, se aceptó, por consenso de un grupode profesores clínicos escogidos por las facultades de medicina catalanas,que la CC era el producto de la agregación de unas cualidades y atributosque se separaban para facilitar la observación y la medición y que recibieronel nombre de componentes competenciales. La definición minuciosa de cadauno de estos componentes fue realizada por este grupo de trabajo, quedandorecogida en un amplio documento6, y se llega al acuerdo de que éstas seríanlas competencias que los estudiantes deberían haber adquirido al final de superíodo formativo. A partir de este documento de consenso, que anualmenterevisa el comité de prueba, se han ido extrayendo los contenidos de los exá-menes.

Diseño de la prueba

El diseño del formato de la prueba ECC se traduce en la puesta en escena deuna serie de situaciones clínicas simuladas pero representativas de la prácti-ca real, presentadas de forma seriada en unos lugares físicos llamados esta-ciones. En el período 1994-1997 el formato consistía en 10 estaciones dondese evaluaban los mismos componentes. A partir de 1998, con los formatosECOE, se incrementaron el número de estaciones y los problemas clínicosexpuestos en ellas, permitiendo evaluar varios componentes competencialessimultáneamente; además, estos componentes variaban en las sucesivas es-taciones, proporcionando al final de todo el recorrido el perfil competencialdel candidato.A partir de la edición de 2001, se abrió un segundo escenario de examen(fase escrita) donde mediante preguntas de elección múltiple (PEM), 20 deellas asociadas a imágenes clínicas, se valoraban los aspectos competencia-les que no se podían examinar plenamente en la fase multiestaciones (cono-cimientos e investigación, juicio clínico, actividades preventivas y aspectosético-legales).En los años 2002 y 2003 se introdujeron en la fase multiestaciones unas no-vedades logísticas con la finalidad de mejorar la seguridad de la prueba in-

tentando adaptar el diseño a los cánones internacionales. El cambio consistióen colocar 2 ruedas multiestaciones iguales y simultáneas que a partir delaño 2004 se ampliaron a cuatro. Estos cambios permitieron acortar el tiempode la prueba al admitir más alumnos cada día, aunque generaban un mayoresfuerzo organizativo ya que cada rueda debía tener diferentes actores u ob-servadores entrenados de igual forma (fig. 1). Este reto organizativo buscabamáximas fiabilidad, equidad y seguridad con una mayor eficiencia. El tiempototal es de 4 h, con un descanso general de 30 min en la mitad de la prueba.La organización de los proyectos requirió que el diseño de los casos, la selec-ción y el entrenamiento de los pacientes simulados estandarizados, así comolos aspectos logísticos e informáticos de las pruebas, se llevaran a cabo me-diante procesos consensuados y sistematizados, unificando la actuación delos integrantes del equipo. Estas formas sistemáticas de actuación quedaronescritas en una serie de manuales respectivos que garantizaban la estructu-ración de los proyectos y la obtención de resultados más objetivos9,10,19.

Contenidos de las pruebas de ECC

Las facultades de medicina o sus unidades docentes (UUDD) aportaban 1 o2 profesores (del ámbito hospitalario y de la atención primaria) para formarun comité de prueba con la tarea de elaborar cada año los contenidos. Loscasos clínicos diseñados para esta prueba cumplían las pautas marcadas porel documento de consenso antes mencionado6, y queda reflejado en una ta-bla de especificaciones el peso específico de cada uno de ellos en el conjun-to de la prueba (tabla 2).Los diseños simulaban diferentes situaciones clínicas en 4 ámbitos de actua-ción: atención primaria de salud (APS), planta hospitalaria, servicio de urgen-cias hospitalario o el domicilio. Los problemas de salud representados pre-tendieron ser una muestra amplia de la práctica clínica y se seleccionaroncon criterios de prevalencia y relevancia clínica.Los instrumentos evaluativos que formaron parte de las estaciones fueron:pacientes estandarizados (PE), maniquíes (M), imágenes clínicas (ImCI), pre-guntas de respuesta corta (PRC), examen oral estructurado (EOE) e informesclínicos (IC) (tabla 3).

Contenidos en el período 1994-1997. El formato evaluativo diseñado consta-ba de 10 estaciones basadas en entrevistas con PE al final de las cuales losestudiantes debían escribir sendos IC. Mientras tanto, los actores marcaban,en un cuestionario de evaluación sobre la anamnesis, la exploración física ylas habilidades de comunicación, las puntuaciones obtenidas por los candi-datos durante la entrevista. Con este formato se evaluaban los componentesde «anamnesis», «exploración física», la capacidad para realizar informes clí-nicos y las habilidades de comunicación. Las tres primeras se agruparon enel epígrafe «habilidades clínicas», y se realizó la evaluación de la comunica-ción de forma separada.Se utilizaron 2 cuestionarios de comunicación: el primero, usado de 1994 a1996, fue el de la ECFMG, y a partir de 1996 y hasta la actualidad, se realizamediante el diseño de un cuestionario propio de evaluación cualitativa tipoLikert, con 10 ítems (tabla 4). La valoración de cada ítem se hace con unaescala gradual de 0 a 10 con 5 niveles que iban desde «nada», «poco», «re-gular», «bastante» hasta «mucho».

Contenidos de las pruebas con formato ECOE (1998-2006). Desde 1998 has-ta 2000 hubo un período de transición en que las pruebas se basaron sóloen un diseño multiestaciones, aunque ya se adoptó el formato de evaluaciónconocido internacionalmente como evaluación clínica objetiva y estructurada(ECOE). En el año 1999 se añadieron los componentes «conocimientos» y«ético-legales». En 2001 se incorporó también el componente «investiga-ción» y la prueba pasó a desarrollarse en dos fases: la primera consistía enun sistema multiestaciones cuyo formato finalmente quedó establecido en 14casos distribuidos en 20 estaciones. La segunda fase se compone de 150PEM, 20 de ellas asociadas a imágenes clínicas.

Encuestas de opinión

Para valorar la opinión de los estudiantes se empleaba un cuestionario quelos estudiantes contestaban al acabar la fase multiestaciones; se preguntaba

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

778 Med Clin (Barc). 2007;129(20):777-84

TABLA 2

Tabla de especificaciones utilizada el año 2006

CompetenciasFase multiestaciones Fase escrita Total

Puntos % Puntos % Puntos %

Anamnesis 289 13,8 0 0 289 13,8Exploración física 213 10,1 0 0 213 10,1Comunicación 185 8,8 0 0 185 8,8Conocimientos 80 3,8 302 14,4 382 18,2Juicio clínico 183 8,7 248 11,8 431 20,5Habilidades técnicas 305 14,5 0 0 305 14,5Investigación 0 0 40 1,9 40 1,9Medicina preventiva 40 1,9 75 3,6 115 5,5Relaciones interprofesionales 80 3,8 0 0 80 3,8Ético-legales 25 1,2 35 1,7 60 2,9Totales 1400 66,6 700 33,4 2.100 100

Fig. 1. Organización logística definitiva de la evaluación clínica objetiva y es-tructurada (ECOE) de pregrado de medicina.

Fase escritaPrueba simultánea en todos

los centros

Rueda logística «B»:• 14 casos clínicos• 20 estaciones

Rueda logística «D»:• 14 casos clínicos• 20 estaciones

Rueda logística «C»:• 14 casos clínicos• 20 estaciones

Rueda logística «A»:• 14 casos clínicos• 20 estaciones

1.487 estudiantes

Fase multiestaciones

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 778

por los aspectos organizativos, de contenido y sobre la capacidad de predic-ción del examen sobre su futura actuación en la práctica real. La opinión delos estudiantes servía para detectar los aspectos mejorables y, también,como un método para estudiar la validez de apariencia del proyecto.

Administración de las pruebas de ECC

En todas las ediciones, las pruebas se desarrollaron en las consultas externasde los respectivos hospitales docentes o centros de atención primaria partici-pantes. La primera prueba de ECC tuvo lugar en la Ciutat Sanitària i Univer-sitària de Bellvitge (CSUB), en la que participaron 83 médicos internos resi-dentes (proyecto Combell I) y 64 alumnos (proyecto Combell II). En lossucesivos años se han incorporado todas las facultades de medicina de Cata-luña, y desde 1994 se ha evaluado un total de 4.331 alumnos del último añode licenciatura (tabla 5). Además, han participado otros estudiantes de terce-ro, cuarto y quinto curso hasta la totalidad de 5.050. Cabe destacar que en 2006 la Facultad de Medicina de la Universidad Complutense tambiénparticipó en el diseño de la prueba y evaluó a 96 de sus estudiantes de sextocurso.

Análisis de los resultados

Período 1994-1997. El estudio de los datos se basaba en un análisis descrip-tivo de las notas mediante los estadísticos básicos. Como aún en ese períodono se evaluaba el constructo competencia clínica, los valores finales refleja-ban por separado las habilidades clínicas básicas (anamnesis, exploración fí-sica e informe clínico) y las habilidades de comunicación. En ambos casoslos resultados se expresaban con un porcentaje de puntos obtenidos sobre eltotal posible.

Período 1998 en adelante: formato ECOE. Para el estudio de los resultadosse hizo un análisis descriptivo de las notas mediante los estadísticos descrip-tivos básicos, donde la puntuación media de cada caso se expresaba en for-ma de porcentaje (puntos obtenidos sobre el total posible por 100). Este cál-culo se basa en la tabla de especificaciones general de las ECOE, en cuyoformato definitivo, a partir de 2002, se dispuso que la fase multiestacionescontuviera el 66,6% de los puntos y la fase escrita, el 33,3%. Dado que cadacaso puntúa 100 puntos y hay 14 casos, el total de puntos posibles en la fasemultiestaciones es de 1.400 y en la fase escrita de 700.Los estudios de correlación entre la fase multiestaciones y la escrita se empe-zaron a realizar a partir de 2002 mediante el estadístico del coeficiente decorrelación de Pearson.Asimismo, se tenía en cuenta el cálculo de la fiabilidad o de la consistenciainterna mediante el coeficiente alfa de Cronbach, al comienzo sólo para laprueba multiestaciones y luego (a partir de 2001) para cada una de las fasesde la ECOE. Para la fase multiestaciones, según método habitual que consi-dera los casos como ítems de la escala global, y en la fase escrita, las pre-guntas son los ítems de la escala. Este análisis se establecía mediante el pro-grama estadístico SPSS/PC+ para Windows versión 10.0 con el comandoReliability.

Resultados

Participantes

Desde el año 1994 al 2006 se examinaron un total de 4.331alumnos del último año de licenciatura pertenecientes a 8UUDD de las facultades de medicina de Cataluña y la Uni-versidad Complutense de Madrid (tabla 5). La Facultad deMedicina de la Universitat Rovira i Virgili y la UD del Hospi-tal de la Santa Creu i Sant Pau (Universitat Autònoma deBarcelona) son los centros que más alumnos han aportado,842 y 835 respectivamente.

Resultados generales

Por cuestiones metodológicas, separaremos los resultadosen período inicial (1994 a 1997) y final (1998 a 2006):

Período inicial (1994-1997). Mientras las habilidades de co-municación mostraron una valoración ascendente en ese pe-ríodo desde una media (desviación estándar) del 64,6%(11,1%) en 1995 hasta el 70,1% (6,9%) en 1997, el conjun-

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

Med Clin (Barc). 2007;129(20):777-84 779

TABLA 3

Componentes competenciales con el instrumento evaluativo usado en cada período

Instrumentos evaluativos

Componentes competenciales Período 1994-1997 Período ECOE (transición) 1998-2000 Período ECOE (formato final) 2001-2006

Anamnesis PE PE PEExploración física PE PE PEHabilidades de comunicación PE PE PEConocimientos PEM, PRC, ImCl PEM, PRC, ImClJuicio clínico/plan de manejo EOE, PRC, ImCl, PEM EOE, PRC, ImCl, PEMHabilidades técnicas Maniquí ManiquíMetodología de investigación PEMActividades preventivas PRC, EOE PRC, EOE, PEMRelación interprofesional/informe clínico IC IC ICAspectos ético-legales EOE, PRC, PEM

ECOE: evaluación clínica objetiva y estructurada; EOE: examen oral estructurado; IC: informes clínicos; ImCl: imágenes clínicas; M: maniquíes; PE: pacientes estandarizados; PEM: pre-guntas de elcción múltiple; PRC: preguntas de respuesta corta.

TABLA 4

Listado evaluativo de comunicación

Apariencia cuidada, buena higiene, postura corporal correcta

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Escucha adecuada, no interrumpe, está atento, mira mientras habla

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Cordialidad, realiza una buena recepción, sonríe

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Respeto, no critica ni hace juicios peyorativos

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Tranquilidad, se mantiene sereno, con control emocional

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Optimismo, ve los aspectos positivos, intenta dar ánimos al paciente

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Contacto: el contacto físico a la hora de hacer exploraciones físicas o saludar esamable

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Interés, se interesa por las opiniones, creencias, valores, preocupaciones o emociones del paciente

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Expresión inteligible, se expresa de manera que se le entiende claramente

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

Empatiza delante de las emociones intensas del paciente (dolor, ansiedad, alegría),participa, se solidariza o las entiende para intentar reconvertirlas

0 1 2 3 4 5 6 7 8 9 10

Nada Poco Regular Bastante Mucho

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 779

to de habilidades clínicas básicas (anamnesis, exploración fí-sica e informe clínico) tuvo unos resultados más erráticos,que mostró la nota más alta en 1994, con un 57,2% (7,0%).La puntuación más baja se registró en 1995 con 50,4%(5,0%), mientras que en 1996 y en 1997 los resultados obtu-vieron valoraciones intermedias (tabla 6). La puntuación so-bre habilidades de comunicación de 1994 se hizo con uncuestionario (escala de Likert de 1 a 5) diferente del que seutilizó a partir de 1995, por eso la puntuación final (3,4) no seobtuvo sobre los 100 posibles; por lo tanto, su resultado no escomparable con el resto de los proyectos de ese período.La tabla de resultados también muestra con detalle las pun-tuaciones obtenidas por los diversos componentes de lashabilidades clínicas, donde la anamnesis obtuvo las puntua-ciones más altas en todas las ediciones, con resultados queoscilan entre el 60 y el 70%; la exploración física fue la quemenos puntuó en todos esos años (valores entre el 39 y el51%), mientras que el informe clínico obtuvo valoracionesintermedias (46-54%).

Período con formato ECOE (1998-2006). Desde 1998 has-ta 2006 se examinó a 3.530 alumnos del último año de lalicenciatura. En las primeras 3 ediciones de este período,

las puntuaciones generales fueron menores que en lasevaluaciones posteriores; los resultados fueron: 52,9%(7,6%) en 1998, 52,3% (6,9%) en 1999 y 56,8% (5,8%)en 2000. En las ediciones siguientes, las valoraciones me-dias obtenidas se fueron incrementando, y casi todas sesituaron por encima del 60%, manteniendo las desviacio-nes estándar. El mejor resultado se obtuvo en 2004, con66,6% (8,8%), y la menor puntuación se registró en 2001con 57,9% (5,8%); los resultados prácticamente habíanido mejorando progresivamente año tras año, pero comose puede ver en la tabla 7 la tendencia se invierte desde2005, en que los resultados descienden a 64,3% (6,9%),y en 2006, a 60,8% (7,8%).Por componentes, los resultados más altos se han registra-do en las habilidades técnicas, investigación y ético-legal.Un factor común detectado en casi todas las ediciones esque los componentes con menor puntuación han sido ex-ploración física y relaciones interprofesionales (informes clí-nicos); el primero se sitúa por debajo del 50% entre 1998 y2000, para luego incrementar sus valores situándose pordebajo del 60% en las últimas 6 ediciones. En cuanto a losinformes clínicos, sus resultados se han mantenido en cifrasinferiores al 50% entre 2001 y 2006.

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

780 Med Clin (Barc). 2007;129(20):777-84

TABLA 5

Número de alumnos de las unidades docentes participantes por año

Centro Pruebas de ECC Pruebas de ECC con formato ECOE

1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 Total

CSU de Bellvitge-UB 147* 73 70 68 41 51 44 12 10 40 39 36 631Hospital Clínic Provincial Barcelona-UB 16 16Hospital Arnau de Vilanova, Lleida (UdL) 19 37 54 99 54 52 71 62 75 74 88 685Hospital Sant Joan de Reus/CAP Sant Pere-URV 60 60 69 83 54 63 59 78 66 66 88 96 842UD del Hospital de Sant Pau (UAB) 59 66 57 68 82 70 74 70 71 78 75 65 835UD de la CSVH (UAB) 117 117 94 92 106 90 616UD del HGTiP, Badalona (UAB) 50 44 62 50 40 49 295UD del Hospital del Mar (UAB) 65 49 57 50 49 45 315Hospital Clínico San Carlos. UCM 96 96Total 147 208 215 231 246 286 231 429 429 422 451 471 565 4.331

*Se incluye a 64 estudiantes de sexto curso y 83 residentes de primer año.CSU: Ciutat Sanitaria i Universitaria; CSVH: ciudad universitaria Vall d’Hebron; ECC: evaluación de la competencia clínica; ECOE: evaluación clínica objetiva y estructurada; HGTiP: HospitalUniversitario Germans Trias i Pujol; UCM: Universidad Complutense de Madrid; UD: Unidad Docente; URV: Univesitat Rovira i Virgili

TABLA 6

Resultados generales y por componentes de las pruebas de ECC 1994-1997

Componentes competenciales 1994 1995 1996 1997

(n = 64) (n = 172) (n = 215) (n = 174)

Anamnesis 69,6 (9,0) 63,40 (7,2) 62,81 (7,8) 60,07 (6,5)Exploración física 48,9 (11,3) 39,49 (8,2) 44,24 (11,0) 51,2 (10,7)Informe clínico 54 (7,2) 46,18 (5,2) 50,03 (6,5) 48,31 (6,2)Habilidades clínicas 57,2 (7,0) 50,39 (5,0) 53,02 (6,5) 52,20 (5,3)Habilidades de comunicación 3,4 (0,6) 64,60 (11,1) 67,88 (11,7) 70,09 (6,9)

Los datos se presentan como media (desviación estándar).

TABLA 7

Nota general y por componentes

Componentes 1998 1999 2000 2001 2002 2003 2004 2005 2006 Media Intervalo

Anamnesis 53,8 (8,3) 52,5 (9,0) 56,2 (7,7) 60,1 (7,8) 61,1 (9,2) 64,8 (8,4) 65,8 (9,9) 66,79 (8,38) 65,4 (9,95) 61,88 62,5-65,8Exploración física 46,0 (12,3) 45,9 (10,1) 42,4 (8,3) 50,8 (9,6) 51,2 (8,8) 51,4 (11,0) 59,0 (12,2) 56,18 (12) 51,54 (12,63) 51,51 42,4-59Informe clínico 73,1 (16,7) 47,2 (10,6) 58,3 (11,8) 45,1 (9,4) 47,8 (10,1) 48,6 (9,9) 46,3 42,58 (8,74) 41,3 (9,47) 48,1 41,3-58,3Habilidades técnicas 69,5 (15,9) 72,9 (13,6) 74,7 (10,8) 72,2 (11,9) 73,9 (12,4) 71,8 (12,8) 72,6 (11,72) 67,76 (13,59) 71,91 67,7-71,6Comunicación 68,6 (6,4) 69,5 (6,4) 71,6 (5,9) 67,8 (6,2) 67,0 (6,3) 61,4 (6,2) 64,4 (6,2) 64,7 (6,9) 64,76 (7,16) 66,03 61,4-74,7Conocimientos 57,2 (10,7) 61,9 (9,1) 55,5 (8,9) 59,0 (8,7) 58,1 (10,4) 62,9 (11) 55,21 (8,56) 53,52 (9,09) 57,67 55,2-62,9Juicio clínico 48,4 (12,5) 43,2 (10,2) 46,1 (7,9) 60,7 (8,4) 59,7 (8,4) 59,8 (8,9) 69,2 (11,4) 68,33 (8,6) 62,36 (9,94) 59,51 43,2-68,3Preventivas 36,0 (8,0) 45,8 (10,9) 52,3 (12,0) 60,6 (11,6) 59,4 (11,4) 64,5 (13,0) 75,1 (13) 72,1 (10,28) 67,19 (12,51) 61,84 45,8-75,1Ético-legal 62,4 (30,0) 72,7 (27,12) 79,0 (14,6) 71,5 (14,0) 62,4 (17,1) 82,0 (12,9) 67,23 (13,12) 64,19 (14,56) 70,16 62,4-8Investigación 64,7 (17,8) 69,4 (17,8) 62,0 (22,5) 85,2 (15,7) 72,06 (22,1) 71,15 70,81 62-85,2

Total 52,9 (7,6) 52,3 56,8 (5,8) 59,7 (5,8) 60,8 (5,9) 61,8 (6,7) 66,6 (8,8) 64,32 (6,88) 60,83 (7,82)

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 780

Correlación entre fase multiestaciones y fase escrita (a partirde 2002)

Los estudios de correlación muestran unos valores extremosque oscilan entre 0,38 de 2002 y 0,74 de 2003; el resto delos estudios reflejó valoraciones intermedias (0,57 en 2004,0,56 en 2005 y 0,53 en 2006). En la figura 2 se muestra lacorrelación correspondiente a la prueba del año 2006.

Fiabilidad

El coeficiente general de fiabilidad o confianza (alfa deCronbach) de 1995 a 1998 se calculó para la parte de habi-lidades clínicas y de comunicación por separado. Así, el alfade Cronbach para las habilidades clínicas fue de 0,78 en1995, 0,8 en 1996, 0,75 en 1997 y 0,72 en 1998. El alfade Cronbach para las habilidades de comunicación fue de

0,78 en 1995, 0,7 en 1996, 0,8 en 1997 y 0,68 en 1998.De 1999 a 2006 se calculó un coeficiente general de fiabili-dad para todo el conjunto de la prueba que oscila entre0,79 en 2000 y 0,89 en 2006 (tabla 8).

Encuestas de opinión de los estudiantes

La opinión general de la prueba durante todos los años quese evaluó es muy satisfactoria. Como ejemplo, los resultadoscorrespondientes a las encuestas de la ECOE del año 2006,que reflejan la tendencia de los últimos años, muestran unapuntuación media general de 7,43 (1,02) sobre un máximode 10. Los aspectos mejor valorados fueron los actores(8,86), la organización y logística (8,84) y la información y elapoyo recibido por parte de los organizadores (8,52). Losaspectos peor valorados fueron la duración de la prueba(5,83) y la presencia de otras personas en el momento de laprueba (5,83) (tabla 9).

Discusión

Desde la instauración del formato ECOE en 1998, los resulta-dos generales tuvieron en cada edición una mejora progresivahasta 2004, año en que se produce un discreto descenso,aunque son susceptibles de mejora respecto a los estándaresinternacionales20,21. Estos datos pueden explicarse por:

– El grado de fiabilidad alcanzado en el formato evaluativodel primer período, donde el aprendizaje y el perfecciona-miento del método centraban los objetivos de los técnicosde educación médica de esos años. Sin embargo, con losformatos ECOE, los objetivos se centraron en la validaciónmetodológica de los instrumentos de medida que buscaronuna fiabilidad y validez aceptables.– La consecución de una fiabilidad de contenido óptimapara validar resultados hizo incrementar el número de casosy la complejidad progresiva de los formatos de examen, loque influyó en la obtención de resultados más estables y vá-lidos con los cuales inferir conclusiones.– El impacto de los exámenes sumativos en la formación,con la creación o perfeccionamiento de los laboratorios dehabilidades clínicas en algunos centros.– No se puede descartar tampoco un efecto aprendizaje delos propios candidatos que, por el desconocimiento inicialde este tipo de formatos de examen, supusieron toda una

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

Med Clin (Barc). 2007;129(20):777-84 781

Fig. 2. Correlación entre fase escrita y multiestaciones del año 2006.

80

70

60

50

40

30

Tota

l fas

e m

ultie

stac

ione

s

20 30 40 50 60 70 80 90

Total fase escrita

TABLA 8

Resultados del coeficiente de fiabilidad alfa de Cronbachen todos los períodos

Pruebas ECC � de Cronbach

1994 HCCom

1995 HC 0,78Com 0,78

1996 HC 0,80Com 0,70

1997 HC 0,75Com 0,80

Formato ECOE

1998 0,681999 0,812000 0,792001 0,822002 FME 0,80

FE 0,762003 FME 0,86

FE 0,832004 FME 0,90

FE 0,912005 FME 0,80

FE 0,762006 FME 0,88

FE 0,81Com: comunicación; ECC: evaluación de la competencia clínica; ECOE: evaluación clínicaobjetiva y estructurada; FE: fase escrita; FME: fase multiestaciones; HC: habilidades clínicas.

TABLA 9

Resultado de la encuesta a los estudiantes el año 2006

Media (desviación estándar)

Actores 8,86 (0,39)Organización 8,84 (0,66)Soporte 8,52 (0,52)Comprensibilidad de las tareas a hacer 8,41 (0,24)Circuito comprensible 8,23 (0,24)Indicaciones de los observadores 7,99 (0,26)Coherencia con la práctica 7,89 (0,35)Coherencia con los problemas 7,88 (0,42)Información previa 7,50 (0,73)Aconsejaría hacerla a otros 7,36 (0,41)Feedback positivo de formación 7,33 (0,59)Dificultad 7,31 (0,31)Descansos 7,13 (0,23)Feedback positivo de la actuación 6,75 (0,29)Número de situaciones 6,69 (0,32)Estrés 6,48 (0,77)Expectativas de superación 6,40 (0,58)Presencia de visitantes 5,83 (0,64)Duración 5,83 (0,64)Media 7,43 (1,02)

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 781

novedad en su momento, pero que con el transcurrir de losaños se han convertido en tradición; incluso en algunoscentros se han venido incorporando evaluaciones parcialescon pacientes simulados para la formación en la obtenciónde historias clínicas y seminarios de habilidades de comuni-cación, familiarizando a los alumnos de forma progresivacon las técnicas de ECC22.– La estabilidad del formato obtenida a partir de 2002, conla implantación de dos fases de examen (multiestaciones yescrita), y el logro de una mayor eficiencia en los procesosevaluativos, con la colocación de ruedas logísticas simultá-neas que permiten evaluar a más estudiantes en menostiempo, consiguieron minimizar las influencias del sistema deexamen en los resultados, y se puede considerar que las fluc-tuaciones obtenidas desde 2004 en adelante se deban atri-buir de forma predominante a la competencia de los alumnosy menos al sistema que los evalúa. Dicho con otras palabras,desde que no se introdujeron más mejoras de formato (la últi-ma en 2004), los resultados reciben menos influencias deéste, lo cual permite atribuir de forma más neta la fluctuaciónde resultados a la competencia de los candidatos.

La fiabilidad ha experimentado un incremento progresivo amedida que los formatos se han hecho más complejos ycon más casos (formato tipo ECOE), e incluso cuando losestudios de fiabilidad obligaron a estudiar por separado lafase multiestaciones y la fase escrita de la ECOE. La menorfiabilidad del formato evaluativo del primer período, dondepredominaba la búsqueda de una herramienta adecuada(frente a la intención de validarla de los años posteriores)pudo provocar una mayor variabilidad de los resultados.Para mejorar la fiabilidad se aumentaron el número de ca-sos y la complejidad del formato de la prueba, lo que tam-bién estabilizó y validó los resultados. La correlación decada caso clínico con el total de la prueba ayudaba a la de-tección de los casos que pudieran restar en el cómputo dela fiabilidad global, cuando se constataba su incremento alretirar el caso afectado. Este hallazgo obligaba a estudiar yanalizar el diseño total o parcial de dicho caso: revisar losítems, clarificar su redacción, comprobar su definición y es-tudiar sus contenidos clínicos. Este tipo de análisis, juntocon otros métodos, contribuía a la validación de los casosclínicos. No obstante, la fiabilidad conseguida en todas laspruebas realizadas supera la mínima recomendada por losestándares internacionales23-25.En lo que respecta al resultado por componentes, las rela-ciones interprofesionales (informes clínicos) y la exploraciónfísica fueron los componentes con medias más bajas, mien-tras que los componentes de habilidades técnicas, ético-le-gales, investigación y las habilidades de comunicación, lasmás altas. Esta tendencia se mantiene en casi todas las edi-ciones, que muestran un posible déficit formativo en los pri-meros dos componentes (informe clínico y exploración físi-ca), lo que supone una información muy útil para lasfacultades de medicina. Un perfil parecido se obtiene enotros países que utilizan las técnicas de ECC26-30. Tambiénse ha de decir que gracias a estas técnicas se ha podidodetectar tales déficits que no se hubieran puesto de mani-fiesto con los exámenes tradicionales31. Es importante des-tacar que los resultados de los componentes ético-legal einvestigación no pueden ser tomados en consideración deforma aislada, puesto que el número de instrumentos eva-luativos (casos clínicos y PEM) para valorar estos compo-nentes es limitado. Lo que se pretendía con ellos al incluir-los era, ante todo, lograr un impacto educativo en estostemas, dentro de los supuestos clínicos simulados en las es-taciones o en viñetas clínicas de la fase escrita.

Los estudios de correlación entre la fase multiestaciones yfase escrita de la ECOE a partir de 2002 muestran valores,en general, intermedios o bajos porque están midiendocompetencias diferentes con instrumentos diferentes. El va-lor alto de 2003 no demuestra ninguna tendencia, sólo se-ñala un fenómeno aislado ocurrido en esta prueba; siemprese puede esperar una cierta correlación aunque midancompetencias diferentes. Si la correlación hubiera sidosiempre alta, no habría sido necesario hacer un diseño tancomplejo con dos escenarios de examen, con uno de elloshubiera bastado para valorar la competencia. Este resultadoapoya la necesidad de conservar el diseño en las dos fases,con ello se refuerza la idea de mantener una evaluaciónmás integral sobre la opción de llevar a cabo la prueba consólo una de las dos fases de forma aislada.Durante el curso 1996-1997 se realizó un estudio en elHospital Sagrat Cor de Barcelona con el objetivo de demos-trar la validez de constructo del sistema multiestacionescentrando la validación en pacientes simulados estandariza-dos. En el mencionado estudio, aprovechando la prueba di-señada para los alumnos de sexto curso, se hizo pasar a ungrupo de estudiantes de tercero del mismo centro sanitario;el resultado confirmó una diferencia significativa entre losalumnos de los dos cursos a favor de los de sexto. Esta for-ma de validación del método evaluativo empleado (validezde constructo) demostró ser sensible a los diferentes nivelesde formación. Más adelante, con los formatos ECOE, se hapodido constatar la misma sensibilidad del instrumento demedida en los exámenes realizados en la unidad docentedel Hospital de Bellvitge (UB) en los cuales han participadoalumnos de cuarto curso en las últimas tres ediciones32.Otras experiencias realizadas en el Hospital Sant Joan deReus (Universitat Rovira i Virgili) demuestran la misma sen-sibilidad al intercalar en la edición de la ECOE de 2003 avarios residentes de medicina interna entre los alumnos desexto curso, al igual que en la Universidad de Lleida el año2006 donde participaron estudiantes de quinto curso.Las encuestas de opinión, cuyos resultados coinciden conotros estudios33, han servido para estudiar los aspectos rela-cionados con la validez de apariencia. De ellas se ha podidodestacar la alta valoración sobre el realismo dado por los ac-tores que han trabajado como pacientes simulados. De lainteracción con ellos se ha podido decir de forma fidedignaque la valoración obtenida de los estudiantes en esas condi-ciones de credibilidad clínica simulada pueden ser el reflejode cómo lo hubieran hecho en condiciones reales. Por elhecho de que la interacción con pacientes reales no permi-te estandarizar procesos para evaluar a tantos candidatos,el realismo dado a las simulaciones afianza las pruebas tipoECOE que sí permiten estandarizarlos. La misma satisfac-ción se refleja en cuanto a la actuación de los observadoresen las estaciones de maniquíes, en cuanto a la organizaciónde las pruebas y la idoneidad del método evaluativo34. Laaceptación de este tipo de examen condiciona la motivacióny el grado de involucración de los estudiantes en la prueba einduce a una conducta muy parecida a la de una situaciónreal; en estas condiciones los resultados son más creíbles.La filosofía de un formato de evaluación basada en simula-ciones se fundamenta en la demostración de la capacidadpara hacer frente a una serie de problemas clínicos repre-sentativos de la práctica real y no sólo en la comprobaciónde los conocimientos adquiridos, como se venía haciendotradicionalmente35. La resolución de problemas en cuanto aproceso y resultado puede dejar constancia de que los co-nocimientos no sólo se tienen sino que son correctamenteaplicados. De lo anterior se infiere que los resultados obteni-dos en este tipo de evaluación se han realizado sobre el

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

782 Med Clin (Barc). 2007;129(20):777-84

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 782

concepto de competencia clínica y no sobre un formato deexamen basado en asignaturas; es decir, no se evaluabanprogramas docentes sino si los estudiantes eran o no com-petentes para ejercer la profesión.Las consecuencias que en las facultades de medicina hantenido los más de 12 años de aplicación de este tipo de eva-luaciones han sido muy variadas, pero podemos destacar:

1. La colaboración institucional continuada entre el IES y lasfacultades de medicina.2. La creación en el IES de una unidad especializada deasesoramiento (Unitat d’Avaluació de les Competències Clí-niques-UACC) formada por un equipo multidisciplinario deprofesionales sanitarios, psicometristas, logísticos, informáti-cos y personal administrativo para los diferentes proyectosde ECC en pregrado, posgrado y para la acreditación y certi-ficación profesional.3. La reflexión abierta sobre las competencias que debe te-ner todo estudiante al acabar el período formativo y que seconcretaron en consensos de definición de competenciasde cada facultad de medicina.4. La incorporación de competencias que no se impartíanpreviamente a la implantación de este tipo de pruebas.5. El impacto en los métodos de enseñanza de la medicina,al incorporar a la formación los instrumentos que se utilizanen la evaluación de la competencia clínica (pacientes simu-lados, maniquíes, banco de imágenes clínicas, simulacionespor ordenador, etc.), se logra mejorar la formación de losestudiantes en los llamados laboratorios de habilidades clí-nicas basadas en simulaciones36. De esta forma, los planesde estudios se pueden modificar al complementarlos con eluso de este tipo de laboratorios junto con la práctica conpacientes reales.6. La combinación progresiva, en algunos centros, de losmétodos expositivos con los métodos más interactivos en loslaboratorios de habilidades ha generado en los alumnos unagran aceptación de este tipo de formato educativo, dadoque el eje central del aprendizaje se desplaza hacia el fo-mento de la reflexión, durante o después de la interaccióncon los instrumentos docentes mediante la retroacción efec-tiva de los tutores.7. Se ha podido proporcionar a las facultades de medicinauna devolución efectiva (feedback) para que puedan teneruna información válida sobre los puntos fuertes a consolidar ylos puntos débiles a corregir de forma general o de forma con-creta en algunos casos. La intención en un futuro es llegar aofrecer unos informes individualizados37 a fin de que cada es-tudiante conozca su propio perfil competencial y demande porpropia iniciativa o por parte de los tutores la corrección deaquellos aspectos formativos deficitarios detectados.8. Se pudo ir abriendo múltiples líneas de investigación enel ámbito de la educación médica, al comienzo centradasen la compleja validación de los instrumentos evaluativos,para luego ir ofreciendo múltiples posibilidades en cuanto aposibles nuevos formatos en la evaluación formativa.9. Todos los proyectos de ECC han empezado a desempeñarun papel destacado en el contexto de la mejora de la calidadde las facultades de medicina, una iniciativa surgida en elseno de las comunidades europeas38, continuadas en los es-tados miembros y que se ha traducido en Cataluña en la cre-ación de la Agencia para la Calidad del Sistema EducativoUniversitario de Cataluña39 y en España con la Agencia Na-cional de Evaluación de la Calidad y Acreditación (ANECA).

La incorporación y el manejo de las técnicas de ECC hanempezado a abrir grandes posibilidades en el ámbito de laeducación médica en España. El principal y más inmediatobeneficio de una ECOE es que puede llegar a ser un instru-

mento de percepción muy elaborado con el cual una facul-tad de medicina se debería dotar para obtener la imprescin-dible información sobre la calidad de los médicos que for-ma. Gracias a este tipo de evaluación sumativa, unainstitución puede demostrar que está proporcionando elmejor capital humano posible para asegurar a los ciudada-nos uno de los principales derechos fundamentales de todasociedad democrática: la salud. En ese sentido, y con el ne-cesario consenso, una ECOE puede llegar a convertirse enun instrumento certificador de la competencia profesionalen el momento de otorgar la licenciatura de medicina.Como se ha señalado antes, este tipo de prueba puede serútil para la detección de fortalezas y de aspectos suscepti-bles de mejora en el ámbito de la formación médica. Puedeaportar un punto de partida en la reflexión y, más tarde, enla toma de decisiones en cuanto a la introducción de cam-bios en los planes de estudios, centrándolos en competen-cias y resolución de problemas y no en asignaturas. De aquíse puede derivar una contribución en la mejora de los méto-dos de enseñanza que establezca desde el pregrado no sólolos aspectos de la competencia clínica y profesional, sinotambién conceptos más amplios como el profesionalismo.Con un instrumento de evaluación válido, fiable, factible yaceptable por todas las partes, la información que se obtengade él servirá a las instituciones implicadas para justificar quela detección de necesidades se pueda traducir en planifica-ción e inversión en proyectos de mejora en el ámbito de laeducación médica. La innovación de la formación en las fa-cultades de medicina a la luz de estos métodos permite abrirmúltiples frentes, muchos de los cuales pueden ser de grancomplejidad, lo cual hará imprescindible aprender y profundi-zar en la pedagogía de la medicina. Para ello sería aconseja-ble la creación de unidades de educación médica en las uni-versidades, cuya función fuera el fomento de la innovación,con la oportuna formación de los formadores, y la apertura denuevas posibilidades de investigación en ese campo.En el camino hacia la profundización de la pedagogía médi-ca, la creación o la potenciación de los laboratorios de habi-lidades contribuirán al cambio en los métodos de enseñan-za por parte de los docentes y la aceptación por parte de losalumnos de un formato más participativo en su formación.

En un horizonte más lejano, incluso se puede aspirar a la in-vestigación y validación sobre métodos estructurados de eva-luación formativa, donde todas las ventajas explicadas de lastécnicas de ECC se puedan ir aplicando durante todo el cicloformativo y no sólo al final. Este hecho podría llegar a aportarunas ventajas adicionales a la evaluación, al unificar la ob-servación que conlleva todo examen con la oportunidad deaprendizaje en el momento o poco después de la interaccióncon el problema planteado. Son múltiples las estrategias aseguir y muchos los métodos útiles para fomentar la reflexiónconjunta o individual de los estudiantes con los tutores; conesta amplia gama de posibilidades será conveniente lograr alfinal el diseño de algún formato estructurado.Es evidente que el rol del formador ha de ir cambiando, te-niendo que aceptar primero y aprender después a hacer ro-tar su eje de relación pedagógica con los alumnos desdeuna asimetría y unidireccionalidad hacia un acercamientoen las formas y en los contenidos, para incentivar el bino-mio enseñanza-aprendizaje desde la interacción mutua einvolucrar al estudiante en su propia formación. Ya no serádesde la lejanía de un examen al final de un camino con laobtención de un resultado, sino mediante la supervisión, elintercambio, la reflexión y las correcciones de actuación du-rante un largo recorrido cómo los alumnos irán asumiendolos conocimientos, habilidades y valores de la profesión. La

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

Med Clin (Barc). 2007;129(20):777-84 783

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 783

transformación de un estudiante en un profesional de lamedicina es la razón de ser de toda facultad de medicina.Con los suficientes elementos de juicio relativos a que dichafunción es susceptible de mejora, y las herramientas quepodrían hacer efectivo ese cambio, no hay justificación paraeludir el esfuerzo. Si en todas las instancias de la adminis-tración sanitaria y en las instituciones académicas se reco-nocen estas prioridades, sólo con una colaboración institu-cional a todos los niveles se podrán ir encontrando lasoportunidades para salvar los obstáculos estructurales, deorganización y de inversión que dificultan llevar a caboaquello que es evidente que hay que hacer.Consideramos que el espacio europeo de educación supe-rior previsto en la Declaración de Bolonia se ha de contem-plar como un reto pero también como una oportunidad paramejorar la formación en nuestras facultades de medicina.Asimismo, la Ley de Ordenación de las Profesiones Sanita-rias (LOPS) del año 2003, prevé que la prueba de acceso ala formación médica especializada MIR contemple la eva-luación no sólo de los conocimientos, sino también de lashabilidades y actitudes. En este contexto, una prueba simi-lar a la ECOE puede desempeñar un papel relevante.

AgradecimientosReconocemos también la autoría de los responsables de la ECOEde pregrado en algunas de sus ediciones durante los 13 años quese presentan en el artículo y que no se han podido incluir debido ala limitación de autores: María Teresa Viñeta Ruiz, Carles Blay Pue-yo y Ramón Descarrega Queralt.Agradecemos la participación de las unidades docentes de las facul-tades de medicina con sus responsables: Salvador Benito (UD Hospi-tal Sant Pau), Josep Lluís López Colomés (UD Hospital del Mar), Ra-mon Pujol Farriols (UD Hospital de Bellvitge), Manuel Portero (UDHospital de Lleida), Antoni Castro Salomó (UD Hospital Sant Joan deReus), Agustin Urrutia de Diego (UD Hospital Germans Trias i Pujolde Badalona), Josep Àngel Bosch Gil (UD Hospital Vall d’Hebron deBarcelona) y miembros de la Facultad de Medicina de la UniversidadComplutense de Madrid: Jorge García Seoane, Elpidio Calvo y JesúsMillán, así como a los miembros de los diferentes comités de prueba.Un agradecimiento general a los actores, observadores y logísticos yun agradecimiento especial a Rosa María Ojeda Gutiérrez, responsa-ble administrativa de la ECOE y a los responsables de la logística e in-formática: Carles Pila Toledo y Xavier Crespo Crespo.

REFERENCIAS BIBLIOGRÁFICAS

1. Martínez Carretero JM. Los métodos de evaluación de la competenciaprofesional: la evaluación clínica objetiva estructurada (ECOE). EducMed. 2005;8:18-22.

2. Rozman C. Aspectes de l’educació mèdica per l’adquisició de la com-petència clínica. Rev R Acad Med. Catalunya. 1995;10:5-14.

3. Van der Vleuten CPM. The assessment of professional competence: de-velopments, research and practical implications. Adv Health Sci Educ.1996;1:41-67.

4. Kane MT. The assessment of professional competence. Eval Health Prof.1992;15:163-82.

5. Epstein R, Hundert E. Defining and assessing professional competence.JAMA. 2002;287:226-35.

6. Grup de Formació i Avaluació de la Competència Clínica. Competènciesde pregrau i instruments avaluatius. Barcelona: Institut d’Estudis de laSalut; 1997.

7. Harden R, Stevenson M, Wilson Downie W, Wilson G.M. Assessment ofClinical Competence using Objective Structured Examination. Br Med J.1975;1:447-51.

8. Newble DI. The evaluation of clinical competence. Med J Aust. 1976;2:180-3.

9. Grup de Formació i Avaluació de la Competència Clínica. Guía D’elabo-ració de casos amb pacients estandarditzats. Barcelona: Institut d’Estu-dis de la Salut; 1995.

10. Grup de Formació i Avaluació de la Competència Clínica. Manual de se-lecció i entrenament de pacients estandarditzats. Barcelona: Institutd’Estudis de la Salut; 1996.

11. Gómez Sáez JM, Pujol Farriols R, Martínez Carretero JM, Blay Pueyo C,Jaurrieta Mas E, Friedman M, et al. El proyecto COMBELL. Un análisisde la competencia clínica médica. Med Clin (Barc). 1995;105:649-51.

12. Martínez Carretero JM, Blay C, Descarrega R, Iruela A, Kronfly E, BarragánN, et al. Clinical Skills Assesment: A strategy for improving undergraduateand postgraduate medical education in Catalonia (Spain). Proceedings ofthe 8th. Ottawa Conference on Medical Education. Philadelphia; July, 1998.

13. Kronfly E, Gràcia L, Blay C, Pujol R, Artigas V, Prat J, et al. Clinical skills as-sessment in medicals schools in Catalonia (Spain), 1999. Proceedings ofthe 9th. Ottawa Conference on Medical Education. Ottawa; March, 2000.

14. Pujol R, Gudiol F, Gómez JM, Ariza J, Carratalà J, Mitjavila F, et al. Clini-cal skills assessment (CSA) at the University of Barcelona. School of Me-dicine. Bellvitge Hospital Unit. Proceedings of the 9th. Ottawa Conferen-ce on Medical Education. Cape Town; March, 2000.

15. Kronfly E, Gràcia L, Blay C, Majó J, Prat J, Castro A, et al. Competencesassessment at medical schools in Catalonia (Spain), 2001. Proceedings ofthe 10th. Ottawa Conference on Medical Education. Ottawa; March, 2002.

16. Kronfly E, Viñeta M, Majó J, Prat J, Castro A, Bosch JA, et al. ClinicalSkills Assessment at Medical Schools in Catalonia (Spain) in the year2003. Proceedings of the 11th. Ottawa Conference on Medical Educa-tion. Barcelona; July, 2004.

17. Kronfly E, Gràcia L, Majó J, Prat J, Castro A, Bosch JA, et al. Competen-ces assessment at medical schools in Catalonia (Spain), 2001. Procee-dings of the Association for Medical Education in Europe (AMEE) Confe-rence. Lisbon; Setember, 2002.

18. Martínez Carretero JM, Blay C, Kronfly E, Solà M, Gràcia L, DescarregaR, et al. From knowledge-based to reflective learning in health care edu-cation: Catalonia 1993-2002. Proceedings of the AMEE Conference. Lis-bon; Setember, 2002.

19. Unitat d’Avaluació de les Competències Clíniques. Control de qualitat del’ACOE de Pregrau de Medicina: Institut d’Estudis de la Salut, 2002.

20. Wilkinson TJ, Newble DI, Wilson PD, Carter JM, Helms RM. Develop-ment of a three-centre simultaneous objective structured clinical exami-nation. Med Educ. 2000;34:798-807.

21. Wilkinson TJ, Newble DI, Frampton CM. Standard setting in an objectivestructured clinical examination: use of global ratings of borderline perfor-mance to determine the passing score. Med Educ. 2001;35:1043-9.

22. Descarrega R, Castro A, Solà R, Vidal F, Cartanyà A, Donado A, et al. Educa-tional methods in medical school: a strategy to improve. Proceedings of the9 th Ottawa Conference on Medical Education. Cape Town; March, 2000.

23. Ruiz E, Florensa E, Cots JM, Sellarès J, Iruela A, Blay C, et al. Primerasexperiencias en evaluación de la competencia clínica de los médicos defamilia de Catalunya. Aten Primaria. 2001;28:105-9.

24. Van der Vleuten C, Swanson D. Assessment of clinical skills wit standar-dized patients: state of the art. Teach Learn Med. 1990;2:58-76.

25. Brailovsky CA, Grand’Maison P, Lescop J. Construct validity of the QuébecLicensing Examination SP-Based OSCE. Teach Learn Med. 1997;9: 44-50.

26. Sutnick AI, Stillman PL, Norcini JJ, Friedman M, Regan MB, William RG,et al. ECFMG assessment of clinical competence of graduates of foreignmedical schools. Educational Comission for Foreign Medical Graduates.JAMA. 1993;270:1041-5.

27. Ziv A, Ben David MF, Sutnick AI, Gary NE. Lesson learned from six yearsof international administration of the ECFMG’s standardized patient-ba-sed clinical skills assessment. Acad Med. 1998;73:84-91.

28. Pierre RB, Wierenga A, Barton M, Thame K, Branday JM, Christie CD.Student self-assessment in a paediatric objective structured clinical exa-mination. West Indian Med J. 2005;54:144-8

29. Power DV, Harris IB, Swentko W, Halaas GW, Benson BJ. Comparing ru-ral-trained medical students with their peers: performance in a primarycare OSCE. Teach Learn Med. 2006;18:196-202.

30. Frohna JG, Gruppen LD, Fliegel JE, Mangrulkar RS. Development of anevaluation of medical student competence in evidence-based medicineusing a computer-based OSCE station. Teach Learn Med. 2006;18:267-72.

31. Stillman PL, Regan MB, Swanson DB, Case S, McCahan J, Feinblatt J,et al. An assessment of the clinical skills of fourth-year students at fourNew England medical schools. Acad Med. 1990;65:320-6.

32. Kronfly E, Delàs J, Juncosa S, Blay C, Gràcia L, Martínez Carretero JM.El proyecto «COMCOR». Análisis de un método basado en pacientes si-mulados, para la evaluación de estudiantes de tercer curso de medicina.Educ Med. 2001;4:187-93.

33. Tweed M, Cookson J. The face validity of a final professional clinical exa-mination. Med Educ. 2001;35:465-73.

34. Verhoeven B, Hamers J, Scherpbier A, Hoogenboom R, Van der VleutenC. The effect on reliability of adding a separate written assessment com-ponent to an objective structured clinical examination. Med Educ.2000;34:525-9.

35. Epstein RM. Assessment in medical education. N Engl J Med. 2007;356:387-96.

36. Descarrega-Queralt R, Castro-Salomó A, Nogués-Ciuraneta S, Vidal-Mar-sal F, Mas N, Bugés C, et al. Simulated patient instructor: Is it useful tolearn competencies? Proceedings of the 12 th Ottawa Conference onMedical Education. New York City; May, 2006.

37. Black NMI, Harden RM. Providing feedback to students on clinical skillsby using the Objective Structured Clinical Examination. Med Educ.1986;20:48-52.

38. Propuesta de Recomendación del Consejo relativa a la cooperación eu-ropea en materia de garantía de calidad en la enseñanza superior. DiarioOficial de las Comunidades Europeas (98/C19/11).

39. Rauret, G. La Agencia para la Calidad del Sistema Universitario en Cata-luña. Educ Med. 2001;4:45-51.

KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)

784 Med Clin (Barc). 2007;129(20):777-84

09 777-784 ESPCI 33617.qxp 27/11/07 16:18 Página 784