Elaborar Items

8/6/2019 Elaborar Items

1/18

1

REGLAS PARA ELABORAR TEMS DE

SELECCIN MLTIPLE CON NICA RESPUESTA

Martha C. Rocha GaonaCarlos A. Pardo Adames

AGRADECIMIENTOSA todas las personas que tuvieron la deferencia de leer este documento con sentido crtico y formularoninquietudes y observaciones que nos orientaron para trabajar en su cualificacin: Sara Esperanza Bohrquez,Libardo Barrera, Myriam Gonzlez, Patricia Pedraza, Ana Atorresi y Martha Castillo.

INTRODUCCINEl formato de seleccin mltiple con nicarespuesta es uno de los ms utilizados paraformular tems en las evaluaciones educativasde carcter masivo, especialmente por lafacilidad de su aplicacin y calificacin. Sinembargo, sera errneo creer que la facilidad estambin una caracterstica de su elaboracin;por el contrario, son muchas las condicionesque deben ser cumplidas para que un tem seconsidere de buena calidad. Elaborar buenostems de seleccin mltiple es una labor queexige mucho compromiso y prctica, y, porsobretodo, de un profundo conocimiento delobjeto de evaluacin y de la poblacin que vaa ser evaluada, todo esto articulado con una

rigurosa aplicacin de las tcnicas que gruposde expertos en distintas partes del mundo hanperfeccionando a travs de la prctica.

Este documento describe las tcnicas deelaboracin de tems de seleccin mltiple connica respuesta, las cuales, en gran parte, son

aplicables a otros formatos de tems. El primerapartado destaca que la elaboracin de tems esuna de las etapas del diseo de pruebas y, comotal, debe estar articulada con las dems etapas del

proceso para asegurar la calidad y pertinencia dela evaluacin; se resalta el requerimiento de que loselaboradores de tems dominen los planteamientosdel marco conceptual del instrumento, as comolas especificaciones tcnicas del mismo, paraque cada tem aporte su mximo potencial alpropsito de evaluacin planteado. El segundoapartado recoge las reglas de elaboracin detems que gracias al trabajo de grupos de expertosde instituciones especializadas en diseo deinstrumentos de evaluacin de distintos pases, as

como de comunidades acadmicas estudiosas deltema, se han decantado a lo largo de los ltimos30 aos. En el tercer apartado se propone unejercicio prctico de anlisis de algunos ejemplosde tems con fallas de elaboracin, a fin de queel lector ponga en prctica la apropiacin de lastcnicas descritas en el apartado 2.

MARTHA C. ROCHA GAONA*

Diseo de pruebas evaluacin educativa

ICFES - COLOMBIA

* Integrante del Grupo de Evaluacin de la Educacin Superior del ICFES - Colombia

B 1


2/18

B 2

I. FASES DEL DISEO DE PRUEBASEl proceso de diseo de pruebas integradiferentes etapas: desde la elaboracin de unmarco que integre los conceptos sobre loscuales se fundamentar el instrumento hastael momento en el cual se considera que ha

alcanzado la calidad suficiente como paraser aplicado. En realidad puede decirse queel diseo se origina con el surgimiento de la

necesidad de contar con un instrumento deevaluacin para unos propsitos particulares1y, ms all de la fase de aplicacin, trasciendea las etapas de anlisis de tems, calificacin ydivulgacin de resultados, pues de ellas puedederivarse informacin importante para cualificarun nuevo ciclo del proceso.

La siguiente grfica presenta de manera globallas fases del diseo de pruebas.

1 Pardo, C. (1998). El diseo de pruebas para los Exmenes de Estado: un proceso de investigacin permanente. Bogot:ICFES.

1. FUNDAMENTACIN CONCEPTUALEs la fase en la cual se aborda conceptualmente elobjeto de evaluacin y, en general, se desarrollan,desde una perspectiva terica, los elementos

contextuales, legales, disciplinares, metodolgicos,etc., que darn sustento y significado al procesode evaluacin. Entre los elementos que hacenparte de la elaboracin conceptual estn:

El propsito de la evaluacin (para qu laevaluacin?)

El objeto de evaluacin (qu se evala?) Las caractersticas de la poblacin objetivo

(a quin se evala?) Los usuarios de la evaluacin (a quin le

ser til la evaluacin y de qu manera?)

En esta etapa, como en la mayora de lassubsiguientes, el trabajo interdisciplinario y elconcurso de expertos se hace imprescindiblepara lograr productos de excelente calidad.Tratndose del diseo de instrumentos de


3/18

B 3

TALLER 2: Elaboracin de tems

evaluacin educativa es usual contar conexpertos en aspectos relacionados con elobjeto de evaluacin (tanto en lo relacionadocon cognicin humana

2. ESPECIFICACIONES DE PRUEBAPuede entenderse como una descripcindetallada de las caractersticas del instrumento,la cual incluye, por una parte, una desagregacindel objeto de evaluacin en dimensiones ocategoras susceptibles de ser evaluadas,conforme a su conceptualizacin previa, y, porotra, la delimitacin de especificidades tcnicasdel instrumento, tales como longitud y formatosde tems que van a ser usados. Estos dos

elementos se conocen, respectivamente, comoESTRUCTURA DE PRUEBA y ESPECIFACIONESPSICOMTRICAS.

La estructura de prueba es una matriz querepresenta la integracin de las distintasdimensiones del objeto de evaluacin que sedesea medir. Generalmente las evaluacioneseducativas integran, como mnimo, unadimensin disciplinar y una dimensin referidaa procesos de pensamiento (cognitiva). Ambasdimensiones pueden ser categorizadas dedistinta forma, de acuerdo con el enfoque tericoque se haya elegido.

La grfica siguiente muestra un esquemabsico de una estructura de prueba en la cualse evala la dimensin cognitiva desde unenfoque de competencias2. En relacin con ladimensin disciplinar, el objeto corresponde a la

Biologa y las 3 categoras (clula, organismosy ecosistemas) pretenden dar cuenta del objetode estudio de esta disciplina.

2 La conceptualizacin de la dimensin cognitiva competencias en categoras interpretacin argumentacin y proposicin,as como las categoras de la biologa, corresponden al modelo utilizado por el ICFES en las evaluaciones nacionales deestudiantes que van a ingresar a la educacin superior. En el anexo 1 se describe la forma en que en el ICFES se hanconceptualizado estas categoras


4/18

B 4

La estructura de prueba debe contener,adems de la explicitacin de las dimensionesy sus categoras, la descripcin de las tareasde evaluacin a partir de las cuales serposible materializar, en tems, el propsito deevaluacin; las tareas de evaluacin son laoperacionalizacin del objeto de evaluacin.

Una tarea de evaluacin es la descripcinprecisa de lo que se va a evaluar una celdade la estructura, entendiendo que cada celdacorresponde a la interseccin entre categorasde las distintas dimensiones de dicha estructura.Las tareas de evaluacin deben ser claramentedefinidas para orientar la fase de elaboracin detems y debe verificarse que sean susceptiblesde exploracin a partir de los formatos detems que se planea utilizar. Adems, esnecesario clarificar los niveles de dificultad

que se espera tengan las tareas, considerandotanto el propsito de la evaluacin comolas caractersticas de la poblacin objetivo.Idealmente el instrumento debe incluir tareasde distintos niveles de dificultad de tal formaque se cubra con holgura la gama de nivelesde habilidad que es probable encontrar en losevaluados.

A manera de ejemplo, una de las celdasdel grfico anterior muestra el cruce entrela categora clula de la dimensindisciplinar y la categora argumentacinde la dimensin procesos de pensamiento;los evaluadores deben hacer explcitas lasacciones, susceptibles de evaluacin a travsdel instrumento que se est elaborando, quepermitirn inferir si el evaluado ha desarrolladoniveles de argumentacin (en el sentido en elcual se haya definido argumentacin en elmarco de fundamentacin) esperables (para el

propsito de la evaluacin) en lo que refiere alsaber sobre la clula (en el sentido en el cualse haya definido saber sobre clula en elmarco de fundamentacin conceptual). En lacelda se describe una de las mltiples tareas deevaluacin posibles de ser incluidas como partedel instrumento. Es deseable plantear tareas deevaluacin en forma un tanto general y que seanlos tems los que reflejen las especificidades decada tarea.

Como parte de las especificacionespsicomtricas se debe clarificar el nmero detems que tendr el instrumento en su totalidady en sus celdas (es posible que algunasceldas no quieran o no puedan ser evaluadascon el instrumento); adems, se define el olos formatos de tems que sern incluidos y

sus respectivas instrucciones de respuesta;la distribucin de los tems en la prueba (si seorganizarn en bloques o secciones de acuerdocon algn criterio de contenido, de forma, deorganizacin logstica, etc.); el tiempo del cualdispondrn los evaluados para responder laprueba -y sus partes, si es pertinente aclararlo-y todos los dems lineamientos que asegurenuna adecuada conformacin o ensamblaje delinstrumento y que contribuyan a clarificar lascondiciones en las cuales debe realizarse la

aplicacin.

3. DESARROLLO DE PRUEBASEsta fase cobija todas las acciones orientadasa obtener el arte final de un instrumentode evaluacin, listo para su aplicacin,que corresponda a los propsitos y a lasespecificaciones, definidos en las fasesanteriores.

La elaboracin de tems constituye una labortrascendental dentro de esta fase y, dado quea travs de ella se materializa el propsito deevaluacin, exige la ms alta calidad tcnica.Por tal razn, es indispensable que quienesparticipen en la elaboracin de tems (nonecesariamente sern las mismas personasque trabajaron en la fase anterior) conozcancon profundidad las consideraciones del marcode fundamentacin conceptual, las intenciones

evaluativas subyacentes en la estructura deprueba y las especificaciones psicomtricas delinstrumento que se pretende desarrollar.

Es fundamental adems destacar que elpropsito de esta fase es producir un instrumentode evaluacin y no un agregado de tems. Estadiferencia es crucial porque pretende asegurarque el equipo desarrollador de los tems secomprometa alrededor de un propsito comn


5/18

B 5


y adelante un trabajo articulado, armnico, conel cual se logre que cada tem verdaderamenteaporte a la intencin evaluativa fijada.

Las tcnicas para la elaboracin de tems

son objeto del captulo II de este documento;no obstante es pertinente mencionar aquque el proceso de elaboracin de tems exigedinmicas de reflexin y discusin entre pares,as como el apoyo de expertos, con los cualesse busca garantizar la calidad y pertinencia decada tem. Despus de elaborar los tems, seensambla el instrumento de acuerdo con lasespecificaciones psicomtricas y se sometea una revisin final, generalmente por partede expertos en evaluacin y en el objeto de

evaluacin, que sirve al doble propsito decontrolar calidad evaluativa y verificar adecuadascondiciones editoriales del instrumento.

En esta etapa se prepara tambin ladocumentacin que servir para orientar a lapoblacin objetivo sobre las caractersticasdel instrumento: temticas que se abordarn,formatos de tems que se usarn convieneincluir algunos ejemplos de tems-, nmerode tems que debern responder y toda la

informacin que se considere prudente dar aconocer sobre el proceso adelantado para suelaboracin; tambin se informa a la poblacinsobre las condiciones de la aplicacin y sobre laforma y el momento en que se darn a conocerlos resultados de la evaluacin. Obviamenteesta documentacin debe ser divulgada entre lapoblacin objetivo con suficiente anticipacin almomento de la aplicacin.

4. APLICACIN PILOTOEn esta fase el instrumento es aplicado auna muestra representativa de la poblacinobjetivo para estimar indicadores estadsticosque permitan corroborar la calidad tcnica delinstrumento y el grado de pertinencia de lostems para la poblacin. Esta aplicacin tambinpermite aproximarse a la elaboracin de unaescala de calificacin y reconocer necesidades

de ajuste del instrumento en trminos del nivelde dificultad de los tems elaborados (establecer,por ejemplo, si los tems resultaron demasiadofciles o demasiado difciles para la poblacin).Las condiciones de la aplicacin piloto deben

guardar la mayor similitud posible con lascondiciones que tendr la aplicacin definitiva(edicin del instrumento, instrucciones pararesponder, tiempo disponible, etc.).

Una alternativa a la estrategia de realizaruna aplicacin piloto consiste en someter elinstrumento a lo que se denomina un juiciode expertos, sobre cuya metodologa deimplementacin existe literatura disponible.En forma breve, un juicio de expertos es un

procedimiento a travs del cual un equipo depersonas, expertas en el objeto de evaluacin yen procesos de evaluacin, califican los tems deun instrumento, a la luz de las consideracionesdel marco de fundamentacin conceptual, entrminos de su coherencia con los propsitos dela evaluacin y de su pertinencia con la estructurade prueba, as como de las especificacionespsicomtricas y las caractersticas de lapoblacin objetivo; adems, valoran su gradode dificultad, su claridad y ofrecen sugerencias

para su afinamiento. Ya sea a travs de laaplicacin piloto o de un juicio de expertos, elinstrumento debe ser sometido a esta fase derevisin y ajuste con el propsito de asegurar sucalidad y, por ende, la de los datos (respuestas)recogidos a travs de su aplicacin; as, fase trasfase del proceso, se consolidan los cimientossobre los cuales se funda la validez del mismo.

5. APLICACIN (DEFINITIVA)Es la fase en la cual la poblacin objetivo respondea los tems del instrumento de evaluacinelaborado. Su realizacin, dependiendo deltamao y la ubicacin geogrfica de la poblacinobjetivo, puede demandar la disposicin deconsiderable cantidad de recursos humanos,fsicos, materiales, tecnolgicos, etc. Lalogstica de aplicacin depende del modelo deaplicacin que previamente se haya definido.


6/18

B 6

Segn el medio para evaluar: lpiz y papelo por computadora; segn el calendario deaplicaciones: por oferta o por demanda;segn la cobertura poblacional: censal o a unamuestra representativa de la poblacin; segnla organizacin de aplicadores y centros deaplicacin: centralizada o descentralizada.

Cualquiera que sea ese modelo de aplicacin,la equidad es una condicin indispensabledel proceso. La divulgacin oportuna de losmateriales gua para la presentacin de laprueba, los cuales fueron preparados en la fasede desarrollo del instrumento, permitirn que losevaluados conozcan con anticipacin la situacinde evaluacin: los requerimientos, condicionesy propsitos del proceso. Igualmente, durantela fase de aplicacin, debe asegurarse que

todos los evaluados reciban las mismasinstrucciones para abordar el instrumento y quetengan igualdad en cuanto a las condicionesde espacio, tiempo, iluminacin, materiales detrabajo, etc.

6. ANLISIS DE TEMS Y DE PRUEBAEsta fase en realidad se realiza en dosmomentos: a) luego de la aplicacin piloto y b)luego de la aplicacin definitiva. En el primer

caso el fin es seleccionar los tems que mejorrespondan al propsito de la evaluacin yconformar con ellos el instrumento definitivo;tambin es fundamental esta fase para tomardecisiones en relacin con posibles ajustes a lostems para su futura aplicacin. En el segundocaso, el anlisis de tems permite decidir culestems incluir y cules excluir para la generacinde escalas de calificacin.

Luego de la aplicacin (piloto o definitiva) se toma

como insumo las respuestas de los evaluadospara calcular indicadores estadsticos quepermiten valorar si el instrumento como totalidady cada uno de los tems que lo constituyen fueronabordados segn lo esperado por quieneselaboraron el instrumento.

Se dispone de una gama de indicadoresestadsticos que permiten valorar la calidad delos tems; no obstante, es importante resaltarque el anlisis de tems trasciende la simpleverificacin del cumplimiento de criteriosestadsticos; su propsito es facilitar y orientarla toma de decisiones en cuanto a la seleccinde tems cuyo funcionamiento brinde confianzapara proceder o bien al proceso de armadade la prueba definitiva o bien al proceso decalificacin. No necesariamente un tem queexceda los lmites establecidos como criterio deaceptacin de un indicador estadstico es un temque debe descartarse del proceso; el evaluadorque conoce a profundidad el instrumento, susespecificaciones y propsitos y que conoce,adems, a la poblacin objetivo sabr valoraren qu casos el tem debe ser descartado y en

qu casos debe mantenerse.

Los indicadores utilizados para el anlisisde tems y la forma en que ellos se calculandepende del modelo de procesamiento dedatos que se utilice. En evaluacin se cuentafundamentalmente con dos modelos: la TeoraClsica de los Test y la Teora de Respuesta altem, sta ltima con mltiples ventajas sobre laprimera. Entre los indicadores ms comnmenteusados para evaluar tems estn: el nivel de

dificultad, el grado de ajuste al modelo, ladistribucin de respuestas entre las opcionesde respuesta, la correlacin tem-medida y elerror de medicin; la valoracin del instrumentose realiza por lo general con base en datoscomo el promedio y la desviacin estndar depuntuacin, el ajuste al modelo, la confiabilidady el error de medicin.

7. ESCALAS DE CALIFICACIN

La asignacin de valores de medida, deacuerdo con ciertas reglas, a caractersticasdel mundo real, se suele denominar escala demedicin3. La construccin de escalas es la faseen la que se definen las reglas de asignacinde esos valores, tendientes a asegurar que

3 Fenton, N.E. y Pfleeger, S.L. (1997) Software metrics. A rigurous and practical approach. Boston: PWS Pub.


7/18

B 7


las interpretaciones de los resultados de laevaluacin sean comprensibles y pertinentes.Una escala de calificacin permite asignaruna puntuacin particular a cada evaluado, de

acuerdo con sus respuestas a los tems delinstrumento. Es importante reconocer que cadatem tiene asociado un nivel de dificultad particularque debera ser considerado en el momentode asignar la calificacin a cada evaluado; losmodelos modernos de procesamiento de datosse fundamentan en formulaciones matemticasque consideran el nivel de dificultad decada tem para producir una calificacin. Esdeseable que las escalas generadas permitanla comparabilidad de resultados entre distintas

aplicaciones del mismo instrumento, ascomo entre los miembros de la poblacinobjetivo en una misma aplicacin; para esto esnecesario implementar procedimientos tcnicosespecficos (equating/comparabilidad) sobrelos cuales existe abundante literatura disponiblepero no son objeto de este documento.

8. PRODUCCIN Y DIVULGACIN DERESULTADOSEs una fase crucial del proceso en la cuallos evaluados -y los dems usuarios de lainformacin derivada de la evaluacin- puedenllegar, o no, a reconocer a ste como unproceso til, importante e incluso necesario. Uncompromiso importante de todo evaluador debeser que los evaluados y dems usuarios de laevaluacin realicen interpretaciones adecuadasde los resultados presentados en los informesque prepara; por esta razn, el diseo de

informes es una labor que amerita dedicacin yanlisis crtico a fin de lograr la mayor claridaden la comunicacin de los resultados.

Producir los resultados consiste en aplicarlas escalas de calificacin -definidas en laetapa previa- a la poblacin evaluada, con elfin de generar bases de datos que nutran losreportes de resultados. Estos reportes puedenser individuales y/o agrupados segn criterios

de inters (por ejemplo: institucin, municipio,regin, etc.). Un reporte o informe de evaluacindebe ser veraz, claro y orientador; esto es, debeentregar informacin que sea consistente con elpropsito de la evaluacin y esta informacin debe

posibilitar al evaluado reconocer su desempeoen el proceso y orientarle para planear accionesde cualificacin necesarias y pertinentes.

Una vez producidos los reportes, se procedea implementar las estrategias de divulgacin,las cuales debern ser adecuadas a lascaractersticas de la poblacin objetivo (nivelacadmico, ubicacin geogrfica, acceso amedios) y a la disponibilidad de recursos porparte del evaluador.

Es usual que el evaluador adquiera un compromisode confidencialidad con el evaluado que leobliga a mantener bajo reserva los resultadosindividuales. Esto no constrie posibilidades depreparar y dar a conocer reportes globales de lapoblacin objetivo y sub-agrupaciones de sta,para atender requerimientos de informacin deotros usuarios del proceso.

II. DESARROLLO DE PRUEBASUn instrumento de evaluacin o prueba esun conjunto intencionalmente articulado detems a travs de cuya aplicacin se infiereel desempeo de quienes son evaluados,en relacin con el objeto de evaluacin. Unaprueba es ms que la simple suma de lostems que la conforman, aunque su poderevaluativo se deriva de la potencia para

evaluar que tengan todos y cada uno de ellos.Se espera que un instrumento de evaluacinsea una unidad evaluativa completa, armnica,que responda efectivamente a los propsitosplanteados en su marco de fundamentacinconceptual y a las caractersticas definidas enlas especificaciones de prueba. Siendo as, laelaboracin de tems se entiende como unafase crucial en la cual se materializan esospropsitos y caractersticas.


8/18

B 8

Producir esa unidad evaluativa integral que esla prueba demanda planeacin, organizaciny permanente revisin y cualificacindel producto. No se logra a partir de laagregacin, a posteriori, de tems elaboradosaisladamente, aunque aparentemente stostengan relacin con el objeto de evaluacin.Cada tem debe ser construido con la intencinclara de evaluar una tarea que es parteintegral del objeto de evaluacin y que estdescrita dentro de la estructura de prueba,complementando a los dems tems; es decir,cada tem debe constituirse en pieza esencialdel instrumento.

Hacer tems de buena calidad implica, adems,conocer las caractersticas de los distintosformatos de tems susceptibles de utilizacin,

aplicar las reglas para su correcta elaboracin yevitar los factores que pueden alterar su validez.Quizs, por todo esto, elaborar tems ajustadosa las especificaciones de prueba es la tarea msdifcil en el proceso evaluativo4.

1. CONTENIDO DE LOS TEMSLa estructura de prueba y, especficamente,las tareas de evaluacin definidas en ellaorientan al elaborador en relacin con

cules son los aspectos tpicos, temas,problemticas, etc.- sobre los que debeformular sus tems. Actualmente los procesosde evaluacin educativa tienden hacia elreconocimiento de competencias ms que ala verificacin de la apropiacin de datos ocontenidos aislados.

Si bien es cierto que el concepto de competenciases complejo y polismico, desde una postura, mso menos generalizada en el campo de la medicin

y la evaluacin, se puede decir que elaborarun tem para evaluar competencias suponeindagar si ha habido un proceso de formacinque haya potenciado en el evaluado el uso delconocimiento, ms que la mera acumulacin

del mismo; dicho en otros trminos, el tem queevala competencias busca evidenciar lo que elevaluado es capaz de hacer con lo que sabe, encontraste con un tem tradicional que buscaraverificar cunto l sabe.

No es simple realizar la caracterizacin de untem que evala competencias frente a unotradicional; no obstante, parecer haber ciertonivel de acuerdo en que el tem tradicional espoco contextualizado y, en muchas ocasiones,soslaya aspectos como la pertinencia o la utilidaden la vida cotidiana de aquello por lo cual indaga;un tem tradicional comnmente se inspiraen visiones disciplinares fundamentalmentetemticas y pondera procesos como el recuerdode categoras propias de dicha visin disciplinar(definiciones, frmulas, acontecimientos, etc.),

ms que en la capacidad para analizar talescategoras y aplicarlas en la resolucin deproblemticas.

De otra parte, un tem para evaluar competenciaso un tem de competencias, como sueledenominrsele, es contextualizado, es decir,se plantea a partir de situaciones o problemasreales, pertinentes e interesantes y ofreceinformacin que no se considera obligatorioconocer de memoria (especialmente en la

actualidad, cuando son diversas las posibilidadesde acceso a la informacin) y que permitecircunscribir el problema alrededor de ciertasvariables o condiciones de inters; en el temde competencias el contexto sirve para situarconceptualmente al evaluado. Con un tem decompetencias se pretende valorar la capacidadde usar el conocimiento sobre un tema, teorao hecho para resolver problemticas, paraplantear hiptesis, para proponer explicaciones,para interpretar, utilizar y evaluar ese tema, teora

o hecho bajo circunstancias distintas, etc. As,elaborar un tem de competencias supone unapostura educativa en la cual el conocimientoes objeto de conocimiento y se considera quees un objeto til, susceptible de anlisis y en

4 Hambleton, R. y Zaal, J. (1994). Advances in educational psychological testing. Boston: Kluwer Academic Publishers.


9/18

B 9


permanente transformacin. Por eso, en lostems de competencias se suele indagar por elcmo?, por el por qu?, por el para qu?, porel qu pasara si...?, por el qu significa?, msque por el qu?, cundo? y quin? Un temde competencias debe promover la reflexinsobre el conocimiento y no la repeticin delconocimiento.

2. FORMATOS DE TEMSComo su nombre lo indica corresponde a laforma en la cual se estructuran los tems. Lasiguiente grfica muestra una clasificacin deformatos de tems basada en lo que un evaluado

hace cuando se enfrenta a un tem: seleccionaro producir una respuesta.

En un instrumento es posible incluir variedad deformatos. Cada uno de ellos tiene unos requisitosparticulares de elaboracin y ofrece distintopotencial evaluativo. Es importante, eso s, que

cada formato utilizado en un instrumento estdebidamente acompaado de las instruccionesque orientan la manera de responderlo.

Adems, por consideracin con el evaluado,generalmente se procura incorporar un nmerosignificativo de tems de un mismo formato, detal manera que la lectura de instrucciones que aveces puede resultar dispendiosa, dependiendodel formato- no desplace la intencin evaluativacentral. Es importante reconocer que los

formatos determinan en gran parte el procesode calificacin. Los tems de seleccin mltiplecon nica respuesta, por ejemplo, se calificancomo correcto o incorrecto; 1 0, dado que

slo admiten una opcin como respuesta; otrosformatos de seleccin admiten calificacin decrdito parcial (cada opcin tiene un peso enla calificacin); los formatos de produccin derespuesta (por ejemplo los ensayos) exigenel establecimiento de criterios de calificacinrespaldados en el saber sobre el objeto deevaluacin y demandan juiciosos procesos deentrenamiento a los calificadores para asegurarprecisin y equidad en la calificacin.


10/18

B 10

En este documento se trabaja esencialmentela tcnica de elaboracin de tems del formatoseleccin mltiple con nica respuesta; decualquier manera, es de sealar que muchas delas reglas para su elaboracin son pertinentestambin para otros formatos.

3. PARTES DE UN TEM DE SELECCINMLTIPLE CON NICA RESPUESTALas partes bsicas de un tem de seleccin mltipleson el contexto, el enunciado y las opciones derespuesta, como se muestra enel grfico.

CONTEXTOEs la informacin que sita conceptualmenteal evaluado. Provee elementos necesarios y

suficientes para focalizar la tarea de evaluacin.En un sentido amplio, el contexto abarca todoel saber previo del evaluado sobre el objetode evaluacin; no obstante, en el procesode elaboracin de un tem, es usual que elevaluador encuentre pertinente y necesariopresentar un texto u otro tipo de informacinque contribuya a precisar las condicionesdel problema, las variables que es prudenteconsiderar, o para ubicar en el tiempo y enel espacio la problemtica, etc. El contexto

puede ser un texto por ejemplo, en tems decomprensin de lectura-, una grfica, un dibujo,una tabla o cualquier otra forma de presentacinde la informacin a partir de la cual se derivael enunciado. La seleccin o elaboracin delcontexto es una labor exigente en cuanto supropsito es justamente contextualizar y no

confundir al evaluado; debe estar articulado conla tarea de evaluacin y no debe convertirse enfactor que disminuya del tiempo disponible para

responder; es decir, su extensin y complejidaddeben considerarse, tambin, a la luz de lascondiciones logsticas de la evaluacin.

ENUNCIADOEs el planteamiento, propiamente dicho, de laproblemtica que se espera sea resuelta por elevaluado5. En el enunciado se hace explcita latarea de evaluacin y, por tanto, dirige el esfuerzodel evaluado para generar o seleccionar unarespuesta, por lo cual es fundamental que est

escrito en lenguaje claro y preciso.

Tradicionalmente los enunciados de tems deseleccin mltiple se plantean en forma depregunta, o como una proposicin. En el primercaso, las opciones se redactan como respuestasa la pregunta; en el segundo caso, el enunciado

5 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.


11/18

B 11


constituye la primera parte de una proposiciny cada una de las opciones debe completarcoherentemente el enunciado.

La utilizacin de una u otra forma de plantear

el enunciado es decisin del evaluador ygeneralmente tiene que ver con la facilidadpara redactar, tanto el enunciado como lasopciones. Conviene tener en cuenta, eso s,que la redaccin en forma de pregunta resultamucho ms clara para poblaciones infantiles;es decir, los nios parecen responder mejor ala tarea de evaluacin cuando el enunciado esuna pregunta que cuando es una proposicinincompleta. Cualquiera sea la forma en que seredacte el enunciado, es importante verificar

su claridad, precisin y articulacin con lasopciones de respuesta.

OPCIONES DE RESPUESTALas opciones son posibles respuestas a laproblemtica planteada en el enunciado. Enel formato de seleccin mltiple con nicarespuesta, como su nombre lo indica, slo unade estas opciones es verdaderamente pertinentey completa para solucionar el problema tareade evaluacin-; las dems opciones, aunquepueden ser vistas como respuestas plausiblespor los evaluados que no dominan la tarea deevaluacin, no responden en forma completa opertinente a la problemtica formulada.

Otros formatos de seleccin admiten msde una opcin como respuesta vlida. Enla actualidad, cada vez con ms frecuencia,los instrumentos de evaluacin educativaincorporan formatos de tems en los cuales cada

opcin de respuesta es ponderada de acuerdo

con su grado de validez o pertinencia; es loque se denomina tems de crdito parcial, y suelaboracin supone que todas las opciones sonrespuestas vlidas, aunque cada una en distintogrado, dependiendo de diferentes condiciones

planteadas o posibles de inferir del contexto y delenunciado. Se busca con este tipo de tems, msque valorar, en una categorizacin dicotmica,si el evaluado respondi o no respondi a latarea de evaluacin, que sea posible identificarperfiles o estilos de desempeo.

4. REGLAS PARA LA ELABORACIN DETEMS DE SELECCIN MLTIPLE CONNICA RESPUESTALa experiencia propia de varios aos en eldesarrollo de instrumentos de evaluacin,combinada con la de entidades extranjerasdedicadas a la misma labor y con los hallazgosde numerosos estudios realizados sobre lastcnicas que conducen a mejorar la calidadde los tems6 7 8 9 10 ha hecho posible que en laactualidad se cuente con un conjunto de reglasque orientan la correcta elaboracin de tems.

A continuacin se presenta un compendio de

dichas reglas.

ASPECTOS GENERALES No es recomendable trabajar contrarreloj cuando

se busca tener un instrumento de calidad. Hagauna programacin juiciosa de todas las fasesdel diseo del instrumento y, particularmente, dela fase de elaboracin de tems contemplandotiempos de revisin, ajustes y edicin.

Conforme el equipo de trabajo con base en las

competencias de cada miembro y en su saber

6 Haladyna y Downing. (1989). A taxonomy of multiple choice tem writing rules. En Apply Measurement in Education. Vol. 1.7 Haladyna, T. (1994). Development and validatin multiple choice test tems. New Jersey: Lawrence Earlbaum Associates.8 Cheung, D. Y Bucat, R. (2002). How can we construct good multiple choice tems? Hong Kong: Sciens and TechnologyEducation Conference.9 ICFES. (2004). Estndares para la construccin de pruebas. Grupo de Evaluacin de la Educacin Superior. Bogot:ICFES.10 Cohen, A. y Woollack, J. (2004). Helpful tips for creating reliable and valid classroom test. En Handbook on TestDevelopment. U. Wisconsin.


12/18

B 12

sobre el objeto de evaluacin; el dominio enla disciplina o campo que se evaluar debecombinarse con el conocimiento en mediciny evaluacin. En lo posible, cuente con elapoyo de alguien con experiencia en el tema.

Planee sesiones de induccin para quienesvayan a elaborar tems y asegrese de que

comprenden el propsito del instrumento y losdems planteamientos bsicos del marco defundamentacin y de las especificaciones deprueba. Si se trata de personas sin experiencia,deben ser entrenados adems en las tcnicasde elaboracin de tems.

Un buen tem, por lo general, ha experimentadotoda una metamorfosis desde su versinoriginal. Durante la fase de elaboracin delos tems, realice sesiones de socializacin o

anlisis conjunto de los tems elaborados porcada miembro del equipo, con el fin de quecada uno tenga oportunidad de hacer aportesa la cualificacin de todos los tems (tanto enlo que refiere a la forma como al contenido).

Evite usar eufemismos y prefiera un lenguajedirecto, sin sacrificar el nivel tcnico yacadmico del proceso. La claridad yconcrecin en el lenguaje debe ser unaconsideracin permanente; utilice dibujos,grficos o tablas slo si estos en realidadaportan a la comprensin de la tarea deevaluacin; tenga en cuenta el tiempo que elevaluado debe emplear para leer instrucciones,contextos, enunciados y opciones, y el tiempototal del cual dispone para responder.

Asegrese de que en ninguna parte delinstrumento (portada, textos, instrucciones,tems, etc.) haya errores de ortografa, degramtica o de puntuacin, que no seincluya incorrectamente abreviaciones, citas,

nombres, cifras, fechas, etc.

REGLAS SOBRE EL CONTENIDO DE LOSTEMS

Evite elaborar tems que confunden al evaluado.Diferentes estudios han establecido cules son

algunas de las situaciones que llevan a percibirlos tems como confusos11; entre stas estn:

a) Contenido trivial

b) Presencia de informacin irrelevante

c) Presentacin ambigua de las opciones derespuesta

d) Discriminacin muy fina difcil de percibirentre las opciones de respuesta

e) Presentacin de informacin en mododistinto a como ha sido aprendida por lapoblacin evaluada, dentro de su procesoeducativo.

Cada tem debe corresponder a una tareade evaluacin definida en la estructura de

prueba. Evite evaluar el mismo aspecto especfico con

varios tems. Aproveche cada tem para hacercada vez ms completa la evaluacin.

Plantee una sola problemtica en cada tem.

Evite tems que incluyan posiciones ideolgicaso prejuicios; tenga en cuenta que lasproposiciones prejuiciosas pueden resultar enuna ofensa para cualquiera de los evaluados.Se excepta esta recomendacin si justamente

dichas posiciones son el objeto de evaluacin;entonces ser obligatorio incluirlas.

El vocabulario utilizado debe ser adecuadopara la poblacin objetivo.

Cada tem debe ser independiente y noproveer informacin para responder a otros.

No utilice tems que aparezcan en libros,revistas u otros documentos, como base parasus tems. Elabore tems originales.

Evite tems en los cuales se indague la opinin(parecer no argumentado) del evaluado (amenos que el instrumento justamente pretendaservir para un sondeo de opinin).

Evite plantear tems cuya respuesta vlida sedetermine segn la opinin de quien la elabora.

11 Roberts, D. (1993). An empirical studying on the nature of trick questions. Journal of educational measurement. Vol 30.


13/18

B 13


Balancee la complejidad de los tems para queel instrumento cubra los niveles de habilidad dela poblacin objetivo, es decir, la prueba debeincluir tems de dificultad alta, media y baja.

REGLAS SOBRE CONSTRUCCIN DELENUNCIADO Si plantea el enunciado en forma de proposicin

incompleta asegrese de usar conjugacionesverbales, gnero y nmero adecuados paralas opciones de respuesta que plantear. Silo escribe en forma de pregunta asegrese deusar adecuadamente signos de interrogaciny la estructura gramatical de una pregunta.

Presente en el enunciado la tarea de evaluacin.

Escriba con claridad. Evite texto excesivo.

Redacte el enunciado en forma positiva; esdecir, evite negaciones.

REGLAS SOBRE CONSTRUCCIN DE OPCIONESDE RESPUESTA

Asegure la concordancia gramatical entre laproposicin del enunciado y cada opcin.

Organice las opciones en un orden lgico

(alfabtico, longitud, etc.) o numrico. Mantenga la independencia entre las opciones.

stas no deben solaparse o intersectarse y nodeben ser sinnimas.

Refirase en todas las opciones al problemaplanteado en el enunciado. Evite opcionesfcilmente descartables.

Elabore opciones de respuesta de longitudsimilar.

Evite colocar como opcin:- Todos los anteriores- Ninguno de los anteriores- A y B son correctas (o cualquier combinacin

de opciones)- No s

Redacte las opciones en forma positiva, esdecir, evite negaciones. Si debe colocar unanegacin, resltela (use negrilla o maysculassostenidas).

No repita en las opciones frases contenidas

en el enunciado. Elabore tems con 4 opciones de respuesta.

Elaborar opciones plausibles es dispendioso;seguramente ganar calidad en las queredacte si no son demasiadas. Hay referenciade distintos estudios que analizaron la cantidadde opciones tiles para los propsitos deevaluacin12 13; si bien no existe consensoalrededor de un nico nmero de opciones,se encuentra a menudo conveniente, encuanto a facilidad de redaccin y capacidadde discriminacin, trabajar con 4 opciones;para poblaciones de infantes puede serconveniente usar 3 opciones.

Evite en las opciones el uso de adverbioscomo:

- Siempre- Nunca- Totalmente- Absolutamente- Completamente

La posicin de la opcin vlida debebalancearse entre todos los tems delinstrumento. Es recomendable que aparezcaproporcionalmente en cada posicin posible.

Evite que la opcin vlida pueda seridentificada fcilmente por contraste con lasdems opciones, por alguna de las siguientessituaciones:

- tener la mayor longitud

- ser la proposicin de mayor precisin oimprecisin

- estar redactada en un tipo lenguaje diferente(tcnico o comn)

- tener el mayor nivel de generalizacin o departicularidad

12 Haladyna, T. y Downing, S. (1995). How many options is enough for a multiple choice test tem. New Jersey: LEA.13 Pardo, C. (1994). Nmero til de opciones de respuesta en las pruebas Saber. Documento de trabajo. Bogot: ICFES.


14/18

B 14

- tener las mismas palabras que el enunciado- referirse a una problemtica o tema diferente

Justifique adecuadamente cada una de lasopciones para garantizar que slo hay unavlida y que las dems son plausibles paraquienes no dominan completamente la tareade evaluacin

5. SOBRE LA VALIDEZEl concepto moderno de la validez es global, adiferencia del clsico que consideraba distintostipos de validez. Se reconoce que la validezno es del instrumento, sino de las inferenciase interpretaciones realizadas a partir de laspuntuaciones obtenidas en un proceso deevaluacin.

La validez se entiende como un juicio evaluativodel grado en el cual la evidencia emprica yterica sustentan la pertinencia y convenienciade las inferencias acerca de los resultados en uninstrumento de medicin, as como las accionesque se realizan a partir de dichos resultados14.

Dicho de otra forma, la validez hace referenciaa qu tan fuertes son los argumentos y lasevidencias que respaldan las interpretaciones

hechas acerca del objeto de evaluacin(por ejemplo, la competencia) a partir de losresultados obtenidos. En tal sentido, la validezcompromete a todas las etapas del diseo depruebas: desde la definicin y caracterizacindel objeto de evaluacin hasta la divulgacin deresultados.

El evaluador debe reconocer que el usuariodirecto de la evaluacin el evaluado-, as comolos usuarios indirectos de la misma, utilizarn los

resultados para comprender y analizar procesos,para emitir juicios, para tomar decisiones,etc., y, por tanto, es su responsabilidad tica ysocial asegurarse de que tales anlisis, juiciosy decisiones sean verdaderamente posibles dederivar de la evaluacin que realiza.

La rigurosidad acadmica y tcnica en laelaboracin de los tems (y, por supuesto, enlas dems etapas del diseo del instrumento)aporta para que los resultados de la evaluacinsean pertinentes con su propsito. Las reglasde elaboracin de tems descritas en estedocumento tienen la pretensin de orientar

al evaluador para que los tems que elaboraevalen realmente el objeto de evaluacin que sepretende; en este sentido, la aplicacin de talesreglas contribuye a consolidar la argumentacinalrededor de que lo que los resultados indicanes verdadero.

En resumen, en lo que concierne a la elaboracinde tems, los siguientes son factores que afectannegativamente la validez:

La tarea a la cual se enfoca el tem no esrelevante para la evaluacin del objeto definidoen el marco de fundamentacin.

En el tem se incluye informacin que lafacilita o la dificulta, ms all del propsito deevaluacin.

Ahora bien, en la fase de elaboracin de temsno basta con aplicar las reglas de elaboracinpara contribuir a la validez; es necesario

garantizar que quienes van a ser evaluadoscon dichos tems no lleguen a responderloscorrectamente por circunstancias distintas a supropia capacidad o competencia.

As, entonces, otro factor determinante de lavalidez es la confidencialidad del instrumento,antes de su aplicacin. Con ello se asegura quelas condiciones en las cuales los evaluadosse enfrentan a la aplicacin del instrumentoson equitativas y, por ende, que las escalas de

calificacin que se generen y los resultados quese divulguen reflejan genuinamente el objeto deevaluacin. Los anexos 2 y 3 son ejemplos demecanismos utilizados en el ICFES con miras aguardar la confidencialidad de los tems duranteel proceso de elaboracin.

14 Messick, S. (1989). Validity. In R.L. Linn (Ed.), Educational measurement (3rd ed., pp. 13-103). New York: Macmillan.


15/18

B 15


III. EJERCICIO PRCTICO PARAAPLICAR LAS REGLAS DEELABORACIN DE TEMSUna vez trabajado este documento y lograda

la familiarizacin con las reglas de elaboracin

de tems, se sugiere realizar, preferiblemente en

grupo, la lectura de los siguientes ejemplos de

tems, con el fin de identificar, en cada uno de

ellos: a) qu se pretende evaluar, b) cules son

las reglas de elaboracin de tems que se aplican

correctamente, c) cules reglas se pasaron

por alto y, despus de este proceso, proponer

conjuntamente formas de cualificacin de cada

tem; para esto, el grupo de elaboradores deber

adelantar reflexiones y discusiones, con base

en argumentos acadmicos y tcnicos, sobreel propsito de evaluacin que tendran dichos

tems.

Tenga en cuenta que no hay una frmula nicay universal para mejorar la calidad de un tem, nihay una nica versin que pueda considerarseexclusivamente correcta; cada grupo deevaluadores que realice el ejercicio podr llegara plantear diferentes versiones, todas de muchacalidad. Por lo anterior, en este documento no

se incluye una propuesta de ajuste; adems,intencionalmente se ha seleccionado un grupo detems redactados con un enfoque tradicional (node competencias) dado que, tanto su enunciadocomo sus opciones, son menos elaboradas yextensas, lo cual facilita el ejercicio propuesto.

tem 1.Los extinguidores con base en agua NO sonapropiados para apagar fuegos de

A. AlcoholB. Algodn

C. Papel

D. Madera

tem 2.Las bebidas gaseosas como la coca-cola tienenun pH cercano a

A. 1

B. 2

C. 3

D. 4

tem 3.El mayor componente del gas natural que seusa en los hogares en Hong Kong es

A. Monxido de carbono

B. Nafta gaseosa

C. Hidrgeno

D. Metano

tem 4.

El zinc es mejor que el latn si se quiere evitar elxido en una pieza de hierro por electroplatinadoporque

A. El zinc es ms barato que el latn

B. El latn es txico

C. El zinc puede prevenir que el hierro entre encontacto con el agua y el aire

D. El zinc es ms reactivo que el hierro y porlo tanto se previene la oxidacin aunque elelectroplatinado se rompa.

tem 5.Para la mayora de los plsticos es cierto que

A. No reaccionan con cidos

B. Se pueden moldear fcilmente

C. Son inflamables

D. Todas las anteriores

tem 6.Si una persona consume exceso decarbohidratos es probable que la temperaturade su cuerpo

A. Se incremente

B. Permanezca igual

C. Se decremente

D. Se altere


16/18

B 16

InterpretarHace referencia a las acciones que realiza una persona, con el propsito de comprender una situacinen un contexto especfico. La interpretacin implica dar cuenta del sentido de un texto, de unaproposicin, de un problema, de un evento o de una grfica, mapa, esquema o simbologa propiade la disciplina objeto de evaluacin, e involucra acciones tales como:

Identificar las variables involucradas en una situacin problema y sus relaciones

Describir el estado, las interacciones o dinmica de un sistema, en trminos grficos o simblicos.

Traducir informacin de un sistema de representacin a otro (identificar el esquema ilustrativocorrespondiente a una situacin dada o, identificar la descripcin ms apropiada para determinada

grfica)

Plantear conclusiones vlidas a partir de un conjunto de datos o eventos

ArgumentarHace referencia a las acciones que realiza una persona con el propsito de fundamentar o sustentarun planteamiento, una hiptesis, un diseo, el uso de un procedimiento, la solucin a un problemao una decisin. Esta competencia exige explicitar los por qu de lo que se hace , e involucraacciones tales como:

Fundamentar la ocurrencia de determinados fenmenos con base en planteamientos tericos

Sustentar conclusiones para diferentes eventos o fenmenos, mediante el establecimiento decadenas de relaciones entre conceptos, postulados o principios tericos.

Sustentar conclusiones a partir de datos o procedimientos experimentales.

Argumentar cul es la informacin relevante para la resolucin de un problema.

tem 7.El mejor equipo de ftbol en la liga colombianaes

A. Millonarios

B. Nacional

C. Santaf

D. Cruzeiro

tem 8.La investigacin ha encontrado que asignartareas en el proceso educativo es

A. Una estrategia de enseanza efectiva si latarea es relevante para el aprendizaje

B. Mejor, mientras ms tareas se asignen

C. til, si se asignan todos los das, excepto

el viernesD. Innecesaria si se ensea bien

ANEXO I

EJEMPLO DE CARACTERIZACION DE COMPETENCIAS

EN EL ICFES15

15 Gonzlez, M. Espndola, C. y otros. (2005). Manual para la construccin de preguntas ECAES de Biologa. Documentode trabajo: ICFES - Acofacien.


17/18

B 17


ProponerHace referencia a las acciones que realiza una persona, con el propsito de plantear alternativasde decisin o de accin; establecer lo que puede ocurrir en un sistema o situacin cuandocambian las condiciones y dilucidar relaciones o vnculos no evidentes entre eventos o conceptos.Esta competencia involucra acciones tales como:

Predecir el comportamiento de un sistema o situacin si se realizan cambios en las interaccioneso en sus condiciones iniciales

Conjeturar, a partir de un estado final, las condiciones o estados precedentes que lo hicieronposible.

Plantear el diseo experimental o la estrategia ms adecuada y pertinente para realizar determinadoestudio o contrastar una hiptesis

Establecer regularidades vlidas para un conjunto de situaciones aparentemente desconectadas

Plantear hiptesis

Restringir el acceso a toda la prueba o a partes de la misma y a la armada de la prueba, a un grupopequeo de personas que garantice la confidencialidad del proceso. Se sugiere encargar a una solapersona de ser el responsable de la seguridad de archivos magnticos e impresos de los tems.

Cuidar que no queden en circulacin colectiva las versiones en papel o las copias de los temsgeneradas durante el proceso de elaboracin. Finalizado este proceso, las versiones que no vayan

ANEXO II

SUGERENCIAS PARA GARANTIZAR LA CONFIDENCIALIDAD DEL

MATERIAL DE PRUEBA16

a ser incluidas en la prueba deben ser destruidas; los tems aprobados debern ser mantenidosbajo custodia del responsable de la seguridad.

Si los tems se encuentran en archivos magnticos, stos debern tener una clave o passwordpara lectura y para modificacin. Dicha clave solo podr ser conocida por el responsable de laseguridad de los tems.

Ninguna persona que elabore tems podr guardar o copiar los tems hechos por otros ni de loselaborados por ella misma.

Los talleres realizados con el fin de revisar y ajustar tems debern contemplar mecanismos deseguridad que eviten que los tems sean conocidos por personas ajenas al grupo responsable dela elaboracin. Cuando asesores o expertos conozcan los tems con el propsito de revisarlos,deber asegurarse que devuelven todo el material de prueba que les haya sido entregado.

16 Grupo de Evaluacin de la Educacin Superior. (2003). Estndares para la construccin de pruebas. Bogot: ICFES.


18/18

ANEXO III

MODELO DE ACTA DE COMPROMISO17

PROGRAMA

UNIVERSIDAD

CIUDAD

Yo, , identificado(a) con cdula de ciudadannmero me comprometo a cumplir con las labores asignadasde acuerdo con los ms altos estndares de competencia tica e integridad profesional, teniendodebida consideracin a la naturaleza y propsito del trabajo desarrollado. Tambin me comprometoa no revelar directa o indirectamente a ninguna persona, ni durante la vigencia de este trabajo nidespus de su terminacin, ninguna informacin que hubiera obtenido durante el mismo y que nosea de dominio pblico.

Firma FechaCC. No.

Elaborar Items

Documents

Transcript of Elaborar Items