Evaluación piloto de la calidad técnica de seis de las ... · Índice de tablas Tabla 1...
-
Upload
duongtuyen -
Category
Documents
-
view
215 -
download
0
Transcript of Evaluación piloto de la calidad técnica de seis de las ... · Índice de tablas Tabla 1...
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
APÉNDICE C
INFORMES DE EVALUACIÓN DE CALIDAD TÉCNICA
DE LAS SEIS PRUEBAS SELECCIONADAS
EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL WISC-IV 3
IDENTIFICACIÓN DE LA PRUEBA EVALUADA 4
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 5
Referentes conceptuales 6
Confiabilidad 6
Evaluación de validez 7
Calificación y estandarización 10
EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL MMPI-2 13
IDENTIFICACIÓN DE LA PRUEBA EVALUADA 13
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 13
Referentes conceptuales 14
Confiabilidad 15
Evaluación de validez 16
Calificación y estandarización 18
EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL IPV 19
IDENTIFICACIÓN DE LA PRUEBA EVALUADA 19
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 19
Referentes conceptuales 20
Confiabilidad 21
Evaluación de validez 22
Calificación y estandarización 23
EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL INVENTARIO 16 PF 5 25
IDENTIFICACIÓN DE LA PRUEBA EVALUADA 25
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 26
Referentes conceptuales 27
Confiabilidad 28
Evaluación de validez 29
Calificación y estandarización 31
EVALUACIÓN PILOTO DE LA CALIDAD PILOTO DE MIPS INVENTARIO MILLON´ S DE
ESTILOS DE PERSONALIDAD 32
IDENTIFICACIÓN DE LA PRUEBA EVALUADA 32
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 33
Confiabilidad 35
Evaluación de validez 36
Calificación y estandarización 38
VALORACIÓN PILOTO DE CALIDAD TÉCNICA DEL BDI-II 41
IDENTIFICACIÓN DE LA PRUEBA EVALUADA 41
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 41
Confiabilidad 43
Evaluación de validez 44
Calificación y estandarización 46
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
3
Índice de tablas
Tabla 1 Evaluación de la calidad de referentes conceptuales de WISC-IV 6
Tabla 2 Evaluación de los estudios de confiabilidad del WISC-IV 7
Tabla 3 Evaluación de los estudios de validez del WISC-IV 9
Tabla 4 Evaluación de los datos de estandarización del WISC-IV 11
Tabla 5 Evaluación de los referentes conceptuales del MMPI-2 15
Tabla 6 Evaluación de los estudios confiabilidad del MMPI-2 15
Tabla 7 Evaluación de los estudios de validez del MMPI-2 17
Tabla 8 Evaluación de la información de aplicación y calificación del MMPI-2 18
Tabla 9 Evaluación de los referentes conceptuales del IPV 21
Tabla 10 Evaluación de los estudios de confiabilidad del IPV 21
Tabla 11 Evaluación de los estudios de validez del IPV 23
Tabla 12 Evaluación de la estandarización del IPV 24
Tabla 13 Evaluación de los referentes conceptuales del 16 PF-5 27
Tabla 14 Evaluación de los estudios de confiabilidad del 16 PF-5 29
Tabla 15 Evaluación de los estudios de validez del 16 PF-5 30
Tabla 16 Evaluación de la información para la aplicación y calificación del 16 PF-5 31
Tabla 17 Evaluación de los referentes conceptuales del MIPS 34
Tabla 18 Evaluación de los estudios de confiabilidad del MIPS 36
Tabla 19 Evaluación de los estudios de validez del MIPS 38
Tabla 20 Evaluación de la informacion para la aplicación y calificación del MIPS 39
Tabla 21 Evaluación de los referentes conceptuales del BDI-II 42
Tabla 22 Evaluación de los estudios de confiabilidad del BDI-II 43
Tabla 23 Evaluación de los estudios de validez del BDI-II 45
Tabla 24 Evaluación de la información de aplicación y calificación del BDI-II 46
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL WISC-IVi Flor Angela León Grisales
con apoyo de Juan Carlos Espinosa, Cristina Santana y Gloria Tobón Vásquez
IDENTIFICACIÓN DE LA PRUEBA EVALUADA
Nombre: Escala Wechsler de Inteligencia para Niños IV WISC IV
Autor versión original : David Wechsler
Versión revisada: Adaptación mexicana
Editora responsable de la edición revisada
Adriana A Mendoza Pedraza
Autor de la adaptación colombiana: No tiene
Editor adaptación colombiana No tiene
Fecha de revisión: Marzo 2017
Editor Manual moderno
Campo de uso: Clínica o Educativa
Año de publicación: 2007
Materiales disponibles para profesionales
Manual técnico, manual de aplicación, protocolo de registro, cuadernillo de respuesta 1 y 2; libreta de estímulos, plantilla de calificación Registros, plantilla de calificación Búsqueda de símbolos A y B, Cubos.
Constructo que evaluá: Personalidad
ISBN 970-729-261-X
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
5
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA
El Wisc-IV se distribuye en Colombia es una versión en español es la escala de inteligencia más
utilizada por los psicólogos profesionales en Colombia de acuerdo con los resultados de la consulta
realizada para este proyecto. Esta versión es la traducción al español de los ajustes realizados a la
escala después de la revisión de la version III; ajustes hechos por un grupo de expertos de
Psychological Measurement Group bajo la dirección de Larry Wais en un proyecto de 5 año en el cual
se recolecto información y se diseñaron los procesos de análisis para cumplir con los criterios de
calidad de los estándares de calidad para pruebas psicológicas de 1999.
Wisc-IV es parte de la familia de escalas Wechsler de evaluación de inteligencia infantil con
mayor tradición de uso a nivel mundial, con una trayectoria de desarrollo de 60 años de uso, con
diferentes versiones ajustadas sistemáticamente para actualizar su fundamentación es un herramienta
de evaluación que ofrece una medida de funcionamiento intelectual general y cuatro puntuaciones
índice de las capacidades cognoscitivas: comprensión verbal, razonamiento perceptual, memoria de
trabajo y velocidad de procesamiento.
Esta version incluye la información sobre la adaptación y generación de normas para población
mexicana en el capítulo siete (7) del manual técnico, con datos recolectados y analizados en estudio
realizado en 2005, es una traducción del manual técnico y de aplicación diseñado para uso en
población mexicana.
Wisc –IV escala ofrece al usuario información de referencia sobre la evaluación de las
funciones cognitivas, en el manual técnico y de aplicación se documenta ampliamente su
fundamentación conceptual y los protocolos de aplicación, es una herramienta de evaluación con un
robusto desarrollo técnico para la evaluación infantil, que por medio 10 sub-pruebas esenciales y 5
suplementarias permita la valoración detallada del funcionamiento cognitivo, con amplia utilidad en los
campos clínicos, neuropsicológicos y educativos.
Se recomienda su uso en virtud a que ofrece suficiente información para que el usuario
profesional tenga una mirada comprensiva para la interpretación de los resultados, con la advertencia
respecto a las consideraciones necesarias frente a la ausencia de información en el manual técnico
de estudios con población nacional y que si bien la población de las tablas normativas se desarrollaron
con datos de estudios con niños mexicanos falta información que permita al lector hacer una mirada
comprensiva las diferencias culturales.
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
A continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos
técnicos que valora el instrumento de calidad para uso en Colombia.
Referentes conceptuales
Resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información sobre
los 5 indicadores obligatorios y los dos opcionales, la calidad de la información conceptual permite al
lector la comprensión del funcionamiento intelectual como una entidad global que puede evaluarse a
partir de la evaluación de capacidades cognitivas específicas, que pueden entenderse como dominios
y que se evalúan de forma práctica a partir de las subpruebas.
Con datos específicos, referencias, argumentación lógica y estructurada ofrece información al
profesional para sustentar los diagnósticos e intervenciones, mediante un modelo agregado de
puntajes justificados desde modelos teóricos actualizados y probados empíricamente; es una escala
que puede usarse en diferentes tipos de estudio o procesos de evaluación, por ofrecer la posibilidad
de analizar el desempeño en tareas específicas por medio de las subpruebas; la tabla 1 presenta la
evaluación de cada uno de los indicadores de confiabilidad.
Tabla 1 Evaluación de la calidad de referentes conceptuales de WISC-IV
Evaluación de Referentes Conceptuales
Indicadores Valoración
Obligatorios
2.1 Definición conceptual del constructo a medir Bueno
2.2 Definición operacional del constructo a medir Bueno
2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Bueno
2.4 Descripción de los usos previstos para el instrumento. Bueno
2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Bueno
Opcionales
2.6 Contextualización histórica del constructo. Sobresaliente
2.7 Estructuración teórica de conocimientos acerca del constructo medido. Bueno
Confiabilidad
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
7
La evaluación sobre la información de confiabilidad es satisfactoria, la información incluida en
el manual técnico aporta información sobre el desarrollo de estudios y análisis de información para
los ocho 8 indicadores, en los capítulos 2, 3 y 4 se encuentra descrito de forma detallada estudios y
metodologías de análisis de datos que muestran la exactitud y precisión de las puntuaciones, incluye
coeficientes de confiabilidad y estabilidad, errores estándar de medición, intervalos de confianza,
significación estadística de las diferencias de puntuaciones (tasa base).
Se realizaron estudios concurrentes para presentar evidencia sobre confiabilidad, con datos de
re-test para el rango de edad para la cual se diseñó.
El aspecto más débil es el evaluado por el indicador cuatro, tamaño de la muestra de los
estudios de confiabilidad, cumple con el criterio mínimo ya que se incluye el análisis de la muestra
mexicana, para fortalecer este aspecto para el uso en Colombia debería incluirse información sobre
el desarrollo de por lo menos dos estudios de confiabilidad con niños colombianos y que se informen
las comparaciones pertinentes con los estudios normativos de esta versión, de manera que las tablas
para la interpretación cumplan con el requerimiento técnico en el nivel que corresponde al descriptor
de la categoría bueno que es el más adecuado, satisfaciendo con el requerimiento de documentar la
precisión de los resultados en población nacional. La tabla 2 presenta la evaluación general de los
indicadores de confiabilidad.
Tabla 2 Evaluación de los estudios de confiabilidad del WISC-IV
Evaluación de confiabilidad
Indicadores Evaluación
Obligatorios
3.1 Identificación de la o las fuentes de error de medición. Bueno
3.2 Descripción del estudio para estimar la confiabilidad Bueno
3.3 Estimación del error de medida Bueno
3.4 Tamaño de muestra de estudios de confiabilidad Mínimo
3.5 Valor del estadístico Bueno
3.6 Interpretación de resultados de confiabilidad Bueno
Opcionales
3.7 Modelo psicométrico para el estudio de confiabilidad Sobresaliente
3.8 Escogencia del método estadístico para estimar la confiabilidad Bueno
Evaluación de validez
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
La evaluación de la información sobre las evidencias de validez para interpretar los resultados
es satisfactoria, cumple con trece de los catorce indicadores obligatorios, en el manual técnico se
describen las fases del proyecto de ajuste mediante las cuales se desarrolló esta versión, después de
los resultados de 10 años de investigación con el Wisc-III; de manera el proyecto dirigido por Larry
Wais trazo 5 objetivos que son las mejoras que se incluyen en esta version; actualización de la
fundamentación teórica, aumento de la utilidad clínica, mayor coherencia respecto a las teorías de
desarrollo infantil, mejora de las propiedades psicométricas y mayor amigabilidad para el usuario.
El manual técnico incluye información sobre el proceso iterativo de depuración de la escala,
procedimientos de investigación y certificación de calidad, en los cuales se recolectó la información y
analizó el comportamiento de la escala, en cada uno de los aspectos de calidad esperados en una
escala como esta.
Para cada tipo de evidencia se diseñaron procesos de recolección y análisis de datos siguiendo
los más altos requerimientos los estándares de prueba, incluyó una etapa de desarrollo conceptual,
en la cual participó un amplio grupo asesores y consultores que recibieron el entrenamiento y
capacitación en los procedimientos de revisión, se usaron procedimientos para calcular índices de
acuerdo entre evaluadores en los procesos de verificación de escalas y evidencias basadas en el
contenido de la prueba; incluye información sobre el análisis de ítems para identificar el sesgo,
información que ilustra las consideraciones para que el profesional tenga elementos de análisis en un
proceso de evaluación.
Las puntuaciones de los índices de esta version son acordes a los resultados del análisis de
funcionamiento estructura y en la revisión conceptual desarrolla las interpretaciones de las
puntuaciones de manera coherente con los enfoques teóricos que se actualizaron, incluye las tablas
de resultados y análisis de estructura factorial y confirmatorios.
Las evidencia de validez basada en la relación con otras variables se obtuvo a partir de nueve
estudios, con medidas externas con las pruebas: WISC-III, WPPSI-III, WAIS-III, WASI, WAIT-II,CMS,
GR-S, Bar On EQ, ABAS-II, las escalas Weschler se usaron para análisis de concurrencia de la
estandarización y las otras como medidas de concurrencia de capacidades cognitivas, en el capítulo
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
9
5 del manual técnico se explica la metodología y se describen las características de los participantes
las tablas con medias y desviaciones estándar y coeficientes de correlación con su corrección.
En el manual de aplicación se incluye información que permite el uso comprensivo de la
información del proceso de respuesta del evaluado para el proceso de análisis de habilidades
cognoscitivas del evaluado la recomendación para fortalecer y completar la información sobre
evidencias de validez para uso en Colombia es la inclusión de estudios sobre usos con población
colombiana que permitan al usuario una visión cercana de la pertinencia de su uso, evidenciando las
adaptaciones del lenguaje y otros costumbres culturales que tengan influencia sobre las sub-escalas.
La tabla 3 presenta el resumen de la evaluación de los indicadores de validez.
Tabla 3 Evaluación de los estudios de validez del WISC-IV
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Indicadores Valoración
Evidencia basada en el contenido de la prueba.
Obligatorios
4.1 Estructura conceptual de la prueba Bueno
4.2 Revisión por expertos idóneos Bueno
4.3 Número de expertos y contenido de la consulta. Bueno
4.4 Resultados de evaluación por expertos Bueno
Opcionales
4.5 Capacitación a expertos Bueno
4.6 Tabla de especificaciones No aplica
Evidencia basada en la estructura interna de la prueba
Obligatorios
4.7 Estructura interna de la prueba Bueno
4.8 Tamaño de Muestra Bueno
4.9 Resultados del estudio Bueno
Evidencia de validez basada en la relación con otras variables
Obligatorios
4.10 Estrategia de validación Bueno
4.11 Selección de la(s) variable(s) criterio Bueno
4.12 Tamaño de Muestra Mínimo
4.13 Análisis estadístico empleado Bueno
4.14 Resultados de los estadísticos Bueno
Opcionales
4.15 Funcionamiento diferencial del ítems Sobresaliente
4.16 Análisis de sesgo de la prueba Sobresaliente
Evidencia con base en el análisis de ítems
Obligatorios
4.17 Modelo psicométrico utilizado Bueno
4.18 Estimación de dificultad Mínimo
Opcionales
4.19 Estadísticos para análisis de ítems Sobresaliente
4.20 Análisis de las opciones de respuesta No aplica
4.21 Parámetros del modelo de análisis No aplica
4.22 Ajuste del modelo No aplica
4.23 Función de información No aplica
Calificación y estandarización
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
11
La evaluación de la información sobre los proceso de aplicación y calificación de la prueba es
satisfactoria, el manual de aplicación y el manual técnico contienen información sobre los siete
indicadores obligatorios y los dos opcionales; incluye los datos descriptivos de las muestras con las
cuales se desarrollaron las normas del estudio original de la versión IV y los de la muestra mexicana,
grupo de referencia para uso con población colombiana, información que compromete al profesional
en el análisis minucioso de las respuestas para interpretar la significación del resultado como una
medida de funcionamiento cognitivo.
Las tablas de información para la interpretación cumplen con el mínimo establecido como
criterio para uso en Colombia, se levantaron a partir de una muestra de 1234 niños mexicanos y el
desarrollo de este proceso se describe en capítulo 7 del manual técnico; se incluye consideraciones
técnicas para poblaciones especiales, ilustra la apariencia del perfil y se describe el sistema de las
escalas por decatipos, para cumplir con el mínimo se requiere incluir información de análisis de
resultados con muestra colombiana y el desarrollo de estudios sobre diferencias entre grupos por
variables de interés como sexo y escolaridad. La tabla 4 presenta los resultados de la evaluación de
los indicadores de este la información incluida sobre este aspecto en el manual.
Tabla 4 Evaluación de los datos de estandarización del WISC-IV
Evaluación de estandarización
Indicadores Valoración
Obligatorios
5.1 Descripción de material de prueba Bueno
5.2 Instrucciones para la aplicación Bueno
5.3 Escalas y sistema de trasformación de las puntuaciones Bueno
5.4 Descripción de la población objetivo y la(s) muestra(s) normativas
Aceptable
5.5 Tamaño de la(s) muestra(s) normativa(s) Mínimo
5.6 Descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos
Bueno
5.7 Protocolo de interpretación Bueno
Opcionales
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
5.8 Condiciones especiales de aplicación Sobresaliente
5.9 Protocolo de presentación de resultados Sobresaliente
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
13
EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL MMPI-2 Flor Angela León Grisales
Con apoyo de Fredy Alexander Romero Gúzman, Nora Londoño
IDENTIFICACIÓN DE LA PRUEBA EVALUADA
FICHA IDENTIFICACIÓN
Nombre: Inventario Multifásico de la Personalidad Minnesota MMPI- 2
Autor : S.R. Hathaway y J.C.McKinley
Version revisada: Versión adaptada para México
Editora: Lorena Blanca para el Manual Moderno
Traducido y adaptado al español por: Emilia Lucio Gómez-Maqueo
Autor de la adaptación colombiana: No tiene
Editor adaptación colombiana: No tiene
Fecha de revisión: Marzo 2017
Campo de uso: Psicología Clínica
Año de publicación: 1995
Materiales disponibles para profesionales
Manual de aplicación y calificación. Cuadernillo de aplicación hojas de respuesta, plantillas de calificación y perfiles
Constructo que evalúa: Tipos de personalidad y trastornos emocionales
ISBN 968 -426-963-6
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA
El inventario multifásico de personalidad Minnesota 2 que se distribuye en Colombia por Manual
Moderno es la traducción al español de la version estadounidense publicada en 1989, con información
de normalización para uso en México; una de las diez pruebas más usadas en Colombia de acuerdo
a los resultados de la consulta realizada para este proyecto.
El inventario de personalidad MMPI-II se construyó por medio la metodología de enlace
empírico, evaluá la personalidad y trastornos emocionales por medio de múltiples sub-escalas que se
analizan en dos perfiles, su uso exige que el psicólogo tenga formación en psicopatología
preferiblemente en nivel de posgrado.
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
El manual incluye un resumen histórico de su evolución con los resultados de los estudios
hechos en revisión mediante la cual se llegó a esta version en 1989, que pueden orientar a un usuario
profesional para un análisis adecuado de las respuestas de un evaluado, incluye definiciones
operacionales y referencias que facilitan la calificación y análisis del perfil, partiendo de un hipótesis
de evaluación estructurada previamente por el profesional.
La evaluación sobre los referentes conceptuales evidencia que sería conveniente que se
desarrollaran con mayor precisión recomendaciones de uso, y que puede resultar inconveniente si el
profesional no tiene amplia experiencia y conocimiento en trastornos clínicos, puesto que no incluye
advertencia respecto a las consideraciones necesarias frente a la ausencia de información de estudios
y comportamiento de esta prueba con población colombiana.
Es deseable que en el futuro se desarrolle un proyecto de adaptación de la prueba para uso
con estudios con población colombiana, en el cual se verifique el funcionamiento empírico con varios
grupos de pacientes identificados con los trastornos de referencia y que se analice la vigencia de
varias de algunas de las expresiones, se incluya procedimientos de análisis de confiabilidad y relación
con otras variables, y que se levanten tablas normativas que ofrezcan datos de referencia; a
continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos técnicos
que valora el instrumento de calidad para uso en Colombia.
Referentes conceptuales
Resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información sobre
los 5 indicadores obligatorios y uno opcional, la información que permite al usuario identificar los
conceptos subyacentes a cada una de las sub-escalas, información que debe estudiarse
detalladamente y que exigirá en la consulta de la bibliografía referenciada.
A lo largo del capítulo: “como interpretar el MMPI-Il” se incluyen las definiciones operacionales
y conceptuales, de manera que plantea la lógica subyacente a la interpretación de sus resultados. La
tabla 5 presenta la evaluación de cada uno de los indicadores.
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
15
Tabla 5 Evaluación de los referentes conceptuales del MMPI-2
Evaluación de Referentes Conceptuales
Indicadores Valoración
Obligatorios
2.1 Definición conceptual del constructo a medir Mínimo
2.2 Definición operacional del constructo a medir Bueno
2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Bueno
2.4 Descripción de los usos previstos para el instrumento. Mínimo
2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Aceptable
Opcionales
2.6 Contextualización histórica del constructo. Bueno
2.7 Estructuración teórica de conocimientos acerca del constructo medido. No cumple
Confiabilidad
La evaluación sobre la información de confiabilidad no es satisfactoria, cumple 5 de los 6
criterios obligatorias, incluye información sobre los procedimientos de análisis de resultados de los
estudios estadounidenses con las correspondientes tablas, para una mayor compresión debería
describir con mayor detalle el proceso de análisis e información sobre su interpretación, el aspecto
sobre el cual no incluye información es la descripción de la identificación de fuentes de error de la
confiabilidad, y se reportan resultados en tablas pero no se incluye una explicación que permita la
compresión sobre la obtención precisión de sus resultados.
Es conveniente que se desarrollen estudios con población clínica de origen nacional
seleccionada acorde a las características que requiere el objetivo de esta prueba, para estudiar las
fuentes de error y la precisión de los resultados para que cumpla con los criterios mínimos de los
estudios de confiabilidad, la tabla 6 presenta la evaluación general de los indicadores de confiabilidad.
Tabla 6 Evaluación de los estudios confiabilidad del MMPI-2
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Evaluación de confiabilidad
Indicadores Evaluación
Obligatorios
3.1 Identificación de la o las fuentes de error de medición. No cumple
3.2 Descripción del estudio para estimar la confiabilidad Mínimo
3.3 Estimación del error de medida Mínimo
3.4 Tamaño de muestra de estudios de confiabilidad Mínimo
3.5 Valor del estadístico Aceptable
3.6 Interpretación de resultados de confiabilidad Mínimo
Opcionales
3.7 Modelo psicométrico para el estudio de confiabilidad No cumple
3.8 Escogencia del método estadístico para estimar la confiabilidad No cumple
Evaluación de validez
La evaluación de la información sobre las evidencias de validez para interpretar los resultados
no es satisfactoria, cumple con ocho de los catorce indicadores obligatorios, la información se
referencia de manera muy resumida y no permite al usuario reconocer la pertinencia de los
procedimientos de verificación de diferencias entre grupos y correlaciones entre las sub-escalas, y
pero en general es muy resumida y requiere un mayor desarrollo.
Toda la información de evidencias de validez se justifican a partir de la muestra estadounidense
delos estudios originales, y se usan la datos una muestra de mexicanos universitarios que no
corresponden a las características de las muestras que deberían usarse para analizar la validez de un
instrumento que detecte trastornos emocionales.
Incluye tablas de datos de estudios de correlación con 4 instrumentos pero falta explicación
para que el usuario los use como referencias conceptuales importantes en proceso de evaluación
clínica.
El manual presenta la información de los estudios originales de la primera versión el MMPI, el
proyecto de revisión que derivo en la version estadounidense y la recolección de datos de la muestra
mexicana, que exige al usuario una revisión meticulosa para reconocer la información de interés, pero
no se desarrollan de manera que se justifiquen ni los criterios ni los tamaños de muestra. La
recomendación para fortalecer la información sobre evidencias de validez para uso en Colombia es la
inclusión de estudios de su uso con población colombiana que permitan a los profesionales acceder a
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
17
resultados con población colombiana, la tabla 7 presenta el resumen de la evaluación de los
indicadores de validez.
Tabla 7 Evaluación de los estudios de validez del MMPI-2
Evidencia basada en el contenido de la prueba.
Indicadores Valoración
Obligatorios
4.1 Estructura conceptual de la prueba Bueno
4.2 Revisión por expertos idóneos Bueno
4.3 Número de expertos y contenido de la consulta. No cumple
4.4 Resultados de evaluación por expertos Aceptable
Opcionales
4.5 Capacitación a expertos No cumple
4.6 Tabla de especificaciones No cumple
Evidencia basada en la estructura interna de la prueba
Obligatorios
4.7 Estructura interna de la prueba Mínimo
4.8 Tamaño de Muestra Mínimo
4.9 Resultados del estudio Mínimo
Evidencia de validez basada en la relación con otras variables
Obligatorios
4.10 Estrategia de validación Bueno
4.11 Selección de la(s) variable(s) criterio No cumple
4.12 Tamaño de Muestra No cumple
4.13 Análisis estadístico empleado No cumple
4.14 Resultados de los estadísticos No cumple
Opcionales
4.15 Funcionamiento diferencial del ítems No cumple
4.16 Análisis de sesgo de la prueba No cumple
Evidencia con base en el análisis de ítems
Obligatorios
4.17 Modelo psicométrico utilizado Mínimo
4.18 Estimación de dificultad No cumple
Opcionales
4.19 Estadísticos para análisis de ítems No cumple
4.20 Análisis de las opciones de respuesta Bueno
4.21 Parámetros del modelo de análisis No cumple
4.22 Ajuste del modelo No cumple
4.23 Función de información No cumple
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Calificación y estandarización
La evaluación de la información sobre los proceso de aplicación y calificación de la prueba no
es satisfactoria, el manual contienen información de seis 6 de los 7 siete indicadores obligatorios, la
información de referencia para uso en Colombia es la de la normas hechas con estudiantes
universitarias, una muestra que no responde a las características deseables los estudios de
referencia para este inventario que apoya un diagnóstico clínico, de manera que en el manual no se
incluyen explicaciones sustantivas para el análisis de los resultados considerando las diferencias
culturales, para varias de las sub-escalas.
La tabla 8 presenta los resultados de la evaluación de los indicadores de estandarización de
acuerdo a la información disponible sobre este aspecto en el manual.
Tabla 8 Evaluación de la información de aplicación y calificación del MMPI-2
Evaluación de estandarización
Indicadores Valoración
Obligatorios
5.1 descripción de material de prueba Mínimo
5.2 instrucciones para la aplicación Mínimo
5.3 escalas y sistema de trasformación de las puntuaciones Aceptable
5.4 descripción de la población objetivo y la(s) muestra(s) normativas Mínimo
5.5 tamaño de la(s) muestra(s) normativa(s) Mínimo
5.6 descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos
No cumple
5.7 protocolo de interpretación Aceptable
Opcionales
5.8 condiciones especiales de aplicación No cumple
5.9 protocolo de presentación de resultados No cumple
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
19
EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL IPV
Flor Angela Leon Grisales con apoyo de María Claudia Peralta y Ivonne Alejo
IDENTIFICACIÓN DE LA PRUEBA EVALUADA
Nombre: Inventario de Personalidad para vendedores
Autor : Les editions du Centre de Psychologie Appliquee.
Edición revisada Adaptación argentina
Editor de la versión revisada: Nicolás Seisdedos y Agustín Cordero
Autor de la adaptación colombiana:
No tiene
Editor adaptación colombiana No tiene
Fecha de revisión Marzo 2017
Editor Tea ediciones
Campo de uso: Selección de personal de ventas
Año de publicación: 1996
Materiales disponibles para profesionales:
Manual hojas de respuesta y cuadernillo de aplicación.
Constructo que evaluá Disposición general para la venta
ISBN 84-7174-813-4
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA
El inventario de personalidad para vendedores que se distribuye en Colombia por Manual
Moderno es la octava edición que incluye datos de análisis de estudios con población Argentina
publicada en 1997 versión que se adaptó a partir de traducción para España de la version francesa
es inventario para evaluar la afinidad individual hacia las ventas; una de las pruebas más usadas por
los psicólogos profesionales en Colombia de acuerdo con los resultados de la consulta realizada para
este proyecto.
El inventario de personalidad para vendedores ofrece información sobre dos dimensiones de
disposición para las ventas: receptividad y agresividad que se definieron desde el funcionamiento
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
empírico en el análisis factorial de los 10 sub-escalas que se identificaron en el trabajo de campo
durante su diseño.
IPV es un reporte de tendencias de conducta, en la cual se solicita al evaluado seleccionar la
opción de respuesta sobre una que considere lo identifique a partir del análisis de situaciones
cotidianas diseñada para identificar si el evaluado tiene los rasgos de personalidad afines a las
actividades de venta
La adaptación española se desarrolló en los ochenta y la argentina en los 90, en general se
usaron procedimientos de análisis para corroborar el funcionamiento empírico y las tablas normativas,
es decir es una adaptación de una versión de más de 30 años de publicación.
El manual incluye información técnica resumida de los estudios que pueden orientar a un
usuario profesional, pero para un análisis adecuado de las respuestas de un candidato a un cargo de
ventas sería conveniente que se desarrollaran con mayor precisión varios aspectos su uso ya que su
uso en un proceso de selección en empresas colombianas puede resultar inconveniente si se tiene en
cuenta que no incluye advertencia respecto a las consideraciones necesarias frente a la ausencia
de información en el manual técnico de estudios con población nacional.
Es deseable que en el futuro se desarrolle un proyecto de adaptación de la prueba para uso
con estudios con población colombiana, en el cual se verifique el funcionamiento empírico con por lo
menos dos grupos de personas con amplia experiencia en ventas, que incluya procedimientos de
análisis de confiabilidad y relación con otras variables, y que se levanten tablas normativas que
ofrezcan datos de referencia; a continuación se presentan los comentarios generales de la evaluación
de los cuatro aspectos técnicos que valora el instrumento de calidad para uso en Colombia
Referentes conceptuales
Resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información sobre
los 5 indicadores obligatorios, la información conceptual presenta una visión general del perfil de
personalidad a fin a las actividades de venta, a partir del reporte de preferencias del evaluado.
Ofrece información general sobre el desarrollo del perfil que valora el inventario, describe las
justificaciones desde las cuales se definieron y validaron, de manera que plantea la lógica subyacente
a la interpretación de sus resultados. La tabla 9 presenta la evaluación de cada uno de los indicadores.
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
21
Tabla 9 Evaluación de los referentes conceptuales del IPV
Evaluación de Referentes Conceptuales Indicadores Valoración Obligatorios 2.1 Definición conceptual del constructo a medir Mínimo 2.2 Definición operacional del constructo a medir Mínimo 2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Mínimo 2.4 Descripción de los usos previstos para el instrumento. Aceptable 2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Mínimo Opcionales 2.6 Contextualización histórica del constructo. No aplica 2.7 Estructuración teórica de conocimientos acerca del constructo medido. No aplica
Confiabilidad
La evaluación sobre la información de confiabilidad no es satisfactoria, la información incluida
en el manual técnico no incluye datos de análisis de fuentes de error que interfieran con la precisión
de los datos y su interpretación, no se referencian los detalles de los estudios de confiabilidad que
permita al usuario usar un parámetro para especificar la precisión de sus resultados.
Es conveniente que se desarrollen estudios con una muestra colombiana, que pueda
considerarse representativa de características como: nivel socioeconómico, nivel educativos de
diferentes regiones, para los datos de referencia sean útiles en la selección de vendedores en
Colombia, y que se documenten las consideraciones de las metodologías para estudiar las fuentes de
error y la precisión de los resultados para que cumpla con los criterios mínimos los estudios. La tabla
10 presenta la evaluación general de los indicadores de confiabilidad.
Tabla 10 Evaluación de los estudios de confiabilidad del IPV
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Evaluación de confiabilidad Indicadores Evaluación Obligatorios 3.1 Identificación de la o las fuentes de error de medición. No cumple 3.2 Descripción del estudio para estimar la confiabilidad No cumple 3.3 Estimación del error de medida No cumple 3.4 Tamaño de muestra de estudios de confiabilidad No cumple 3.5 Valor del estadístico No cumple 3.6 Interpretación de resultados de confiabilidad No cumple Opcionales
3.7 Modelo psicométrico para el estudio de confiabilidad No cumple 3.8 Escogencia del método estadístico para estimar la confiabilidad
No cumple
Evaluación de validez
La evaluación de la información sobre las evidencias de validez para interpretar los resultados
no es satisfactoria, cumple con ocho de los catorce indicadores obligatorios, incluye información sobre
los procedimientos de verificación de diferencias entre grupos y correlaciones entre las sub-escalas,
en general es muy resumida y requiere un mayor desarrollo.
Se explican las características de las muestras usadas en el estudio de adaptación española
evidenciando un diseño y análisis de datos.
Se analizaron las respuestas de los tres grupos y confirmó una estructura general de la escala
y aunque reporta un estudio de relación con el 16 pf no se ofrece información detallada que permita
al profesional analizar las respuestas de un evaluado.
El manual es un compendio corto que resume la historia del desarrollo del inventario y justifica
el uso a partir de los estudios originales, hechos hace más de 40 años, para validar su uso en las
adaptaciones al idioma español se presentan brevemente unos procesos de adaptación sin desarrollar
la información de las evidencias de validez para el uso en España o Argentina más allá de la
acomodación del lenguaje y las posibles diferencias entre grupos de profesionales, de manera que no
incluye argumentos para justificar la interpretación de los resultados, la recomendación para fortalecer
la información sobre evidencias de validez para uso en Colombia es la inclusión de estudios de su uso
con población colombiana que permitan al usuario identificar el comportamiento en profesionales y
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
23
personal de ventas en contexto colombiano, la tabla 11 presenta el resumen de la evaluación de los
indicadores de validez.
Tabla 11 Evaluación de los estudios de validez del IPV
Evidencia basada en el contenido de la prueba. Indicadores Valoración Obligatorios 4.1 Estructura conceptual de la prueba Aceptable 4.2 Revisión por expertos idóneos No cumple 4.3 Número de expertos y contenido de la consulta. No cumple 4.4 Resultados de evaluación por expertos No cumple Opcionales 4.5 Capacitación a expertos No cumple 4.6 Tabla de especificaciones No cumple Evidencia basada en la estructura interna de la prueba Obligatorios 4.7 Estructura interna de la prueba Mínimo 4.8 Tamaño de Muestra Mínimo 4.9 Resultados del estudio Mínimo Evidencia de validez basada en la relación con otras variables Obligatorios 4.10 Estrategia de validación Mínimo 4.11 Selección de la(s) variable(s) criterio Mínimo 4.12 Tamaño de Muestra Mínimo 4.13 Análisis estadístico empleado Mínimo 4.14 Resultados de los estadísticos No cumple Opcionales 4.15 Funcionamiento diferencial de ítems No cumple 4.16 Análisis de sesgo de la prueba No cumple Evidencia con base en el análisis de ítems Obligatorios 4.17 Modelo psicométrico utilizado No cumple 4.18 Estimación de dificultad No cumple Opcionales 4.19 Estadísticos para análisis de ítems No cumple 4.20 Análisis de las opciones de respuesta No cumple 4.21 Parámetros del modelo de análisis No cumple 4.22 Ajuste del modelo No cumple 4.23 Función de información No cumple
Calificación y estandarización
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
La evaluación de la información sobre los proceso de aplicación y calificación de la prueba no
es satisfactoria, el manual contiene información de seis 6 de los 7 siete indicadores obligatorios, la
información de referencia para uso en procesos de selección en Colombia es la de la adaptación para
Argentina que se levantó en 1996 a partir de una muestra de 338 individuos de diferentes profesiones,
una muestra que no corresponde con las características deseables para levantar los datos de
referencia del constructo, la información referida es muy escasa y no ofrece explicaciones sustantivas
para el análisis de los resultados. La tabla 12 presenta los resultados de la evaluación de los
indicadores de este la información incluida sobre este aspecto en el manual.
Tabla 12 Evaluación de la estandarización del IPV
Evaluación de estandarización Indicadores Valoración
Obligatorios 5.1 Descripción de material de prueba Mínimo 5.2 Instrucciones para la aplicación Mínimo 5.3 Escalas y sistema de trasformación de las puntuaciones No cumple 5.4 Descripción de la población objetivo y la(s) muestra(s) normativas Mínimo 5.5 Tamaño de la(s) muestra(s) normativa(s) Mínimo 5.6 Descripción del ámbito de aplicación y la calidad de los datos en que
se basan los baremos Mínimo
5.7 Protocolo de interpretación Mínimo Opcionales 5.8 Condiciones especiales de aplicación No cumple 5.9 Protocolo de presentación de resultados Mínimo
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
25
EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL INVENTARIO 16 PF 5 Flor Angela León Grisales
Con apoyo de María del Pilar Soler, Roció Barajas, Richard Rosero y Juan Camilo Restrepo
IDENTIFICACIÓN DE LA PRUEBA EVALUADA
Nombre: Cuestionario factorial de la personalidad 16 PF- 5
Versión revisada 10a edición, revisada y ampliada
Auto versión original : Catell
Editor version revisada: Nicolás Seisdedos Cubero
Autor de la adaptación colombiana: No tiene
Editor adaptación colombiana No tiene
Fecha de revisión oct-16
Editor TEA ediciones Madrid
Campo de uso: Clínica Organizacional Educativa
Año de publicación 2013
Materiales disponibles para profesionales
1 manual, 10 cuadernillos y pines
Constructo que evaluá Personalidad
ISBN 978-84-15262-86-2
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA
El 16 pf 5 en la version española que se distribuye en Colombia es una de las versiones del
cuestionario de personalidad más utilizada por los psicólogos profesionales en Colombia de acuerdo
con los resultados de la consulta realizada para este proyecto, es una prueba con cuya primera versión
apareció hace 68 años, esta versión es producto de la incorporación de ajustes de estudios diversos.
Los desarrolladores de esta versión referencian el amplio uso dela versión original y sus ediciones
anteriores en diferentes áreas aplicadas de la evaluación, gracias a la versatilidad de su modelo
descriptivo de tendencias conductuales que permite plantear hipótesis y justificar desde enfoques
comprensivos en diferentes procesos de diagnóstico, seguimiento y clasificación.
La prueba original fue construida mediante el modelo empírico de la medida con análisis desde
el enfoque factorial a partir de la concepción de Cattel, se recolecto información sobre rasgos de
personalidad que se definieron a partir de las tendencias comportamentales que evalúan las 16
escalas.
La primera adaptación española del 16 PF se publicó en 1975 y se basó en los ajustes sobre
la tercera revisión americana, y la primera version del 16 PF 5 recibió su denominación de acuerdo
con la versión, desde la cual se adaptó; la quinta edición de 1993, adaptación que atendió los criterios
producto del análisis de su funcionamiento empírico; en ese momento se revisó contenido y
redacción, se simplificaron algunos ítems cambiando su la redacción y el lenguaje de para disminuir
ambigüedad o desfase, se redujo la extensión quitando ítems; esta version de 2013 es una revisión
de esa adaptación.
Una debilidad sobresaliente de esta version es la falta de explicaciones para la calificación
manual; sin la tabla de la estructura de la prueba en la que se identifiquen los ítems por escalas no es
posible que los profesionales analicen cualitativamente aspectos particulares de los perfiles
individuales.
Respecto a las consideraciones para el uso en Colombia es importante que el profesional tenga
en cuenta que el manual no incluye información de estudios con población nacional y que si bien las
tablas normativas de se levantaron con resultados de estudios con personas de habla castellana no
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
27
se incluye información que permita al lector hacer una mirada comprensiva de la desviación y
resultados considerando las posibles diferencias culturales.
A continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos
técnicos que valora el instrumento de calidad para uso en Colombia
Referentes conceptuales
El resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información
sobre los 5 indicadores obligatorios, presenta definiciones operacionales de las escalas y su relación
y presenta estudios que ilustran el uso de sus escalas para la descripción y análisis de conductas en
poblaciones particulares, enuncia pero no desarrolla una definición conceptual de personalidad y no
presenta un enfoque teórico desde que cual se justifique su uso en la población, que de acuerdo a los
datos incluidos son adultos normales entre 18 y 69 años.
La calidad de la información conceptual permite al lector la comprensión del enfoque factorial y
su utilidad como medida de predicción en diferentes tipos de estudio, por ser un modelo descriptivo
del comportamiento no acoge un autor particular para definir personalidad sino que presenta escalas
generales de tendencias para que el profesional desarrolle las argumentaciones al momento de
resolver la pregunta objetivo de su uso en los procesos de evaluación en los que se utilice, sería
conveniente que ampliara la definición de personalidad desde el modelo empírico desde el cual se ha
planteado su desarrollo e incluyera información sobre los posibles grupos etarios. La tabla 13
presenta la evaluación de cada uno de los indicadores de este aspecto, valga aclarar que sobre los
opcionales no se encuentra información en el manual.
Tabla 13 Evaluación de los referentes conceptuales del 16 PF-5
Evaluación de indicadores de Referentes Conceptuales Indicadores Valoración Obligatorios 2.1 Definición conceptual del constructo a medir Mínimo
2.2 Definición operacional del constructo a medir Bueno 2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Bueno 2.4 Descripción de los usos previstos para el instrumento. Mínimo
2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Aceptable Opcionales 2.6 Contextualización histórica del constructo. No cumple
2.7 Estructuración teórica de conocimientos acerca del constructo medido. No cumple
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Confiabilidad
La evaluación sobre la información de confiabilidad no es satisfactoria, en el manual no se
aporta información sobre fuentes de error y su estimación, aunque se incluyen datos sobre los estudios
de confiabilidad test re-test con las muestras originales de población americana estos son resultados
del año 1994 y no se hace un referenciación clara sobre la actualización de estos índices a partir de
estudios con muestra española.
En el capítulo 5 del manual que se dedica a presentar la adaptación argentina se menciona de
manera muy general el análisis de homogeneidad y se anuncia la tabla B1 coeficientes alfa e índice
de homogeneidad, pero no se incluye información sobre rango de variabilidad del índice alfa ni su
promedio; que de acuerdo con la observación están entre (0.55 y 0.74) con un promedio de 0.69
índices que no reflejan la anunciada mejora del funcionamiento métrico de la prueba en población de
habla castellana.
Se describen los resultados de análisis de estudio de correlación y homogeneidad entre escalas
por medio de tablas que se presentan en el apéndice 1, información que requiere de la inclusión de
explicaciones detalladas para que el usuario haga el análisis comprensivo de las mismas y tome
decisiones sobre el uso de las escalas o dimensiones globales en la comprobación de las hipótesis de
trabajo en un proceso de evaluación.
Los estudios y resultados que presentan para la adaptación española son realizados a partir de
la muestra española de 1994 y la población estadounidense de los estudios originales, se incluye
información en el apéndice B se presenta la tabla B1 con coeficiente alfa e índice de homogenidad de
estudios con dos muestras de población argentinas donde se comparan las medias y se presenta la
desviación típica.
El ideal para recomendar el uso en Colombia es la inclusión de análisis de confiabilidad de
respuestas de población colombiana donde se identifiquen fuentes de error y homogeneidad por
poblaciones de interés como hombre y mujeres o nivel educativo. La tabla 14 presenta los resultados
de la evaluación de los estudios de confiabilidad incluidos en el manual.
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
29
Tabla 14 Evaluación de los estudios de confiabilidad del 16 PF-5
Evaluación indicadores de confiabilidad
Indicadores Evaluación Obligatorios
3.1 Identificación de la o las fuentes de error de medición. No cumple
3.2 Descripción del estudio para estimar la confiabilidad Bueno
3.3 Estimación del error de medida No cumple
3.4 Tamaño de muestra de estudios de confiabilidad Mínimo
3.5 Valor del estadístico Aceptable
3.6 Interpretación de resultados de confiabilidad Aceptable
Opcionales
3.7 Modelo psicométrico para el estudio de confiabilidad No aplica
3.8 Escogencia del método estadístico para estimar la confiabilidad No aplica
Evaluación de validez
La evaluación de la información sobre las evidencias de validez para interpretar los resultados es no
satisfactoria, aunque cumple con doce de los catorce indicadores; el manual no incluye información sobre
procedimientos para calcular índices de acuerdo entre evaluadores en los procesos de verificación de escalas
y que hacen parte del mínimo de los obligatorios en evidencias basadas en el contenido de la prueba, tampoco
incluye información sobre el análisis de ítems para identificar el sesgo, que se mencionan pero sobre los cuales
no hay información que ilustre el tipo de estudio o consideraciones para los análisis correspondientes que un
usuario profesional puede realizar en un proceso de evaluación.
La principal fuente de evidencias proviene de los estudios de estructura interna de la prueba, de manera
coherente con el modelo descriptivo de enlace empírico, si bien la información reportada justifica varios de los
usos propuestos, para que se recomiende su uso en Colombia se requiere que se incluyan las tablas de
especificaciones y las instrucciones para la calificación manual que permitan el uso comprensivo de la
información para el proceso de análisis de perfiles individuales en los diversos contextos de uso.
La recomendación para fortalecer y completar la información sobre evidencias de validez para uso en
Colombia es la inclusión de estudios sobre usos con población colombiana que permitan al usuario una visión
cercana de la pertinencia de su uso, evidenciando la influencia del lenguaje y otros costumbres culturales que
tengan influencia sobre las tendencias que se definen en las escalas. La tabla 15 presenta la evaluación de la
información sobre estudios de validez referenciada en el manual.
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Tabla 15 Evaluación de los estudios de validez del 16 PF-5
Evaluación indicadores información sobre validez
Evidencia basada en el contenido de la prueba.
Indicadores Valoración
Obligatorios
4.1 Estructura conceptual de la prueba Bueno
4.2 Revisión por expertos idóneos Mínimo
4.3 Número de expertos y contenido de la consulta. Mínimo
4.4 Resultados de evaluación por expertos No cumple
Opcionales
4.5 Capacitación a expertos No cumple
4.6 Tabla de especificaciones No cumple
Evidencia basada en la estructura interna de la prueba
Obligatorios
4.7 Estructura interna de la prueba Bueno
4.8 Tamaño de Muestra Mínimo
4.9 Resultados del estudio Bueno
Evidencia de validez basada en la relación con otras variables
Obligatorios
4.10 Estrategia de validación Bueno
4.11 Selección de la(s) variable(s) criterio Aceptable
4.12 Tamaño de Muestra Mínimo
4.13 Análisis estadístico empleado Mínimo
4.14 Resultados de los estadísticos Aceptable
Opcionales
4.15 Funcionamiento diferencial del ítems No aplica
4.16 Análisis de sesgo de la prueba No aplica
Evidencia con base en el análisis de ítems
Obligatorios
4.17 Modelo psicométrico utilizado No cumple
4.18 Estimación de dificultad No aplica
Opcionales
4.19 Estadísticos para análisis de ítems No aplica
4.20 Análisis de las opciones de respuesta No aplica
4.21 Parámetros del modelo de análisis No aplica
4.22 Ajuste del modelo No aplica
4.23 Función de información No aplica
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
31
Calificación y estandarización
La evaluación de la información sobre los proceso de aplicación y calificación de la prueba es
insatisfactoria, cumple con 5 de los siete indicadores obligatorios, obviando los datos descriptivos de
las muestras normativas de la población a la cual está dirigida, adultos entre 18 y 69 años por lo que
resulta general, evidenciando que el correcto uso requiere de un amplio dominio de por lo menos una
postura teórica que le permita plantear hipótesis para el proceso de evaluación.
Las tablas de referencia para la interpretación cumplen con el mínimo establecido como criterio
para uso en Colombia, corresponden al análisis de estudios con una muestra de 300 personas de
habla castellana. Incluye una gráfica de la apariencia del perfil de resultados y se describe el sistema
de las escalas por decatipos; para que cumpla los mínimos obligatorios en este apartado, se debe
incluir información de análisis de resultados con muestra colombiana y el desarrollo de estudios sobre
diferencias entre grupos por variables de interés como sexo y escolaridad. La tabla 16 presenta los
resultados de la evaluación de los indicadores de este la información incluida sobre este aspecto en
el manual.
Tabla 16 Evaluación de la información para la aplicación y calificación del 16 PF-5
Evaluación de indicadores estandarización
Indicadores Valoración
Obligatorios
5.1 Descripción de material de prueba Aceptable
5.2 Instrucciones para la aplicación Bueno
5.3 Escalas y sistema de trasformación de las puntuaciones No cumple
5.4 Descripción de la población objetivo y la(s) muestra(s) normativas No cumple
5.5 Tamaño de la(s) muestra(s) normativa(s) Mínimo 5.6 Descripción del ámbito de aplicación y la calidad de los datos en que se basan
los baremos Mínimo
5.7 Protocolo de interpretación Bueno
Opcionales
5.8 Condiciones especiales de aplicación No cumple
5.9 Protocolo de presentación de resultados No cumple
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
EVALUACIÓN PILOTO DE LA CALIDAD PILOTO DE MIPS INVENTARIO MILLON´ S DE ESTILOS DE PERSONALIDAD
Flor Angela León Grisales Con apoyo de Alexis Carrillo
IDENTIFICACIÓN DE LA PRUEBA EVALUADA
Nombre: Inventario Millon´s de Estilos de personalidad
Autor : Teodore Millon;
Traducción: Adolfo Negrotto,
adaptación y supervisión María Martina Casullo, Alicia Cayssials
Versión revisada: Adaptación para Argentina
Autor de la adaptación colombiana: No tiene
Editor adaptación colombiana No tiene
Fecha de revisión: Febrero 2017
Editor: Paidos
Campo de uso: Clínica
Organizacional
Año de publicación 1996
Materiales disponibles para profesionales 1 manual, 10 cuadernillos y pines
Constructo que evalúa Personalidad
ISBN 978-950-12-1303-4
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
33
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA
El MIPS que se distribuye en Colombia es una version adaptada para uso en Argentina, ofrece
una medida de estilo de personalidad diseñada para evaluar adultos normales entre 18 y 65 años; a
partir de 24 escalas que se agrupan en 12 pares bipolares, agrupando lo que el autor definió como
metas motivacionales, modos cognitivos y comportamientos interpersonales.
El manual técnico evidencia un desarrollo riguroso y amplio del sustento teórico; para la
evaluación de la personalidad desde un modelo que integra tres posturas nosológicas de la
personalidad, el uso requiere de un amplio dominio de los principales referentes teóricos originales,
que se unen para el desarrollo y definición de las 24 escalas.
La fortaleza de este instrumento es el modelo complejo que integra una amplia posibilidad de
opciones para la formulación de hipótesis interpretativas para el desarrollo de evaluaciones con
diversos objetivos, los datos referenciados como sustento de la métrica son estudios originales de la
versión en inglés.
La información de adaptación argentina no es detallada, falta describir el proceso de traducción
y verificación empírica, escasamente se levantan baremos a partir estudios con estudiantes. Es una
prueba con amplio uso en diferentes áreas aplicadas de la evaluación, gracias a la versatilidad de su
modelo descriptivo de tendencias conductuales que permite plantear hipótesis y justificar desde
enfoques comprensivos en diferentes procesos de diagnóstico, seguimiento y clasificación.
La debilidad de esta version es la falta de información para la aplicación, calificación manual;
sin la tabla de la estructura de la prueba en la que se identifiquen los ítems por escalas se limitan el
análisis profesional de los perfiles individuales.
Respecto a las consideraciones para el uso en Colombia es importante que el profesional tenga
en cuenta que el manual no incluye información de estudios con población nacional y que si bien la
población de las tablas normativas se levantaron con resultados de personas de habla castellana, no
incluye información que permita al lector hacer una mirada comprensiva de la desviación y resultados
considerando las posibles diferencias culturales.
A continuación se presentan los comentarios generales de la evaluación de a calidad técnica
de la prueba para uso en Colombia.
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Referentes conceptuales
El resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información
sobre los 5 indicadores obligatorios y dos opcionales, presenta un amplio marco de referencia con los
antecedentes históricos y los argumentos desde los cuales se integran tres posturas teóricas con gran
detalle, para llegar a las definiciones operacionales de las escalas y elementos que permitan su
interpretación.
Destina el capítulo 5 para incluir información sobre investigación aplicada; múltiples ejemplos
de uso a partir de la capacidad del profesional para plantear y sustentar las hipótesis; lo que demanda
conocimiento profundo de las características de las escalas y sus ítems, resulta muy útil para la
resolución de preguntas afiliadas al desarrollo de investigaciones gracias a su estructura de 24
escalas.
La calidad de la información conceptual permite al usuario el acceso a los referentes principales
y los argumentos que permitan plantear hipótesis de trabajo y desarrollar los argumentos para el uso
de sus resultado en la predicción en diferentes tipos de estudio, por ser un modelo descriptivo del
comportamiento no se sustenta en una teoría de personalidad; sino que presenta escalas generales
de tendencias para que el profesional desarrolle las argumentaciones al momento de resolver la
pregunta objetivo de su uso en los procesos de evaluación en los que se utilice, sería conveniente que
ampliara la definición de personalidad desde el modelo empírico desde el cual se ha planteado su
desarrollo e incluyera información sobre los posibles grupos etarios.
La tabla presenta la evaluación de cada uno de los indicadores de este aspecto, valga aclarar
que sobre los opcionales no se encuentra información en el manual. La tabla 17 presenta los
resultados de la evaluación de la información de referentes conceptuales que incluye el manual.
Tabla 17 Evaluación de los referentes conceptuales del MIPS
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
35
Evaluación de referentes conceptuales
Indicadores Valoración
Obligatorios
2.1 Definición conceptual del constructo a medir Bueno
2.2 Definición operacional del constructo a medir Aceptable
2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Bueno
2.4 Descripción de los usos previstos para el instrumento. Mínimo
2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Aceptable
Opcionales
2.6 Contextualización histórica del constructo. Sobresaliente
2.7 Estructuración teórica de conocimientos acerca del constructo medido. Sobresaliente
Confiabilidad
La evaluación sobre la información de confiabilidad no es satisfactoria, no se aporta información
sobre fuentes de error y su estimación, aunque se incluyen datos sobre los estudios de confiabilidad
con las muestras originales de población americana no se hay información de estudios con población
argentina.
La información que se incluye del desarrollo original es de cuatro estudios, dos basados en
consistencia interna aplicados a las muestras de estandarización de adultos y universitarios, y dos
test re-test en muestras independientes de adultos y alumnos universitarios La muestra del estudio es
población norteamericana, 1000 personas de 18 a 65 años, muestra que se estratifico por edad, raza,
etnicidad y nivel de educación de forma coincidente con la población de Estados Unidos con
participación de hombres y mujeres por igual, 125 personas por 8 ciudades seleccionados en 1991
de acuerdo con lo datos censales de 1988
Aunque reporta baremos para población argentina, los datos con los que se levantaron son de
estudios con estudiantes universitarios; falta información en el anexo 2 que presenta la adaptación
al castellano por medio de estudio para Argentina en 1997 con normas levantadas a partir de datos
de población de Rio Cuarto Córdoba que se recolectaron en 2009; no hace alusión a detalles
relevantes del estudio, aunque se menciona la revisión de la confiabilidad con datos provenientes de
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
aplicación a población estudiantil y se reporta un rango de índices no es más que una mención que
no permite al profesional reconocer al pertinencia de los datos.
El método de estimación usado con la muestra americana de 1989 fue consistencia interna alfa
con promedio de 0,775 similares para hombres y mujeres por el método de división por mitades el
promedio de 0,82, los valores promedio son adecuados y se presentan las tablas 4.1 y 4.2 cuadros
con los valores por escalas y por grupos evidenciando un correcto uso del estadígrafo.
Presenta la conclusión donde resumen con el valor de los índices reportando que son
apropiados, pero en los estudios con población argentina no incluyen conclusiones
El ideal para recomendar el uso en Colombia es la inclusión de análisis de confiabilidad de
respuestas de población colombiana donde se identifiquen fuentes de error y homogeneidad por
poblaciones de interés como hombre y mujeres o nivel educativo. La tabla 18 presenta el resumen de
la evaluación de los estudios de confiabilidad que se incluyen en el manual.
Tabla 18 Evaluación de los estudios de confiabilidad del MIPS
Evaluación de confiabilidad
Indicadores Evaluación
Obligatorios
3.1 Identificación de la o las fuentes de error de medición. No cumple
3.2 Descripción del estudio para estimar la confiabilidad Bueno
3.3 Estimación del error de medida No cumple
3.4 Tamaño de muestra de estudios de confiabilidad Mínimo
3.5 Valor del estadístico Aceptable
3.6 Interpretación de resultados de confiabilidad Aceptable
Opcionales
3.7 Modelo psicométrico para el estudio de confiabilidad Bueno
3.8 Escogencia del método estadístico para estimar la confiabilidad Bueno
Evaluación de validez
La evaluación de la información sobre las evidencias de validez para interpretar los resultados es no
satisfactoria, cumple con once de los catorce indicadores obligatorios y uno opcional a pesar de dedicar un
capitulo a desarrollar los referentes conceptuales; el manual no incluye información sobre la estructura
conceptual de la prueba, información que es relevante toda vez se definen tres aspectos macro que después
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
37
de presentar con detalle unos supuestos teóricos no se discriminan, reportan el procedimiento de revisión pero
no especifica los perfiles de los revisores, que el autor denominó como fase teórico sustantiva en la que 9
psicólogos participaron en la aplicación de un protocolo de clasificación de ítems de los cuales se tuvo en
cuenta que por lo menos 6 hubieran coincidido en la clasificación, falta una descripción de los detalles que
permitan a un profesional usuario identificar la estructura conceptual.
Teniendo en cuenta que reporta que solo se incluyeron en la prueba ítems que por lo menos 6 de los 9
expertos hubieran clasificado igual, se infiere que fue los criterios metodológicos fueron rigurosos pero no se
describen metodología de análisis de las respuestas y no se reportan valores, la recomendación para este
aspecto técnico es complementar la información para que profesional pueda interpretar la información del
apéndice que presentan los ítems e información que complementa los cuadros del capítulo 1 del manual, pero
no se especifica la clasificación.
Las evidencias de estructura interna de la prueba se reportan a partir del análisis de superposición de
ítems de las escalas, inter correlaciones entre las escalas, teniendo en cuenta que son 24 escalas es una
falencia considerable que esta información no incluya explicaciones para facilitar el manejo y análisis de los
resultados cualitativos de los evaluados.
Los estudios de evidencia estructural se realizaron con muestra norteamericana en el desarrollo de la
versión en Inglés, por lo que otra falencia técnica es que no se incluyen estudios con población de habla
castellana, por ello no fue favorable la evaluación del criterio tamaño de muestra, a pesar que los resultados de
los estudios soportan la propuesta teórica multidimensional evidenciando diferentes niveles de relación entre
ítems.
Respecto a la evaluación de evidencia basada en relación con otras variables se reportan siete diferentes
instrumentos con sus respectivos cuadros de análisis, información que sirve como referencia para el diseño de
hipótesis diagnósticas; los diseños que se encuentran en el titulo validez externa prueban las relaciones entre
los constructos de otros instrumentos: 16pf 1970 , Miller Briggs Type Indicadotor MBTI 1985, California
Psychological Inventory CPI 1987, Personality Inventory NEO, Gordon Personal Inventory GPI-I 1978, Beck
Depression Inventory BDI 1987, College Adjustment Scales CAS 1991; se incluyen las tablas análisis para cada
estudio y las conclusiones con muestras entre 100 y 470 americanos, todos los estudios respondieron a las
expectativas
La recomendación para fortalecer y completar la información sobre evidencias de validez para uso en
Colombia es la inclusión de estudios sobre usos con población colombiana que permitan al usuario una visión
cercana de la pertinencia de su uso, evidenciando la influencia del lenguaje y otros costumbres culturales que
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
tengan influencia sobre las tendencias que se definen en las escalas. La tabla 19 presenta los resultados de la
evaluación de los estudios de validez que se referencian en el manual.
Tabla 19 Evaluación de los estudios de validez del MIPS
Evidencia basada en el contenido de la prueba.
Indicadores Valoración
Obligatorios
4.1 Estructura conceptual de la prueba No cumple
4.2 Revisión por expertos idóneos Mínimo
4.3 Número de expertos y contenido de la consulta. Bueno
4.4 Resultados de evaluación por expertos Mínimo
Opcionales
4.5 Capacitación a expertos No cumple
4.6 Tabla de especificaciones Bueno
Evidencia basada en la estructura interna de la prueba
Obligatorios
4.7 Estructura interna de la prueba Aceptable
4.8 Tamaño de Muestra No cumple
4.9 Resultados del estudio Bueno
Evidencia de validez basada en la relación con otras variables
Obligatorios
4.10 Estrategia de validación Bueno
4.11 Selección de la(s) variable(s) criterio Aceptable
4.12 Tamaño de Muestra No cumple
4.13 Análisis estadístico empleado Mínimo
4.14 Resultados de los estadísticos Aceptable
Opcionales
4.15 Funcionamiento diferencial del ítems No cumple
4.16 Análisis de sesgo de la prueba No cumple
Evidencia con base en el análisis de ítems
Obligatorios
4.17 Modelo psicométrico utilizado Mínimo
4.18 Estimación de dificultad No cumple
Opcionales
4.19 Estadísticos para análisis de ítems No aplica
4.20 Análisis de las opciones de respuesta No aplica
4.21 Parámetros del modelo de análisis No aplica
4.22 Ajuste del modelo No aplica
4.23 Función de información No aplica
Calificación y estandarización
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
39
La evaluación de la información sobre los proceso de aplicación y calificación de la prueba no
es satisfactoria, cumple con 5 de los siete indicadores obligatorios, obviando los datos descriptivos de
las muestras normativas de la población a la cual está dirigida, adultos entre 18 y 69 años por lo que
resulta general, evidenciando que el correcto uso requiere de un amplio dominio de por lo menos una
postura teórica que le permita plantear hipótesis para el proceso de evaluación.
La información incluye una ficha donde enumera los materiales, incluye las plantillas y una hoja
de instrucciones, la gran carencia de información sobre la aplicación o recomendaciones es una
falencia técnica de alto impacto para el uso, es una debilidad del manual de este instrumento, que solo
anexa una hoja para explicar el uso de las plantillas de manera muy escueta; es pertinente incluir un
capítulo en el manual sobre los procedimiento de aplicación y calificación
Los resultados se interpretan con datos de referencia de la muestra normativa del estudio con
población estadounidense realizados en 1991, una muestra estratificada de acuerdo a la información
censal de 1988, y aunque incluye en el capítulo tres del manual los criterios para la construcción de
los baremos y los grupos de tasa de prevalencia resulta información desactualizada y que no cumple
con el criterio mínimo, respecto a la muestra.
Para uso en Colombia no son pertinentes los datos normativos argentinos, ya que se levantaron
a partir de una muestra que cumplía las características relevantes de la población para la que se
propone su uso, es una muestra de estudiantes universitarios en la cual predomina las mujeres, no
ofrecen información que pueda generalizarse de los 18 a 65 años, una consideración importante para
que se recomiende su uso es la inclusión de resultados de estudios con una muestra representativa
de colombianos. La tabla 20 presenta los resultados de la evaluación de la información de
estandarización.
Tabla 20 Evaluación de la informacion para la aplicación y calificación del MIPS
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Indicadores de estandarización
Indicadores Valoración
Obligatorios
5.1 Descripción de material de prueba Mínimo
5.2 Instrucciones para la aplicación Mínimo
5.3 Escalas y sistema de trasformación de las puntuaciones Mínimo
5.4 Descripción de la población objetivo y la(s) muestra(s) normativas Mínimo
5.5 Tamaño de la(s) muestra(s) normativa(s) No cumple
5.6 Descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos
Mínimo
5.7 Protocolo de interpretación No cumple
Opcionales
5.8 Condiciones especiales de aplicación No cumple
5.9 Protocolo de presentación de resultados No cumple
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
41
VALORACIÓN PILOTO DE CALIDAD TÉCNICA DEL BDI-II
Flor Angela Leon Grisales Apoyo de Martha Restrepo, Constanza Londoño, Javier Villalba
IDENTIFICACIÓN DE LA PRUEBA EVALUADA
Nombre: Inventario de Depresión Beck
Autor : Aaron T.Beck, Robert A Steer, Gregory K Brown
Versión evaluada: Adaptación para España
Autor de la adaptación colombiana: No tiene
Editor adaptación colombiana No tiene
Fecha de revisión Marzo 2017
Editor Pearson
Campo de uso Clínica Educativa
Año de publicación 1996
Materiales disponibles para profesionales Manual protocolo de registro, block de protocolos de aplicación.
Constructo que evaluá Depresión, evaluación de la gravedad
ISBN 978-84-939315-1-3
RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA
El BDI-II que se distribuye en Colombia por manual moderno es la version adaptada para
España publicada en 2011, versión traducida de la version estadounidense publicada en 2004, es
herramienta de evaluación clínica, evaluá la gravedad de la depresión en adultos y adolescentes; el
inventario clínico más usado por los psicólogos profesionales en Colombia de acuerdo a los resultados
de la consulta realizada para este proyecto..
El inventario BDI-II es un auto reporte de síntomas asociados a la depresión, diseñado desde
el enfoque nosológico de criterios del manual diagnóstico y estadístico de trastornos mentales DSM-
IV, se desarrolló como un indicador de presencia de gravedad para pacientes diagnosticados, la
adaptación española fue coordinada por Jesús Sanz y Carmelo Vásquez, proyecto en el cual se
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
siguieron los procedimientos de traducción y análisis de datos de la aplicación a 4 muestras
seleccionadas para desarrollo de estudios de sensibilidad diagnostica.
BDI-II es una versión del inventario que incorporó ajustes de actualización a partir de estudios
empíricos y la revisión sistemática de los criterios de diagnosis de acuerdo a la version vigente del
DSM en 1994, con una trayectoria de uso amplio el usuario es el responsable de la diagnosis a partir
del análisis de las respuestas del paciente.
La evaluación evidenció está cerca de cumplir con las condiciones técnicas para uso en
Colombia, ofrece suficiente información para que el usuario profesional justifique la interpretación de
los resultados, que debe complementarse con estudios con población colombiana, y los argumentos
para que el profesional tenga nociones que le permitan la verificación necesaria de la congruencia
respecto a los criterios diagnósticos actualizados.
Es deseable que en el futuro se desarrollen estudios con población colombiana para corroborar
los puntos de corte y se incluyan la información de actualización de los criterios diagnósticos; a
continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos técnicos
que valora el instrumento de calidad para uso en Colombia
Referentes conceptuales
Resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información sobre
los 5 indicadores obligatorios, la información conceptual presenta una visión general del inventario de
síntomas, explica el modelo nosológico bajo el cual evaluá la gravedad de la depresión, a partir de los
síntomas que reporta el evaluado.
Ofrece información general sobre el desarrollo y evolución del inventario a partir de la revisión
del manual diagnóstico estadístico de los trastornos mentales DSM IV, explica los ajustes que se
incorporaron a la versión anterior. La interpretación de sus resultado exige un domino amplio de la
sintomatología de la depresión y su manejo. La tabla 21 presenta los resultados de la evaluación de
los referentes conceptuales incluidos en le manual.
Tabla 21 Evaluación de los referentes conceptuales del BDI-II
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
43
Evaluación de Referentes Conceptuales
Indicadores Valoración
Obligatorios
2.1 Definición conceptual del constructo a medir Aceptable
2.2 Definición operacional del constructo a medir Mínimo
2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Mínimo
2.4 Descripción de los usos previstos para el instrumento. Aceptable
2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Aceptable
Opcionales
2.6 Contextualización histórica del constructo. No aplica
2.7 Estructuración teórica de conocimientos acerca del constructo medido. No aplica
Confiabilidad
La evaluación de la información de los estudios de confiabilidad no es satisfactoria, la
información incluida en el manual técnico aporta información sobre el desarrollo de estudios y análisis
de información para 5 de los 6 indicadores opcionales y uno de los opcionales.
Esta version incluye un resumen del estudio realizado para sustentar la confiabilidad de la
versión original en el capítulo 3, se incluyen los resultados de los índices e incluye una tabla con
puntajes promedio y desviaciones, en el capítulo 4 que presenta la adaptación española se incluye un
apartado sobre los análisis de confiabilidad delos resultados de aplicación a tres muestras españolas
con su respectivo resumen y tablas de resultados.
El aspecto más débil respecto a la información de confiabilidad es el evaluado por el indicador
cuatro, tamaño de la muestra de los estudios de confiabilidad, cumple con el criterio mínimo ya que se
incluye el análisis de grupos españoles, para fortalecer este aspecto para el uso en Colombia debería
incluirse información sobre el desarrollo de por lo menos dos estudios de confiabilidad con datos de
respuestas de población clínica colombiana, de manera que los estudios cumplan con el
requerimiento técnico adecuado e incluya información sobre la precisión de los puntos de corte en
población nacional. La tabla 22 presenta la evaluación general de los indicadores de confiabilidad.
Tabla 22 Evaluación de los estudios de confiabilidad del BDI-II
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
Evaluación de confiabilidad
Indicadores Evaluación
Obligatorios
3.1 Identificación de la o las fuentes de error de medición. No cumple
3.2 Descripción del estudio para estimar la confiabilidad Mínimo
3.3 Estimación del error de medida Mínimo
3.4 Tamaño de muestra de estudios de confiabilidad Mínimo
3.5 Valor del estadístico Mínimo
3.6 Interpretación de resultados de confiabilidad Aceptable
Opcionales
3.7 Modelo psicométrico para el estudio de confiabilidad No cumple
3.8 Escogencia del método estadístico para estimar la confiabilidad Bueno
Evaluación de validez
La evaluación de la información sobre las evidencias de validez para interpretar los resultados
es no es satisfactoria, cumple con trece de los catorce indicadores obligatorios y tres opcionales,
incluye información sobre los procedimientos de verificación de la sensibilidad clínica, y las
observaciones que justifican las metodologías diseñadas para incrementar la idoneidad respecto a la
actualización de los criterios diagnósticos, los resultados de los estudios muestran mejora de las
propiedades psicométricas respecto a la versión anterior y se advierte al profesional sobre la
responsabilidad en el uso de los resultados en proceso de diagnóstico.
Se explican las características de las muestras usadas en el estudio de adaptación española
evidenciando un diseño adecuado para la obtención de evidencia diagnostica se diseñaron procesos
de recolección y análisis de datos en los que los pacientes aplicaron otras pruebas que se usaron para
evaluar la validez concurrente y discriminativa.
Se analizaron las respuestas de los tres grupos con análisis factorial y se confirmó una
estructura general de la escala tres estudios que incluyen la información para que el lector analice la
información de referencia e interprete la estructura del constructo
El manual es un compendio corto que justifica el uso del inventario, su uso adecuado requiere
que el profesional tenga amplio conocimiento sobre los trastornos clínicos para que pueda usar la
información con las consideraciones que requieren el diagnóstico clínico, la recomendación para
Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia
45
fortalecer la información sobre evidencias de validez para uso en Colombia es la inclusión de estudios
de su uso con población colombiana que permitan al usuario acceder a reconocer su funcionamiento
con pacientes diagnosticados y se muestre la pertinencia de su uso para nuestra población, la tabla
23 presenta el resumen de la evaluación de los indicadores de validez .
Tabla 23 Evaluación de los estudios de validez del BDI-II
Evidencia basada en el contenido de la prueba.
Indicadores Valoración
Obligatorios
4.1 Estructura conceptual de la prueba Aceptable
4.2 Revisión por expertos idóneos Mínimo
4.3 Número de expertos y contenido de la consulta. Mínimo
4.4 Resultados de evaluación por expertos No cumple
Opcionales
4.5 Capacitación a expertos No cumple
4.6 Tabla de especificaciones Bueno
Evidencia basada en la estructura interna de la prueba
Obligatorios
4.7 Estructura interna de la prueba Bueno
4.8 Tamaño de Muestra Mínimo
4.9 Resultados del estudio Bueno
Evidencia de validez basada en la relación con otras variables
Obligatorios
4.10 Estrategia de validación Bueno
4.11 Selección de la(s) variable(s) criterio Mínimo
4.12 Tamaño de Muestra Aceptable
4.13 Análisis estadístico empleado Bueno
4.14 Resultados de los estadísticos Bueno
Opcionales
4.15 Funcionamiento diferencial del ítems Bueno
4.16 Análisis de sesgo de la prueba No aplica
Evidencia con base en el análisis de ítems
Obligatorios
4.17 Modelo psicométrico utilizado No cumple
4.18 Estimación de dificultad No cumple
Opcionales
Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia
4.19 Estadísticos para análisis de ítems Sobresaliente
4.20 Análisis de las opciones de respuesta Sobresaliente
4.21 Parámetros del modelo de análisis No aplica
4.22 Ajuste del modelo No aplica
4.23 Función de información No aplica
Calificación y estandarización
La evaluación de la información sobre los proceso de aplicación y calificación de la prueba es
satisfactoria, el manual contienen información sobre los siete indicadores obligatorios, la información
de referencia para graduar la depresión en adultos y adolescentes se justifica por medio de análisis
de muestras seleccionadas con criterios ajustados al enfoque nosológico del instrumento, incluye la
tabla que informa los puntos de corte y los estudios complementarios reportan las tablas con media
y desviación estándar para los grupos participantes.
Los datos descriptivos de las muestras con las cuales se desarrollaron los estudios de la
versión original y la adaptación española pueden justificar el uso con nuestra población, pero exigen
que el profesional incluya en el análisis de las condiciones del evaluado de manera que pueda
considerarse similar a las muestras usadas en los estudios de referencia y las respuestas sean
consideradas como base del valoración de gravedad de la cuadro depresivo del evaluado. La tabla 24
presenta los resultados de la evaluación de la información para aplicación y calificación del inventario
incluidos en el manual.
Tabla 24 Evaluación de la información de aplicación y calificación del BDI-II
Evaluación de estandarización
Indicadores Valoración
Obligatorios
5.1 descripción de material de prueba Aceptable
5.2 instrucciones para la aplicación Aceptable
5.3 escalas y sistema de trasformación de las puntuaciones Aceptable
5.4 descripción de la población objetivo y la(s) muestra(s) normativas Aceptable
5.5 tamaño de la(s) muestra(s) normativa(s) Mínimo
5.6 descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos
Aceptable
5.7 protocolo de interpretación Aceptable