Validez y Confiabilidad de Validez y Confiabilidad de InstrumentosInstrumentos

Profesor Jorge Fabres Campos

REQUISITOS DEL INSTRUMENTO DE MEDICIÓN

Es un proceso Es un proceso metodológico que metodológico que

intentaintenta

Controlar sesgosControlar sesgos

Controlar variables Controlar variables confusasconfusas

Generar el mejor Generar el mejor proceso estándarproceso estándar

Interpretar de mejor modo los

procedimientos realizados

¿Validación?

VALIDEZVALIDEZ

La validez, se refiere al grado en que un instrumento La validez, se refiere al grado en que un instrumento realmente mide la variable que pretende medir. realmente mide la variable que pretende medir.

Validez TotalValidez Total

Validez de ContenidoValidez de Contenido

Validez de CriterioValidez de Criterio

Validez de ConstructoValidez de Constructo

Validez de ContenidoValidez de Contenido

Se refiere al grado en que un instrumento refleja un dominio Se refiere al grado en que un instrumento refleja un dominio específico de contenido de lo que se mide. específico de contenido de lo que se mide.

Es el grado en que la medición representa el concepto medido. Es el grado en que la medición representa el concepto medido.

Un instrumento de medición debe tener representados a todos Un instrumento de medición debe tener representados a todos los items del dominio de contenido de las variables a medir.los items del dominio de contenido de las variables a medir.

Validez de CriterioValidez de Criterio

La validez de criterio establece la validez de un instrumento de La validez de criterio establece la validez de un instrumento de medición comparándola con algún criterio externo. medición comparándola con algún criterio externo.

Este criterio es estándar con el que se juzga la validez del Este criterio es estándar con el que se juzga la validez del instrumento . instrumento .

Entre los resultados del instrumento de la medición se Entre los resultados del instrumento de la medición se relaciona más al criterio, la validez del criterio será mayor. relaciona más al criterio, la validez del criterio será mayor.

Validez de ConstructoValidez de Constructo

Es posiblemente la más importante sobre todo desde Es posiblemente la más importante sobre todo desde una perspectiva científica y se refiere al grado en que una perspectiva científica y se refiere al grado en que una medición se relacione consistentemente con otras una medición se relacione consistentemente con otras mediciones de acuerdo con hipótesis derivadas mediciones de acuerdo con hipótesis derivadas teóricamente y que conciernen a los conceptos que teóricamente y que conciernen a los conceptos que están siendo medidos.están siendo medidos.

Relación teórica entre conceptos y el marco Relación teórica entre conceptos y el marco teóricoteórico

Se relacionan ambos conceptos y se analizaSe relacionan ambos conceptos y se analiza

Interpretación de la evidencia empíricaInterpretación de la evidencia empírica

Etapas de la Validez de Constructo

El proceso de validación de un constructo está vinculado con la teoría.

No es posible llevar a cabo una validación de constructo, a menos que exista un marco teórico que soporte a la variable en relación con otras variables

Factores que afectan la confiabilidad y Factores que afectan la confiabilidad y validezvalidezFactores que afectan la confiabilidad y Factores que afectan la confiabilidad y validezvalidez

Improvisación.

Instrumentos no contextualizados.

Instrumento inadecuado a las personas a las que se le aplica.

Condiciones en que se aplica el instrumento

Formas de Medición de ConfiabilidadFormas de Medición de Confiabilidad

Medida de estabilidad (confiabilidad por test-retest)

Un mismo instrumento de medición es aplicado dos o más veces a un mismo grupo de personas, después de un período de tiempo

Si la correlación entre los dos resultados de las diferentes aplicaciones es altamente positiva, el instrumento se considera confiable.

Se determina mediante el cálculo de coeficiente de correlación de Pearson

Métodos de forma alternativa o paralelas:

Este procedimiento analiza dos o más versiones equivalente de instrumentos.

Las versiones son similares en contenido, instrucciones, duración y otras características

Las versiones, son administradas a un mismo grupo de personas dentro de un periodo de tiempo relativamente corto.

El instrumento es confiable si la correlación entre los resultados de amplias administraciones e significativamente positiva.

Los patrones de respuesta debe variar poco entre las aplicaciones

Método de mitades partidas:

Requiere solo una aplicación de la medición

El conjunto total de itemes es dividido en dos mitades y la puntuación o resultados de ambas son comparados.

Si el instrumento es confiable las puntuaciones de ambas mitades deben estar fuertemente correlacionadas.

Un instrumento con baja puntuación en una mitad tendrá que mostrar también una baja puntuación en la otra mitad.

Criterio de Confiabilidad Coeficiente alfa de Cronbach

Requiere de una sola administración del instrumento.

Produce valores que oscilan entre cero (0) y uno (1).

Aplicable a escala de varios valores posibles.

Su fórmula determina el grado de consistencia y precisión

Escala de valores

-1 a 0: No es confiable0,01 a 0,49: Baja confiabilidad0,5 a 0,75: Moderada confiabilidad0,76 a 0,89: Fuerte confiabilidad0,9 a 1: Alta confiabilidad

Valor del coeficiente Cronbach para determinar la confiabilidad del instrumento, resultado de confiabilidad que puede ser expresado en %.

K :Número de ítems de la prueba

:Es la varianza de los ítems

:Varianza de la prueba total

Se entiende por experto tanto al individuo en sí como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestión y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia.

JUICIO DE EXPERTOS

ETAPAS DEL MÉTODO DE EVALUACIÓN DE EXPERTOS

• Elaboración del objetivo

• Selección de los expertos

• Elaboración del cuestionario o guía.

• Elección de la metodología.

• Ejecución de la metodología.

• Procesamiento de la información

Criterios para la selección de los expertos

• Competencia

• Disposición a participar en el proceso

• Capacidad de análisis

• Capacidad de Autocrítica

• Efectividad de su actividad profesional.

Competencias de un ExpertoCompetencias de un Experto

La competencia de un experto esta dada por el nivel de calificación en una determinada rama o disciplina de la ciencia o el arte y se encuentra determinada por

la actividad científico-investigativa y profesional del especialista

el nivel y profundidad de conocimientos de los logros de la ciencia y la técnica en el mundo

la comprensión del problema que se investiga

las perspectivas de su desarrollo.

MÉTODOS PARA DETERMINAR LA COMPETENCIA DE UN EXPERTO

Autovaloración

Coeficiente de competencia K

Efectividad de la actividad profesional

El coeficiente de competencia k

La competencia de los expertos se determina por el coeficiente K, el cual se calcula de acuerdo con la opinión del candidato sobre su nivel de conocimiento acerca del problema que se esta resolviendo y con las fuentes que le permiten argumentar sus criterios.

El experto deberá marcar una cruz en la casilla que estime pertinente

Kc 7 (0.1) 0.7 para una pregunta determinada de la encuesta.

El Kc de cada experto se calcula promediando los valores de cada pregunta.

El valor 0 indica absoluto desconocimiento de la problemática que se evalúaEl valor 1 indica pleno conocimiento de la referida problemática..

0 1 2 3 4 5 6 7 8 9

x

El coeficiente K se calcula de la siguiente manera

Kc KaK --------------------

2

Ka:

Es el coeficiente de argumentación o fundamentación de los criterios del experto determinado como resultado de la suma de los puntos alcanzados a partir de una tabla patrón.

¿Cuál es la calidad de los instrumentos que aplicamos?

¿De qué forma pueden ser más confiables y válidos en una institución educativa?