Post on 06-Oct-2018
Investigación enInnovación Educativa
Ángel Hernández García
Universidad Politécnica de Madrid
angel.hernandez@upm.es
Cbns
NOTA: Esta presentación fue creada originalmente y empleada para la impartición de la ponencia “Investigación en Innovación Educativa” en CUIEET 2016. La presentación tiene una licencia CreativeCommons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional. Algunos de los contenidos gráficos pueden estar sujetos a derechos de autor. Gran parte del material es una adaptación personal del autor de la presente obra, bajo permiso del autor original, de The Research Methods Knowledge Base. Para más información al respecto puede visitar http://www.socialresearchmethods.net/kb. Si bien la licencia de esta presentación permite su uso y adaptación con fines no comerciales, siempre que se utilice la misma licencia de esta obra, se recomienda solicitar el permiso de uso de la Knowledge Base al autor original, William M.K. Trochim (https://cornell.qualtrics.com/SE/?SID=SV_e9T9VQ15cEXzOAY).
La forma apropiada de referenciar ambas obras es la siguiente:
Hernández-García, Á. (2016). Investigación en Innovación Educativa. 24ª edición del Congreso Universitario de Innovación Educativa en las Enseñanzas Técnicas (XXIV CUIEET). Cádiz, 21-23 de septiembre de 2016.Trochim, William M. (2006). The Research Methods Knowledge Base, 2nd Edition. Disponible en línea: http://www.socialresearchmethods.net/kb.
Field, A. (2013). Discovering Statistics using IBM SPSS Statistics, 4th
Edition. Sage.
Hair Jr., J.F., Black, W.C., Babin, B.J., Anderson, R.E. (2010). Multivariate Data Analysis, 7th Edition. Pearson.
Trochim, W. (2007). The Research Methods Knowledge Base, 3rd
Edition. Cengage Learning.
C Tom Murphy VII
¿Investigación enInnovación Educativa?
Imagen: www.timeandwatches.com
¿De qué hablaremos?
• Aproximación científica a la Innovación Educativa
• Fundamentos básicos de metodología
• Buenas prácticas en investigación aplicada a IE
• Objetivo: ¿Aprender algo?
Imagen: www.wallpaperhd.pk
¿De qué no hablaremos?
Prácticamente… de casi todo lo demás
Imagen: www.sportsmafia.info
Problema
Medida
Análisis
Muestra
Diseño
Conclusión
Imagen: Jodie Barringer Myers
C Buenos Aires City Legislature
Fundamentos
«La mera formulación de un
problema es muchas veces más
importante que su solución, que
puede ser meramente una
cuestión de habilidad matemática
o experimental. Plantear nuevas
cuestiones, nuevas
posibilidades, considerar viejos
problemas desde un nuevo
ángulo, todo ello requiere de una
imaginación creadora y marca los
progresos reales de la ciencia.»
Imagen: www.pbs.org
ViableImagen: www.lifestylealcuadrado.com
Imagen: www.pbs.org
Revisión de la literaturaRFPs
Ocurrencia
Revisión de la literatura
C Johannes Jansson/norden.org
Imagen: reviewproductnetwork.tk
Tres tipos de preguntas
Descriptivas
Relacionales
Causales
Transversal
LongitudinalMedidas repetidasSeries temporales
Imagen: siglo-cero.com
Variable
Imágenes: lovities.com, www.houstonchronicle.com
Entidad que puede tomardiferentes valores
Variables y atributos
Altura
Longitud
Potencia
Velocidad punta
Marca
Color
TransmisiónValoración
Imagen: www.marcadecoche.com
Dependiente Independiente
ManipulableNatural
EfectoResultado
ExhaustivaExcluyente
Hipótesis
VS
H0 vs. H1
ExcluyentesComprobables
Imagen: www.pptbackgroundstemplates.com
Una relación
es una correspondencia
entre variables
CorrelacionalCausal
AsimétricaSin relación
+ / -
Imagen: clopinet.com
Correlación y causalidad
C www.xkcd.com
Correlación y causalidad
r = 0.985065
Correlación y causalidad
r = 0.935701
Datos cuantitativos en ciencias sociales: ¿son cualitativos? (y viceversa)
Juicios al elaborarlos
Cómo definirlos
Cómo distinguirlos
Cómo construir indicadores
Cómo asegurar que se entienden
Contextos de uso
Limitaciones culturales/idioma
Juicios al usarlos
Cómo de bien mide el concepto
Fiabilidad
Apropiado para el contexto
Apropiado para los participantes
Imagen: abacustaxes.com
Unidad de análisis
C Caio Phox
IndividuosGrupos
ArtefactosUnidades geográficasInteracciones sociales
…
Componentes de un estudio de investigación
•Muy general•Formulación
Problema de investigación
•Concreta el problema
•Se enmarca en teoría
•Se operacionalizaen hipótesis
Pregunta de investigación
•Representa la causa
•Constructos
Programa
Muestreo
Unidad
Efectos
Resultados Diseño
Deducción vs. Inducción
Validez
Teoría
Práctica
Constructo Causa Constructo EfectoCausa-Efecto Const.
Programa Observación(es)Relac. Programa-Resultado
Observación
Operacionalización Operacionalización
Lo que creemos
Lo que hacemos
Lo que probamos
Lo que vemos
Validez
En este estudio…
Validez (tomar con cautela)
Validez
Teoría
Práctica
Constructo Causa Constructo EfectoCausa-Efecto Const.
Programa Observación(es)Relac. Programa-Resultado
Observación
Operacionalización Operacionalización
Lo que creemos
Lo que hacemos
Lo que probamos
Lo que vemos
C Bibliotecas Municipais da Coruña
Validez externa
Modelado de la muestraIdentificación para generalización
Similaridad proximalContextos de generalización: tiempo, lugar, personas, contexto
Muestreo aleatorio* (pero de verdad) para mejorarla*No confundir con asignación aleatoria
Imagen: feministphilosophers.wordpress.com
Problema
Medida
Análisis
Muestra
Diseño
Conclusión
Imagen: Jodie Barringer Myers
Muestreo
¿A quién queremos generalizar el estudio?
Imagen: jetpack.me
Población objetivo
C NASA
Población objetivo
Imagen: esa.int
Población objetivo
Imagen: islamicspain.tv
Muestreo
¿A quién podemos acceder?
Imagen: jetpack.me
Población del estudio
Imagen: jetpack.me
Muestreo
¿A quién seleccionamos?
Imagen: jetpack.me
Muestra
Imagen: jetpack.me
Imagen: toptenz.com
Tipos de muestreo
Imagen: pixar.wikia.com
Muestreo probabilístico: muestreo aleatorio
Muestreo aleatorio simple:Excel (=ALEATORIO())
Muestreo aleatorio estratificado:Muestreo simple con grupos homogéneosMayor representatividad
Muestreo aleatorio sistemático:Orden aleatorioSelección cada n puestos
Muestreo aleatorio de área (clúster)
Imagen: pixar.wikia.com
Muestreo no probabilístico
En general, considerado menos riguroso
Accidental (muestreo de conveniencia)Disponibilidad
IntencionalBueno para muestra definidaSobrerrepresentación
Instancia modal
Casos típicosMuestreo de expertos (panel)Muestreo de cuota: proporcional o no* proporcionalMuestreo de heterogeneidadMuestreo bola de nieve
* Equivalente a estratificado, pero no probabilístico
Problema
Medida
Análisis
Muestra
Diseño
Conclusión
Imagen: Jodie Barringer Myers
Medida
Imagen: www.cqeacademy.com
Validez del constructo
www.daviddarling.info
Tipos de validez
Traducción
“Pinta” y contenido
Convergente Discriminante
Alta correlación Baja correlación
Validez convergente y discriminante
X1 X2 Y1 Y2
X1 1,000 0,931 0,121 0,051
X2 0,931 1,000 0,090 0,106
Y1 0,121 0,090 1,000 0,955
Y2 0,051 0,106 0,955 1,000
X1
X2
XY1
Y2
Y
Amenazas a la validez del constructo
PreoperacionalizaciónExplicación
Sesgo mono-operaciónSesgo mono-método
Efectos de interacciónentre tratamientos
Amenazas sociales“Adivinar hipótesis”
Aprensión a la evaluaciónDeseabilidad social
Método común
Imagen: forums.heroesofnewerth.com
Fiabilidad delinstrumento demedida
C Fir0002 www.flagstaffotos.com.au
Teoría del valor verdadero
Valor observado = Valor verdadero + Error(medible) (estimable)
Error
Aleatorio Sistemático
La fiabilidades consistencia,
reproducibilidad
C Fir0002 www.flagstaffotos.com.au
C Fir0002 www.flagstaffotos.com.au
Tipos de fiabilidad
Inter-observador (grado de acuerdo)
Test-retest
Formularios paralelos
Consistencia internaCorrelación inter-ítem mediaCorrelación ítem-total mediaSplit-halfAlfa de Cronbach
Validez y fiabilidad
VnF
nVnF
nVF
VF
Niveles de medida: Escalas
Ratio
Intervalo
Ordinal
Nominal
Tipos de encuestas:Cuestionarios y entrevistas
Imagen: oasishr.com
Cuestionarios y entrevistas:ventajas y desventajas
www.socialresearchmethods.net
Aspectos a tener en cuenta
Imagen: oasishr.com
PoblaciónEnumerable (“encontrable”)
AlfabetizaciónIdiomaCooperaciónRestricciones geográficas
MuestraAccesibilidad
Quién respondeTasas de respuesta
PreguntasTipo
ComplejidadFiltrado (requisitos)SecuenciaciónLongitudRespuestas largas
ContenidoConocimientos previos
Consulta registros
SesgosMétodo
DeseabilidadFalsos participantes
AdministrativosCostes
TiempoInstalacionesPersonal disponible
Cómo crear una encuesta
Imagen: oasishr.com
1. Determinar el contenido, alcance y propósito de las preguntas.2. Elegir el formato de respuestas.3. Formulación de las preguntas.
Tipos de preguntas
Imagen: oasishr.com
Dicotómicas.Niveles de medida: nominal, ordinal (preferencias),intervalo (Likert), diferencial semántico, Guttman (acumulativa).Preguntas filtro (condicionales).
No más de dos niveles.Gráfico de salto.
Escalas
Asignación de objetos a números,
de acuerdo a una regla
Escalas
Thurstone
Likert
Pretest
Guttman
Escalas
Dimensionalidad
Satisfaction
C Michael Borkson
Problema
Medida
Análisis
Muestra
Diseño
Conclusión
Imagen: Jodie Barringer Myers
Diseño de la investigación
Imagen: www.yourbusybee.com
Causa y efecto
Validez internaAproximación a
la veracidadacerca de inferenciasen relaciones causales
Precedencia temporalCovariación causa-efectoSin explicacionesalternativasGrupos de control
Grupo simple vs. múltiples grupos
Posttest y pretest-posttest
Amenazas grupo simple
HistoriaMaduraciónTesteo (sólo pre-post)Instrumentación (sólo pre-post)MortalidadRegresión (a la media)
Grupos de control (pre-post)
Amenazas múltiples grupos
Selección-HistoriaSelección-MaduraciónSelección-Testeo (sólo pre-post)Selección-Instrumentación (sólo pre-post)Selección-MortalidadSelección-Regresión (a la media)
Múltiples grupos
Los grupos deben ser comparables
Experimento aleatorio (verdadero)
Diseños cuasi-experimentales
Imagen: www.yourbusybee.com
Diseño de investigación
Observaciones/medidas (O)
Tratamiento/programa (X)
[Grupos]
[Asignación a grupos]Aleatoria (R)
Grupos no equivalentes (N)
Corte (C)
Imagen: www.yourbusybee.com
Ejemplo: pre-post
R O X OR O O
Tipos de diseño
R X OR O
N O X ON O O
X O
R O X OR O O
Asignación aleatoria
Experimento verdadero (aleatorio)
Grupo de control o múltiples medidas
Cuasi-experimental
No experimental
Diseño experimental aleatorizado(pretest-posttest)
Diseño cuasi-experimentalGrupos no equivalentes
(pretest-posttest)
Diseño experimental aleatorizado(sólo posttest)
No experimental(sólo posttest)
Diseño experimental
Imagen: islamsalem1.blogspot.com
Mayor robustezvalidez interna
Si X, entonces YSi no X, entonces no Y
La asignación aleatoriaes clave
Equivalencia probabilística
Equilibrio validez internavs. validez externa
Diseño experimental: Dos grupos (básico)
Imagen: islamsalem1.blogspot.com
Grupos equivalentes
R X OR O
Estamos interesados en determinar si los dos grupos son diferentes tras el programa (tratamiento).
T-test (o equivalente)ANOVA
Regresión
Amenazas:Selección-Mortalidad (tasas abandono)
Diseños experimentales
SNREl objetivo esmaximizar la
Imagen: www.enacademic.com
Diseños factoriales
Maximizar la señal
Imagen: www.enacademic.com
Diseños factoriales
Ejemplo:
R X11 OR X12 OR X21 OR X22 O
Efecto del tiempo deestudio y del lugar:
Posibles resultados…
Imagen: www.enacademic.com
Diseños factoriales
Tiempo
1 2
Lugar 1 5 5 5
2 5 5 5
5 5
Tiempo
1 2
Lugar 1 5 7 6
2 5 7 6
5 7
Tiempo
1 2
Lugar 1 5 5 5
2 7 7 7
6 6
Tiempo
1 2
Lugar 1 5 7 6
2 7 9 8
6 8
Tiempo
1 2
Lugar 1 5 5 5
2 5 7 6
5 6
Tiempo
1 2
Lugar 1 7 5 6
2 5 7 6
6 6
Sin efectosEfectos deinteracción
Efectosprincipales
Imagen: www.enacademic.com
Diseño en bloques aleatorizadosy diseños de covarianzas
Minimizar el ruido
Imagen: www.enacademic.com
Bloques aleatorizados
Equivalente a muestreoaleatorio estratificado
Imagen: www.enacademic.com
R X O
R X O
R X O
R X O
Homogéneos
Hete
rogéneos
Diseños de covarianzas
ANCOVA
Imagen: www.enacademic.com
R O X OR O O
Permite eliminar heterogeneidad causada por covariables.Ejemplo: ajuste del posttest para variabilidad en pretest.
Diseños cuasi-experimentales
¿Inferiores?
C USDA
Diseño de grupos no equivalentes
C USDA
N O X ON O O
Los grupos deben ser tan similares como sea posible…
… pero no podemos estar seguros de que sean comparables
Amenazas:Selección
Selección-HistoriaSelección-MaduraciónSelección-Testeo (sólo pre-post)Selección-Instrumentación (sólo pre-post)Selección-MortalidadSelección-Regresión (a la media)
Diseño de grupos no equivalentes
C USDA
4
5
6
7
8
9
Pretest Posttest
Control
Tratamiento
4
5
6
7
8
9
Pretest Posttest
Control
Tratamiento
4
5
6
7
8
9
Pretest Posttest
Control
Tratamiento
4
4,5
5
5,5
6
6,5
Pretest Posttest
Control
Tratamiento
4
5
6
7
Pretest Posttest
Control
Tratamiento
Amenazas:Selección
Selección-HistoriaSelección-MaduraciónSelección-TesteoSelección-InstrumentaciónSelección-MortalidadSelección-Regresión (a la media)
Diseño de regresión discontinua
Asignación basada en
umbral de puntuación
en medida antes del
programaC USDA
C O X OC O O
Diseño de regresión discontinua
C USDA
www.socialresearchmethods.net www.socialresearchmethods.net
Diseño de regresión discontinua
C USDA
Necesitan 2.75 veces el número de participantesde un experimento aleatorio
(para el mismo nivel de precisión estadística)
Reduciendo amenazas a la validez
Imagen: wiki.cantara.no
Reduciendo amenazas a la validez
1. Argumentación
Imagen: wiki.cantara.no
Reduciendo amenazas a la validez
2. Medidas/observaciones
Imagen: wiki.cantara.no
Reduciendo amenazas a la validez
3. Diseño
Imagen: wiki.cantara.no
Evitar explicaciones alternativas (p.ej., añadir grupos, medidas…)
Reduciendo amenazas a la validez
4. Análisis
Imagen: wiki.cantara.no
Ajustes (p.ej., abandono)
Reduciendo amenazas a la validez
5. Acciones preventivas
Imagen: wiki.cantara.no
Reglas del buen diseño
Imagen: www.yourbusybee.com
Imagen: www.yourbusybee.com
1. Fuerte base teórica
Imagen: www.yourbusybee.com
2. Reflejar el contexto(competición, interacciones…)
Imagen: www.yourbusybee.com
3. Realizable
Imagen: www.yourbusybee.com
4. Redundante
Imagen: www.yourbusybee.com
5. Eficiente
Problema
Medida
Análisis
Muestra
Diseño
Conclusión
Imagen: Jodie Barringer Myers
Análisis
Imagen: blog.udacity.com
1. Preparación de los datos2. Descripción de los datos (estadística descriptiva)3. Contraste de hipótesis y modelos (estadística
inferencial)
Problema
Medida
Análisis
Muestra
Diseño
Conclusión
Imagen: Jodie Barringer Myers
Validez de las conclusiones
Imagen: powerlisting.wikia.com
Posibles amenazas1. Hay relación pero concluimos que no 2. No hay relación pero concluimos que sí
¿Por qué podemos errar?
Imagen: powerlisting.wikia.com
1. Violar las suposiciones de los test estadísticos2. “Ir de pesca”3. Fiabilidad de las medidas4. Fiabilidad del programa5. Heterogeneidad de los participantes
Potencia estadística
C 365psd
Probabilidad de que la hipótesis nula sea rechazadacuando la hipótesis alternativa es verdadera
Potencia estadística
C 365psd
Probabilidad de que la hipótesis nula sea rechazadacuando la hipótesis alternativa es verdadera
Componentes
1. Tamaño de la muestra2. Tamaño del efecto3. Nivel de significación
Potencia estadística
C 365psd
H0 verdadera, H1 falsa. En realidad…• No existe relación• No hay diferencia• Nuestra teoría es errónea
H0 falsa, H1 verdadera. En realidad…• Sí hay relación• Sí hay diferencia• Nuestra teoría es correcta
Aceptamos H0, rechazamos H1
Decimos…• “No hay relación”• “No hay diferencias”• “Nuestra teoría eserrónea”
1-α (e.g., .95)NIVEL DE CONFIANZA
Las probabilidades de decir que no hay relación o diferencias cuando en realidad no existen.Las probabilidades de correctamente no confirmarnuestra teoría.El 95% de las veces, cuando no hay efecto, diremosque éste no existe
β (e.g., .20)ERROR DE TIPO II
Las probabilidades de decir que no hay relación o diferencias cuando en realidad sí existen.Las probabilidades de no confirmar nuestra teoríacuando es cierta.El 20% de las veces, cuando hay un efecto diremosque no existe
Rechazamos H0,
aceptamos H1
Decimos…• “Sí hay relación”• “Sí hay diferencia”• “Nuestra teoría es correcta”
𝜶 (e.g., .05)ERROR DE TIPO I
(NIVEL DE SIGNIFICACIÓN)Las probabilidades de decir que sí hay relación o diferencias cuando en realidad no existen.Las probabilidades de confirmar incorrectamentenuestra teoría.El 5% de las veces, cuando no hay efecto nosotrosdiremos que sí
1-β (e.g., .80)POTENCIA
Las probabilidades de decir que sí hay relación o diferencias cuando sí existen.Las probabilidades de confirmar que nuestra teoríaes correcta.En el 80% de los casos, cuando decimos que existeun efecto, es que éste existe
www.socialresearchmethods.net
Inferencia estadística
Imagen: www.mundiario.com
Imagen: es.gizmodo.com
Mayor potencia estadísticaEstimaciones más precisas
Cuando se cumplenlas suposiciones
Más robustas
P NP
StudentWelch
Mann-WhitneyWilcoxon
Análisis más habituales
Diseño Técnica
Análisis experimental
Experimento aleatorizado 2 grupos sólo posttest
t-test, ANOVA
Experimento factorial ANOVA
Bloques aleatorizados ANOVA (con bloqueo)
Covarianzas ANCOVA
Análisis cuasi-experimental
Grupos no equivalentes ANCOVA con corrección de fiabilidad
Regresión discontinua Regresión polinómica
… y variantes NP
Imagen: clockworkconservative.wordpress.com
¿Y las regresiones?
Modelos más complejos
CB-SEM(PLS-SEM)
Reglas selección
técnicas análisis
(Field, 2013)
Reglas seleccióntécnicas análisismultivariante(Hair et al., 2010)
Imagen: www.threespiresbrewing.com