Una propuesta metodológica para Una propuesta metodológica para validar las categorizaciones de las validar las categorizaciones de las

intervenciones en un espacio virtual intervenciones en un espacio virtual de aprendizajede aprendizaje

Juan Silva Juan Silva Universidad de Santiago de ChileUniversidad de Santiago de Chile

Begoña GrosBegoña GrosUniversidad de BarcelonaUniversidad de Barcelona

El análisis de las interaccionesEl análisis de las interacciones

► El impacto de las TIC como medio de comunicaciónEl impacto de las TIC como medio de comunicación

► Conferencia mediada por computados (CMC)Conferencia mediada por computados (CMC)

► El análisis de las interacciones para comprender el proceso de construcción El análisis de las interacciones para comprender el proceso de construcción de conocimiento en red.de conocimiento en red.

► Marcos teóricos fuertes para justificar las interacciones pero débiles para Marcos teóricos fuertes para justificar las interacciones pero débiles para analizarlas.analizarlas.

► Investigaciones descriptivas y experimentalesInvestigaciones descriptivas y experimentales

► Enriquecer las investigaciones descriptivas con herramientas metodológicas Enriquecer las investigaciones descriptivas con herramientas metodológicas que aumenten la rigurosidad.que aumenten la rigurosidad.

► Usar elementos cuantitativos y cualitativos, dotando a estos últimos de Usar elementos cuantitativos y cualitativos, dotando a estos últimos de elementos cuantitativos que aumentan su fiabilidad.elementos cuantitativos que aumentan su fiabilidad.

Métodos para el análisis de Métodos para el análisis de interaccionesinteracciones

► Los foros online permiten contar con el texto de las Los foros online permiten contar con el texto de las interacciones transcritos para su análisis e interacciones transcritos para su análisis e interpretación: Una gran oportunidadinterpretación: Una gran oportunidad

► ¿cómo analizarlos?¿cómo analizarlos?

cuantifica participacionescuantifica participaciones cualitativamente se aplican propuestas de categorías para cualitativamente se aplican propuestas de categorías para

analizar las interacciones.analizar las interacciones.

► Se requiere reconocimiento por la comunidad Se requiere reconocimiento por la comunidad científica: Los estudios deben ser objetivos, fiables científica: Los estudios deben ser objetivos, fiables y replicablesy replicables

Métodos para el análisis de Métodos para el análisis de interaccionesinteracciones

Unidades de análisis: El mensaje, unidades sintácticas, unidades temáticas, toda la interacción

Las categorías: Deductiva (existentes) Inductivas (propias) o ambas

Método para la fiabilidad entre evaluadores: Acuerdo porcentual, Acuerdo porcentual consensuado, Kappa de Cohen

La experienciaLa experiencia

► Geometria.cl curso a distancia a nivel nacional Geometria.cl curso a distancia a nivel nacional versión 2004, 780 profesores capacitados, 26 versión 2004, 780 profesores capacitados, 26 cursoscursos

► Se tomó un curso de Santiago con 38 Se tomó un curso de Santiago con 38 participantesparticipantes

84,2% son profesoras84,2% son profesoras 84,2% son profesores(as) de aula84,2% son profesores(as) de aula 63,2% sin experiencia previa en formación online63,2% sin experiencia previa en formación online Se conecta el 63,2% desde el hogar y 73,7% desde el Se conecta el 63,2% desde el hogar y 73,7% desde el

establecimientoestablecimiento

► El tutor:El tutor:

Amplia experiencia fue su tercer curso online para Amplia experiencia fue su tercer curso online para docentesdocentes

Es profesor de Enseñanza Secundaria y profesor de Es profesor de Enseñanza Secundaria y profesor de aula.aula.

Foro de discusiónForo de discusión

Foro de discusiónForo de discusión

MetodologíaMetodología

Ajuste en la categorización de los otros dos foros

Definición de sistemas de categorías para intervenciones del tutor y participantes

Cálculo de fiabilidad, acuerdo porcentual y porcentual consensuado Validación con

expertos de la categorización de un foro

Categorización de los tres foros

Validación de categorías con expertos

Comprender las interacciones entre el tutor y los participantes

Aplicación de la metodología y Aplicación de la metodología y resultados: Categoríasresultados: Categorías

o Inicio del debateInicio del debateo Síntesis ParcialSíntesis Parcialo Síntesis FinalSíntesis Finalo FundamentaciónFundamentacióno AplicabilidadAplicabilidado Intercambio de experienciasIntercambio de experienciaso OrientaciónOrientacióno RetroalimentaciónRetroalimentación

o Elementos teóricosElementos teóricoso Experiencias previasExperiencias previaso Apreciación del cursoApreciación del cursoo Transferencia al aulaTransferencia al aulao Nuevas necesidades formativasNuevas necesidades formativaso Problemas estructuralesProblemas estructurales

Intervenciones TutorialesIntervenciones Tutoriales Intervenciones ParticipantesIntervenciones Participantes

Categorías construidas con método inductivo y deductivo

Aplicación de la metodología y Aplicación de la metodología y resultados: Categorización y resultados: Categorización y

ValidaciónValidación

► Se validaron las categorías con tres expertosSe validaron las categorías con tres expertos

► Categorización y validación:Categorización y validación:

Se categorizan los tres foros (230 participantes y Se categorizan los tres foros (230 participantes y 64 del tutor)64 del tutor)

Se valida con los expertos el foro III, 18 Se valida con los expertos el foro III, 18 intervenciones tutoriales y 85 de los intervenciones tutoriales y 85 de los participantesparticipantes

Unidades de análisis el mensajes y unidades Unidades de análisis el mensajes y unidades temáticastemáticas

Se uso para la categorización Atlas-TiSe uso para la categorización Atlas-Ti

Aplicación de la metodología y Aplicación de la metodología y resultados: Categorización Tutorresultados: Categorización Tutor

► Promedio de acuerdo porcentual inicial 72,2%, se Promedio de acuerdo porcentual inicial 72,2%, se realizan 3 (16,7%) ajustes y se alcanza un realizan 3 (16,7%) ajustes y se alcanza un acuerdo porcentual consensuado de 80,3%.acuerdo porcentual consensuado de 80,3%.

83,3%

66,7%

83,3% 88,9%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Evaluador 1 Evaluador 2 Evaluador 3 Evaluador 4

Aplicación de la metodología y Aplicación de la metodología y resultados: Categorización resultados: Categorización

ParticipantesParticipantes

► Promedio de acuerdo porcentual inicial 69,7%, se Promedio de acuerdo porcentual inicial 69,7%, se realizan 14 (16,5%) ajustes y se alcanza un realizan 14 (16,5%) ajustes y se alcanza un acuerdo porcentual consensuado de 78,3%.acuerdo porcentual consensuado de 78,3%.

91,8%

71,8%70,6%78,8%

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%

Evaluador 1 Evaluador 2 Evaluador 3 Evaluador 4

Aplicación de la metodología y Aplicación de la metodología y resultados: Intervenciones Tutorresultados: Intervenciones Tutor

Aplicabilidad17,8%

Fundamentación11,0%

Intercambio de experiencias e informaciòn

21,9%

Orientación6,8%

Retroalimentación28,8%

Síntesis P arcial6,8%

Síntesis F inal2,7%

Inicio del debate4,1%

Aplicación de la metodología y Aplicación de la metodología y resultados: Intervenciones resultados: Intervenciones

ParticipantesParticipantes

Elementos Teóricos29,7%

Experiencia P revia40,9%

Apreciación el Curso11,2%

P roblemas Estructurales

8,3%Necesidades Formativas

5,4%

Transferencia al Aula4,3%

ConclusionesConclusiones

► El análisis de interacciones requiere análisis minuciosos, El análisis de interacciones requiere análisis minuciosos, los datos cuantitativos que proporcionan la plataforma los datos cuantitativos que proporcionan la plataforma son insuficientes.son insuficientes.

► Fue necesario generar nuestro propio modelo de análisis Fue necesario generar nuestro propio modelo de análisis de interaccione, el contexto formación docente no nos de interaccione, el contexto formación docente no nos permitió tomar modelos existentes.permitió tomar modelos existentes.

► La metodología propuesta implica doble análisis: La metodología propuesta implica doble análisis: analizar, categorizar, validar con expertos y volver a analizar, categorizar, validar con expertos y volver a categorizarcategorizar

► Se alcanzan niveles de fiabilidad de 80,3% (tutor) y Se alcanzan niveles de fiabilidad de 80,3% (tutor) y 78,3% (participantes). Aceptables según la literatura, 78,3% (participantes). Aceptables según la literatura, que permiten al lector interpretar los datos.que permiten al lector interpretar los datos.

► El proceso es dificultoso, laborioso, pero la metodología El proceso es dificultoso, laborioso, pero la metodología permite obtener una mayor validez, confiabilidad y permite obtener una mayor validez, confiabilidad y hacen la investigación más plausible de ser replicada.hacen la investigación más plausible de ser replicada.