Métodos de investigación con

usuarios

Sol VelazquezUser Experience Researcher

@msolvelazquez

Enero 2016

Nos conocemos¿Por qué hacemos investigación con usuarios?Métodos de investigación que usamos en ML

Tests de usabilidad

Encuestas Voice of-Customer

Entrevistas y observaciones contextuales

Arquitectura de información

AgendaAgenda Detalle

● ¿Cómo prueban hoy los diseños?● ¿Qué información real de usuarios usan para su

trabajo?● ¿Qué métodos usan?● ¿Cuál les gusta más?

Primero conozcámosnos

Hoy vamos aconocer formas de obtener

información real de usuarios para crear

excelentes experienciasen MercadoLibre

Objetivo

Tests de usabilidad

Encuestas Voice-of-Customer (VoC)Entrevistas

Tests dearquitectura

de información

Métodos más usados en MercadoLibre

¿Por qué usamos diferentes métodos?

● Cada uno aporta información diferente para responder a diferentes problemas

● Tiempo y costo que toma el estudio● Los skills disponibles para ejecutar cada

método● La profundidad deseada para los

resultados

¿Por qué usamos diferentes métodos?

When to Use Which User-Experience Research Methods

¿Por qué usamos diferentes métodos?

Fuente: When to Use Which User-Experience Research Methods

¿En qué parte del gráfico ubicarían las siguientes preguntas?

1. ¿Los compradores logran encontrar propiedades de su interés?

2. ¿Por qué hay tanto dropout al publicar?

3. ¿Qué oportunidades de mejora hay en Mi portal?

4. Queremos conocer cómo los corredores de propiedades gestionan publicaciones.

5. Vamos a rediseñar la sección de financiamiento y no sabemos cómo organizar la información.

Tests de usabilidad

Propósito Test de usabilidad

Descubrir problemas de usabilidadEntender por qué ocurren.

¿Logran?… encontrar un departamento de 3 dormitorios en Las Condes para arrendar?… publicar una propiedad para la venta?… hacer upgrade del tipo de publicación?

Explorar…¿Qué problemas de usabilidad tiene Buscar una propiedad?

Responde a... Test de usabilidad

Observar personas realeshaciendo una tarea realen un prototipo o sistemasin ayudarlos

Dinámica Test de usabilidad

Resultados Test de usabilidad

V2

V1

Comparativo Test de usabilidad

Iterativo Test de usabilidad

Original Iteración

v1 - original v2 - iteración

Resultados iterativo / comparativo Test de usabilidad

v3 - iteración

Competitivo Test de usabilidad

Síntesis Test de usabilidad

Si te preguntas... Puedes hacer test de usabilidad

porque sirve para

¿Los usuarios logran encontrar propiedades de su interés?¿Qué problemas de usabilidad tiene el flujo de publicar?

de issues Descubrir problemas de usabilidad en un prototipo y por qué ocurren, a partir de observar usuarios reales.

Quiero saber qué problemas de usabilidad tiene mi flujo y corregirlos

iterativo ir arreglando y probando, arreglando y probado

Pensamos 2 alternativas para la app mobile para vendedores. Queremos saber cuál es mejor

comparativo comparar 2 diseños

Tenemos que diseñar algo similar a lo que tiene la competencia. Queremos saber si vale la pena copiarlo o no.

competitivo comparar contra la competencia

Nos gustaría medir cómo está la usabilidad del sitio semestralmente.

benchmark comparar contra un período anterior o un record pre establecido

Júntense en grupos (una compu por grupo)

http://bit.ly/quiz-capacitacion-2014

Ejercicio grupal

Quiz Actividad grupal

Ejercicio grupal

Proceso de test Iterativo

Ejercicio grupal

Ejercicio

KitCómo hacer un test de usabilidad

iterativo, de principio a fin

Encuestas Voice-of-customer

Descubrir problemas de usabilidad, necesidades, bugs

mientras les ocurren a los usuarios, expresados con sus propias palabras

Propósito Encuestas VOC

Analizamos máx 100 comentariosexpresados por los usuarios

en sus propias palabrasy metadatos

Propósito Encuestas VOC

¿Por qué...

… los usuario visitan la ficha del proyecto inmobiliario y luego no cotizan?

… los usuarios que publican sus propiedades no las destacan?

¿Qué oportunidades de mejora hay...

... en Mis criterios de búsqueda?

Responde a Encuestas VOC

Dinámica Encuestas VOC

PORQUE EL SISTEMA SE COLGÓ Y CUANDO TER...

¿Por qué no terminaste de publicar?

Dinámica Encuestas VOC

PORQUE EL SISTEMA SE COLGÓ Y CUANDO TER...

¿Por qué no terminaste de publicar?

Porque el sistema se colgó y perdí todo lo que había cargado

Dinámica Encuestas VOC

ImpersonalizaciónZeus

admins

Recolección y análisis Encuestas VOC

¡¡¡Pero fueron estos otros!!!

bit.ly/syi2012b_MLB

Al plantear el estudio pensamos que el problema sería este

¿Por qué no terminaste de publicar?

Análisis final Encuestas VOC

¡clic!

Dinámica Encuestas VOC

Iniciada por el usuario

Por e-mail

Dinámica Encuestas VOC

Dinámica Encuestas VOC

Por intercepción (onload)

Resultados Encuestas VOC

Síntesis Encuestas VOC

Si te preguntas... Puedes hacer voc porque sirve para

¿Por qué hay tanto dropout en el flujo de publicar. Intercepción

dropout

detectar motivos de dropout en un flujo en el momento que ocurren.

Queremos saber cuántas personas participan de la búsqueda de una propiedad para ver cómo rediseñamos Favoritos.

Intercepción onload

conocer comportamientos.

Queremos detectar oportunidades de mejora en Mis cotizaciones para rediseñarla.

iniciado por usuario link

descubrir problemas de usabilidad, necesidades, bugs en el momento que ocurren.

¿Por qué eligen pagar con boleto bancario y luego no pagan?

E-maillink

detectar problemas de usabilidad que ocurren fuera del site.

Júntense en grupos (una compu por grupo)

http://bit.ly/quiz-capacitacion-2014

Ejercicio grupal

Quiz Actividad grupal

Entrevistas

Telefónicas Entrevistas

Para profundizar conocimientosobtenidos en otros estudios

Cuando dije que no tenía la plata en mi cuenta [del BPP] me refería a mi

cuenta de banco (no a la de MercadoPago)

Telefónicas Entrevistas

Por videoconferencia Entrevistas

Observar por videoconferencia cómo desarrollan una tarea

usando nuestro sitio y otros artefactos

¿“Total en cuenta” es el total de las ventas o el saldo disponible?

Por videoconferencia Entrevistas

Contextuales Entrevistas

Aprender cómo nuestros usuarios llevan adelante sus tareas

observándolos mientras usan nuestro sitio y otros artefactos.

Para entender los huecos que existen entre su realidad y nuestro sitio.

No nos vamos de vacaciones porque no llegamos a pausar las

miles de publicaciones y al regreso reactivarlas...

Contextuales Entrevistas

Puestos de guardiaEncargada de derivar llamados de interesados a los aasesores

Puestos de guardia

Uso exhaustivo del iPhone como herramienta de trabajoPlanillas en papel y Excel para respaldar información y cubrir falencias del CRM

Encargada de derivar llamados de interesados a los aasesores

Contextuales + test Entrevistas

¿Si saco ahora la tarjeta del lector pasa algo malo?

Sequence model Entrevistas

Ejercicio grupal

Diagrama de afinidad

Síntesis Entrevistas

Si te preguntas... Puedes hacer entrevistas

porque sirve para

Nos están diciendo en un VOC que no pueden agregar favoritos.

telefónicas profundizar y entender algún comportamiento en particular o sobre algún cambio que hicimos en el sitio, a partir de la escucha.

Nos dicen en un VOC que les resulta poco útil la forma de gestionar Favoritos.

por videoconferencia

Que nos muestren cómo realizan tareas interactuando tanto con nuestro sitio como con otros sistemas y artefactos que puedan mostrarse por la pantalla y cámara web.

Necesitamos saber cómo las inmobiliarias gestionan los nuevos proyectos para construir la nueva app.

contextuales Conocer cómo llevan adelante tareas de manera global (no solo en ML) en el contexto de uso habitual.

Júntense en grupos (una compu por grupo)

http://bit.ly/quiz-capacitacion-2014

Ejercicio grupal

Quiz Actividad grupal

Tests de arquitectura de información

Combinación de sistemas de organización, etiquetado, búsqueda y navegación dentro de sitios web y aplicaciones. Ayuda a los usuarios a encontrar y manejar la información.

Definición Arquitectura de información

Card sorting Arquitectura de información

Conocer cómo los usuarios agrupan, jerarquizan y etiquetan, y qué criterios utilizan.

● “Queremos saber cómo los usuarios agrupan las cosas que se pueden hacer en MercadoPago para encarar el rediseño del sitio completo.”

● “Estamos haciendo el nuevo menú de navegación de Mi cuenta en MercadoLibre y queremos ver cómo organizarlo.”

● “Vamos a rediseñar la VIP y queremos saber cómo agrupar los distintos elementos en la pantalla”.

Responde a Card sorting (IA)

Mi cuenta - perfil Ejemplo supermercado Video

Dinámica Card sorting (IA)

Resultados Card sorting (IA)

Grupal Card sorting (IA)

Tree testing Arquitectura de información

Saber en qué parte de la arquitectura de información (sin diseño visual) los usuarios se pierden.

“Los usuarios no encuentran la respuesta a su problema. Tenemos una propuesta que creemos que es mejor. ¿Podemos validarla?"

Responde a Tree testing (IA)

Ejemplo

Dinámica Tree testing (IA)

Te pagaron una venta por MercadoPago pero no puedes transferir el dinero a tu cuenta de banco. ¿Dónde encontrarías información sobre cómo hacerlo?

V1 V2

Comparativo / Iterativo Tree testing (IA)

Dada una tarea específica en una pantalla con diseño visual, determinar si los usuarios hacen el primer clic en el lugar correcto.

First Click Testing Arquitectura de información

Ya testeamos la arquitectura. Ahora queremos probar las pantallas dibujadas, por si hay algún issue.

Responde a First Click Testing (IA)

Elegiste pagar una compra online por PagoFácil a través de MercadoPago, pero te arrepentiste. Preferís con tarjeta de crédito en cuotas sin interés. ¿Dónde hacés clic para saber cómo hacerlo?

Ejemplo

Dinámica First Click Testing (IA)

Elegiste pagar una compra online por PagoFácil a través de MercadoPago, pero te arrepentiste. Preferís con tarjeta de crédito en cuotas sin interés. ¿Dónde hacés clic para saber cómo hacerlo?

Ejemplo

First Click Testing (IA)Resultados First Click Testing (IA)

Card-sorting

Tree-testing

First-clicktesting

Saber cómo los usuarios agrupan conceptos. Los resultados se pueden usar para organizar sitios, un menú o una página.

Descubrir dónde se pierden en una arquitectura de información o flow, sin distracciones visuales.

Saber en qué parte de un prototipo los usuarios se equivocan en el primer clic para cumplir una tarea.

Síntesis Arquitectura de información

Júntense en grupos (una compu por grupo)

http://bit.ly/quiz-capacitacion-2014

Ejercicio grupal

Quiz Actividad grupal

Test de usabilidad Descubrir problemas de usabilidad en un prototipo y por qué ocurren, a partir de observar usuarios reales.

Encuesta VoC Detectar motivos de dropout y fricción mediante comentarios de usuarios (exhaustivo, poco detalle)

Entrevistas Contextuales, telefónicas, 1-on-1, grupales

Card sorting Saber cómo los usuarios agrupan conceptos.

Tree testing Descubrir dónde se pierden en una arquitectura de información o flow, sin distracciones visuales.

First click testing Saber en qué parte de un prototipo los usuarios se equivocan en el primer clic para cumplir una tarea.

Key take aways

¿Preguntas?