Sistemas de Recomendación:

tipos y evaluación

Blanca A. Vargas GoveaGrupo de Servicios de Recomendación

Dirigido por: Dr. Juan Gabriel González SernaCENIDET 29/Sep/2010

1.Sistemas de recomendación- Tipos: filtrado de contenido, colaborativo e híbrido- Problemas

2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques

Encontrar ítems/servicios del agrado del usuario

Objetivo

Tipos

Filtrado basado en contenido

Filtrado colaborativo

Filtrado híbrido

Filtrado basado en contenido

Correspondencia ítem - usuario

Descripción - ítem

Descripción - perfil

Vectores de atributos

Implícita

Explícita

Filtrado basado en contenido

Aprendizaje automático

Entrada: descripción - ítem

Salida: rating del usuario sobre el ítem

Árboles, reglas

Filtrado basado en contenido: ventajas

El usuario puede conocer el efecto de sus preferencias

Puede generar recomendaciones sin necesidad de ratings

Filtrado basado en contenido: desventajas

Descripciones ricas, completas

Recomiendan ítems muy parecidos

Contenido en te minos de ŕatributos

Filtrado colaborativo

Favorece los juicios humanos

Opiniones expresadas por una comunidad

Basado en el modelo

Basado en la memoria

Filtrado colaborativo: basado en memoria

Supone que usuarios que han compartido intereses en el pasado lo seguirán haciendo en el futuro

Es el que domina

Filtrado Colaborativo: basado en memoria

1. Formación de vecindario

2. Agregación de opinión

3. Generación de recomendaciones

Métricas de similaridad

Correlación de Pearson

Manhattan

Jaccard

Euclidiana

Se calculan las predicciones de rating (k-vecinos más cercanos)

Filtrado colaborativo: generación de recomendaciones

Retroalimentación

Los perfiles crecen

Se repite el ciclo

Filtrado colaborativo: basado en el modelo

Técnicas de aprendizaje automático

Clasificación: a qué rating pertenecenlos ítems no calificados

Regresión: relación de variables (usuario-otros perfiles)

clase 2

clase 1

clase 3

clase 4

Filtrado colaborativo: basado en el modelo

Inferir reglas o patrones

Agrupar usuarios en clusters

Ejemplo:

Los vecinos son los usuarios del mismo cluster

Filtrado colaborativo: basado en el modelo

Predicción eficiente

Basados en memoria: igual de eficientes, ¿más simples?

Se entrena un modelo por usuario

Noción de comunidad

Interpretación

Filtrado híbrido

Filtrado basado en memoria y modelo (e.g.,clusters+vecinos cercanos)

Filtrado colaborativo y de contenido (e.g., correr independientemente y combinar con esquema de votación)

Problemas generales

Datos faltantes

Cold Start

Espera de nuevas recomendaciones

Usuarios maliciosos

1. Sistemas de recomendación- Tipos: filtrado de contenido, colaborativo e híbrido- Problemas

2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques

Evaluación

Gran cantidad de algoritmos

Todos dicen ser el mejor

No hay una metodología estándar para determinar qué hace a un algoritmo mejor que otro

Evaluación: dificultades

Algoritmos diseñados para conjuntos de datosespecíficos

Distintos objetivos

Cuestionamiento en decidir qué métricas usar

Evaluación: tareas del sistema (las más evaluadas)

Depende de los objetivos y tareas del sistema

Predicción de preferencias

Desplegar artículos (e.g., lista rankeada)

Evaluación: tareas del sistema (menos evaluadas)

Todos los ítems buscados (e.g., documentos legales)

Sólo navegar, sin comprar

Recomendador confiable

Mejora del perfil

Deseo de expresarse

Ayudar a otros

Evaluación: ¿qué se evalúa?

Objetivo del sistema Objetivo del usuario

Pueden ser muy diferentes

Evaluación: los datos

¿Offline?

¿Simulados?

¿Online?

Evaluación: los datos

Propiedades de los datos para modelar mejor la tarea

Atributos de dominio

Atributos inherentes

Atributos de muestreo

Evaluación: los datos, atributos de dominio

Naturaleza del contenido a recomendar/contexto

Tareas soportadas por el sistema

Evaluación: los datos, atributos de dominio

Novedad y calidad

Costo/Beneficio

Granularidad de la preferencia

Evaluación: los datos, atributos inherentes

Ratings implícitos, explícitos o ambos

Escala del rating

Evaluación: los datos, atributos inherentes

Dimensiones del rating

Presencia/ausencia de registro de tiempo

Evaluación: los datos, atributos inherentes

Registro de las recomendaciones

Sesgo de la colección de datos

Disponibilidad de información demográfica del usuario

Evaluación: los datos, atributos de muestreo

Densidad de los ratings de ítems

Densidad de los ratings de usuarios que generan recomendaciones

Ítems: 999

Calif: 3

Ítems: 1122Calif:3127

Evaluación: los datos, atributos de muestreo

Tamaño y distribución: ítems > usuarios, usuario > ítems

Escasez de datos

Evaluación:métricas de precisión

Mide qué tan cerca el sistema puede predecir el rating para un ítem en comparación con el rating real

¿Qué rating le dará un usuario a un ítem?

¿Seleccionará el usuario un ítem?

¿Qué orden de utilidad tendrán los ítems?

Evaluación: categorías de métricas de precisión

1. Precisión predictiva

2. Clasificación

3. Precisión y recuerdo

Evaluación: precisión predictiva

Error Absoluto Medio (MAE)

Raíz cuadrada del error cuadrático medio (RMSE)

Miden qué tan cerca están las predicciones de los ratings del sistema de recomendación a los del usuario real.

No es muy útil cuando la granularidad de las preferencias es pequeña.

La diferencia radica en el grado en el cual los errores son penalizados. RMSE penaliza errores grandes.

Evaluación: clasificación

Miden la frecuencia con la que el sistema toma decisiones correctas o incorrectas sobre si un ítem es bueno.

Son apropiadas para tareas como encontrar buenos ítems donde los usuarios tienen preferencias binarias.

Evaluación: precisión y recuerdo

Precisión:Capacidad del sistema de mostrar ítems relevantes. Representa la probabilidad de que un ítem seleccionado sea relevante.

Recuerdo:Cobertura de ítems útiles que el sistema puede obtener. Representa la probabilidad de que un ítem relevante sea seleccionado.

Relevante Norelevante

Seleccionado a b

No seleccionado

c d

P=aa+b

R=aa+c

Miden la capacidad del sistema de obtener los ítems relevantes disponibles.

Evaluación: curvas ROC

Receiver Operating Characteristic

Mide la capacidad del sistema de distinguir entre ítems relevantes y no relevantes.

Precisión/Recuerdo enfatizan la proporción de recomendaciones exitosas. Ideal para: muchos ítems interesantes y se necesitan pocas buenas recomendaciones.

ROC enfatiza la proporción de ítems no exitosos que fueron recomendados. Ideal para: cada recomendación tiene un costo y equivocarse es caro.

Evaluación:métricas de precisión

Ciertas métricas son más adecuadas para determinadas tareas y tipos de datos

Evaluación:más allá de la precisión

Cobertura

¿Qué porcentaje de los ítems son los que recomienda el sistema?

¿Sobre qué porcentaje de ítems el sistema puede generar predicciones?

Evaluación:más allá de la precisión

Tasa de aprendizaje

Novedad y Suerte

Similar a un esquema por refuerzo

Confianza: ¿qué tan seguro está el sistema de que

su recomendación es exacta? Mostrarle al usuario.

Evaluación:más allá de la precisión

Evaluación del usuario

Evaluación explícita/implícita

Estudios de laboratorio/campo

Definición de lo que es una salida exitosa

Corto/largo alcance

Evaluación:más allá de la precisión

Satisfacción del usuario

¿A qué métricas son más sensitivos los usuarios?

¿Cómo afectan los diversos aspectos (cobertura, novedad, etc.) a la satisfacción?

Gracias.¿Preguntas?

blanca.vg@gmail.com

Referencias

Candillier, L., Jack, K., Fessant, F., and Meyer, F. (2009). State­of­the­Art Recommender Systems, chapter 1, pages 1–22. IGI Global. Book: Collaborative and Social Information Retrieval and Access: Techniques for Improved User Modeling.

de Wit, J. J. (2008). Evaluating recommender systems – an evaluation frame­work to predict user satisfaction for recommender systems in an electronic programme guide context. Master’s thesis, University of Twente.

Gunawardana, A. and Shani, G. (2009). A survey of accuracy evaluation metrics of recommendation tasks. Journal of Machine Learning Research, 10:2935–2962.

Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T.(2004). Evaluating collaborative filtering recommender systems. ACM Trans. Inf. Syst.,22(1):5–53.

Lathia, N. (2009). Computing Recommendations with Collaborative Filtering,chapter 2, pages 23–38. IGI Global. Book: Collaborative and Social Information Retrieval and Access: Techniques for Improved User Modeling.

Referencias imágenes

http://www.flickr.com/photos/ario/54106663/sizes/m/http://www.flickr.com/photos/44760652@N05/4659522355/http://www.flickr.com/photos/51813566@N08/4760804346/http://www.flickr.com/photos/7750017@N02/4267291403/http://www.flickr.com/photos/94698336@N00/292229414/http://www.flickr.com/photos/15086630@N07/4152920543/http://www.flickr.com/photos/splorp/59240233/sizes/l/http://www.flickr.com/photos/44921934@N00/302001867/http://www.flickr.com/photos/79477324@N00/230625187/http://www.flickr.com/photos/26517433@N00/2007012694/http://www.flickr.com/photos/38917708@N00/455000502/http://www.flickr.com/photos/49366539@N00/572481795/http://www.flickr.com/photos/49462908@N00/4411505290/http://www.flickr.com/photos/80639080@N00/1286122845/http://www.flickr.com/photos/32263295@N00/3938238831/http://www.flickr.com/photos/40780016@N02/3914729343/http://www.flickr.com/photos/49408564@N00/91970575/

Referencias imágenes

http://www.flickr.com/photos/44124426342@N01/151822725/http://www.flickr.com/photos/35034364750@N01/282496846/http://www.flickr.com/photos/10687935@N04/3887516326/http://www.flickr.com/photos/32957828@N00/3737437574/http://www.flickr.com/photos/24431382@N03/4671584999/http://www.flickr.com/photos/35855601@N06/3313477849/http://www.flickr.com/photos/71239936@N00/397653832/http://www.flickr.com/photos/23812016@N05/4998557125/http://www.flickr.com/photos/39332788@N02/4060003777/http://www.flickr.com/photos/41987260@N00/2234941799/http://www.flickr.com/photos/65793011@N00/84894948/http://www.flickr.com/photos/32109282@N00/4504668254/http://www.flickr.com/photos/32109282@N00/4633615801/http://www.flickr.com/photos/71438311@N00/2764675971/http://www.flickr.com/photos/70403129@N00/2492474473/http://www.flickr.com/photos/15087210@N00/997085301/http://www.flickr.com/photos/60364452@N00/264891907/