Sistemas de recomendação
-
Upload
leonardo-zanette -
Category
Documents
-
view
4.649 -
download
0
description
Transcript of Sistemas de recomendação
SISTEMAS DE BUSCASISTEMAS DE RECOMENDAÇÃOLeonardo Rosa [email protected]
Julho de 2008
RESUMO
Introdução Sistemas de Busca Sistemas de Recomendação Coleta de Informações Estratégias de Recomendação Técnicas de Recomendação Conclusões e Tendências
INTRODUÇÃO Com a quantidade e
disponibilidade de informações no mundo de hoje, as pessoas se deparam com uma diversidade muito grande de opções.
Impossível encontrar informações relevantes em tempo hábil
Como encontrar o que interessa? Esforço próprio Sorte Recomendação de amigos
INTRODUÇÃO: SOBRECARGA DE INFORMAÇÕES
Soluções: Sistemas de busca Filtragem da informação Sistemas de recomendação
SISTEMAS DE BUSCANECESSIDADE DA INFORMAÇÃO
Procura por item conhecido Procura por um item existente Procura exploratória Procura ampla (pesquisa)
SISTEMAS DE BUSCAFUNCIONAMENTO
http://semanticstudios.com/publications/semantics/search.html
SISTEMAS DE BUSCA PROBLEMAS A busca da informação não é feita em um único
passo, a não ser a busca por um item conhecido. O usuário busca uma informação, aprende como
resultado e refina sua busca. Normalmente é difícil ao usuário encontrar tudo que
necessita numa única vez porque ele não conhece o suficiente sobre o tópico para fazer a pergunta certa.
Encontrar uma “agulha no palheiro”
SISTEMAS DE BUSCA PROBLEMAS
SISTEMAS DE BUSCAFUTURO Clusty (www.clusty.com) - Ele analisa os primeiros links (entre 200 a
500) que resultaram de uma busca do usuário e mostra os principais temas, agrupados por pastas e subpastas
SISTEMAS DE BUSCAFUTURO O SearchMash (www.searchmash.com) é uma iniciativa do Google.
Numa pesquisa típica, uma barra lateral permite estendê-la a consultas relacionadas a imagens, a blogs, a vídeos e a wikipedia, num único clique.
SISTEMAS DE BUSCAFUTURO
http://www.msdewey.com/
SISTEMAS DE RECOMENDAÇÃO
O QUE SÃO SISTEMAS DE RECOMENDAÇÃO?
Sistemas de Recomendação são definidos como sistemas que procuram auxiliar indivíduos a identificarem conteúdos de interesse em um conjunto de opções que poderiam caracterizar uma sobrecarga. São sistemas que procuram facilitar a penosa atividade de busca por conteúdo interessante.
Recomendação de produtos e serviços Recomendação de usuários é conhecida
como combinação social
EVOLUÇÃO: LINHA DO TEMPO
Sistemas de Filtragem Cooperativa - Tapestry [Goldberg et al. 1992]
1992
Sistemas de Recomendação - CACM [Resnick & Varian 1997]
1997
Eixos de Pesquisa [Terveen & Hill 2001]
2001
Sistemas deAuxílio à recomendações
Sistemas de Geração de recomendações
Sistemas de Reputação [Resnick et al. 2000]
Sist. de Combinação Social [Terveen & McDonald 2005]
1994
GroupLens [Resnick et al. 1994]
1995
Ringo/Firefly [Shardanand & Maes 1995]UsenetNews [Maltz & EHRLICH, 1995]
20002005
Taxonomia para Aplicações de Recomendação
Entradas da Comunidade
Atributo dos Itens
Itens Externos
Popularidade
Histórico de Recomendações Aceitas
Avaliações
Comentários textuais
Método de Recomendação
Recuperação da Informações brutas
Seleção Manual
Resumo Estatístico
Baseado em Atributo
Correlação Item a Item
Correlação Usuário a Usuário
Entradas do Usuário
Navegação implícita
Navegação Explícita
Palavra-chave
Atributos
Avaliações (Ratings)
Histórico do Comportamento do Usuário
Recomendação
Sistema
Entregas
Push
Pull
Passivo
Nível de Personalização
Não personalizada
Efêmera
Persistente
Feedback/respostas Feedback/respostas
Saídas
Sugestões
Previsões
Avaliações
Revisões
Schafer, Konstan e Riedl, 2000
COLETA DE INFORMAÇÕESIdentificação
Entrada dos usuários
Entrada da comunidade
COLETA DE INFORMAÇÕES:IDENTIFICAÇÃO DO USUÁRIO
No servidor: Login
No cliente: Cookie
COLETA DE INFORMAÇÕES:EXPLÍCITA
Na modalidade de coleta explícita o usuário indica espontaneamente o que lhe é importante
Dados fornecidos pela pessoa, crítica ou rating; keywords usadas, atributos escolhidos.
COLETA DE INFORMAÇÕES:EXPLÍCITA
Desvantagem
Exige paciência e atenção dos usuários
COLETA DE INFORMAÇÕESIMPLÍCITA
Interesses Implícitos
Cada interação com o usuário contribui para um sistema de coleta de interesses implícitos
Ações que indicam interesse:
Colocar uma página nos Favoritos Visualizar página por longo tempo
COLETA DE INFORMAÇÕESIMPLÍCITA
Análise de log Acessos por mês, dia, hora Páginas visualizadas Páginas mais populares Sites que remeteram ao site analisado País do visitante
COLETA DE INFORMAÇÕESIMPLÍCITA
Desvantagem
Posso comprar um presente para outra pessoa Pode acessar de vários lugares Família utiliza o mesmo acesso
ESTRATÉGIAS DE RECOMENDAÇÃO
• Top-N ou Lista de recomendações• Comentários em texto • Avaliação de usuários• Associação de usuários• Associação por Conteúdo• Cross-sell• E-mail
GRAU DE PERSONALIZAÇÃO Não personalizada
Quando uma aplicação oferece as mesmas recomendações para todos os usuários.
EfêmeraSistemas que utilizam as informações correntes de um usuário para personalizar a recomendação. Itens no carrinho de compras e itens “vistos” são utilizados para personalizar.
PersistenteUtilizam informações armazenadas sobre as preferências dos usuários.
APRESENTAÇÃO DA RECOMENDAÇÃORefere-se à forma como a recomendação é apresentada
Pushrecomenda itens sem que o usuário tenha que estar interagindo com o sistema ex.: e-mail de ofertas especiais
Pullusuário solicita pela recomendação. Permite que os usuários controlem quando suas recomendações serão exibidas.ex.: ”recomendações para você”
Passivarecomendações aparecem no contexto do site.ex.: itens mais vendidos
ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES
Esta estratégia consiste em manter listas organizadas por tipos de interesses
Itens mais vendidos, Idéias para presentes, …
Não personalizada Passiva
ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES
Itens mais vendidos
ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES
Lista de Presentes
ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES
VantagemA principal vantagem neste tipo de estratégia está na facilidade de implementação.
DesvantagemAs recomendações não são dirigidas a cada usuário independentemente, mas sim a todos os usuários sem distinção.
ESTRATÉGIAS DE RECOMENDAÇÃO: COMENTÁRIOS EM TEXTO
Comentários de outros usuários. Ajuda a criar uma imagem forte do produto junto ao usuário.
ESTRATÉGIAS DE RECOMENDAÇÃO:AVALIAÇÃO DE USUÁRIOS
Uma das estratégias mais utilizadas em sistemas de recomendação são as avaliações dos usuários que asseguram outros consumidores da qualidade e utilidade dos produtos.
ESTRATÉGIAS DE RECOMENDAÇÃO:ASSOCIAÇÃO DE USUÁRIOS
Recomenda itens baseado na correlação entre um usuário e outros que se interessam pelo mesmo item
ESTRATÉGIAS DE RECOMENDAÇÃO:ASSOCIAÇÃO POR CONTEÚDO (PERSISTENTE)
ESTRATÉGIAS DE RECOMENDAÇÃO:ASSOCIAÇÃO POR CONTEÚDO (EFÊMERA)
Cross-Sell Efêmera A partir de um produto que o usuário esteja
consultando, sugere-se outros produtos do mesmo autor, compositor, etc.
Mala direta personalizada baseada nos itens anteriormente comprados ou áreas do site mais visitadas.
TÉCNICAS DE RECOMENDAÇÃOFiltragem Baseada em Conteúdo
Filtragem Colaborativa
Filtragem Híbrida
Redes Sociais
TÉCNICAS PARA GERAR RECOMENDAÇÕES
Filtragem Híbrida
FBC FCA Redes Sociais
Mineração de Dados/Textos
Regras de Associação
Classificação
Agrupamento(cluster)
Redes Bayesianas
Similaridade de Vetores
FolksonomyOntologias
Correlação (Pearson) RC Combinação
FILTRAGEM BASEADA EM CONTEÚDO Analisa o conteúdo dos itens e faz recomendações com
base em: Informações contidas no perfil do usuário. Interesses identificados através de ações do usuário
(seleção, aquisição de itens, avaliações)
Implementação Correlação item a item Recomendação baseada em atributo
Limitações Dificuldade para analisar conteúdos de dados pouco
estruturados (vídeo e som) Dificuldade para diferenciar sinônimos
FILTRAGEM BASEADA EM CONTEÚDOERRO FATAL
FILTRAGEM COLABORATIVA Não exige a compreensão ou reconhecimento
do conteúdo dos itens.
Complementa as limitações da FBC: Itens são filtrados com base nas avaliações feitas pelos usuários.
Cada usuário se beneficia das pontuações (experiências) apresentadas por outros usuários.
Pontuação permite identificar que itens são considerados de interesse pelo grupo e evitar itens de pouco interesse.
FILTRAGEM COLABORATIVA
Baseado na heurística de que pessoas que concordaram no passado tendem a concordar no futuro, o sistema correlaciona avaliações de itens anteriores para determinar pesos que serão associados às pessoas na hora em que forem feitas as predições.
Sistema de Sistema de RecomendaçãoRecomendação
FILTRAGEM COLABORATIVA
Recomendação tradicional
Avalie o artefato item 16
Usuário item 13 item 15 item 16 item 22 item 38 item 48u10 3 4 5 4u11 4 3 3u12 5 5 u26 3 4 u23 4 3 3
FILTRAGEM COLABORATIVA
Recomendação tradicional
ua
m
iuiuaia
ua
rrrrP
1
,,
,
Correlação entre usuáriosUsuário Alvo Pearson
u10 u11 0,38u10 u12 -u10 u23 -0,46u10 u26 0,86u11 u12 0,45u11 u23 -0,11u11 u26 0,80u12 u23 -0,76u12 u26 -u23 u26 0,56
Coeficiente de Pearson R
FILTRAGEM COLABORATIVA
Recomendação tradicional
Usuário item 13 item 15 item 16 item 22 item 38 item 48u10 3 4 5 4,12 4u11 2,57 3,53 3,3 4 3 3u12 5 5 u26 3 4 4,51 4 4,23u23 4 5 3 2
n
uua
n
uuauiu
aia
P
PrrrS
1,
1,,
,
FILTRAGEM COLABORATIVA
Limitações:
Novo item Sem avaliações não pode ser recomendado
Novo usuário Muitas avaliações para receber recomendações
Super-especialização Item muito valorizado devido a muitas
avaliações
REDES SOCIAISREDE DE CONFIANÇA Segue a idéia de que quando pedimos a um
amigo confiável uma opinião sobre algo, estamos tendo a opinião confiável para nos ajudar a formar nosso pensamento preliminar sobre essa coisa.
Recomendações feitas com base nas relações entre os usuários da comunidade
REDE DE CONFIANÇAPROPOSTA PARA LIMITAÇÕES
Recomendação tradicional
Rede de confiança
Confio em U5
Usuário ConfiaEm Área Nível
U1 U5 Filme 3
U1 U6 SQL 1
U2 U4 Redes 0
U2 U7 Filme 3
U6 U9 Filme 3
U7 U3 Filme 2
REDE DE CONFIANÇA
Recomendação tradicional
Rede de confiança
Usuário ConfiaEm Confiança
U1 U5 3
U1 U6 1
U2 U4 0
U2 U7 3
U6 U9 3
U7 U3 2
3 2
2 3
? 2
U1
U5
U6
U9
REDE DE CONFIANÇAACTIVUFRJ Subjetiva Contextualizada Assimétrica
RECOMENDAÇÕESACTIVUFRJ
Recomendações pela união da Filtragem Colaborativa com a Rede de Confiança
Persistente com ajustes Push
SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS
SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS Musicovery: http://www.musicovery.com/
SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS
LivePlasma: www.liveplasma.com – recomendações através da similaridade entre os filmes favoritos dos usuários da comunidade
SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS
Last.fm – recomendação de músicas pela combinação social dos membros da comunidade (tags, amigos, mais ouvidos, artistas parecidos)
SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS
Google maps http://maps.google.com
SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS
Outros sistemas sociais de recomendação
VÍDEO
http://www.youtube.com/watch?v=xj8ZadKgdC0
TÉCNICAS PARA IMPLEMENTAR A FCA Correlação de pearson Redes Bayesianas Modelos de Agrupamento (clustering): K-
means, C-means (lógica fuzzy) Similaridades de Vetores
BREESE, J. S., HECKERMAN, D., KADIE, C. Empirical Analysis of Predictive Algorithms for Collaborative Filtering. Technical Report, 1998.
Referência sugerida
TÉCNICAS PARA IMPLEMENTAR A FCA Novas técnicas para implementar a FCA
incluem a aplicação de medidas de reputação e confiança como peso para os vizinhos mais próximos.
Objetivo: gerar predições de recomendação mais confiáveis.
O'DONOVAN, J.; SMYTH, B. Trust in Recommender Systems. Proceedings of the 10th International Conference on Intelligent User Interfaces - IUI’05. p. 167-174, January 9–12, 2005. San Diego, California, USA.
Referência sugerida