SISTEMAS DE BUSCASISTEMAS DE RECOMENDAÇÃOLeonardo Rosa Zanetteleonardoz@gmail.com

Julho de 2008

RESUMO

Introdução Sistemas de Busca Sistemas de Recomendação Coleta de Informações Estratégias de Recomendação Técnicas de Recomendação Conclusões e Tendências

INTRODUÇÃO Com a quantidade e

disponibilidade de informações no mundo de hoje, as pessoas se deparam com uma diversidade muito grande de opções.

Impossível encontrar informações relevantes em tempo hábil

Como encontrar o que interessa? Esforço próprio Sorte Recomendação de amigos

INTRODUÇÃO: SOBRECARGA DE INFORMAÇÕES

Soluções: Sistemas de busca Filtragem da informação Sistemas de recomendação

SISTEMAS DE BUSCANECESSIDADE DA INFORMAÇÃO

Procura por item conhecido Procura por um item existente Procura exploratória Procura ampla (pesquisa)

SISTEMAS DE BUSCAFUNCIONAMENTO

http://semanticstudios.com/publications/semantics/search.html

SISTEMAS DE BUSCA PROBLEMAS A busca da informação não é feita em um único

passo, a não ser a busca por um item conhecido. O usuário busca uma informação, aprende como

resultado e refina sua busca. Normalmente é difícil ao usuário encontrar tudo que

necessita numa única vez porque ele não conhece o suficiente sobre o tópico para fazer a pergunta certa.

Encontrar uma “agulha no palheiro”

SISTEMAS DE BUSCA PROBLEMAS

SISTEMAS DE BUSCAFUTURO Clusty (www.clusty.com) - Ele analisa os primeiros links (entre 200 a

500) que resultaram de uma busca do usuário e mostra os principais temas, agrupados por pastas e subpastas

SISTEMAS DE BUSCAFUTURO O SearchMash (www.searchmash.com) é uma iniciativa do Google.

Numa pesquisa típica, uma barra lateral permite estendê-la a consultas relacionadas a imagens, a blogs, a vídeos e a wikipedia, num único clique.

SISTEMAS DE BUSCAFUTURO

http://www.msdewey.com/

SISTEMAS DE RECOMENDAÇÃO

O QUE SÃO SISTEMAS DE RECOMENDAÇÃO?

Sistemas de Recomendação são definidos como sistemas que procuram auxiliar indivíduos a identificarem conteúdos de interesse em um conjunto de opções que poderiam caracterizar uma sobrecarga. São sistemas que procuram facilitar a penosa atividade de busca por conteúdo interessante.

Recomendação de produtos e serviços Recomendação de usuários é conhecida

como combinação social

EVOLUÇÃO: LINHA DO TEMPO

Sistemas de Filtragem Cooperativa - Tapestry [Goldberg et al. 1992]

1992

Sistemas de Recomendação - CACM [Resnick & Varian 1997]

1997

Eixos de Pesquisa [Terveen & Hill 2001]

2001

Sistemas deAuxílio à recomendações

Sistemas de Geração de recomendações

Sistemas de Reputação [Resnick et al. 2000]

Sist. de Combinação Social [Terveen & McDonald 2005]

1994

GroupLens [Resnick et al. 1994]

1995

Ringo/Firefly [Shardanand & Maes 1995]UsenetNews [Maltz & EHRLICH, 1995]

20002005

Taxonomia para Aplicações de Recomendação

Entradas da Comunidade

Atributo dos Itens

Itens Externos

Popularidade

Histórico de Recomendações Aceitas

Avaliações

Comentários textuais

Método de Recomendação

Recuperação da Informações brutas

Seleção Manual

Resumo Estatístico

Baseado em Atributo

Correlação Item a Item

Correlação Usuário a Usuário

Entradas do Usuário

Navegação implícita

Navegação Explícita

Palavra-chave

Atributos

Avaliações (Ratings)

Histórico do Comportamento do Usuário

Recomendação

Sistema

Entregas

Push

Pull

Passivo

Nível de Personalização

Não personalizada

Efêmera

Persistente

Feedback/respostas Feedback/respostas

Saídas

Sugestões

Previsões

Avaliações

Revisões

Schafer, Konstan e Riedl, 2000

COLETA DE INFORMAÇÕESIdentificação

Entrada dos usuários

Entrada da comunidade

COLETA DE INFORMAÇÕES:IDENTIFICAÇÃO DO USUÁRIO

No servidor: Login

No cliente: Cookie

COLETA DE INFORMAÇÕES:EXPLÍCITA

Na modalidade de coleta explícita o usuário indica espontaneamente o que lhe é importante

Dados fornecidos pela pessoa, crítica ou rating; keywords usadas, atributos escolhidos.

COLETA DE INFORMAÇÕES:EXPLÍCITA

Desvantagem

Exige paciência e atenção dos usuários

COLETA DE INFORMAÇÕESIMPLÍCITA

Interesses Implícitos

Cada interação com o usuário contribui para um sistema de coleta de interesses implícitos

Ações que indicam interesse:

Colocar uma página nos Favoritos Visualizar página por longo tempo

COLETA DE INFORMAÇÕESIMPLÍCITA

Análise de log Acessos por mês, dia, hora Páginas visualizadas Páginas mais populares Sites que remeteram ao site analisado País do visitante

COLETA DE INFORMAÇÕESIMPLÍCITA

Desvantagem

Posso comprar um presente para outra pessoa Pode acessar de vários lugares Família utiliza o mesmo acesso

ESTRATÉGIAS DE RECOMENDAÇÃO

• Top-N ou Lista de recomendações• Comentários em texto • Avaliação de usuários• Associação de usuários• Associação por Conteúdo• Cross-sell• E-mail

GRAU DE PERSONALIZAÇÃO Não personalizada

Quando uma aplicação oferece as mesmas recomendações para todos os usuários.

EfêmeraSistemas que utilizam as informações correntes de um usuário para personalizar a recomendação. Itens no carrinho de compras e itens “vistos” são utilizados para personalizar.

PersistenteUtilizam informações armazenadas sobre as preferências dos usuários.

APRESENTAÇÃO DA RECOMENDAÇÃORefere-se à forma como a recomendação é apresentada

Pushrecomenda itens sem que o usuário tenha que estar interagindo com o sistema ex.: e-mail de ofertas especiais

Pullusuário solicita pela recomendação. Permite que os usuários controlem quando suas recomendações serão exibidas.ex.: ”recomendações para você”

Passivarecomendações aparecem no contexto do site.ex.: itens mais vendidos

ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES

Esta estratégia consiste em manter listas organizadas por tipos de interesses

Itens mais vendidos, Idéias para presentes, …

Não personalizada Passiva

ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES

Itens mais vendidos

ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES

Lista de Presentes

ESTRATÉGIAS DE RECOMENDAÇÃO:TOP-N OU LISTA DE RECOMENDAÇÕES

VantagemA principal vantagem neste tipo de estratégia está na facilidade de implementação.

DesvantagemAs recomendações não são dirigidas a cada usuário independentemente, mas sim a todos os usuários sem distinção.

ESTRATÉGIAS DE RECOMENDAÇÃO: COMENTÁRIOS EM TEXTO

Comentários de outros usuários. Ajuda a criar uma imagem forte do produto junto ao usuário.

ESTRATÉGIAS DE RECOMENDAÇÃO:AVALIAÇÃO DE USUÁRIOS

Uma das estratégias mais utilizadas em sistemas de recomendação são as avaliações dos usuários que asseguram outros consumidores da qualidade e utilidade dos produtos.

ESTRATÉGIAS DE RECOMENDAÇÃO:ASSOCIAÇÃO DE USUÁRIOS

Recomenda itens baseado na correlação entre um usuário e outros que se interessam pelo mesmo item

ESTRATÉGIAS DE RECOMENDAÇÃO:ASSOCIAÇÃO POR CONTEÚDO (PERSISTENTE)

ESTRATÉGIAS DE RECOMENDAÇÃO:ASSOCIAÇÃO POR CONTEÚDO (EFÊMERA)

Cross-Sell Efêmera A partir de um produto que o usuário esteja

consultando, sugere-se outros produtos do mesmo autor, compositor, etc.

E-MAIL

Mala direta personalizada baseada nos itens anteriormente comprados ou áreas do site mais visitadas.

TÉCNICAS DE RECOMENDAÇÃOFiltragem Baseada em Conteúdo

Filtragem Colaborativa

Filtragem Híbrida

Redes Sociais

TÉCNICAS PARA GERAR RECOMENDAÇÕES

Filtragem Híbrida

FBC FCA Redes Sociais

Mineração de Dados/Textos

Regras de Associação

Classificação

Agrupamento(cluster)

Redes Bayesianas

Similaridade de Vetores

FolksonomyOntologias

Correlação (Pearson) RC Combinação

FILTRAGEM BASEADA EM CONTEÚDO Analisa o conteúdo dos itens e faz recomendações com

base em: Informações contidas no perfil do usuário. Interesses identificados através de ações do usuário

(seleção, aquisição de itens, avaliações)

Implementação Correlação item a item Recomendação baseada em atributo

Limitações Dificuldade para analisar conteúdos de dados pouco

estruturados (vídeo e som) Dificuldade para diferenciar sinônimos

FILTRAGEM BASEADA EM CONTEÚDOERRO FATAL

FILTRAGEM COLABORATIVA Não exige a compreensão ou reconhecimento

do conteúdo dos itens.

Complementa as limitações da FBC: Itens são filtrados com base nas avaliações feitas pelos usuários.

Cada usuário se beneficia das pontuações (experiências) apresentadas por outros usuários.

Pontuação permite identificar que itens são considerados de interesse pelo grupo e evitar itens de pouco interesse.

FILTRAGEM COLABORATIVA

Baseado na heurística de que pessoas que concordaram no passado tendem a concordar no futuro, o sistema correlaciona avaliações de itens anteriores para determinar pesos que serão associados às pessoas na hora em que forem feitas as predições.

Sistema de Sistema de RecomendaçãoRecomendação

FILTRAGEM COLABORATIVA

Recomendação tradicional

Avalie o artefato item 16

Usuário item 13 item 15 item 16 item 22 item 38 item 48u10 3 4 5 4u11 4 3 3u12 5 5 u26 3 4 u23 4 3 3

FILTRAGEM COLABORATIVA

Recomendação tradicional

ua

m

iuiuaia

ua

rrrrP

1

,,

,

Correlação entre usuáriosUsuário Alvo Pearson

u10 u11 0,38u10 u12 -u10 u23 -0,46u10 u26 0,86u11 u12 0,45u11 u23 -0,11u11 u26 0,80u12 u23 -0,76u12 u26 -u23 u26 0,56

Coeficiente de Pearson R

FILTRAGEM COLABORATIVA

Recomendação tradicional

Usuário item 13 item 15 item 16 item 22 item 38 item 48u10 3 4 5 4,12 4u11 2,57 3,53 3,3 4 3 3u12 5 5 u26 3 4 4,51 4 4,23u23 4 5 3 2

n

uua

n

uuauiu

aia

P

PrrrS

1,

1,,

,

FILTRAGEM COLABORATIVA

Limitações:

Novo item Sem avaliações não pode ser recomendado

Novo usuário Muitas avaliações para receber recomendações

Super-especialização Item muito valorizado devido a muitas

avaliações

REDES SOCIAISREDE DE CONFIANÇA Segue a idéia de que quando pedimos a um

amigo confiável uma opinião sobre algo, estamos tendo a opinião confiável para nos ajudar a formar nosso pensamento preliminar sobre essa coisa.

Recomendações feitas com base nas relações entre os usuários da comunidade

REDE DE CONFIANÇAPROPOSTA PARA LIMITAÇÕES

Recomendação tradicional

Rede de confiança

Confio em U5

Usuário ConfiaEm Área Nível

U1 U5 Filme 3

U1 U6 SQL 1

U2 U4 Redes 0

U2 U7 Filme 3

U6 U9 Filme 3

U7 U3 Filme 2

REDE DE CONFIANÇA

Recomendação tradicional

Rede de confiança

Usuário ConfiaEm Confiança

U1 U5 3

U1 U6 1

U2 U4 0

U2 U7 3

U6 U9 3

U7 U3 2

3 2

2 3

? 2

U1

U5

U6

U9

REDE DE CONFIANÇAACTIVUFRJ Subjetiva Contextualizada Assimétrica

RECOMENDAÇÕESACTIVUFRJ

Recomendações pela união da Filtragem Colaborativa com a Rede de Confiança

Persistente com ajustes Push

SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS

SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS Musicovery: http://www.musicovery.com/

SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS

LivePlasma: www.liveplasma.com – recomendações através da similaridade entre os filmes favoritos dos usuários da comunidade

SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS

Last.fm – recomendação de músicas pela combinação social dos membros da comunidade (tags, amigos, mais ouvidos, artistas parecidos)

SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS

Google maps http://maps.google.com

SISTEMAS DE RECOMENDAÇÃOTENDÊNCIAS

Outros sistemas sociais de recomendação

VÍDEO

http://www.youtube.com/watch?v=xj8ZadKgdC0

TÉCNICAS PARA IMPLEMENTAR A FCA Correlação de pearson Redes Bayesianas Modelos de Agrupamento (clustering): K-

means, C-means (lógica fuzzy) Similaridades de Vetores

BREESE, J. S., HECKERMAN, D., KADIE, C. Empirical Analysis of Predictive Algorithms for Collaborative Filtering. Technical Report, 1998.

Referência sugerida

TÉCNICAS PARA IMPLEMENTAR A FCA Novas técnicas para implementar a FCA

incluem a aplicação de medidas de reputação e confiança como peso para os vizinhos mais próximos.

Objetivo: gerar predições de recomendação mais confiáveis.

O'DONOVAN, J.; SMYTH, B. Trust in Recommender Systems. Proceedings of the 10th International Conference on Intelligent User Interfaces - IUI’05. p. 167-174, January 9–12, 2005. San Diego, California, USA.

Referência sugerida