Análise dos Modelos de Recuperação de Informação

Análise dos Modelos de Recuperação de Informação

Diogo Benicá Pereira

Faculdade Campo Limpo Paulista 01Dez/2012

Trabalho para Conclusão de Curso | Orientador: André Marcos da SilvaFaculdade Campo Limpo Paulista


qual o problema?Muita informação!Não é fácil encontrar um dado relevante no meio de tanta informação.


qual a solução?Sistemas de Recuperaçãode InformaçãoPara a tarefa de buscar informação relevante dentro de um conjunto de documentos.

Documentos Necessidade

IndexaçãoEspecificação

da Consulta

ÍndicesRepresentação

dos Documentos Consultas

Recuperação

Lista de Documentos

Perda de Informação

documentos

o que é IR?


Informa;on Retrieval

Encontrar material de natureza não-‐estruturada que saQsfaz uma informação requerida a parQr de

grandes coleções.“ “- Mainning


o que é um documento?Um documento pode ser qualquer unidadeUm texto inteiro, um capítulo, um parágrago, etc.

A escolha depende do resultado desejado

Lorem�� ipsum�� dolor�� sit�� amet,�� consectetur�� adipisicing�� elit,�� sed�� do�� eiusmod�� tempor.

incididunt�� ut�� labore�� et�� dolore�� magna�� aliqua.�� Ut�� enim�� ad�� minim�� veniam,�� quis�� nostrud�� exercitation�� ullamco.�� Laboris�� nisi�� ut�� aliquip�� ex�� ea�� commodo�� consequat.�� Duis�� aute�� irure�� dolor�� in�� reprehenderit�� in�� voluptate�� velit�� esse�� cillum�� dolore�� eu�� fugiat�� nulla�� pariatur.

Excepteur�� sint�� occaecat�� cupidatat








como funciona?Modelos de Recuperação

Modelos quan;ta;vos Modelos dinâmicos

BooleanoVetorialProbabilísQcoBooleano estendidoFuzzy

Sistemas especialistasRedes neuraisAlgoritmos genéQcos

Booleano


modelo booleanoÁlgebra booleanaSistema para manipular regras e símbolos.

Lógica aristotélicaAQngir conhecimento sem contradição.

Verdadeiro ou Falso


modelo booleanoExpressões booleanas

termo1 AND (termo2 OR termo3)ex. “Recuperação” AND (“Informação” OR “Texto”)

termo1 n unidades termo2ex. “Recuperação” 5 unidades “Informação”


como funcionaModelos de Recuperação




Vetorial


modelo vetorialResultados parciaisUso de pesos nos termos para determinar quanto cada documento é semelhante à expressão de busca.

Tudo são vetoresDocumentos e expressões de busca são representados como vetores.

Peso termo1 Peso termo2 Peso termo3 Peso termo4Documento





Sistemas especialistasRedes neuraisAlgoritmos genéQcosProbabilísQco


modelo probabilistícoTeoria da probabilidadeExperimentos aleatórios em condições iguais com resultados diferentes.

Probabilidade de um evento

EventoResultados possíveis

16






Booleano estendido


modelo booleano estendidoUnião do modelo booleano e do vetorialJunta a potencialidade do booleano com a precisão do vetorial.

Operadores com pesosOs operadores (AND e OR) também possuem pesos.






Fuzzy

Faculdade Campo Limpo Paulista 16Dev/2012

modelo fuzzyBaseado na lógica fuzzy

Opera com incerteza e verdade parcialUm elemento tem um grau de perQnência em um conjunto.

Elemento

75%Cidade 1

25%Cidade 2

cidade 1 cidade 2






Sistemas especialistas


sistemas especialistasEmula a especialização humana em um domínioEntrada de conhecimento a parQr de especialistas.

Regras, inferência e feedbackAtravés de regras <SE -‐> ENTÃO> faz inferência e adquire mais conhecimento através do feedback do usuário.





Sistemas especialistasRedes neuraisAlgoritmos genéQcosRedes neurais


redes neuraisSistema modelando os circuitos cerebraisProcura obter um comportamento inteligente.

Vários neurônios formam uma rede neuralCada neurônio tem várias entradas e uma função que transforma em uma saída.

Capacidade de aprender com exemplosMelhora gradual de desempenho através de inferências.


algoritmos genéticosBaseado na teoria evolucionista de Darwin

Seleção naturalOs algoritmos se “reproduzem” e se adaptam para que cada geração seja melhor em resolver o problema.


na práticaAnálise dos modelosCriação de protóQpos dos modelos booleano, vetorial e booleano estendido.

ComparaçãoAnálise do tempo de execução, uso de memória e qualidade de resultado.

AmbientePHP 5.3 (executado no terminal).


na prática (documento)DocumentosCada modelo será testado com 9 diferentes documentos de texto.Os documentos têm aproximadamente 150, 900 e 1800 palavras.

Expressão de buscaPara cada grupo de documentos será aplicada uma expressão de busca com 3 e depois 6 termos. Ex: termo1 AND termo2 OR termo3

termo1 AND (termo2 OR termo3) AND termo4 OR (termo5 AND termo6)


resultados (Modelo booleano)

0 kb

250 kb

500 kb

750 kb

1000 kb

3 termos 6 termos

947 kb947 kb

681 kb681 kb

458 kb458 kb

150 palavras 900 palavras 1800 palavras

Uso de Memória

0 s

0,00005 s

0,00010 s

0,00014 s

0,00019 s

3 termos 6 termos

0,00019

0,000160,00015

0,000120,00014

0,00009


Tempo de Execução


resultados (Modelo vetorial)

0 kb

250 kb

500 kb

750 kb

1000 kb

3 termos 6 termos

967 kb967 kb

697 kb697 kb

465 kb465 kb


Uso de Memória

0 s

0,00500 s

0,01000 s

0,01500 s

0,02000 s

3 termos 6 termos

0,017750,01753

0,009030,00890

0,002220,00221


Tempo de Execução


resultados (Modelo booleano estendido)

0 kb

250 kb

500 kb

750 kb

1000 kb

3 termos 6 termos

967 kb967 kb

697 kb697 kb

465 kb465 kb


Uso de Memória

0 s

0,00750 s

0,01500 s

0,02250 s

0,03000 s

3 termos 6 termos

0,026810,02676

0,015130,01511

0,003320,00328


Tempo de Execução


conclusõesModelo booleano é muito rápido!Seguido do modelo vetorial e depois o modelo booleano estendido.

Modelo booleano estendido tem melhores resultados

Crescimento linear de memória e tempoTodos os modelos apresentaram um crescimento linear em relação ao tamanho dos documento.

(experimento)


conclusõesModelos quan;ta;vos estão consolidadosPresentes na web e na maioria dos sistemas de recuperação.

Modelos dinâmicos ainda são complexos

Modelos quan;ta;vos não são tolerantes à falhasErros de gramáQca, semânQca e cultura não são levados em conta.

(geral)

Dircil implementação e de domínio específico.


fim


?

Análise dos Modelos de Recuperação de Informação

Technology

Transcript of Análise dos Modelos de Recuperação de Informação