Turbinando sua aplicação com Lucene, Solr e Hibernate Search

Turbinando sua aplicação com Lucene

Solr & Hibernate Search

Paulo César M. Jeveaux - @jeveaux

paulo.jeveaux@giran.com.br

sábado, 19 de setembro de 2009

Jeveaux• CEO da Giran

• Desenvolvedor Java há 8++ anos

• Fundador do ESJUG e Agile-ES

• Administrador do PortalJava.com

• Palestrante e evangelista Java

• Entusiasta Ruby, Rails, Python e Agile

• Curioso e estudando Erlang

Giran Soluções e Ensino

• Consultoria e Treinamento especialidados

• Java

• Ruby on Rails

• Desenvolvimento ágil

• Gerenciamento de projetos com SCRUM

• Profissionais altamente qualificados

• Participação ativa na comunidade

• http://www.giran.com.br

• Java

• Ruby on Rails

• Java

• Ruby on Rails

Sobre o que vamos falar hoje...

estável

seguro

e de fácilmanutenção

estável

seguro

e de fácilmanutenção

•Pesquisas

•Lucene

•Solr

•Hibernate Search

o que um softwarede pesquisa faz?

o que é um software de pesquisas?

monta um índice

responde a pesquisas baseando-se neste índice

monta um índice

responde a pesquisas baseando-se neste índice

Search Software?Eu faço LIKE

direto no banco de dados

OFERECE

relevância

OFERECE

relevância

escalabilidade

OFERECE

relevância

escalabilidade

OFERECE

integração com diversas fontesde dados

baseado em palavrasnão em substrings

má OU macho

carro OU automóvel

auto != automóvel

má OU macho

carro OU automóvel

auto != automóvel

talvez aqui no Ceará não ;-)

má OU macho

carro OU automóvel

auto != automóvel

talvez aqui no Ceará não ;-)

e agora!?como fazer no banco de dados?

ApacheLucene

SearchSoftware

Open Source

SearchSoftware

Lucene Java

Lucene.Net

Droids

Mahout

NutchOpen RelevanceProject

PyLucene

SolrTika

desde 2000

Lucene Java

indexação e pesquisa

nenhuma dependência, nenhuma!

java 1.4++

qualquer coisa é um documento

Lucene Java

nenhuma dependência, nenhuma!

java 1.4++

qualquer coisa é um documentofieldsfieldsfields{ }

Lucene Featuresindexação e pesquisa bastante rápidas

ordenação por relevância ou por campos (fields)

query syntax simples e poderosa

comunidade grande e ativa

Apache License 2.0

Lucene Query Syntaxcejug

“cejug”

café AND tapioca

café OR tapioca

café NOT tapioca

jug:cejug

“cejug”

café AND tapioca

café OR tapioca

café NOT tapioca

jug:cejug

+café +tapioca

“cejug”

café AND tapioca

café OR tapioca

café NOT tapioca

jug:cejug

+café +tapioca

+café -tapioca

Lucene Features++

normalização de textos (Analyzer)

normalização linguística

lowercase

stopwords

tokenizer

Lucene Features++

lowercase

stopwords

tokenizer

guri => menino

Lucene Features++

lowercase

stopwords

tokenizer

a, e, ou, para, de, etc ...

guri => menino

Lucene Features++

lowercase

stopwords

tokenizer

ce-jug: java => ce, jug, java, cejug

guri => menino

Lucene Features++

lowercase

stopwords

tokenizer

ce-jug: java => ce, jug, java, cejug

guri => menino

má => macho

Lucene Features++

Fuzzy search

distância de levenshtein

“ceará java ~ 0.75”

Proximidade

“ceará java” ~ 5

aprendendoo básico

1. INDEXAR

aprendendoo básico

1. INDEXAR

aprendendoo básico

1. INDEXAR

2. PESQUISARsábado, 19 de setembro de 2009

1. crie um documento a. adicione os fields

2. adicione o documento ao index

3. o indexador irá analisar o documento e atualizar o index

1. crie um documento a. adicione os fields

2. adicione o documento ao index

3. o indexador irá analisar o documento e atualizar o index

index search

1. crie uma query

2. abra um index

3. pesquise no index

4. itere no resultado e exiba-o

hands on!

Search Serversábado, 19 de setembro de 2009

baseado no lucene

Search Serversábado, 19 de setembro de 2009

Solrsábado, 19 de setembro de 2009

caching

JSONXML

full-textsearch

replicação

administraçãoamigável

altaperformance

servidor web de indexação e pesquisa

possui o lucene em seu core

java 1.5++

Solr Featuresinterface web de administração

suporta caching e replication

otimizações para alta performance e muito tráfego

XML/HTTP e JSON API

faceted search

hit highlightingsábado, 19 de setembro de 2009

hands on!

Hibernate Search

o melhor dedois mundos?

talvez!

o melhor dedois mundos?

Hibernate Search Features

hibernate core + JPA

indexação baseada em eventos (transparente)

integração com seu modelo

baseado em anotações

hibernate core + JPA

indexação baseada em eventos (transparente)

lucene

integração com seu modelo

+baseado em anotações

elimina a conversão para documentos

depende do hibernate core e annotations

amigável com soluções JBoss*

mantém seu índice atualizado

também possui integração com Solr

hands on!

Conclusões

lucene

rápido e poderoso

simples e leve

sem dependências

não possui webcrawlers ou parsers

Conclusões

servidor de indexação e pesquisa

Restful API (HTTP e XML)

cliente não precisa ser Java

administração fácil via web

construído sobre o lucene

Conclusões

hibernate search

integração com seu modelo de dados

sem manipulação direta de documentos

sincronização transparente do index

dependência do hibernate

http://www.esjug.org

Referências• http://search.hibernate.org

• http://lucene.apache.org

• http://lucene.apache.org/solr

• http://info.abril.com.br/noticias/ti/fbi-e-cia-vao-abracar-o-codigo-aberto-22062009-35.shl

• http://www.getopt.org/luke

• http://vitorpamplona.com/wiki/Introdução%20ao%20Apache%20Lucene

• http://www.lucenetutorial.com

• http://wikipedia.org

Exemplos & Códigos

• Lucene

• http://github.com/jeveaux/aprendendo-lucene

• Solr

• http://github.com/jeveaux/aprendendo-solr

• Hibernate Search

• http://github.com/jeveaux/aprendendo-hibernatesearch

dúvidas?sábado, 19 de setembro de 2009

http://www.cejug.org

Obrigado!

Turbinando sua aplicação com Lucene

Solr & Hibernate Search

paulo.jeveaux@giran.com.br

Paulo César M. Jeveaux - @jeveaux

Turbinando sua aplicação com Lucene, Solr e Hibernate Search

Technology

Transcript of Turbinando sua aplicação com Lucene, Solr e Hibernate Search

Solr - PHP conference 2013

COORDENAÇÃO DE PESQUISA E EXTENSÃOunifacex.com.br/wp-content/uploads/2016/10/ext_15.2.pdf · TÉCNICAS DE MEMORIZAÇÃO: TURBINANDO O CÉREBRO 001463 ID Descrição TÉCNICAS DE

Turbinando sua Carreira: mestrado, devo encarar essa?

TDC2010 - Turbinando sua Aplicação com CDI

Turbinando o blog...

TURBINANDO O GMAIL

Gerenciamento de Projetos Avançado -EasyExpert-BOK-GP-04 · melhorar o seu desempenho como Gerente de Projetos. Conteúdo Programático ... • Módulo 8: Turbinando o desempenho

SBMA, 08 de Julho de 2004.sbmaonline.org.br/anais/v/palestras/pdfs/palest06.pdf · “Turbinando o Melhoramento” ... 2- Teste de desempenho em granjas comerciais ... O conhecimento

Turbinando o PMO: Corrente Crítica com Múltiplos Projetos · otimização do sistema maior no qual o grupo opera. A obrigação de qualquer componente é contribuir com o seu melhor

O Evento - Network Eventos · O seminário foi um evento fechado, ... “Turbinando Rastreamento de Objetos através de uma Arquitetura Unificada de ... Clique aqui para baixar todas

tel./fax: +34 91 675 33 06 info@autentia.com - www ...€¦ · Motor de búsqueda empresarial (Solr) ETL (Talend) ... y muchos de estos comandos van a fallar si los intentamos hacer

Apresentação - Solr, o cara!

Turbinando Drupal com Redis

Configuraçãoção Do Solr

Turbinando o Excel com o R - im.ufrj.brim.ufrj.br/.../wp-content/uploads/2015/02/Turbinando_Excel_com_R.pdf · Turbinando o Excel com o R José Francisco Moreira Pessanha professorjfmp@hotmail.com

Lucene nas alturas: 400 buscas por segundo

Turbinando sua rede_

Turbinando o Excel com o R - UFRJ€¦ · Excel e utilizá-lo como um local onde o R pode ler os dados de entrada e gravar os resultados das análises estatísticas. (O R controla

Alta perfomance com Lucene

Extração de informações de texto e cálculo de similaridade usando Apache Lucene