1

Recuperao Multimodal de Imagens ComRealimentao de Relevncia Baseada em

Programao Gentica

Rodrigo Tripodi Calumbyrtripodi@gmail.com

Orientador: Ricardo da Silva Torresrtorres@ic.unicamp.br

Defesa de MestradoInstituto de Computao - Unicamp

mailto:rtripodi@gmail.commailto:rtorres@ic.unicamp.br

2

Roteiro Introduo Conceitos e Trabalhos Correlatos Arcabouo RFCore Arcabouo MMRF-GP Recuperao Multimodal de Imagens Concluses e Trabalhos Futuros

3

Introduo Grandes colees de imagens Mltiplas informaes Diversos contextos Necessidade de meios eficientes de

recuperao Adaptao a diferentes usurios

4

Introduo

Recuperao de Imagens Baseada em texto

Metadados e palavras-chave Anotao

Baseada em contedo Propriedades visuais Descritores de imagens (, )

5

Objetivos

Estudo de tcnicas de RR e recuperao multimodal

Arcabouo para RR

RR multimodal baseada em programao gentica (PG)

Recuperao de imagens com RR baseada em PG para combinao de evidncias textuais e visuais

6

Conceitos e Trabalhos Correlatos

Recuperao textual de imagens

Recuperao de imagens por contedo

Recuperao multimodal

Programao gentica

Realimentao de relevncia

7

Recuperao Textual de Imagens Informaes associadas

Pginas web Legendas Palavras-chave Descries textuais

Modelo Vetorial Coleo com t termos d

i=(w

i1, w

i2, , w

it )

tf*idf

8

Recuperao de Imagens por Contedo

9

Recuperao de Imagens por ContedoDescritor simples

10

Recuperao de Imagens por ContedoDescritor composto

11

Recuperao Unimodal de Imagens Modalidade de consultas Dificuldades:

Abordagem Textual Custo e subjetividade da anotao Sinnimos e polissemia

Abordagem visual Imagem de exemplo Gap semntico

12

Recuperao Multimodal Busca:

Usufruir das vantagens e Atenuar as desvantagens das modalidades

Efeito Chorus Aplicaes

Dados multimdia: recuperao de vdeos

13

Programao Gentica Herana biolgica, evoluo e seleo natural Populao de indivduos

Solues potenciais Operadores

Reproduo Crossover Mutao

14

Programao Gentica

15

Realimentao de Relevncia Adaptao s necessidades do usurio

Ajuste de parmetros Conhecimento de baixo nvel

Interao com usurio Julgamento dos itens do resultado Reformulao automtica da consulta

16

Arcabouo RFCore - Motivao Aplicaes da RR

Recuperao Classificao Recomendao Agrupamento

Tcnicas Redes neurais SVM Programao gentica Inferncia bayesiana

17

Arcabouo RFCore - Motivao Experimentos

Curto espao de tempo Comparativos adequados

Diferentes tcnicas Algoritmos/Parmetros Medidas de avaliao

18

Arcabouo RFCore Encapsula o algoritmo de RR Objetivos

Reutilizao de cdigo Construo dinmica de experimentos Infra-estrutura de RR para manipulao de objetos

digitais Implementao de Referncia

Java API de reflexo

19

Arcabouo RFCoreRFEngine

20

Arcabouo RFCoreRFEngine

21

Arcabouo MMRF-GP Multimodal Relevance Feedback Based on

Genetic Programming Proposta por Ferreira et al Similaridade entre objetos digitais

Diferentes modalidades Diferentes medidas

22

MMRF-GP

PG

23

Conjunto Inicial de Objetos

24

Funes Similaridade Implementado usando JGAP Indivduos: funes de combinao Ex.:

25

Funes Similaridade

Avaliao dos indivduos Capacidade de melhor ordenar o conjunto de

treinamento dado o padro de consulta Conjunto de treinamento:

Imagens relevantes ltimos objetos exibidos Aleatoriamente escolhidos

26

Funes Similaridade

Dada uma funo i

Padro de consulta qj

Listas ordenadas rkj

i

Valor de qualidade para os L primeiros objetos

27

Ordenao da coleo Conjunto de indivduos Seleo: Votao

28

MMRF-GP ( Validao ) Recuperao Multimodal de Imagens Colees

UW 1109 imagens 20 categorias Anotao: palavras-chave 110 consultas aleatrias (1 imagem + palavras-chave)

ImageCLEFphoto 2008 (IC08) 20k imagens Anotao: descrio textual 60 consultas (3 images + palavras)

29

Simulao do usurio UW

Categorias IC08

Conjunto de relevantes esperadas para cada consulta

30

UW - Exemplos

31

IC08 - Exemplo

32

Descritores de Imagens

UW: BIC, GCH, JAC, HTD, LAS e QCCH IC08: ACC, BIC, GCH, JAC, CCOM, LAS, e

QCCH

33

Medidas de Similaridade Textual

BOW Tfidf-sum Cosseno Okapi Dice Jackard

34

Parmetros

Parmetros usados por Ferreira et al

35

Parmetros

Terminais: similaridades dos descritores e similariades textuais

Parmetros usados por Ferreira et al

36

Medidas de Avaliao

P20 Preciso x Revocao MAP GMAP Bpref

37

Tcnicas de Realimentao de Relevncia

Tipo Relimentao de Relevncia

Conjunto Inicial

mm-mm Recuperao Multimodal mm mm

mm-txt Recuperao Multimodal com incio textual

mm txt

mm-vis Recuperao Multimodal com incio visual

mm vis

txt Recuperao Textual txt txt

vis Recuperao Visual vis vis

txt mmmm-txt

38

MMRF-GP

mm

txtmm-txt

39

Resultados - UW

mm-mm: 9% melhor que vis mm-mm: 2,5% melhor de txt

40

Resultados - UW Preciso elevada Homogeneidade visual e textual P20 mdia 99%

41

Resultados - UW

42

Resultados - UW

Outliers visuais Anotao palavras-chave outliers textuais

43

Resultados IC08

mm-mm: ganho de 110% sobre a vis e 85% sobre a txt mm-vis: 6% ganho sobre a mm-txt

44

Resultados IC08

vis

39

45

Resultados IC08

Pequeno conjunto com caractersticas visuais altamente semelhantes

46

Resultados IC08

20k imagens Relevantes 60 0,3% Variedade visual da coleo textual

ImageCLEF 2006, 2007, 2008.

47

Resultados IC08

Apenas o campo descrio (ttulo, data, fornecedor, notas, etc.)

48

Resultados IC08

57%70%

54%

49

Resultados IC08

21%

8%

8%

50

Exemplos de Funes

51

Concluses Combinao de diferentes modalidades e

evidncias

Realimentao de Relevncia

Programao Gentica

52

Concluses Principais Contribuies

Arcabouos RFCore

Realimentao de relevncia genrica MMRF-GP

Recuperao de objetos digitais

Recuperao Multimodal de Imagens com RR e PG Submisso: A Genetic Programming Approach for

Coffee Crop Recognition (IGARSS 2010)

53

Concluses Experimentos

UW e IC08 Resultados superiores da multimodalidade Desempenho superior do MMRF-GP frente

ICphoto08

54

Trabalhos Futuros Arcabouos Recuperao de Imagens Programao Gentica

55

Trabalhos FuturosArcabouos

Outros tipos de objetos digitais

Exemplos negativos ou variados nveis

Uso de tcnicas de recuperao unimodais na construo do conjunto inicial

56

Trabalhos FuturosRecuperao de Imagens

Mtricas de similaridade textual aplicadas sobre dicionrios visuais

Tcnicas hbridas de aprendizado ex.: SVM para o conjunto inicial

Agrupamento Resultados relevantes e diversos

Imagens mdicas Medical Image Retrieval Task CLEF

Avaliao com usurios reais

57

Trabalhos FuturosRecuperao de Imagens

Novos descritores: Globais x locais Pontos de interesse

Novos terminais textuais ACC

Pr-processamento de consultas textuais Expanso Busca multilngue

Busca em pginas web

58

Trabalhos FuturosProgramao Gentica

Estudo do espao paramtrico Anlise estatstica da importncia dos diferentes

parmetros Diferentes operadores aritmticos Novos operadores

Condicionais Laos

Constantes

59

Agradecimentos Professor Ricardo da Silva Torres Professora Claudia Medeiros CNPq, Capes, FAPESP LIS IC-UNICAMP

60

Recuperao Multimodal de Imagens ComRealimentao de Relevncia Baseada em

Programao Gentica

Rodrigo Tripodi Calumbyrtripodi@gmail.com

Orientador: Ricardo da Silva Torresrtorres@ic.unicamp.br

Instituto de Computao - Unicamp

Obrigado!

mailto:rtripodi@gmail.commailto:rtorres@ic.unicamp.br

61

Slides Extras

62

Correlatos

63

Recuperao Multimodal Early fusion

nica representao de caractersticas

Late fusion Combinao dos resultados das modalidades

64

Recuperao Multimodal de ImagensTrabalhos Correlatos

65

Programao GenticaReproduo

Gi Gi+1

66

Programao GenticaCrossover

67

Programao GenticaCrossover

68

Programao GenticaCrossover

69

Programao GenticaMutao

70

Programao GenticaMutao

71

Programao GenticaMutao

72

Realimentao de RelevnciaTrabalhos Correlatos

73

RFCore

74

Arcabouo RFCoreAlgoritimo de Realimentao de Relevncia

75

Mdulos do RFCore

76

Realimentao de RelevnciaColees

77

Recuperao Multimodal de ImagensColees

78

MMRF-GP

79

Arcabouo MMRF-GPDefinies

Coleo:

Medidas de similaridade:

msio

ko

j= MS

i(o

k,o

j)

Funo composta:

80

Arcabouo MMRF-GP

81

Arcabouo MMRF-GP

82

Definio do conjunto de treinamento

83

Experimentos

84

Medidas de Similaridade Textual

85

Medidas de Avaliao Preciso

Revocao

86

Medidas de Avaliao Preciso Mdia

Mean Average Precision

87

Medidas de Avaliao Geometric MAP (GMAP)

88

Funo decrescente

89

Exemplos de Consultas

90

Consulta IC08

Consulta: lighthouse at the sea Resultado esperado: Relevant images will show lighthouses

near the sea (the sea must be visible in the image). Images of lighthouses without water in the foreground or background are not relevant. Images of the sea without a lighthouse are not relevant

91

Consulta IC08busca visual conjunto inicial

92

Consulta IC08busca visual resultado (0.0794)

93

Consulta IC08busca textual conjunto inicial

lighthouse at the sea

a black and white lighthouse at a grey and white fortress on a peninsula in the sea

a sandy beach with some houses and a rocky hill with a lighthouse in the background; the sea is on the right

palm trees at the sea Palm trees and the sea

a sunset at the sea

a sandy beach at the sea

94

Consulta IC08busca textual resultado (0.5476)

a black and white lighthouse at a grey and white fortress on a peninsula in the sea

a sandy beach with some houses and a rocky hill with a lighthouse in the background; the sea is on the right

a red-white-red lighthouse on a rock in a channel

People are walking on a brown breakwater at the sea; a rock with a white lighthouse behind it; white clouds in the blue sky in the background

a sign with a picture of a brown steep coast and a white lighthouse, in front of a large green bush with a grey sky in the background

a man is walking on a path in front of a red and white lighthouse; a meadow and a grey rock in the foreground; the sea, a grey rocky bank and a blue sky in the background

lighthouse at the sea

95

Consulta IC08busca multimodal conjunto inicial

lighthouse at the sea

a white lighthouse with a grey road, a brown monument, a green lawn, dark green bushes and a path with a white railing in front of it and a dark blue sea with a grey sky in the background

a black and white lighthouse at a grey and white fortress on a peninsula in the sea

palm trees at the sea

a path in a meadow in the foreground; a house, a tree, a white lighthouse, an Australian flag and dark green bushes behind it; the sea and a grey sky in the background

a tree at a sandy beach at the sea

a sandy beach with some houses and a rocky hill with a lighthouse in the background; the sea is on the right

96

Consulta IC08busca textual resultado (0.7245)

lighthouse at the sea

a white lighthouse with a grey road, a brown monument, a green lawn, dark green bushes and a path with a white railing in front of it and a dark blue sea with a grey sky in the background

a black and white lighthouse at a grey and white fortress on a peninsula in the sea

a path in a meadow in the foreground; a house, a tree, a white lighthouse, an Australian flag and dark green bushes behind it; the sea and a grey sky in the background

a sandy beach with some houses and a rocky hill with a lighthouse in the background; the sea is on the right

a red-white-red lighthouse on a rock in a channel

a red-white-red lighthouse on a greyish-brown island surrounded by water in the foreground; snow-covered mountains behind it and grey clouds in the background

97

Outliers na UW

bushes, flowers, trees, grasstrees, bushers, fern

clear sky, trees, bushes, grass, people, dogs

trees, bushes, grass, street, cars, pole

98

Outliers na UW

Clear Sky, Snow, Mountains, Rockes Snow, Mountains, RockesClear Sky, Snow, Rockes

clouds harbour ship water mountain sky street trees water mountain sky trees water

forest rocks

Slide 1Slide 2Slide 3Slide 4Slide 5Slide 6Slide 7Slide 8Slide 9Slide 10Slide 11Slide 12Slide 13Slide 14Slide 15Slide 16Slide 17Slide 18Slide 19Slide 20Slide 21Slide 22Slide 23Slide 24Slide 25Slide 26Slide 27Slide 28Slide 29Slide 30Slide 31Slide 32Slide 33Slide 34Slide 35Slide 36Slide 37Slide 38Slide 39Slide 40Slide 41Slide 42Slide 43Slide 44Slide 45Slide 46Slide 47Slide 48Slide 49Slide 50Slide 51Slide 52Slide 53Slide 54Slide 55Slide 56Slide 57Slide 58Slide 59Slide 60Slide 61Slide 62Slide 63Slide 64Slide 65Slide 66Slide 67Slide 68Slide 69Slide 70Slide 71Slide 72Slide 73Slide 74Slide 75Slide 76Slide 77Slide 78Slide 79Slide 80Slide 81Slide 82Slide 83Slide 84Slide 85Slide 86Slide 87Slide 88Slide 89Slide 90Slide 91Slide 92Slide 93Slide 94Slide 95Slide 96Slide 97Slide 98