Recuperação de Imagens baseada em conteúdo usando filtros do Gabor

Pedro M. Achanccaray Diaz

Matéria: Mineração de DadosProfa.: Karla Figueiredo

Roteiro

1. Introdução

2. Metodologia

3. Resultados

4. Conclusões

2

Roteiro

1. Introdução

2. Metodologia

3. Resultados

4. Conclusões

3

1. Introdução->a. Objetivos

Objetivo principal:

Recuperar imagens baseado em conteúdo usando Filtros de Gabor.

Objetivos Específicos:

Desenvolver uma ferramenta para Recuperação de Imagens.

Avaliar o uso de Filtros de Gabor como atributos para sistemas de

Recuperação de Imagens.

4

1. Introdução->b. Mineração de Imagens

5

Banco de dados alfanuméricos

Mineração de Dados

(Data Mining)

Banco de dados de Imagens

Mineração de Imagens

(Image Mining)

1. Introdução->c. Recuperação de Imagens baseado em conteúdo (CBIR)

O alvo dos sistemas de Recuperação de Imagens baseado em Conteúdo

(CBIR) é a busca de imagens similares a uma imagem de consulta numa

base de dados.

6

http://amazon.ece.utexas.edu/~qasim/research.htm

http://labs.systemone.at/retrievr

https://www.google.com.pe/imghp?hl=pt-BR&tab=wi&ei=eEWpU7zZG8rQsQT5kICwCQ&ved=0CAQQqi4oAg

Roteiro

1. Introdução

2. Metodologia

3. Resultados

4. Conclusões

7

2. Metodologia->a. Diagrama de fluxo

8

Pré-processamento

Extração de Atributos Redução de

Dimensionalidade

ClassificaçãoImagem de Consulta

Recuperação de Imagens

Banco de Imagens

Vetores de Atributos

Vetores de Atributos reduzidos

Imagens Recuperadas

2. Metodologia->b. Pré-processamento

• Redimensionamento.– [320 x 240] -> [160 x 120]

• Converter ao tons de cinza (só para extração de atributos posterior).

9

2. Metodologia->c. Extração de Atributos

• Medias dos pixels na imagem ().• Desvio padrão dos pixels na imagem ().• Atributos de Textura: Filtros de Gabor (8 orientações x 4 escalas = 32 resultados)

• X =

10

Media dos pixels resultantes ()Desvio padrão dos pixels resultantes ()

32 x 2 + 3 + 3 = 70 atributos

2. Metodologia->d. Redução de Dimensionalidade

11

• Análise de componentes principais (PCA)

• Dimensionalidade: 70 -> 11 componentes

• Variância: 99% representada

2. Metodologia->e. Classificação

12

• Classificador: Maquinas de Vetores de Suporte (SVM)

• Kernel: Gaussian Radial-basis-function (RBF)

• Validação cruzada: 5, 10, 15 e 20 grupos (k_folds)

• Nº de classes: 7 ([0 1 2 3 4 5 6])

𝐾 (𝑥 ,𝑥 ´ )=exp (−𝑔𝑎𝑚𝑚𝑎∗|𝑥−𝑥 ´|2 )

2. Metodologia->f. Imagem de consulta

13

• A mesma extração de atributos que as imagens de entrada.

• O classificador predisse a classe do imagem de consulta.

• Sua dimensionalidade é reduzida com o PCA feito anteriormente.

2. Metodologia->g. Recuperação de Imagens

14

• A busca é feita só nas imagens que pertencem a classe prevista.

• As imagens relevantes são as quais tem a menor distancia com a imagem

de busca (vetores de atributos).

𝑑𝑖𝑠𝑡 (𝑋 𝑖 , 𝑋 𝑗 )=𝑠𝑞𝑟𝑡 ( (𝑋 𝑖1− 𝑋 𝑗1 )2+(𝑋 𝑖 2−𝑋 𝑗 2 )2+…+ (𝑋 𝑖𝑑−𝑋 𝑗 𝑑)2)

: vetor de atributos da imagem de busca.: vetor de atributos da uma imagem que pertence a classe prevista.

Roteiro

1. Introdução

2. Metodologia

3. Resultados

4. Conclusões

15

3. Resultados->a. Base de dados

16

• Microsoft Research Cambridge Object Recognition Image Database

(MSRCORID)

3215images – 7 classes

animal buildings vegetation windows bicycles cars clouds0

100

200

300

400

500

600

700

Classe N°animal 444buildings 412vegetation 501windows 652bicycles 272cars 505clouds 429Total 3215

3. Resultados->b. Ferramenta desenvolvida

17

• Entorno Qt Creator com Qt 5.02, linguagem C++ e a libraria para

gerenciamento de imagens foi OpenCV.

3. Resultados->c. Classificação

18

• Acurácia do classificador:

5 PCA 5 10 PCA 10 15 PCA 15 20 PCA 20

87.25

90.2

88.02

91.6

87.56

90.2

87.71

90.67

3. Resultados->c. Classificação

19

• Matriz de confusão:

Predicted

0 1 2 3 4 5 6

Known

0 429 3 2 0 1 10 0

1 1 231 4 18 0 7 11

2 1 13 373 11 0 4 10

3 0 6 3 487 0 1 8

4 1 0 0 0 427 1 0

5 12 8 5 1 0 475 0

6 1 8 8 10 1 1 622

Class

Animals 0

Bicycles 1

Buildings 2

Cars 3

Clouds 4

Vegetation 5

Windows 6

3. Resultados->d. Recuperação de Imagens

20

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

21

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

22

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

23

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

24

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

25

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

26

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

27

• Resultados obtidos:

3. Resultados->d. Recuperação de Imagens

28

• Precisão: (19 imagens para consulta)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 190.6

0.65

0.7

0.75

0.8

0.85

0.9

0.95

1

𝑃=𝑡𝑟𝑢𝑒𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑠

𝑡𝑜𝑡𝑎𝑙 𝑑𝑒𝑖𝑚𝑎𝑔𝑒𝑛𝑠

Roteiro

1. Introdução

2. Metodologia

3. Resultados

4. Conclusões

29

4. Conclusões

30

• A metodologia proposta para o sistema de recuperação de imagens foi

capaz de fornecer imagens coerentes com a imagem de busca.

• A acurácia do classificador SVM foi melhor sem a redução de

dimensionalidade. Isto implica que o PCA não fiz uma boa representação

dos dados. A validação cruzada foi melhor com 10 grupos.

• A precisão do sistema de recuperação de imagens foi 0.84 no caso de 19

imagens para busca.

4. Conclusões

31

• Devido a organização do código da ferramenta desenvolvida, facilmente se

incorporaram mais classificadores para o sistema.

Recuperação de Imagens baseada em conteúdo usando filtros do Gabor

Pedro M. Achanccaray Diaz

Matéria: Mineração de DadosProfa.: Karla Figueiredo

Obrigado