Métodos de extração de características – Visão, Imagem e Robótica

Métodos de Extração de Características 1. Introdução

A Interpretação ou entendimento de uma cena demanda o reconhecimento de seus objetos. Reconhecimento de objetos ou padrões contidos em uma cena -> é preciso a definição de um método de extração de características. Conceito: Um métodos de extração de características determina um subespaço apropriado de dimensionalidade m (conjunto contendo m características) a partir de um espaço de dimensionalidade d (a cena), sendo (m <=d) (Jain et al, 2000). Importância: A definição do método de extração de características é um dos fatores mais importantes para a construção de um sistema de visão ou reconhecimento de padrões. O desempenho de um sistema de visão está diretamente relacionado ao poder de discriminação do conjunto de características escolhido. As características devem destacar a diferenças entre objetos de classes distintas (interclasses) e minimizar possíveis diferenças de objetos de mesma classe (intraclasse). Desafio: Quais características, como representá-las, como defini-las de maneira confiável? Normalmente, as características são calculadas em imagens bidimensionais, contudo estão relacionadas a objetos tridimensionais. Tipos de características: Jain et al (1995) classificam as características normalmente utilizadas em sistemas de visão, como: Características Globais: descritores obtidos com base em todos os pontos

de uma região, sua localização, intensidade e relações espaciais. Exemplos: área, perímetro, descritores de Fourier e momentos (por exemplo: Hu e Zernike).

Características Locais: normalmente calculadas a partir do contorno de

um objeto ou a partir de pequenas regiões na imagem. Curvatura de contorno ou superfície, segmentos de contorno, código de cadeia, detecção de cantos e concavidades são exemplos de características locais.

1

Métodos de extração de características – Visão, Imagem e Robótica

Características Relacionais: posições relativas de entidades diferentes

como regiões, contornos fechados, transições, concavidades, ou qualquer outra característica local. Distâncias entre características e medidas de orientação relativa.

Exemplo um objeto e sua representação parcial usando múltiplas.

2. Tipos de Características 2.1 Descritores de Forma (Shape) Características relacionadas a forma normalmente são extraídas a partir da imagem binarizada do objeto. A descrição da forma deve ser invariante a: translação, escala, rotação,

pois essas transformações não mudam a forma do objeto.

2

Métodos de extração de características – Visão, Imagem e Robótica

Em (Loncaric, 1998) a avaliação dos descritores de forma utilizados em um sistema de visão deve seguir os seguintes critérios: Acessibilidade -> deve ser fácil de calcular; Escopo -> quantas classes de formas podem ser descritas; Unicidade -> mapeamento 1-1 entre forma e descritor; Estabilidade e sensibilidade -> quão sensível é o descritor à pequenas

mudanças no objeto. 2.1.1 Contorno + esqueleto

a) Objeto original; b) Imagem distância; c) Imagem esqueleto distância 3 pixels; d) Imagem esqueleto distância 10 pixels.

3

Métodos de extração de características – Visão, Imagem e Robótica

Representação das características extraídas: a) nós e ligações no esqueleto;

b) representação da estrutura do esqueleto

Informação extraída a partir de contorno/esqueleto

4

Métodos de extração de características – Visão, Imagem e Robótica

Esqueletos dos dígitos 5 e 4 divididos em 9 regiões – possibilidades – extração de características como: cruzamentos(X, T, ...), pontos de fim, loops, concavidades, etc... + informação espacial (zoning).

2.1.2 Curvaturas

Aproximação poligonal (polylines) e função de ajuste (acumulo dos ângulos).

Curvaturas obtidas a partir do contorno e após redução de mudanças (ruídos) na

curvatura

5

Métodos de extração de características – Visão, Imagem e Robótica

2.1.3 Código de Cadeia (Chain code):

a) Contorno b) Código de cadeia c) Histograma direcional

6

Métodos de extração de características – Visão, Imagem e Robótica

2.1.4 Perfil (Profile)

Perfil direito e esquerdo do dígito 5.

Para cada valor de y, o perfil esquerdo (direito) é o x mais a esquerda (direita) no contorno do caractere. 2.1.5 Superfície (Surface)

Exemplo superfície analisada por regiões em imagem tons de cinza:

a) Imagem original; b) Análise da superfície por regiões.

7

Métodos de extração de características – Visão, Imagem e Robótica

2.1.6 Projeções

Histograma vertical e horizontal - acúmulo de pixels pretos por coluna (linha)

2.1.7 Momentos

Linha 1-2: Imagem entrada e momentos de Zernike ordem 1-13. Linha 3-4: Imagem de entrada e imagens reconstruídas a partir do momentos de Zernike ordem 1-13, respectivamente.

8

Métodos de extração de características – Visão, Imagem e Robótica

2.1.8 Descritores de Fourier

Reconstrução dígito 4 a partir dos descritores de Fourier ordem 1..10, 15, 20, 30, 40, 50 e 100. 2.2 Cor Sistema de representação: RGB (Red, Green, Blue) – componentes altamente correlacionadas.

9

Métodos de extração de características – Visão, Imagem e Robótica

Sistema de representação: HSV (Hue, Saturation, Intensity) – componentes descorrelacionadas.

10

Métodos de extração de características – Visão, Imagem e Robótica

2.2.1 Redução de cores

2.2.2 Histograma Vetor [h1, ..., hn] onde cada hj contém a quantidade de pixels de cor j da imagem. Comparação de histogramas:

11

Métodos de extração de características – Visão, Imagem e Robótica

2.2.3 Informação espacial Exemplos de quantidade iguais e distribuição espacial diferentes.

Divisão em regiões

3. Textura 3.1 Introdução Importância: a textura tem sido utilizada em muitas aplicações de visão: Inspeção de superfície; Classificação de cena; Orientação de superfície; Determinação da forma em imagens 3D.

Definição: repetição de padrões de variação local em imagem de intensidade, as quais são muito pequenas para serem consideradas como objetos em separado na resolução em uso. Desta forma, um conjunto conectado de pixels satisfazendo um dada propriedade nível de cinza (intensidade) e que ocorre repetidamente in uma região da imagem constitui uma região de textura. A textura não pode ser definida por um ponto, pois esta é caracterizada pela distribuição espacial dos níveis de cinza em uma vizinhança.

12

Métodos de extração de características – Visão, Imagem e Robótica

A resolução na qual a imagem é observada determina a escala na qual a textura é percebida. Desafio: representar a textura de forma invariante à escala e orientação. 3.2 Descritores de textura Embora existam vários espaços de percepção de textura que capturam a forma humana de percebê-la, o mapeamento para características computacionais ainda está em estudo. Na literatura a textura tem sido definida segundo 6 características visuais:

Acabamento (coarseness) Contraste Direção Semelhança com linha (line-likeness) Regularidade Aspereza

3.2.1 Descritores estatísticos Co-ocorrência de níveis de cinza, contraste, entropia e homogeneidade. a) Matriz co-ocorrência:

13

Métodos de extração de características – Visão, Imagem e Robótica

b) Entropia (desordem) ,

∑∑−i j

jiPjiP ),(log),(

c) Energia

∑∑−i j

jiP ),(2

d) Contrast

∑∑ −−i j

jiPji ),()( 2

e) Homogeneidade

∑∑ −+−

i j jijiP

1),(

f) Descritores baseados em modelos Um modelo de textura é inicialmente definido e então seus parâmetros são estimados. (HMM). 3.2.2 Métodos estruturais

Determina-se a forma e propriedades da primitiva básica (microtextura) e

então as regras que governam a disposição desta forma básica são determinadas para formar macrotexturas.

14

Métodos de extração de características – Visão, Imagem e Robótica

3.2.3 Descritores baseados em Fourier

Textura e (descritores de Fourier): a) textura estruturada, b) textura direcional, c) textura

granular e d) textura aleatória.

3.2.4 Descritores baseados em Wavelet

15

Métodos de extração de características – Visão, Imagem e Robótica

4. Exemplos de métodos extração de características 4.1 Método de extração de característica a partir de caracteres manuscritos Características complementares: foreground + background, coluna + linha, globais + locais

4.2 Reconhecimento de Face

16

Métodos de extração de características – Visão, Imagem e Robótica

Referências: R.C. Jain, R. Kasturi, and B.G. Schunck. Machine Vision. McGraw-Hill, 1995. S. Loncaric (1998). A Survey of Shape Analysis Techniques. Pattern Recognition, Vol. 31, No. 8, pp. 983-1001. O. D. Trier, A.K. Jain, T. Taxt (1996). Feature Extraction Methods for Character recognition - a Survey. Pattern Recognition, Vol 29, No. 4, pp. 641-662. K. Jain, R. P. W. Duin, J. Mao (2000). Statistical pattern recognition: A review. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(1):4-37. R. O. Duda, P. E. Hart, D. G. Stork (2001). Pattern Classification. John Wiley and Sons, second edition edition. R. Schettini, G. Ciocca, S. Zuffi,. Survey on methods for colour image indexing and retrieval in image databases, Color Imaging Science: Exploiting Digital Media, (R. Luo, L. MacDonald eds.), J. Wiley, 2001.

17

Métodos de extração de características – Visão, Imagem e Robótica

M. M. Coelho, S. R. M. Pellegrino. Extração de Características Faciais para uso em Sistemas de Vídeo Conferência. Anais do III Workshop em Tratamento de Imagens p. 21-29, Junho 2002, Belo Horizonte, Minas Gerais. H. Long, W. K. Leow, and F. K. Chua. Perceptual texture space for content-based image retrieval. In Proc. Int. Conf. on Multimedia Modeling, 2000, p. 167-180.

18

Métodos de extração de características – Visão, Imagem e Robótica

Exercício: Definir um conjunto de características que possa ser utilizado para a classificação das classes de figuras abaixo:

19