Processamento de imagens capturadas para algoritmos de Visão Computacional Curso de Visão...

Processamento de imagens capturadas para algoritmos de

Visão Computacional

Curso de Visão Computacional

Marcelo Gattass

2009.2

Resumo

• Motivação (aplicações)• Requisitos• Deteção de pontos e arestas

– Analise da variação local– Deteção de arestas

• Sobel e

– Deteção de pontos• Haris• SHIFT

object instance recognition (matching)

David Lowe

Motivação

Slide Set 12: Face Detection/Viola-Jones 4CS 175, Fall 2007: Professor Padhraic Smyth

Sample results using the Viola-Jones Detector

• Notice detection at multiple scales

Motivação

Slide Set 12: Face Detection/Viola-Jones 5CS 175, Fall 2007: Professor Padhraic Smyth

Small set of 111 Training Images

Motivação

How do we build panorama?

• We need to match (align) images

Darya Frolova, Denis Simakov, The Weizmann Institute of Science, 2004

Motivação

Matching with Features

•Detect feature points in both images

Motivação

•Find corresponding pairs

Motivação

•Find corresponding pairs

•Use these pairs to align images

Motivação

• Problem 1:– Detect the same point independently in both

images

no chance to match!

We need a repeatable detectorDarya Frolova, Denis Simakov, The Weizmann Institute of Science, 2004

Motivação

• Problem 2:– For each point correctly recognize the

corresponding one

We need a reliable and distinctive descriptor

Motivação

Example: Build a Panorama

M. Brown and D. G. Lowe. Recognising Panoramas. ICCV 2003

Motivação

Photosynth

Motivação

Busca de padrões geométricos

http://www.tecgraf.puc-rio.br/~mgattass/ra/trb05/T1-VirtualOnReal/MauricioFerreira_DiogoCarneiro_CarlosEduardoLara/

Mauricio Ferreira, Diogo Carneiro e Carlos Eduardo Lara Visão 2005

Motivação

Requisitos

Uma caracteristica deve ser robusta o suficiente para continuar se destacando mesmo quando a cena é capturada em

diferentes condições

Types of invariance

Illumination

Tom Duerig

Requisitos

Types of invariance

Illumination Scale

Tom Duerig

Requisitos

Types of invariance

Illumination Scale Rotation

Tom Duerig

Requisitos

Types of invariance

Illumination Scale Rotation Affine

Tom Duerig

Requisitos

Types of invariance

Illumination Scale Rotation Affine Full Perspective

Tom Duerig

Requisitos

Tipos de características de uma imagem

• Globais: histograma, conteúdo de freqüências, etc...

• Locais: regiões com determinada propriedade, arestas, cantos, curvas, etc...

Análise local

Modelo Matemático: Função

L(u,v)

Função

Posição ao longo da linha x

C 2,0,0: hwL

Análise local

Derivadas direcionais

f(x,y)

pfnhpf

)()(lim

Análise local

Norma da derivada

simétrican

f t SSxx ,02

Análise local

Mínimo de formas quadráticas de matrizes simétricas positivas definidas

xAx IxAx 0xIA

212 ,00det

Análise local

Autovetores e autovalores de matrizes simétricas positivas definidas

iiTi i A 0iiii A

12112 TT A

21221 TT A212121 TT

0)( 1221 T 012 T

Análise local

Minimização como um problema de autovalores

21 '' yxyx jip

21 )'()'()','( yxyxf

1)'()'( 22 yx

mínimo

221121 '')(')(')( yxTyTxT p

Análise local

Teorema Espectral (Teorema dos Eixos Principais)

Toda matriz simétrica S (S = ST ) pode ser fatorada em: TQQQQ ΛΛS 1

- matriz diagonal real

Q – matriz ortogonal, formada pelos autovetores de S

MMachado

Análise local

Estimando Orientação Local em Imagens

uyΛyyuΛuSuu

J é máximo se y só tem componente na direção do

autovetor de maior autovalor

Mudança de base por rotação

Usando o Teorema Espectral no problema de orientação:

MMachado

Análise local

Identificando Estruturas Lineares com PCA

Problema. Dados os vetores v1,...,vk, em N dimensões, estimar a orientação média quando o sinal de vi é ignorado.

Solução. A orientação média é dada pelo eixo principal da matriz

yxxTii

vvSMMachado

Análise local

Matriz de Variância-Covariância

1COV 1

kikjij

Matriz de Variância-

Covariância

COVCOV

N variáveisM observações

Variância

Covariância

MMachado

Análise local

maximiza a variância

minimiza a variância

Maior Componente

Principal

Menor Componente

Principal

MarcoMachado

Análise local

• Variância total = soma das variâncias

• Variância total = traço de S

• Eixos principais também representam a variância total do conjunto de dados.– Primeiro eixo: 1/traço(S)– Segundo eixo: 2/traço(S)

MarcoMachado

Análise local

Estimando Orientação Local em Imagens

• Interpretação dos Autovalores 1=0, 2=0

• Intensidade constante, • sem estrutura

1>0, 2=0• Estrutura linear (invariante por deslocamento em uma única

direção) 1>0, 2>0

• A estrutura desvia do modelo de estrutura linear– Ruído– Curvatura– Múltiplas orientações

– Estrutura isotrópica

Análise local

Comportamento local: Classificação

“Corner”1 e 2 são grandes,

1 ~ 2;

aumenta em todas as direções

1 e 2 são pequenos;

Quase constante em “Edge” 1 >> 2

“Edge” 2 >> 1

“Flat”

Análise local

Detecção de arestas

Operadores clássicoss

Prewitt’s

Suaviza Diferencia

Arestas

Openadores clássicos

Sobel’s

SuavizaDiferencia

Arestas

Detector de arestas

100 Threshold

Arestas

Quality of an Edge Detector

• Robustness to Noise• Localization• Too Many/Too less Responses

Poor robustness to noise Poor localization Too many responses

True Edge

Khurram Hassan-Shafique

Arestas

Canny Edge Detector

• Criterion 1: Good Detection: The optimal detector must minimize the probability of false positives as well as false negatives.

• Criterion 2: Good Localization: The edges detected must be as close as possible to the true edges.

• Single Response Constraint: The detector must return one point only for each edge point.

Arestas

Hai Tao

Arestas

The result– General form of the filter (N.B. the filter is odd so h(x) = -h(-x) the

following expression is for x < 0 only)

h x e a x a x e a x a xx x( ) ( sin cos ) ( sin cos ) / 1 2 3 4 1 2

2 05220

2 91540

156939

01486768717

0 2087553476

1244653939

0 7912446531

Camillo J. Taylor

Arestas

Approximation– Canny’s filter can be approximated by the derivative of a Gaussian

( ) ( )

Camillo J. Taylor

Derivative of GaussianCanny

Arestas

Canny Edge Detector

• Convolution with derivative of Gaussian

• Non-maximum Suppression

• Hysteresis Thresholding

Arestas

Algorithm Canny_Enhancer• Smooth by Gaussian

IGS * 2

22yx SSS

S1tan Khurram Hassan-Shafique

• Compute x and y derivatives

• Compute gradient magnitude and orientation

Arestas

Canny Edge Operator

IGIGS ** T

Arestas

Canny Edge Detector

Arestas

Canny Edge Detector

22yx SSS

25 ThresholdS

Arestas

We wish to mark points along the curve where the magnitude is biggest.We can do this by looking for a maximum along a slice normal to the curve(non-maximum suppression). These points should form a curve. There arethen two algorithmic issues: at which point is the maximum, and where is thenext one?

Algorithm Non-Maximum Suppression

Arestas

Non-Maximum Suppression

• Suppress the pixels in ‘Gradient Magnitude Image’ which are not local maximum

edgean tonormaldirection thealong

in of neighbors theare and Sx,yy,xy,x

otherwise0,,&

,, if,

, yxSyxS

yxSyxSyxS

Arestas

41420tan41422- :3

41422tan :2

41422tan41420 :1

41420tan41420 :0

Sθ tan

Arestas

22yx SSS M

25ThresholdM

Arestas

Hysteresis Thresholding

Arestas

• If the gradient at a pixel is above ‘High’, declare it an ‘edge pixel’

• If the gradient at a pixel is below ‘Low’, declare it a ‘non-edge-pixel’

• If the gradient at a pixel is between ‘Low’ and ‘High’ then declare it an ‘edge pixel’ if and only if it is connected to an ‘edge pixel’ directly or via pixels between ‘Low’ and ‘ High’

Arestas

M 25ThresholdM

Arestas

Resultado de algoritmo de histerese

Arestas

Subpixel Localization– One can try to further localize the position of the edge within a pixel by

analyzing the response to the edge enhancement filter

– One common approach is to fit a quadratic polynomial to the filter response in the region of a maxima and compute the true maximum.

cbxaxxy

);0())1()1((2

));1()1((2

Arestas

Segmentos de reta longos

Um caso especial

Segmentos retos longos

Hough Transform

• There are three problems in model fitting– Given the points that belong to a line, what is the line?– Which points belong to which line?– How many lines are there?

• Hough transform is a technique for these problems– The basic idea is to record all the models on which

each point lies and then look for models that get many votes

Hough Transform – cont.

• Straight line case– Consider a single isolated edge point (xi, yi)

• There are an infinite number of lines that could pass through the points

– Each of these lines can be characterized by some particular equation

cmxy ii

cmxy ii )()( ii ymxc

ponto de maior contribuição

• Hough transform algorithm1. Find all of the desired feature points in the image

2. For each feature point

For each possibility i in the accumulator that passes through the feature point

Increment that position in the accumulator

3. Find local maxima in the accumulator

4. If desired, map each maximum in the accumulator back to image space

sincos ii yx

22 hw 0

cmxy ii m e c [- +]

Transformada de Hough

Busca de linhas longas no campo

Outro enfoque: tese de Flávio Szenberg: Juiz Virtual

Modelos

Os modelos utilizados na tese:

Modelo de um campo de futebol

Modelo sem simetria

Filtragem para realce de linhas O filtro Laplaciano da Gaussiana (LoG) é aplicado à

imagem, baseado na luminância.

filtro gaussiano

filtro laplaciano

Filtragem para realce de linhas Problemas com linhas duplas

Filtragem para realce de linhas A transformação negativa é aplicada entre o cálculo da

luminância e o filtro LoG.

Filtragem para realce de linhas Resultado de uma segmentação (threshold) feita na

imagem filtrada.

(em negativo para visualizar melhor)

Extração de segmentos de retas longos

O objetivo é localizar segmentos de retas longos candidatos a serem linhas da imagem do modelo.

O procedimento é dividido em dois passos:

1. Eliminação de pontos que não estão sobre nenhum segmento de reta.

2. Determinação de segmentos de retas.

Eliminando pontos que não estão sobre um segmento de reta

A imagem é dividida, por uma grade regular, em células retangulares.

Para cada célula, os autovalores 1 e 2 (1 2) da matriz de covariância, dada abaixo, são calculados.

Se 2 = 0 ou 1/ 2 > M (dado) então

o autovetor de 1 é a direção predominante

senão

a célula não tem uma direção predominante

vvvvuu

vvuuuu

Podemos atribuir pesos i aos pontos (resultado do LoG).

vvvvuu

vvuuuu

ii vvvvuu

vvuuuu

Células com pontos formando segmentos de retas:

Determinando segmentos de reta

As células são percorridas de modo que as linhas são processadas de baixo para cima e as células em cada coluna são processadas da esquerda para direita. Um valor é dado para cada célula: Se não existe uma direção predominate na célula, o valor é zero. Caso contrário, verifica-se os três vizinhos abaixo e o vizinho à

esquerda da célula corrente. Se algum deles tem uma direção predominante similar ao da célula corrente, quando unidos, então a célula corrente recebe o valor da célula que tem a direção mais similar; senão, um novo valor é usado para a célula corrente.

Determinando segmentos de reta São formados grupos com células de mesmo valor,

representados na figura abaixo por cores distintas.

Extração de segmentos de retaCada grupo fornece um segmento de reta.

A reta de equação v=au+b é encontrada por método de mínimos quadrados:

O segmento é obtido limitando a reta pela caixa envoltória dos pontos usados.

Extração de segmentos de retaOs segmentos de reta que estão sobre a mesma reta suporte são unidos, formando segmentos longos, usando mínimos quadrados.

No final do processo, tem-se um conjunto de segmentos de reta.

Extração de segmentos de retaSobrepondo as linhas extraída na imagem, temos o seguinte resultado:

Reconhecimento dos segmentos

A partir do conjunto de segmentos, as linhas do modelo são detectadas e o modelo reconhecido [Grimson90].

Método baseado na Transformada de Hough.

Método de reconhecimento baseado em modelo.

• Conjunto de restrições

F1 F7 F6F5F4F3F2

Modelo

F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2

Árvore de Interpretaçãof1

Visualização

Método de Reconhecimento baseado em Modelo

O nó {f1: F1, f2:F6 , f3:F3} é discardado por que viola a restrição:

A linha representante de F6 deve estar entres as linhas que

representam F1 e F3, na visualização.F1 F7 F6F5F4F3F2

F1 F7 F6F5F4F3F2

Árvore de Interpretação

F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2 F1 F7 F6F5F4F3F2

Reconhecimento dos segmentosDiscardando nós

Modelo

Visualização

Reconhecimento dos segmentosProblema relacionado com a perspectiva

)()()()(

))(())((

vvuuvvuu

vvvvuuuu

ttttssss

ttssttss

Reconhecimento dos segmentosProblema relacionado com a perspectiva

Reconhecimento dos segmentosEscolhendo a melhor solução

Modelo

• Em geral, existem diversas interpretações possíveis;

• Escolhemos a interpretação onde a soma dos comprimentos dos segmentos representativos é máxima.

f1 : F4 f2 : F3 f3 : f4 : f5 : F6 f6 : F7 f7 : F1 Vencedor

Visualização

f1 : F4 f2 : f3 : f4 : F3 f5 : F6 f6 : F7 f7 : F1

f1 : F2 f2 : F3 f3 : f4 : f5 : F6 f6 : F5 f7 : F1

f1 : F4 f2 : F3 f3 : f4 : f5 : F6 f6 : F7 f7 : F1

Visualização

ModeloResultado final

Modelo

Cálculo da transformação projetiva planar

Uma transformação projetiva planar H (homografia) correspondente às linhas reconhecidas é encontrada (usando pontos de interseção e pontos de fuga como pontos de referência).

Modelo reconstruído

pontos de interseção

pontos de fuga

Detector de cantos

Comportamento local: Classificação

“Corner”1 e 2 são grandes,

1 ~ 2;

aumenta em todas as direções

1 e 2 são pequenos;

Quase constante em “Edge” 1 >> 2

“Edge” 2 >> 1

“Flat”

Cantos

Harris Detector: Mathematics

Measure of corner response:

2det traceR M k M

(k – empirical constant, k = 0.04-0.06)

Cantos

Harris Detector: Mathematics

• R depends only on eigenvalues of M

• R is large for a corner

• R is negative with large magnitude for an edge

• |R| is small for a flat region

“Corner”

“Edge”

“Flat”

R < 0|R| small

Cantos

Algoritmo

• Comparação dos gráficos

“Corner”

“Edge”

“Flat”

R < 0|R| small

2det traceR M k M

Cantos

Algoritmo

“Corner”

“Edge”

“Flat”

R < 0|R| small

2det traceR M k M

Cantos

Algoritmo

“Corner”

“Edge”

“Flat”

R < 0|R| small

2det traceR M k M

Cantos

Harris Detector

• The Algorithm:– Find points with large corner response

function R (R > threshold)– Take the points of local maxima of R

Cantos

Harris Detector: WorkflowCantos

Harris Detector: WorkflowCompute corner response R

Cantos

Harris Detector: WorkflowFind points with large corner response: R>threshold

Cantos

Harris Detector: WorkflowTake only the points of local maxima of R

Cantos

Harris Detector: WorkflowCantos

Example: Gradient Covariances

Full imageDetail of image with gradient covar-

iance ellipses for 3 x 3 windows

from Forsyth & Ponce

Corners are where both eigenvalues are big

Cantos

Example: Corner Detection (for camera calibration)

courtesy of B. Wilburn

Cantos

Example: Corner Detection

courtesy of S. Smith

SUSAN corners

Cantos

Harris Detector: Summary

• Average intensity change in direction [u,v] can be expressed as a bilinear form:

• Describe a point in terms of eigenvalues of M:measure of corner response

• A good (corner) point should have a large intensity change in all directions, i.e. R should be large positive

( , ) ,u

E u v u v Mv

21 2 1 2R k

Cantos

Harris Detector: Some Properties

• Rotation invariance

Ellipse rotates but its shape (i.e. eigenvalues) remains the same

Corner response R is invariant to image rotation

Cantos

• Partial invariance to affine intensity change

Only derivatives are used => invariance to intensity shift I I + b

Intensity scale: I a I

x (image coordinate)

threshold

x (image coordinate)

Cantos

• But: non-invariant to image scale!

All points will be classified as edges

Corner !

Cantos

• Quality of Harris detector for different scale changes

Repeatability rate:# correspondences

# possible correspondences

C.Schmid et.al. “Evaluation of Interest Point Detectors”. IJCV 2000

Cantos

SIFT (Scale Invariant Feature Transform)

SIFT stages:

• Scale-space extrema detection• Keypoint localization• Orientation assignment• Keypoint descriptor

( )local descriptor

detector

descriptor

A 500x500 image gives about 2000 features

matching

1. Detection of scale-space extrema• For scale invariance, search for stable

features across all possible scales using a continuous function of scale, scale space.

• SIFT uses DoG filter for scale space because it is efficient and as stable as scale-normalized Laplacian of Gaussian.

Scale space doubles for the next octave

K=2(1/s)

Detection of scale-space extremaSIFT

Keypoint localization

X is selected if it is larger or smaller than all 26 neighbors

Pontos

2. Accurate keypoint localization

• Reject points with low contrast and poorly localized along an edge

• Fit a 3D quadratic function for sub-pixel maxima

Accurate keypoint localization

• Change sample point if offset is larger than 0.5

• Throw out low contrast (<0.03)

Eliminating edge responses

Keep the points with

Maxima in DSIFT

Remove low contrast and edgesSIFT

3. Orientation assignment

• By assigning a consistent orientation, the keypoint descriptor can be orientation invariant.

• For a keypoint, L is the image with the closest scale,

orientation histogram

Orientation assignmentSIFT

SIFT descriptorSIFT

4. Local image descriptor• Thresholded image gradients are sampled over

16x16 array of locations in scale space• Create array of orientation histograms (w.r.t. key

orientation)• 8 orientations x 4x4 histogram array = 128

dimensions• Normalized, clip values larger than 0.2,

renormalize

σ=0.5*width

Processamento de imagens capturadas para algoritmos de Visão Computacional Curso de Visão...

Documents

Transcript of Processamento de imagens capturadas para algoritmos de Visão Computacional Curso de Visão...

Aplicações da Visão Computacional em Biomedicina · Sumário 1. Apresentação 2. Visão Computacional em Biomedicina i. Introdução ii. Segmentação iii. Seguimento de Movimento

Visão Estereoscópica Autor: Marcelo Metello Data: 24/11/2004 Disciplina: INF 2602 Prof: Marcelo Gattass.

Introdução Visão Computacional Matlab

Visão Computacional Radiometria lmarcos/courses/visao.

Visão computacional em embarcados

Introdução a Visão Computacional com Python e OpenCVprofessor.luzerna.ifc.edu.br/ricardo-antonello/wp-content/uploads... · Introdução a Visão Computacional com Python e OpenCV

Seminário Introdução à Visão Computacional

11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 1 Visão Computacional e Realidade Aumentada Prof Marcelo Gattass.

Palestra - Visão Computacional - TDC 2015

Just Java 2012 - Visão Computacional com Processing

CC222 – Visão Computacional Visão Estéreo

Visão Computacional Visão Estéreo lmarcos/courses/visao.

Aplicação de Visão Computacional no Auxílio ao ...

inspeção de fissuras em alvenaria utilizando visão computacional

Visão Computacional lmarcos/courses/visao.

Alberto B. Raposo Flávio Szenberg Marcelo Gattass Waldemar Celes INF 1366 Visão Estereoscópica.

Tópicos em Visão Computacional e Reconhecimento de Padrões

Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Aplicações da Visão Computacional em Biomedicinatavares/downloads/publications/comunicacoes/… · 1. Apresentação 2. Visão Computacional em Biomedicina i. Introdução ii.

Visão Computacional