Pontifícia Universidade Católicado Rio de Janeiro

Fluxo Óptico

Allan Carlos Avelino Rocha

Disciplina: Visão Computacional e Realidade Aumentada

Professor: Marcelo Gattass

Pontifícia Universidade Católicado Rio de Janeiro

Sumário

Introdução Fluxo Óptico Técnicas diferencias Método de Horn-Schunck Resultados Conclusão Trabalhos Futuros Referências

Pontifícia Universidade Católicado Rio de Janeiro

Introdução

Problema em Visão Computacional

Análise de movimento

Importância:

Forte sugestão visual para da estrutura e movimento 3D.

Utilização do movimento visual para inferir/tirar propriedadesdo mundo real 3D com um pequeno conhecimento prévio do mesmo.

Inferir propriedades de uma cena 2D que nos ajudea reconstruir a cena original, 3D.

Pontifícia Universidade Católicado Rio de Janeiro

Fluxo Óptico

Distribuição da velocidade aparente do movimento dospadrões de intensidade em uma imagem.

Problema: Dada uma sequência de imagens variando no tempo, é possível obter, para cada pixel, um vetor de velocidade?

Pontifícia Universidade Católicado Rio de Janeiro

Fluxo Óptico

Utilidade e Aplicações

Informação importante sobre os arranjos dos objetos e ataxa de mudança destes arranjos. Descontinuidade do fluxo pode ajudar em segmentaçãode imagens. Rastreamento de objetos. Navegação de Robôs.

Mas como estimar o fluxo óptico?

Pontifícia Universidade Católicado Rio de Janeiro

Técnicas diferenciaisTécnicas de correlação (block matching)Técnicas de freqüência e energia

Fluxo Óptico

Técnicas Utilizadas

Técnicas diferenciais assumem por hipótese que a

intensidade entre uma imagem e outra em um intervalo

pequeno é aproximadamente constante, ou seja

),,(),,( dttdyydxxItyxI

Pontifícia Universidade Católicado Rio de Janeiro

Técnicas diferenciais (baseada em gradiente)

),,(),,( dttdyydxxItyxI

Mudanças de brilho modeladas por equações diferenciais parciaisChamadas de equações de restrição.

O campo de vetores obtidos pela solução dessas equações é ofluxo óptico ou fluxo da imagem.

tt

Iy

y

Ix

x

ItyxItyxI

),,(),,(

tt

Iy

y

Ix

x

I

0 0

t

I

t

y

y

I

t

x

x

I

Pontifícia Universidade Católicado Rio de Janeiro

Técnicas diferenciais (baseada em gradiente)

Assim temos, 0. tIvI

y

I

x

II

t

y

t

xv ,,,onde,

Somente a equação anterior não é suficiente para determinar

as componentes de velocidade

Técnicas de estimativa : Horn-Shunck, Lucas e Kanade

Abordagem densa X esparsa.

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Restrição de iluminação constante

Iluminação em (x,y) é descrita por E(x,y,t): 0dt

dE

0

t

E

dt

dy

y

E

dt

dx

x

E

0 tyx EvEuE dt

dyve

dt

dxu

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Restrição de suavização

Se cada ponto se movesse de forma independente, seria quase impossível recuperar o campo de movimento.

Pontos vizinhos têm velocidades semelhantes e a velocidade varia suavemente na maior parte do campo

Uma maneira de expressar esta restrição é:

2222

y

y

x

ye

y

u

x

u

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Outra restrição de suavidade é soma dos quadrados de Laplace dos componentes de x e y do fluxo.

Estimativa das derivadas parciais

Calcular a média das quatro primeiras diferenças em duas regiões adjacentes da imagem.

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Avaliando

Ex, Ey, Et

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Estimando o Laplaciano do Fluxo de Velocidade:

Onde são médias locais dos vetores de velocidade.

A estimativa é feita pela subtração do valor em um ponto e a media ponderada dos seus vizinhos.

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Minimização

O problema então é minimizar a soma dos erros nas Equações para a taxa de mudança da iluminação da imagem.

E as medidas das saídas de suavização na velocidade do fluxo.

Pontifícia Universidade Católicado Rio de Janeiro

Assim a minimização a ser alcançada achando os valoressatisfatórios para a velocidade do fluxo (u,v). Usando o cálculo de variação temos:

Método de Horn-Shunck

Usando a aproximação de Laplace:

Pontifícia Universidade Católicado Rio de Janeiro

Método de Horn-Shunck

Resolvendo para u e para v encontra-se :

Solução interativa: Método de Gauss-Seidel

222

1

yx

tyxx

nn

EE

EvEuEEuu

222

1

yx

tyxy

nn

EE

EvEuEEvv

Pontifícia Universidade Católicado Rio de Janeiro

Resultados Horn-Shunck

Pontifícia Universidade Católicado Rio de Janeiro

Limitação de Horn e Shunck

Pontifícia Universidade Católicado Rio de Janeiro

Conclusão

O estudo do fluxo óptico é de extrema importância na Análise de movimentos, e conseqüentemente em visão computacional.

Foram estudados os métodos de Horn-Shunck, Lucas-Kanade,Lucas-Kanade PK

Trabalhos Futuros

Estudar melhor o embasamento matemático por trás da formulação do problema e das equações de restrição.

Estudar um método proposto na tese do Andrés Brunch(Complementary Optic Flow)

Pontifícia Universidade Católicado Rio de Janeiro

Exemplo:

Play

Pontifícia Universidade Católicado Rio de Janeiro

Pontifícia Universidade Católicado Rio de Janeiro

Referências

A. Faria, Fluxo Óptico, UFMG. Berthold K.P Horn and Brian G. Shunck, DeterminingOptical Flow. David Stavens, Introduction to OpenCV. Richard Szeliski, Computer Vision: Algorithms and Applications. Gary Bradski, Adrian Kaebler, Learning OpenCV. B. Lucas and T. Kanade. An iterative image registration techniquewith an application to stereo vision.