Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel...

19
Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares , Miguel Velhote Correia Laboratório de Óptica e Mecânica Experimental Correspondência

Transcript of Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel...

Page 1: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontosno Seguimento de Movimento em Imagens

Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia

Laboratório de Óptica e Mecânica Experimental

Correspondência

Page 2: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 2

Índice

• Introdução;• Métodos Estocásticos:

– Filtro de Kalman;– Alternativas ao Filtro de Kalman;

• Optimização das Correspondências na Medição:– Algoritmo Simplex;– Distância de Mahalanobis;

• Resultados Experimentais;• Conclusões e Perspectivas de Trabalho Futuro.

Introdução

Page 3: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 3

Introdução• É usual a análise de movimento ser dividida em:

– Detecção;– Seguimento;– Reconhecimento.

• O seguimento, geralmente, envolve o emparelhamento de características/entidades como pixels, pontos, áreas... • Aplicações práticas do seguimento:

– análise do tráfego automóvel;– previsão das condições atmosféricas através do movimento das

nuvens;– estudo do movimento dos lábios para permitir a sua leitura;– análise das deformações de objectos devido a forças; etc.

Introdução

Page 4: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 4

Introdução• Dificuldades comuns:

– Complexidade dos objectos seguidos e das cenas:• Múltiplos objectos;• Variação topológica (divisão/fusão das entidades seguidas);• Aparecimento/Desaparecimento dos objectos seguidos;• Fundos complexos;• Variações de iluminação; etc.

– A inexistência de modelos computacionais perfeitos:• Construídos considerando aproximações;• Existência de perturbações incontroláveis não modeláveis

deterministicamente.

Utilização de Métodos Estocásticos

Introdução

Page 5: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 5

Métodos Estocásticos

• Adequados para dados multivariados;• Geralmente, obtêm melhores resultados dos que as metodologias baseadas em séries temporais;• Definidos por espaços de estados.

• Neste trabalho:– Entidades: pontos;– Método Estocástico: Filtro de Kalman;– Vectores de Estados:

• Posição;• Velocidade;• Aceleração.

Mét. Estocásticos

Page 6: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 6

Métodos Estocásticos • Seguimento, consiste no cálculo recursivo de grau de certeza associado a cada estado em determinado instante, tendo em consideração os dados obtidos até esse momento. Para tal utiliza:

– modelo do sistema;– modelo de medição.

• São consideradas três fases:– Previsão - utiliza o sistema do modelo para prever a função de

densidade de probabilidade do estado no instante seguinte;– Medição - fortemente dependente da aplicação;– Correcção - utiliza a medição de forma a modificar a função

densidade de probabilidade prevista.

Mét. Estocásticos

Page 7: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 7

Filtro de Kalman

• Permite a estimativa do estado de um sistema de forma óptima caso:

– a transição entre estados seja linear;– a função de probabilidade seja normal.

Mét. Estocásticos

Page 8: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 8

Alternativas ao filtro de Kalman (exemplos)• Filtro de Kalman Estendido:

– Permite o seguimento de movimento não linear;– Aplicação complexa.

• Filtro de Condensação: – Utiliza a amostragem factorizada com um modelo estocástico de

movimento dos objectos;– Propaga as amostras com pesos associados para formar o

instante seguinte;– Requer a utilização de um número relativamente elevado de

amostras (porque não é paramétrico);– Possibilidade de degeneração das partículas.

Mét. Estocásticos

Page 9: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 9

Optimização das Correspondências• A fase de correcção requer o estabelecimento de correspondências (matching) entre as entidades estimadas e as reais (medidas).• No filtro de Kalman para a posição 2D, a área de pesquisa para o estabelecimento de correspondências é uma elipse:

– Dificuldades:• Nenhuma ou múltiplas entidades no interior da elipse;• Usando um emparelhamento local, não há garantia de que

se tenha obtido em termos globais o melhor emparelhamento para o conjunto de entidades seguidas.

Optimização

Técnica de Optimização Global + Distância de Mahalanobis

Page 10: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 10

Optimização das Correspondências• Com a consideração da optimização global pretende-se assegurar a obtenção do melhor conjunto de correspondências para todas as entidades seguidas;• O custo de cada emparelhamento é calculado usando a distância de Mahalanobis;• A distância de Mahalanobis é uma distância euclidiana ponderada pela covariância;• O método Simplex é utilizado para minimizar o custo global do emparelhamento.

Optimização

Page 11: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 11

Resultados Experimentais• Exemplos sintéticos:

– Translação horizontal de 3 “blobs”:

Legenda:

Resultados

Previsões Área de Incerteza Medições Correspondências Resultados

Page 12: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 12

• Translação horizontal de 2 “blobs” (A e B) e rotação de 8º (C e D):

Resultados Experimentais Sintéticos (Cont.)

Previsões Área de Incerteza Medições Correspondências Resultados

A

B

C

D

Resultados

Page 13: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 13

• Continuação ...Pontos C e D invertem sentido de rotação:

Resultados Experimentais Sintéticos (Cont.)

Previsões Área de Incerteza Medições Correspondências Resultados

A

B

C

D

Resultados

Page 14: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 14

• Sobreposição de pontos (Oclusão):

Resultados Experimentais Sintéticos (Cont.)

Previsões Área de Incerteza Medições Correspondências Resultados

E

F

Resultados

Page 15: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 15

- Análise da Marcha I:

Resultados Experimentais Reais

Previsões Área de Incerteza Medições Correspondências Resultados

Resultados

Page 16: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 16

- Análise da Marcha II:

Resultados Experimentais Reais (Cont.)

Resultados

Previsões Área de Incerteza Medições Correspondências Resultados

It.

Erro Médio (Previsão/Medição) (pixels)

1 2.26

2 1.41

3 1.23

4 0.75

5 0.55

6 0.93

Page 17: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 17

Conclusões e Trabalho Futuro

• Na metodologia proposta para o seguimento de objectos, é utilizado:– filtro de Kalman;– um método de optimização global;– Distância de Mahalanobis.

• Usando a optimização global no emparelhamento obtêm-se as melhores correspondências para o conjunto de entidades seguidas.

• Abordagem apresentada revelou-se robusta (mesmo em casos de oclusão e com movimento “não-linear”).

Conclusões

Page 18: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 18

Conclusões e Trabalho Futuro

• Este trabalho será considerado no desenvolvimento de uma aplicação de análise de movimento para o diagnóstico clínico da marcha e a análise do movimento em actividades desportivas.

• No futuro será interessante comparar os resultados obtidos pela metodologia proposta com os obtidos por métodos estocásticos adequados para movimento não-linear.

Conclusões

Page 19: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de.

Correspondência entre Pontos no Seguimento de Movimento em Imagens

ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução

Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 19

Agradecimentos• O primeiro autor, agradece a Bolsa de Doutoramento

concedida pela FCT - Fundação para a Ciência e a Tecnologia, no âmbito do projecto POSI, sob a referência SFRH/BD/12834/2003.

• Este trabalho foi parcialmente realizado no âmbito do projecto “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos”, financiado pela FCT com a referência POSC/EEA-SRI/55386/2004.

União Europeia FEDER

Governo da República Portuguesa