IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Rastreamento de Objetos Baseado emReconhecimento Estrutural de Padrões
Defesa de Dissertação de Mestrado
Ana Beatriz Vicentim Graciano
Orientador: Colaboradora:Roberto Marcondes Cesar Jr. Isabelle Bloch (ENST - Paris)
Depto. de Ciência da Computação - IME - USP
Agência de fomento patrocinadora: CNPQ
São Paulo, 23 de Março de 2007.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 1)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Introdução
[email protected] Rastreamento de Objetos baseado em Grafos (slide 2)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Contexto
uso de vídeo digital (ou seqüências de imagens) emsistemas de visão computacional para aplicações diversas:
vigilância automatizada
recuperação de informação em bancos de dadosmultimídia
edição de vídeo (ex: chroma-key digital)
interfaces homem-máquina inteligentes
[email protected] Rastreamento de Objetos baseado em Grafos (slide 3)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Operações sobre vídeo digital
Reconhecimento de Objetos:classificação/rotulação de um ou vários objetos
envolve algoritmos e técnicas de Visão Computacional,Reconhecimento de Padrões e Inteligência Artificial
abordagem baseada em modelo:conhecimento prévio a respeito do(s) objeto(s) de interesse
identificação de determinado(s) objeto(s) segundo modelo
[email protected] Rastreamento de Objetos baseado em Grafos (slide 4)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Operações sobre vídeo digital
Rastreamento de Objetosprocesso de determinação da posição de certo(s) objeto(s)ao longo do tempo numa seqüência de imagens
exemplo: localização da bola em vídeo de um jogo defutebol, para posterior tira-teima.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 5)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Objetivos
reconhecer e rastrear objetos em vídeo digital através deuma metodologia em que:
informação a priori é introduzida por um modelo de objetosdescrito por partes
objetos subdivididos em partes são representados porgrafos relacionais com atributos (ARGs)
tarefa de reconhecimento é realizada por técnica decasamento inexato entre grafos
tarefa de rastreamento é baseada no reconhecimentoefetuado
[email protected] Rastreamento de Objetos baseado em Grafos (slide 6)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Exemplo - Objeto e Partes
Modelo dereferência
Quadros a seremclassificados
Reconhecimento/Rastreamento
[email protected] Rastreamento de Objetos baseado em Grafos (slide 7)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
ContextoObjetivosMotivações
Motivações
utilização de uma representação abrangente para objetosatravés de grafos: descrição de características dos objetose de relações (estrutural, temporal) entre eles
modelo contém informação estrutural e quantitativa sobreos objetos e suas partes componentes
imprecisões entre modelo e entrada são consideradas
[email protected] Rastreamento de Objetos baseado em Grafos (slide 8)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Fundamentos Teóricos
[email protected] Rastreamento de Objetos baseado em Grafos (slide 9)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Estruturas de Dados
Representação por Grafos
vértices do grafo representam regiões (ou pixels) de umaimagem, enquanto arestas denotam relações entre asmesmasaplicações em morfologia matemática [2] ereconhecimento estrutural de padrões [3]
[email protected] Rastreamento de Objetos baseado em Grafos (slide 10)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Representação por Grafos (cont.)
Em Reconhecimento Estrutural de Padrões...grafos relacionais: modelagem de relações apenas
grafos relacionais com atributos (ARGs, do inglês,attributed relational graphs): modelagem de relações epropriedades dos objetos
neste mestrado, proposição de dois tipos de ARGs parauso em vídeo digital:
ARG intra-quadros (ARG-intra)
ARG inter-quadros (ARG-inter)
[email protected] Rastreamento de Objetos baseado em Grafos (slide 11)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
ARG Intra-quadros (ARG-intra)
Definição
Grafo Gintra = (V , E , µ, ν) representante de objetos presentesnuma única imagem (modelo ou quadro de um vídeo):
V : conjunto de vértices (objetos, partes ou subpartes dosmesmos)E : conjunto de arestas (relações entre os elementossupracitados)µ: vetor de atributos associados a cada vérticeν: vetor de atributos associados a cada aresta
[email protected] Rastreamento de Objetos baseado em Grafos (slide 12)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Atributos
Vetor de atributos de objeto (ou de vértice)
µ(v) = (g(v), c(v), l(v), t(v)) , v ∈ V
g(v) = nível de cinza médio da região da imagem associadaao vértice v
c(v) = coordenadas (em pixels) do centróide dessa região
l(v) = rótulo único atribuído ao vértice v
t(v) = índice equivalente a um instante de tempo do quadro dovídeo
[email protected] Rastreamento de Objetos baseado em Grafos (slide 13)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Atributos
Vetor de atributos relacional (ou de aresta)
ν(v , w) = (−→v ), com −→v =
−−−−−−−−−−→(c(w)− c(v))
dmax
v , w = vértices de Gintra
dmax = módulo do maior vetor calculado entre dois vérticesadjacentes de G
[email protected] Rastreamento de Objetos baseado em Grafos (slide 14)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
ARG Inter-quadros (ARG-inter)
Definição
grafo representante de objetos presentes num subconjuntode quadros consecutivos It , . . . , It+n
introduz informação espaço-temporal compartilhada porobjetos em quadros distintos através de arestas temporais
|[email protected] Rastreamento de Objetos baseado em Grafos (slide 15)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
ARG Inter-quadros (ARG-inter)
Definição (cont.)
Dados Gt = (Vt , Et , µt , νt), . . . , Gt+n = (Vt+n, Et+n, µt+n, νt+n):
Ginter = (V , E , µ, ν, νinter )
V =⋃t+n
i=t Vi (objetos, partes ou subpartes dos mesmos)
E = (⋃t+n
i=t Ei) ∪ Einter (relações espaciais ou temporaisentre os elementos supracitados)Einter = conjunto de arestas temporais(einter = (v , w) ∈ Einter se v ∈ Vi , w ∈ Vj , i 6= j , ede(centroide(v), centroide(w)) ≤ ε)µ, ν, νinter : vetores de atributos
[email protected] Rastreamento de Objetos baseado em Grafos (slide 16)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Atributos
Vetores de atributos de objeto (ou de vértice) e relacional (oude aresta)Equivalentes aos vetores de atributos de objeto e relacional deum ARG-intra
Vetor de atributos temporais
νinter (vi , vj) = (−→v , dt), com dt = |t(vi)− t(vj)|
νinter (vi , vj) = distância absoluta entre dois vértices doARG-inter, em termos de quadros.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 17)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Reconhecimento
ProblemaSe objetos em duas imagens (ex.: um quadro e um modelo)são representados através de grafos, como se dá o processode reconhecimento?
Solução
Reconhecimento = correspondência (ou casamento) adequadaentre os vértices de um dos grafos e os vértices do outro.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 18)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Reconhecimento
ProblemaSe objetos em duas imagens (ex.: um quadro e um modelo)são representados através de grafos, como se dá o processode reconhecimento?
Solução
Reconhecimento = correspondência (ou casamento) adequadaentre os vértices de um dos grafos e os vértices do outro.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 19)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Casamento entre Grafos
Casamento entre dois grafos G1 e G2.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 20)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Abordagens para Classificação baseadas em Grafos
Casamento Exato entre GrafosConsideremos dois grafos G1 = (V1, E1, µ1, ν1) eG2 = (V2, E2, µ2, ν2).
mapeamento f : V1 → V2 que preserva a presença dearestas, ou seja:Se v1, w1 ∈ V1 e (v1, w1) ∈ E1, então (f (v1), f (w1)) ∈ E2
formulação rígida (respostas "binárias")
algoritmos com custo computacional (tempo e memória)elevado
[email protected] Rastreamento de Objetos baseado em Grafos (slide 21)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Representação de Imagens DigitaisProcesso de Reconhecimento
Abordagens para Classificação baseadas em Grafos(cont.)
Casamento Inexato entre Grafosabordagem [1, 4, 5] permite que seja violada a condiçãode preservação de arestas
mais tolerante a erros e à variabilidade entre dois dadosgrafos
algoritmos podem encontrar uma solução ideal ouaproximada (similaridade entre grafos) em tempopolinomial ou não
[email protected] Rastreamento de Objetos baseado em Grafos (slide 22)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Metodologia Proposta
[email protected] Rastreamento de Objetos baseado em Grafos (slide 23)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Visão Geral
Fluxogramada
metodologia.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 24)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Pré-Processamento
Técnicas adotadaspodem variar de acordo com a aplicação
Nos exemplos . . .suavização por filtragem Gaussiana
operadores morfológicos:gradiente morfológico
dilatação, erosão
abertura, fechamento
[email protected] Rastreamento de Objetos baseado em Grafos (slide 25)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Segmentação dos Objetos
Fase I - remoção de fundo
seleção de pixels de objeto através de algoritmos pararemoção de fundo (podem variar de acordo com aaplicação)nos exemplos:
limiarização globalestimação de fundo a partir da média dos quadroscomponentes de um vídeo, seguido de subtração deimagens
Fase II - segmentação das regiões de interesse
segmentação pelo algoritmo de Watershed (imagenssupersegmentadas)
[email protected] Rastreamento de Objetos baseado em Grafos (slide 26)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Segmentação dos Objetos
Exemplo
Objetos selecionados e supersegmentados.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 27)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Criação de ARG-intra modelo
Imagem dereferência.
Máscara-modelorotulada.
ARG-intra modelo.
Imagem de referência + Máscara-modelo rotulada = ARG-intramodelo Gmodel = (Vmodel , Emodel , µmodel , νmodel)
[email protected] Rastreamento de Objetos baseado em Grafos (slide 28)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Criação de ARG-intra referente a um quadro It
Quadro original. Objetosupersegmentado
(watershed).
ARG-intra relativoao quadro.
Quadro It + segmentação = ARG-intra Gt = (Vt , Et , µt , νt)
[email protected] Rastreamento de Objetos baseado em Grafos (slide 29)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Criação de ARG-inter a partir de n quadros
Arestas coloridas = subconjunto de arestas temporais
[email protected] Rastreamento de Objetos baseado em Grafos (slide 30)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Etapa de classificação
mapeamento (função) de vários vértices de Ginter nummesmo vértice de Gmodelcasamento inexato entre Ginter e Gmodel
[email protected] Rastreamento de Objetos baseado em Grafos (slide 31)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Etapa de classificação
Algoritmo de Otimização
busca em árvore (tree-search), similar ao descrito em [1]custo associado a cada correspondência entre vértices earestas, calculado com base em atributossolução encontrada através da minimização de umafunção custo:
f (G̃S) =α
|VS|∑
(a1,a2)∈VS
cV (a1, a2) +(1− α)
|ES|∑
e∈ES
cE(e)
cV e cE : medidas de dissimilaridadeα: fator de ponderação
[email protected] Rastreamento de Objetos baseado em Grafos (slide 32)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Função Custo (cont.)
Custo de associação entre vértices
cV (a1, a2) = γV |g(a1)− g(a2)| + (1− γV ) de(c(a1), c(a2))
γV : fator de ponderação
g(a1), g(a2): níveis de cinza médios
c(a1), c(a2): centróides
[email protected] Rastreamento de Objetos baseado em Grafos (slide 33)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Função Custo (cont.)
Custo de associação entre arestas
cE(e) =
w(−→v ), se ∃e2 ∈ Emodel
0, se @e1 ∈ E e @e2 ∈ Emodel
ou ∃e2 = (a2, a2) ∈ Emodel
∞, c.c.
w(−→v ) =
{γE |‖
−→v 1‖ − ‖−→v 2‖|+ (1− γE) | cos θ−1|
2 , se e1 6∈ Einter1
dt(e1)+1(γE |‖−→v 1‖ − ‖
−→v 2‖|+ (1− γE) | cos θ−1|2 ), c.c.
γE : fator de ponderação
[email protected] Rastreamento de Objetos baseado em Grafos (slide 34)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Processo de Rastreamento
ARG-modelo atualizado através de transformação afim:
−→q = α(A−→s +−→b )
[email protected] Rastreamento de Objetos baseado em Grafos (slide 35)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Seqüência real I - Modelo
Imagem de referência Máscara modelo binária
Máscara modelo rotulada ARG-modelo resultante
[email protected] Rastreamento de Objetos baseado em Grafos (slide 36)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Seqüência real I
Segmentações obtidas com n = 1, 3 e 5 - coerênciaespaço-temporal.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 37)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Seqüência real II - Modelo
Imagem de referência Máscara modelo binária
Máscara modelo rotulada ARG-modelo resultante
[email protected] Rastreamento de Objetos baseado em Grafos (slide 38)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados
Seqüência real II
Segmentações obtidas com n = 1, 3 e 5 - coerênciaespaço-temporal.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 39)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Conclusão
[email protected] Rastreamento de Objetos baseado em Grafos (slide 40)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Considerações Finais
Resumometodologia para rastrear e reconhecer objetos em vídeodigital:
abordagem através de grafos relacionais com atributos
modelo descrito por partes
dificuldades:etapas inter-dependentes ao longo do processamento
características de vídeo digital (oclusões, deformações,coerência espaço-temporal, etc.)
[email protected] Rastreamento de Objetos baseado em Grafos (slide 41)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Considerações Finais
Contribuiçõesproposta de uma abordagem original para reconhecimentoe rastreamento de objetos baseado em modelo
grafos relacionais com atributos: formulação dos conceitosde ARG intra-quadros e, principalmente, ARGinter-quadros
incorporação de informação temporal: otimizações sobre oalgoritmo de busca em árvore e modificações nafunção-custo adotada
conseqüências:melhorias na manutenção da coerência espaço-temporal naclassificação e rastreamento entre os quadros
[email protected] Rastreamento de Objetos baseado em Grafos (slide 42)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Considerações Finais
Trabalhos futurospesquisa sobre topologia do grafo e sua utilização nafunção custoseleção automática de pesos na função custootimizações para atingir processamento em tempo realextensão para vídeos 3Ddesenvolvimento de medidas para avaliação automáticada classificação
[email protected] Rastreamento de Objetos baseado em Grafos (slide 43)
IntroduçãoFundamentos TeóricosMetodologia Proposta
Conclusão
Artigos publicados
1 Homomorfismo entre grafos para segmentação ereconhecimento de características faciais em sequênciasde vídeo: Resultados preliminares, SIBGRAPI, 2003.
2 Inexact Graph Matching for Facial Feature Segmentationand Recognition in Video Sequences: Results on FaceTracking, CIARP, 2003.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 44)
ApêndiceReferências BibliográficasFim
Referências Bibliográficas I
[1] R. Cesar, E. Bengoetxea, P. Larranaga and I. Bloch.Inexact graph matching for model-based recognition:Evaluation and comparison of optimization algorithmsPattern Recognition, vol. 38, n. 11, pp. 2099-2113, 2005.Some Press, 1990.
[2] L. Vincent.Graphs and Mathematical Morphology.Signal Processing, vol. 16, pp. 365-368, 1989.
[3] M. Vento, D.Conte, et. al.Graph Matching Applications in Pattern Recognition andImage Processing.Proceedings of ICIP’03.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 45)
ApêndiceReferências BibliográficasFim
Referências Bibliográficas II
[4] H. Bunke.Recent developments in graph matching.Em ICPR, pp. 2117-2124, 2000.
[5] H. Bunke.Graph matching: Theoretical foundations, algorithms, andapplications.Em Proceedings of Vision Interface 2000, Montreal, pp. 82- 88, 2000.
[email protected] Rastreamento de Objetos baseado em Grafos (slide 46)
ApêndiceReferências BibliográficasFim
Obrigada!
[email protected] Rastreamento de Objetos baseado em Grafos (slide 47)