Análise de Estruturas em Imagens: Segmentação Seguimento...

Análise de Estruturas em Imagens: Segmentação Seguimento e Reconstrução 3DSegmentação, Seguimento e Reconstrução 3D

João Manuel R S TavaresJoão Manuel R. S. [email protected] www.fe.up.pt/~tavares

2º Seminário de Engenharia Biomédica29 de Outubro de 2007, ESTIG-IPB29 de Outubro de 2007, ESTIG IPB

Conteúdo

• Apresentação• Processamento e Análise de Imagem• Processamento e Análise de Imagem

– Operações e Aplicações

• Segmentação de Estruturas em Imagens• Segmentação de Estruturas em Imagens– Métodos (modelos deformáveis e estatísticos) e Aplicações

S i t d E t t l d S ê i d• Seguimento de Estruturas ao longo de Sequências de Imagem

Mét d (fí i t á ti ) A li õ– Métodos (físicos e estocásticos) e Aplicações

• Reconstrução 3D de Estruturas a partir de Imagens– Métodos (visão estéreo e volumétricos) e Aplicações

• Eventos e Publicações• Equipa

João Manuel R. S. Tavares 2Análise de Estruturas em Imagens: Segmentação, Seguimento e Reconstrução 3D

Apresentação

Apresentação

• Prof. Auxiliar no Dep. de Engenharia Mecânica e Gestão Industrial (DEMEGI) da Faculdade de Engenharia da Universidade do Porto (FEUP)

• Investigador Sénior e Coordenador de Projecto no Lab. de ÓÓptica e Mecânica Experimental (LOME) do Instituto de Engenharia Mecânica e Gestão Industrial (INEGI)D t d M t E El t té i d C t d• Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área da Visão Computacional)

• Licenciado em Eng Mecânica (FEUP)• Licenciado em Eng. Mecânica (FEUP)• Áreas de Investigação: Visão Computacional (segmentação,

seguimento e reconstrução 3D de objectos) Interfacesseguimento e reconstrução 3D de objectos), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos)


Processamento e Análised Ide Imagem

(Visão Computacional)(Visão Computacional)

Processamento e Análise de Imagem

• O sistema sensorial da visão tem elevada importância para os seres vivospara os seres vivos– Podendo disponibilizar informações de índole mais básica, como

a existência ou não de um objecto, ou de cariz mais complexo, como o movimento de objectos

– Operações comuns envolvendo a visão são: a identificação de t t ( t ã ) i t d i t ( destruturas (segmentação), o seguimento do movimento (ou da

deformação) de estruturas ao longo do tempo (seguimento e análise), a obtenção da informação 3D sobre a forma dasanálise), a obtenção da informação 3D sobre a forma das estruturas visualizadas (reconstrução 3D)



• Os investigadores da área do Processamento e Análise de Imagem (Visão Computacional) tentam desenvolverde Imagem (Visão Computacional) tentam desenvolver métodos e técnicas computacionais para realizar de forma automática, ou semi-automática, operações e , , p çtarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos



• Exemplos de tarefas comuns usando metodologias e técnicas de Visão Computacional são: remoção detécnicas de Visão Computacional são: remoção de ruído, correcção geométrica, compressão, segmentação, seguimento e análise do movimento g ç , g(2D/3D), alinhamento (2D/3D), reconstrução da forma 3D, etc. ,

• Domínios em que são comuns metodologias e técnicas de Visão Computacional: Medicina, Industria,de Visão Computacional: Medicina, Industria, Engenharia, Sistemas de Segurança, Realidade Virtual, etc.


Segmentação de Estruturas Iem Imagens

Segmentação de Estruturas em Imagens

• Pretende-se identificar de forma automática, ou semi-automática, as estruturas presentes numa dada imagemautomática, as estruturas presentes numa dada imagem

• As metodologias mais comuns podem ser divididas em estatísticas físicas e protótipos/modelos deformáveisestatísticas, físicas e protótipos/modelos deformáveis

• É uma das operações mais usuais em Visão Computacional sendo muitas vezes a primeira “grande”Computacional, sendo muitas vezes a primeira grande tarefa considerada, como, por exemplo, no reconhecimento de estruturas em imagensreconhecimento de estruturas em imagens

• Pode ser executada em imagens 2D mas também em 3D3D



• Exemplo: análise da zona de dano em materiais compósitoscompósitos

Imagem original Segmentação

Zona do danodeterminada

Medidas obtidasda zona do dano


Durão et al (in press), Damage analysis of carbon/epoxy plates after drilling, International Journal of Materials and Product Technology


• Exemplo: identificação de faces em imagens usando modelos estatísticos para a pelemodelos estatísticos para a pele

Amostras usadas para construir o modelos estatístico

(zonas de pele) Objectodeterminado (face)

Carvalho & Tavares 2005 Metodologias para identificação de faces em imagens:


Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens: Introdução e exemplos de resultados, CMNI 2005, Granada, España


• Exemplo: utilização de imagem protótipo para segmentar característicassegmentar características

Template (imagem do olho)

Objecto determinado

Carvalho & Tavares 2005 Metodologias para identificação de faces em imagens:


Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens: Introdução e exemplos de resultados, CMNI 2005, Granada, España


• Exemplo: utilização de modelo protótipo deformável para segmentar característicassegmentar características

Imagem original e de camposde forças considerados

Determinação iterativa do objecto (íris)usando um template deformável (círculo)ç p ( )

D t i ã it ti dCarvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Coimbra, Portugal Carvalho & Tavares 2007 Eye detection using a deformable

Determinação iterativa doobjecto (olho) usando um

template deformável (círculo e 2 parábolas)


Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Porto, Portugal

( p )


• Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.)modelos pontuais de distribuição (cont.)

Identificação e amostragem (pontual) automática dos objectos a modelar

Vasconcelos & Tavares 2005 Automatic Modelling Image Represented Objects


Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects using a Statistic based Approach, EUROSIS 2005, Porto, Portugal



Imagens de treino usadas na construção dos modelos

Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects


& , g g p jusing a Statistic based Approach, EUROSIS 2005, Porto, Portugal



Etapas da segmentação numa nova imagem (usando modelo geométrico)


Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização na segmentação e reconhecimento de objectos em imagens, CMNI 2005, Granada, España



Etapas da segmentação numa nova imagem(usando modelo geométrico + aparência)

Vasconcelos & Tavares 2006 Methodologies to Build Automatic Point Distribution


Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Coimbra, Portugal


• Exemplo: controlo de um sistema por linguagem gestual

Sistema de controlo desenvolvido

T t l 2005 C t l 2 A i S h i b G t R iti i

desenvolvido


Tavares et al 2005, Control a 2-Axis Servomechanism by Gesture Recognition using a Generic WebCam, International Journal of Advanced Robotic Systems, Vol. 2, No. 1


• Exemplo: detecção de tumor em imagens de mamografiamamografia

Chagas et al 2007 An Application of Hough Transform to Identify Breast Cancer inImagem original Segmentação obtida


Chagas et al 2007, An Application of Hough Transform to Identify Breast Cancer in Images, VIPimage 2007, Porto, Portugal


• Exemplo: segmentação de estruturas usando contornos activos (snakes)activos (snakes)

Imagem original e Contorno finalcontorno inicial obtido

Tavares et al 2002 Apresentação de um Banco de Desenvolvimento e Ensaio para


Tavares et al 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para Objectos Deformáveis, RESI – Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1


• Exemplo: segmentação de estruturas usando modelos activos segundo princípios físicosactivos segundo princípios físicos

Imagem original econtorno inicial

Contorno finalobtido

Gonçalves et al 2007, Segmentation of objects in images using physical

i i l Vi IMAGE 2007 P t


principles, VipIMAGE 2007, Porto, Portugal


• Exemplo: segmentação de estruturas em imagens médicas usando level-setsmédicas usando level sets

Imagem original Segmentação inicial Segmentação final obtida

P di ã t l 2005 G ã d d l d lh d l t fi it ti d


Perdigão et al 2005, Geração de modelos de malhas de elementos finitos a partir de imagens médicas 2D, Encontro_1_Biomecânica, Abrantes, Portugal

Seguimento de Estruturas aol d S ê ilongo de Sequências

de Imagemde Imagem

Seguimento de Estruturas em Sequências de Imagem

• Pretende-se seguir o movimento (e/ou a deformação) de estruturas ao longo do tempoestruturas ao longo do tempo

• Nesta área, destacam-se as metodologias estocásticas• Usualmente envolve a identificação da estrutura a• Usualmente, envolve a identificação da estrutura a

seguir em cada imagem, a associação da estrutura entre imagens (emparelhamento/alinhamento) a estimativa doimagens (emparelhamento/alinhamento), a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento envolvido bem como a suaa análise do movimento envolvido bem como a sua quantificação



• Exemplo: seguimento usando filtragem de Kalman, técnicas de optimização e modelos de gestãotécnicas de optimização e modelos de gestão

Prediction Uncertainty Area Measurement Correspondence Result

Pi h t l 2005 H M t T ki d A l i ith K l Filt i d


Pinho et al 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Lisboa, Portugal


• Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelos de gestãoKalman, técnicas de optimização e modelos de gestão

(5 frames i t l)interval)

Pi h t l 2005 A M t T ki M t M d l ith K l Filt i Gl b l


Pinho et al 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A


• Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelos de gestãoKalman, técnicas de optimização e modelos de gestão

Pinho et al 2007 Efficient Approximation of the Mahalanobis Distance for Tracking with the


Pinho et al 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2


• Exemplo: emparelhamento de estruturas segundo princípios físicosprincípios físicos

Imagem de

Objecto Inicial Objecto Final Emparelhamento obtido

gpedobarografia

dinâmica

Tavares et al 2005, Improvement of Modal Matching Image Objects in Dynamic P d b h i O ti i ti T h i El t i L tt C t Vi i d


Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3


• Exemplo: emparelhamento de estruturas segundo princípios físicosprincípios físicos

Emparelhamentos obtidosentre iso-contornos

Emparelhamentos obtidos entre contornos

Bastos et al 2006, Matching of Objects Nodal Points Improvement using Optimization, Inverse Problems in Science and Engineering, Vol. 14, No. 5Tavares et al 2005, Improvement of Modal Matching Image Objects in Dynamic P d b h i O ti i ti T h i El t i L tt C t Vi i d


Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3


• Exemplo: ordenação de contornos de estruturas usando técnicas de optimizaçãotécnicas de optimização

Contornodesejado

Contornooriginal

Contornoobtido

Contorno Contorno Contornodesejado original obtido desejado original obtido



• Exemplo: emparelhamento de estruturas usando informação de curvatura e técnicas de optimizaçãoinformação de curvatura e técnicas de optimização

Contornosoriginais

Contornos emparelhados(2 vistas)originais (2 vistas)

Oliveira e Tavares 2007, Matching contours in images using curvature information, VipIMAGE 2007, Porto, Contornos

C t lh d


o a o , p G 00 , o o,Portugal originais Contornos emparelhados

(2 vistas)


• Exemplo: emparelhamento de estruturas usando programação dinâmicaprogramação dinâmica

Contornos originais Contornos emparelhados



• Exemplo: estimativa da deformação entre estruturas segundo princípios físicossegundo princípios físicos

Emparelhamentos Deformações estimadas

Gonçalves et al 2007, Aplicação de Princípios Físicos

Si l ã d D f ã

T & Pi h 2005 E ti ã T l d D f ã t Obj t tili d

na Simulação da Deformação de Objectos em Imagens, CIBEM8, Cusco, Perú


Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física, InfoComp, Vol. 4, No. 1

Reconstrução 3D de E t t ti d IEstruturas a partir de Imagens

Reconstrução 3D de Estruturas a partir de Imagens

• Pretende-se reconstruir a forma 3D de estruturas a partir de imagensde imagens

• Pode-se reconstruir estruturas a partir de conjuntos de imagens 2D alinhadas por exemplo reconstruir órgãosimagens 2D alinhadas, por exemplo, reconstruir órgãos a partir de slices – Geralmente envolve o alinhamento dos slices a segmentaçãoGeralmente envolve o alinhamento dos slices, a segmentação

2D da estrutura em cada slice e a construção da geometria 3D a partir dos contornos segmentados

– Contudo, também se pode reconstruir a geometria 3D directamente a partir dos dados 3D, usando, por exemplo, modelos deformáveis activos 3Dmodelos deformáveis activos 3D



• Pode-se reconstruir tridimensionalmente estruturas exteriores a partir de imagensexteriores a partir de imagens– Para tal, pode-se usar técnicas Activas (com projecção de energia ou

movimento relativo) ou Passivas (sem projecção de energia nem movimento relativo)

• Geralmente, envolve identificação de características das estruturas nas imagens emparelhamento de características entre imagensnas imagens, emparelhamento de características entre imagens, calibração do sistema de aquisição, triângulação entre imagens, etc.

O é– Outra possibilidade é a reconstrução baseada em metodologias Volumétricas de Escavação Espacial



• Exemplo: Reconstrução órgãos em imagens médicas

slices

Segmentação Pavimento pélvicoreconstruído

Estruturas da cavidade pélvica reconstruídas

Pimenta et al 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Coimbra, PortugalAlexandre et al 2007 3D reconstruction of pelvic floor for numerical simulation purpose


Alexandre et al 2007, 3D reconstruction of pelvic floor for numerical simulation purpose, VipIMAGE 2007, Porto, Portugal


• Exemplo: Reconstrução órgãos em imagens médicas

Segmentação de um slice e b idreconstrução obtida

Perdigão et al 2005, Sobre a Geração de Malhas Tridimensionais para fins Computacionais a partir de Imagens


Reconstrução de estruturas do braço

Computacionais a partir de Imagens Médicas, CMNI 2005, Granada, España


• Exemplo: Reconstrução 3D usando técnicas de Visão ActivaActiva

Sequência de imagens Reconstrução 3D

Extracção de pontos fortes

Emparelhamento denso

Emparelhamento de pontos fortes

Auto-calibração / Estimativa da Pose

Plataforma computacionalM t d l i tili d

Extracção da geometria epipolar

desenvolvidaMetodologia utilizada

Azevedo et al 2006 Desenvolvimento de uma Plataforma Computacional para Obtenção


Azevedo et al 2006, Desenvolvimento de uma Plataforma Computacional para Obtenção da Forma 3D de Objectos usando Técnicas de Visão Activa, Mecânica Experimental, nº 12


• Exemplo: Reconstrução 3D usando técnicas de Visão ActivaActiva

Mapa de disparidadeobtido

Imagens originais

Azevedo et al 2006 Development of a Computer Platform for Object 3D Reconstruction


Azevedo et al 2006, Development of a Computer Platform for Object 3D Reconstruction using Active Vision Techniques, VISAPP 2006, Setúbal, Portugal


• Exemplo: Reconstrução 3D usando metodologias VolumétricasVolumétricas

Imagens originais Modelo 3D obtidovoxelizado

Modelo 3D obtido poligonizado

Azevedo et al 2007 Building External Anatomical Structures from Images using a Single


Azevedo et al 2007, Building External Anatomical Structures from Images using a Single Off-The-Shelf Camera, ICCB 2007, Isla de Margarita, Venezuela



Imagens originais Modelo 3D obtido Modelo 3D obtidoImagens originais Modelo 3D obtidovoxelizado


A d t l 2007 3D V l t i R t ti d Ch t i ti f Obj t f


Azevedo et al 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Palma de Mallorca, Spain



Imagens originais Modelo 3D obtidovoxelizado


Azevedo et al 2007, External Anatomical Shapes Reconstruction from Turntable Image Sequences using a Single off the shelf Camera Electronic Letters on Computer Vision and


Sequences using a Single off-the-shelf Camera, Electronic Letters on Computer Vision and Image Analysis (submitted)

Eventos e Publicações


• Conferências e Mini-Simpósios Organizados


Informações em www.fe.up.pt/~tavares


• Conferências e Mini-Simpósios Organizados




• Publicações de Edições Especiais, Livros e Revista



Equipa(Vi ã C t i l)(Visão Computacional)

Equipa (Visão Computacional)

• Alunos de Doutoramento (9):– Em curso: Raquel Pinho Patrícia Gonçalves MariaEm curso: Raquel Pinho, Patrícia Gonçalves, Maria

Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque

• Alunos de Mestrado (11):– Em curso: Fernando Carvalho, Daniela Sousa, Mauro Trindade,

Francisco Oliveira, Lara Quintela, Fi li d T A d M i V l R l Pi h– Finalizados: Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves (INEB)

• Alunos de Licenciatura (2)• Alunos de Licenciatura (2)– Finalizados: Ricardo Ferreira, Soraia Pimenta

• …


Equipa (Visão Computacional)

• Colaboradores/Supervisores:– Renato Natal Jorge (IDMEC/FEUP)Renato Natal Jorge (IDMEC/FEUP)– Mário Vaz (LOME/FEUP)– Luís Durão (ISEP)( )– Miguel Velhote, Jorge Barbosa (INEB/FEUP)– Francisco Freitas (INEGI/FEUP)( )– Emília Mendes (CRPG)– Denilson Rodrigues (PUC - Minas Gerais, Brasil)– Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH)– Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC)– Manuel Paulo (FMDUP)– Adelino Leite-Moreira (FMUP)– …


Muito Obrigado pelaMuito Obrigado pelaVossa Atenção!Vossa Atenção!

Análise de Estruturas em Imagens: Segmentação, Seguimento e Reconstrução 3D

João Manuel R. S. [email protected] www.fe.up.pt/~tavares

2º Seminário de Engenharia Biomédica29 de Outubro de 2007, ESTIG-IPB Colaborações são29 de Outubro de 2007, ESTIG IPB Bem-Vindas!

Análise de Estruturas em Imagens: Segmentação Seguimento...

Documents

Transcript of Análise de Estruturas em Imagens: Segmentação Seguimento...