Análise Computaciona de Imagem - FEUP - Faculdade de...
Transcript of Análise Computaciona de Imagem - FEUP - Faculdade de...
Análise Computacional de Imagem
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares
Janeiro 16, 2015
Sumário
1. Apresentação
2. Análise Computacional de Imagem i. Introdução
ii. Segmentação
iii. Análise e Simulação • Seguimento • Emparelhamento • Alinhamento • Simulação
iv. Visão 3D
3. Publicações & Eventos
2 Análise Computacional de Imagem 2015@João Manuel R. S. Tavares
Apresentação
Apresentação • Prof. Associado no Dep. de Eng. Mecânica (DEMec) da
FEUP • Investigador Sénior e Coordenador de Projecto no Lab. de
Óptica e Mecânica Experimental (LOME) do INEGI • Doutorado e Mestre em Eng. Electrotécnica e de
Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem)
• Licenciado em Eng. Mecânica (FEUP) • Áreas de Investigação: Processamento e Análise de
Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 4
Análise Computacional de Imagem: Introdução
Introdução • Os investigadores da área do Processamento e Análise
de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 6
Imagens originais
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Modelo computacional 3D voxalizado e poligonizado
Introdução • Algoritmos de Processamento e Análise de Imagem
são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: – Ciências naturais, Desporto – Engenharia, Indústria – Medicina, Biologia
• Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: – Melhoramento de Imagem – Segmentação, Reconhecimento (2D-4D) – Seguimento e análise de movimento, incluindo
emparelhamento, alinhamento e simulação (2D-4D) – Visão 3D
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 7
Introdução: Processamento e Análise de Imagem – Operações e Objectivos
Análise Computacional de Imagem 8
Melhoramento de imagem
Segmentação de imagem / extração de características
seguimento
emparelhamento
simulação
Imagem / imagens
Análise de movimento alinhamento
Processamento de Imagem
Análise de Imagem / Visão Computacional
2015@João Manuel R. S. Tavares
Visão 3D
Visão por Computador
Introdução • (Pré-)Processamento de Imagem: suavização de ruído
usando um verme “inteligente”
9 2015@João Manuel R. S. Tavares Análise Computacional de Imagem
Imagens originais, corrompidas e melhoradas por diferentes métodos de suavização
Araujo et al. (2014) Expert Systems with Applications 41(13):5892–5906
Análise Computacional de Imagem: Segmentação
• Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR
Imagens originais Após segmentação
Bastos & Tavares (2004) LNCS 3179:39-50
Segmentação
camada de contacto + vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada transparente
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 11
Region Growing, x=215; y=254
Segmentação • Segmentação de estruturas do ouvido: método de
crescimento de regiões
Imagem original Segmentação obtida (labirinto ósseo)
Barroso et al. (2011) CNME 2011 Ferreira et al. (2014) Computer Methods in Biomechanics and Biomedical Engineering 17(8):888-904
X: 254 Y: 214Index: 116.7RGB: 0.459, 0.459, 0.459
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 12
Segmentação • Análise do tracto vocal durante a fala partir de imagens
de ressonância magnética: modelos ativos de forma
Vasconcelos et al. (2011) Journal of Voice 25(6):732-742
Segmentação intermédia II
Imagem original +
modelo médio
Segmentação final
Segmentação intermédia I
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 13
Segmentação • Segmentação de estruturas em imagens: contornos
ativos (i.e. snakes)
Imagem original e contorno inicial
Contorno final
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 2015@João Manuel R. S. Tavares Análise Computacional de Imagem 14
Imagem original e contorno inicial Contorno final
Segmentação • Segmentação de melanomas em imagens
dermoscópicas: contornos ativos (i.e. snakes)
Araujo et al. (2012) Avanços em Visão Computacional, ISBN: 978-85-64619-09-8, 27-46 2015@João Manuel R. S. Tavares Análise Computacional de Imagem 15
Imagens originais e contornos determinados
Segmentação • Segmentação de bifurcação da carótida em imagens de
Doppler: métodos de contornos ativos e de level set
Segmentação usando um modelo de contornos ativos (Yessi)
Silva et al. (2011) VipIMAGE 2011, 117-122 Santos et al. (2013) Expert Systems with Applications 40(16):6570-6579
Segmentação usando um modelo de level set (Chan-Vese)
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 16
Segmentação • Segmentação do pavimento pélvico feminino a partir
de imagens de ressonância magnética: método de level set, conhecimento prévio
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 Segmentação do pavimento pélvico
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 17
Análise Computacional de Imagem: Seguimento,
Emparelhamento, Alinhamento e Simulação
Seguimento • Seguimento de marcas em análise da marcha: filtro de
Kalman, distância de Mahalanobis, otimização, modelo de gestão
Previsão Incerteza Medição Correspondência Resultado
Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75
(5 frames)
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 19
Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92
(547 frames)
Seguimento • Seguimento de ratos em sequências longas de imagem:
filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 20
• Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização
Emparelhamento
Imagens originais Contornos emparelhados
Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
camada de contacto + vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada transparente
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 21
Alinhamento • Alinhamento de imagens de pedobarografia: modelação
geométrica, otimização, programação dinâmica
Imagens originais e contornos extraídos
Contornos emparelhados e imagens antes e após alinhamento
Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 2015@João Manuel R. S. Tavares Análise Computacional de Imagem 22
Alinhamento • Alinhamento de imagens de pedobarografia:
transformada de Fourier
Imagens originais Imagens antes e após alinhamento
Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
23 2015@João Manuel R. S. Tavares Análise Computacional de Imagem
Alinhamento • Alinhamento intermodal (CT/RM): otimização pelo
Método de Powell (otimização) de medida de semelhança (MI)
24
Imagens Alinhadas
Imagem originais
CT RM CT+RM
CT+RM Diferença CT+RM
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323
24 2015@João Manuel R. S. Tavares Análise Computacional de Imagem
• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.
Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses)
(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)
25 2015@João Manuel R. S. Tavares
Alinhamento
25 Análise Computacional de Imagem
F F
F F F
F F F
M M M
M M M
M
M
Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)
26 2015@João Manuel R. S. Tavares
Alinhamento • Alinhamento de imagens 3D: otimização iterativa,
alinhamento 3D
26 Análise Computacional de Imagem
Oliveira & Tavares (2014) Computer Methods in Biomechanics and Biomedical Engineering 17(2):73-93
27 2015@João Manuel R. S. Tavares
Alinhamento
27 Análise Computacional de Imagem
Slice médio de uma população usado como referência
Slice correspondente de um paciente
Diferença de intensidades
Mapeamento dos Z-scores no slice (a vermelho valores
mais elevados)
(Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação)
Oliveira et al. (2014) The Quarterly Journal of Nuclear Medicine and Molecular Imaging 58(1):74-84
Aplicação no estudo de imagens DaTSCAN SPECT
28 2015@João Manuel R. S. Tavares
Alinhamento
28 Análise Computacional de Imagem
Oliveira et al. (2014) The Quarterly Journal of Nuclear Medicine and Molecular Imaging 58(1):74-84
Aplicação no estudo de imagens DaTSCAN SPECT
Ganglia basal “média” de uma
população normal
Ganglia basal de um paciente com parkinsonismo
idiopático
Ganglia basal de um paciente com parkinsonismo
vascular
Reconstrução 3D da ganglia basal e quantificação
Alinhamento • Alinhamento de sequências de imagem 2D de
pedobarografia dinâmica: alinhamento espacial e temporal
29
Sequências originais antes do alinhamento
Sequências pré-processadas
Sequências de imagem originais
Sequências após alinhamento
camada de contacto + vidro
câmara espelho
29 2015@João Manuel R. S. Tavares
Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850
Análise Computacional de Imagem
• Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange
Emparelhamento obtido
Deformações simuladas
Simulação
Análise Computacional de Imagem 30
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Imagens originais
2015@João Manuel R. S. Tavares
Análise Computacional de Imagem: Visão 3D
Visão 3D • Reconstrução 3D de estruturas a partir de slices:
segmentação 2D, marching cubes
Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362
2015@João Manuel R. S. Tavares 32 Análise Computacional de Imagem
Visão 3D • Reconstrução 3D de órgãos da cavidade pélvica feminina
partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 33
Ma et al. (2013) Medical Engineering & Physics 35(12):1819-1824
Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina)
Bexiga reconstruida usando informação axial e sagital (2 vistas)
Visão 3D • Reconstrução 3D de órgãos a partir de imagens de
diferentes modalidades: alinhamento, marching cubes, fusão
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 34
Oliveira & Tavares (2014) Computer Methods in Biomechanics and Biomedical Engineering 17(2):73-93
slices coronal, sagital e axial, e segmentação obtida Visualização 3D após fusão TAC/
SPECT
Visão 3D
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 35
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
• Reconstrução 3D de estruturas a partir de sequências de imagem: escavação espacial
Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado
• Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas)
Visão 3D
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 36
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933
Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida
Análise Computacional de Imagem: Sumário
Sumário
• A área do Processamento e Análise de Imagem é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina e em Engenharia
• Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados
• Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver
• Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios
• Para tal, Colaborações são Necessárias e Bem-vindas 38 Análise Computacional de Imagem 2015@João Manuel R. S. Tavares
Publicações & Eventos
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 40
Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”
www.tandfonline.com/tciv
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 41
Lecture Notes in Computational Vision and Biomechanics (LNCV&B) Series Editors: João Manuel R. S. Tavares, Renato Natal Jorge ISSN: 2212-9391, Publisher: SPRINGER
www.springer.com/series/8910
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 42
Eventos:
Webpage (www.fe.up.pt/~tavares)
2015@João Manuel R. S. Tavares Análise Computacional de Imagem 43
Agradecimentos
• Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: – PTDC/BBB-BMD/3088/2012 – PTDC/SAU-BEB/102547/2008 – PTDC/SAU-BEB/104992/2008 – PTDC/EEA-CRO/103320/2008 – UTAustin/CA/0047/2008 – UTAustin/MAT/0009/2008 – PDTC/EME-PME/81229/2006 – PDTC/SAU-BEB/71459/2006 – POSC/EEA-SRI/55386/2004
44 Análise Computacional de Imagem 2015@João Manuel R. S. Tavares