OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens...

89
Segmentação de Imagens S.Furuie Jul/01- 1 Segmentação de Imagens Motivação Identificação de objetos Quantização: contagens, área, perímetro, volume Visualização 2D, 3D Reconhecimento de padrões Classificação Segm. Reconh. Padrões Classif. Normal Patolog. Congen. Adquir. ...

Transcript of OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens...

Page 1: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 1

Segmentação de Imagens

MotivaçãoIdentificação de objetosQuantização: contagens, área, perímetro, volumeVisualização 2D, 3DReconhecimento de padrõesClassificação

Segm. Reconh.Padrões

Classif.

NormalPatolog.

Congen.Adquir....

Page 2: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 2

Motivação

Processos convencionais (manual e semi-automático) : demorados e cansativos

gated MRI : 16 volumes, 12 cortes => 192 imggated SPECT: idem

Page 3: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 3

Resultados em RM

VE

VD

Transv.RM

Mioc.

Page 4: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 4

VE: pre-Ventriculotomia

Diástole

Page 5: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 5

VE: pre-ventriculotomia

Sístole

Page 6: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 6

Visão Global

OperadoresRepresentação dos resultados da segmentaçãoTécnicas de segmentação

thresholdingsnakesregion-growingsplit-mergefuzzy connectednessredes neuraismétodos estatísticos

Interpretação

Page 7: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 7

Segmentação de Imagens

Por descontinuidadeoperadores (detetores)

– ponto– linha– borda (gradiente,laplaciano e LoG)

contornos– manual– semi-automático– automático (conexão de bordas,Transf. de Hough)

Por similariedadethresholdingregion-growingsplit and merge

Page 8: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 8

Gradiente

∇ = +f x y f x yx

u f x yy

ux y( , ) ( , ) ( , )∂∂

∂∂

∂∂

∂∂

f x yx

f i f i

f i f i f i

f i f i f i

f x yx

f i f i

x i

x i

( , ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( , ) ( ) ( )

=

=

= + − −

+ =+ +

− =− +

=+ − −

12

12

12

12

12

12

1 12

i-1 i i+1-1 0 1

-1 0 1-1-1

00

11

-1 0 1-2-1

00

21

-1 -1 -101

01

01

-1 -2 -101

02

01

Sobel∂

∂∂

f x yx

f x yy

( , )

( , )

Page 9: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 9

Algoritmo p/ Laplaciano em x?

∂∂

∂∂

f x yx

f i f i

f i f i f i

f i f i f i

f x yx

f i f i

x i

x i

( , ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( , ) ( ) ( )

=

=

= + − −

+ =+ +

− =− +

=+ − −

12

12

12

12

12

12

1 12

∇ = +22

2

2

2f x y f x yx

f x yy

( , ) ( , ) ( , )∂∂

∂∂

Page 10: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 10

Sobel, Laplace,...

Laplace

Sobel f x y f x yx

f x yy

( ( , ) ) ( ( , ) ) ( ( , ) )= +∂

∂∂

∂2 2

∇ = +22

2

2

2f x y f x yx

f x yy

( , ) ( , ) ( , )∂∂

∂∂

∂∂

∂∂∂∂

∂∂

∂∂

2

2 12

12

11 2 1

f x yx

fx

xfx

fx

f i f if i f i f i

ii i

( , ) ( )( ) ( )

( ) ( ) ( )

= = −

− − + +

+ −

= ( ( + ) - ( ) ) - ( f ( i ) - f ( i - 1 ) ) =

i-1 i i+11 -2 11

0 1 01 -4 1

10

H z z z

H w wT

( ) ( )

( ) ( cos ( ) )

= − +

= − −

− 1 2

2 1

Page 11: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 11

Laplaciano da Gaussiana (LoG)

Edge detectorGauss=>SmoothLaplace=>Zero crossing

),(*),(),(

)2

exp(),(

2

2

22

yxfyxGaussyxg

yxyxGauss

∇=

+−=

σ

LoG(x)

Page 12: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 12

Label (blob)

k=1 (classe do background/borda 0)scan image x

– if f(x)==0 continue– if f(xu)==1 and f(xL)==0 =>c(x)=c(xu)– if f(xu)==0 and f(xL)==1 =>c(x)=c(xL)– if f(xu)==1 and f(xL)==1 => c(x)=c(xL), c(xu) equiv. c(xL)– if f(xu)==0 and f(xL)==0 =>c(x)=k++

0 0 0 .. 000...0

xxu

xL

Expansão p/ 3D

Page 13: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 13

Representação dos objetos

formato, texturascaracterísticas desejadas:

invariância à Translação, Rotação e Escala (ePonto de início p/ contornos

Contornos de objetosencadeamento: 013102...

– direção– variação de direção– Invar. T, R, (E se usar escala adequada), (I se

normalizar)polígonos

– max. distância ao contornoconvex hull

– menor conjunto convexo que contém o objeto.

01

2

3

Page 14: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 14

Representação de contornos

esqueletoassinaturas r

ix i j y i

( ) :

( ) :( ) ( )

θ

θ

i n v . T , R ( s e m e s m o I ) , E ( s e n o r m a l i z a d o p e l a v a r . )

+

r

x

y i

θθ

x

y i

i1 2

Page 15: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 15

Segmentação por região

Região: Region-growingconectividade, afinidade, tamanho, forma,possibilidade

– semente– para cada vizinho, agregar o mesmo se similar. Se

agregado, considerar os vizinhos deste.Região: Split and Merge

quadtree, octree– testar homogeneidade de cada quadrante

se não homogêneo, subdividir e continuar até últimoquadrante

– merge de quadrantes vizinhos com homogeneidadessimilares.

Page 16: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 16

Movimento:diferença acumulativa: histogramadomínio da freq.: projeção das imagens. velocidademédia

Page 17: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 17

Técnicas: Thresholding

T=T[ f(x,y), x, y, p(x,y) ]de imagem f(x,y)p(x,y): propriedade local

GlobalÓtimo:local : baseado na região das bordasbaseado em características: grad. e laplacianomulti-banda m in Erro T

Erro T P p x dx P p x dx

Erro TT

P p T P p T

p x p xPP

TT

T

( )

( ) . ( ) . ( )

( ). ( ) . ( )

( ), ( ):

ln( )

= +

= => =

++

−∞

∫ ∫2 2 1 1

1 1 2 2

1 2

22

2

2

1

0

2

∂∂

µ µ σµ µ

se G aussian

T = 1

1

Page 18: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 18

Optimal thresholding

)ln(2

)(.)(.

0min

.)(..)(.

1

)2

)(exp(2

1)(

)(.)(.)(

1

2

21

221

2211

1122

21

2

22211

PPT

TpPTpPT

ErroErro

dxxpPdxxpPErro

PP

xxp

xpPxpPxp

T

T

T

i

i

ii

µµσµµ

∂∂

σµ

σπ

−+

+=

=⇒

=⇒

+=

=+

−−=

+=

∫∫∞

∞−

T x

P1

P2

p1(x) p2(x)

Page 19: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 19

Isodata (k-means)

0

1

2

)

)

)

K classes com centro em c

Inicializar c

Para cada x => atribuir x p / classe j com menor distancia

3) Recalcular c

4) Repetir 2) e 3) ate nao haver mais alter.

i

j(0)

i i

j

atrib. 1

atrib

.2

Page 20: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 20

Segmentação de estruturas 3D dinâmicas

Motivaçãomedida e visualização de estruturas do mundo realestruturas dinâmicascoração, VE, miocárdio, ...parâmetros: FE, volume, área, ...

Dificuldadeselevado volume de dados:16 vol. X 12 slices X 256 X 256=> 192 slicesestruturas complexas : forma, superposição, diversasintersecções com um plano, não-homogeneidade,especifidade, ...

Page 21: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 21

PROBLEMA e PROPOSTA

PROBLEMASegmentação de estruturas 3D, 4DEstruturas complexas

PROPOSTAconectividade fuzzy considerando múltiplas imagensde um objeto

RAZÕES INTUITIVASestruturas de interesse tem voxels conectados (fuzzy)pelo menos em alguma dimensãoconectividade baseado em afinidade entre voxelsfácil expansão p/ 3D, 4D

Page 22: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 22

Fuzzy Connectedness entre 2 vox.

Considera adjacencia e afinidade entre dois voxelsDados 2 voxels “i” e “j” com valores (vetorial) v(i), v(j)fc(i,j)=max{f(i,j)}f(i,j)=g( adj(i,j), v(i), v(j), i, j )adj : adjacencia (fuzzy)f(i,j)=adj(i,j) . affin(v(i), v(j), i, j )affin: afinidade (fuzzy)

Page 23: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 23

Fuzzyness

fuzzy sets, membershipDomínio XFuzzy Set={ (x, f(x)) | x ε X }f : X => [0,1] (membership)

fuzzy relationi ε X , j ε Xrelation={(i,j), r(i,j)}r : X x X => [0,1]

Page 24: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 24

fuzzy relationconnectednessadjacencyaffinity

Propostaadj(i,j)=1 (se 1-adjacent)

=0affin(i,j)=exp(-0.5d**2)

d**2 : dist. estatísticaprogramação dinâmica

queue

Page 25: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 25

Conectividade Fuzzy

Algorit: Fuzzy Object ExtractionInput: imagem (C,f) e seed sOutput: imagem (Co,fo)Auxiliares:queue Q

0. Set fo(i)=0, i#s e fo(s)=11. Push all spels c of Co | affin(s,c)>0 to Q2. While Q is not empty do2.1. Remove a spel c from Q2.2. find fmax=maxd [min(fo(d),affin(c,d))]2.3. if fmax> fo(c) then set fo(c) = fmax

push all spels e | affin(c,e)>0 to Q endif2.4. endwhile

s

f:C

fos c dd e

Page 26: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 26

Conectividade Fuzzy

Algorit: Fuzzy Object ExtractionInput: imagem (C,f) e seed sOutput: imagem (Co,fo)Auxiliares:queue Q

0. Set fo(i)=0, i#s e fo(s)=11. Push all spels c of Co | affin(s,c)>0 to Q2. While Q is not empty do2.1. Remove a spel c from Q2.2. find fmax=maxd [min(fo(d),affin(c,d))]2.3. if fmax> fo(c) then set fo(c) = fmax

push all spels e | affin(c,e)>0 to Q endif2.4. endwhile

f:C

s

fos c dd e

Page 27: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 27

Segmentação de Imagens Médicas 3D baseadoem Vetor de Atributos e Conectividade

Competitiva

S.S. Furuie1, M.F.S. Rebelo1, M.A.Gutierrez1, J.K. Udupa2

1Divisão de InformáticaInstituto do Coração - HC.FMUSP

2Medical Image Processing GroupUniversity of Pennsylvania

Page 28: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 28

Motivação

Segmentação de objetos é crítica paraquantificação e visualização 3D

Page 29: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 29

Motivação

Segmentação manual(RM)

Aorta com patologia

• Evitar a extenuante tarefa de segmentarcentenas de imagens manualmente

Page 30: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 30

Motivação

Processos convencionais (manual e semi-automático) : demorados e cansativos

gated MRI : 16 volumes, 12 cortes => 192 imggated SPECT: idem

Page 31: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 31

Objetivos

Segmentação de estruturas Médicas 3DCom pequena intervenção humanaIndependente da modalidade e órgãoAplicável a 3D dinâmicasInclusão de múltiplos atributosPermita inclusão de informações “a priori”Múltiplos objetos (VE, VD, Miocárdio, ...)

Page 32: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 32

Protocolo

Imagens 3D dinâmicas deRessonância Magnética doCoração16 volumes com 12 cortes (256x 256, 16 bits)1,64 x 1,64 x 10,0 mmO usuário fornece uma regiãodo objeto de interesse em umdos cortes.

Page 33: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 33

12 3 4

ECG

1 2 3 4

(a)

(b)

Gated 3D

Page 34: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 34

Hipóteses

Possibilidade de treinar o classificador através deuma amostra do objeto com característicasaproximadamente homogêneas.Os parâmetros estimados, através de um corte(treinamento), são válidos para todo o objeto;

Page 35: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 35

Metodologia

Cálculo do vínculo de cada voxel a cada objeto deinteresse

Vínculo entre dois voxels depende da afinidade e daconectividade espacial em todos os caminhospossíveis

a

bc d

iV(a,b)= maxi { v (a,b | i) }

v(a,b | i)= min { afin(c,d) }

Page 36: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 36

Metodologia

Afinidade é baseado no vetor de atributos eadjacênciaafin(c,d) = h[ adj(c,d), f(c), f(d), c, d ]

f(x): vetor de atributos sobre o voxel x

afin(c,d) = adj(c,d) . h[ f(c), f(d) ]h( ) = grau de similaridade dos atributos aoobjetoprogramação dinâmica

Page 37: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 37

associação ‘fuzzy’

função de associação : verossimilhança

VE

VD

x=f(c) h Rj M: [ , ]→ 01

( )h x d xj j( ) exp .= −

12

2

( ) ( ) ( )d x x x S x xj jT

j j2 1= − −−. .

j

Page 38: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 38

Algoritmo

O algoritmo, para um dado objeto de interesse, consisteportanto em:

Estimar os parâmetros estatísticos (média ecovariância) do cluster correspondente ao objetoatravés dos voxels de uma região fornecida pelousuário;Calcular a matriz de covariância inversa;Obter o vínculo de cada voxel a cada objeto

– Para cada voxel, calcular a associação ao objeto– Calcular afinidade– Obter o vínculo (Programação dinâmica)

Page 39: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 39

Resultados em RM

VE

VD

Transv.RM

Mioc.

Page 40: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 40

Competição

Extração do objeto VE

Imagem com a associação aos objetos VE e Mioc.

Músculos

ifif ( ( fVE fVE(x) >(x) > fMIOC fMIOC(x))(x))then fVEthen fVE(x)=1(x)=1else fVEelse fVE(x)=0(x)=0

Page 41: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 41

Cavity Segmentation: results

a b

c d

Original

MYOC memb.

CAVI memb.

Segm. Cavity

Proc. time (1 vol.)=21 sUltra Sparc 1/140

Page 42: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 42

Segmentation of LV myocardium

From the endocardium surface: incorporation ofconnected voxels with low costCost: gradient, local texture, smoothness and shape

Page 43: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 43

Cost function

cost(i)=max{a.grad2(i), b. texture(i), c.shape(i)}grad (i) : local 3D gradiente magnitude

a=1/std(grad2)texture(i) : difference of local mean and expected

texture(i)=(vi - m)2

b=1/std(texture)shape(i): distance disparity in relation toendocardium

c=1/2 (two voxels of distance disparity)Threshold=max{avg(grad2), avg(texture)}+1.0

Page 44: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 44

Smoothness and shape

1

32 4 5

window=5

d

i1 2 3 4 5

dist.dispar=1

shape(i)=max m,n{dm - dn | m,n in N(i) }dk : the smallest distance of voxel k to

endocardium surfaceN(i) :neighbor surface voxels of i, including i. The

window size used for this work was 5x5x5.Based on distance map

Page 45: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 45

Results: LV Myocardium

a b

c d

Original w/o shape constraints

Proposed Manual

3D rendition

Proc. time (1 vol.): 4 sUltra Sparc 1/140

Page 46: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 46

Conclusions

Two-step technique: cavity and myocardiumSemi-automatic volumetric approach

Assures connectivityInclusion of priors:

– position– smoothness and shape

Independent of modality, patient, calibration,..Further investigation:

objective comparison with manual approachalternative shape cost functions

Page 47: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 47

Vantagens/Desvantagens

+ treinamento baseado na imagem• Independência da escala, equipamento,..

+ método inerentemente 3D, 4D+ incorpora conectividade espacial e afinidade

considerando múltiplos atributos

− lento− assume distribuição normal multivariada para os

atributos

Page 48: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 48

Conclusão

Abordagem geralno domínio espacial: imagens 2D, 3D, ...no domínio dos atributos: imagens múltiplas

Assegura conectividadeAprende as características dos objetos, considerandoas circunstâncias da aquisição (treinamento mínimo)Resultados no sentido ‘fuzzy’Pesquisas futuras:

agilização do algoritmotexturas específicas que ressaltem objetosmedidas de afinidade

Page 49: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 49

Resultados

Phantoms 3Dbons resultados

MRI do coração (4D)aquisição degradadaclassificaçao autom.vários falsos negativos

A investigaroutra aquisiçãodefinir novos affinity functionsrefinamento (simulated annealing, semi-automático, ...)

Page 50: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 50

Abordagem usando 'Level set' para segmentação deimagens

Unidade de Pesquisa e DesenvolvimentoServiço de InformáticaInCor

Page 51: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 51

4 LEVEL SET FUNCTIONS

Signed distance transform

RR:Ψ N >−

Ψ (c(t),t)= 0x

c(t)

Page 52: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 52

6 Cost function: similarity

Similaritypointwise curvatures oflevel set ΨKGaussian curvature

Level set ΨK used forcurvature estimation.

ΨK (r)=ΨS (r) + ΨD (r)

Page 53: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 53

Motivação

Metodologia para segmentação de imagensn-dimensionalcontornos complexos

Descrição dos objetos identificadosAnálise e visualização

Page 54: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 54

Snakes

Não possibilita intersecção de contornos2DDependente da modelagem das forças/velocidadesDependente de pesos dos termos da função

Page 55: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 55

Descrição

Baseado em modelos físicos de propagação de interfaces emodelos deformáveis

fluídochamascrescimento de cristais

Solução de PDE do tipo Hamilton-Jacobi

Shape modeling with front propagation: a level set approachR Malladi, JA Sethian, BC Venturi. IEEE PAMI 17(2):158-175, feb1995

PARA MAIS INFORMAÇÕES...

Page 56: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 56

Vantagens

Sem suposições a priori de topologiasSuporta formas complexas e nDimensionaisPontos fracos

modelagem da velocidade de propagaçãocondições de parada

Page 57: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 57

Page 58: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 58

Page 59: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 59

Metodologia

Dado um contornoGerar uma hipersuperfícieNo qual o contorno ésolução )0),(|()(

:),(),0[:)(

=Ψ=>−Ψ

>−∞

txxtRRtx

RtN

N

rr

r

γ

γ

Page 60: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 60

Exemplo de hipersuperfície

Page 61: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 61

Metodologia: level set

Diferenciando...Notando que gradiente énormal ao contornoPDE do tipo Hamilton-JacobiCondição inicial

0..

0.

0.....

0),()0),(|()(

2

2

1

1

=

Ψ∇+

∂Ψ∂

=Ψ∇+∂Ψ∂

=+∂Ψ∂

+∂Ψ∂

+∂Ψ∂

=Ψ=Ψ=

dtxd

nt

dtxd

t

dtdx

xdtdx

xt

txtxxt

rrr

rr

r

rrγ

Page 62: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 62

Modelagem da velocidade

nK

n

Ft

dtxd

nt

r

r

rr

r

rrr

.

0.

0..

∇=

Ψ∇Ψ∇

=

=Ψ∇+∂Ψ∂

=

Ψ∇+

∂Ψ∂

),(*11

))(.( 0

yxIGg

KFFgF

σ∇+=

+=

Page 63: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 63

Page 64: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 64

Discretização

322

22

,,,1

,

)(..

)(/),(

))(),((

..

ss

ssssss

ssss

jim

jim

jim

ji

yxyxxyK

yxxyn

sysx

FT

+

−=

+−=

Ψ∇∆−Ψ=Ψ +

r

r

Page 65: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 65

split

Page 66: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 66

ramificação

Page 67: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 67

Status atual

Page 68: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

S.Furuie Jul/01- 68

Outras Aplicações

Restauração de imagensEvolução de contornosPropagação de combustão, fluídos, sismologia,crescimento de cristais, ...Difusão, deposição de materiais, ...

Page 69: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 69

Segmentação de estruturas médicas baseado emcontornos ativos e elementos finitos

Page 70: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 70

Tema: Modelos deformáveis

Importânciamotivaçãoaplicações

Revisão de métodos 2D/3Dfundamentos/metodologiavantagens/desvantagens

Conclusões

Page 71: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 71

Motivação

Avaliação funcional dos músculos cardíacosGlobal

– variação do volume/área/energia cinéticaRegional

– pela movimentação regional do endocárdio– pelo encurtamento da parede do miocárdio

espessura do miocárdioLocal

– pela trajetória de pontos do músculo (tracking)– pela velocidade dos pontos do músculo

Page 72: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 72

Aplicações

Quantificação da avaliação cardíacaVisualização da deformação (fisiologia) localAlinhamento e fusão de imagensInterpolação

Page 73: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 73

Segmentação de estr. deform.

Baseados na intensidade do pixel/voxel– optical flow, region-growing, conectividade,..– ad hocs

Baseados em contornos/superfíciesSnakesBalloonTopological snakes

Baseados em marcas fiduciais (int. e ext.)– MR tagging

Page 74: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 74

Snakes

Objetivo: segmentação (obtenção de contornos esuperfícies)Dado: imagem (intensidades) e soluçao inicial

– obter uma função de energia (interna + externa) emfunção parametrizada

– minimizar em relação ao contornoanaliticamentenumericamente: steepest descent, CG, ...

Page 75: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 75

Snakes: equilíbrio de forças

1) P/ cada vértice do contornoinicial, obter:

forças internas (curvatura,..forças externas (gradiente ..

2) Determinação iterativa davelocidade e posição

tvpp

tavv

fm

a

ki

ki

ki

ki

ki

ki

ki

i

ki

∆+=

∆+=

=

++

++

++

.

.

.1

)1()()1(

)1()()1(

)1()1(

rrr

rrr

rr

pi-1

pi pi+1di-1

di

radialext

radial

ii

ii

Iffiltrocurvf

ddddcurv

)()(int

1

1

−∇=⊗=

−−

=−

−rr

rr

n

Page 76: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 76

Snakes: fundamento

)(min

).(.].[)(

)()()(:)(

3

2

2

2

2

2

1

cE

dscPwdsscw

scwcE

cEcEcEconfigsc

c

cc

EI

∫∫ +∂∂

+∂∂

=

+=

))(),(()( sysxsc = x

ys

s

Page 77: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 77

'','),(

).'',',;()(

)(min

ccsc

dscccsFcE

cE

c

c

∫=

...''/'.'.'/'../..)'',',;()''.'','.'),(.;())(''),('),(;(

+∂∂+∂∂+∂∂+=+++ cFvcFvcFvcccsFvcvcsvcsFscscscsF

εεεεεε

0)''

()'

(

0/min

2

2

=∂∂

+∂∂

−∂∂

−=>=∂∂=>

cF

dsd

cF

dsd

cF

LagrangeEulerEE εε

Page 78: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 78

Definição adequada da Energia

Elasticidade (suavidade do contorno)Rigidez (curvaturas )Informações de borda

Im)*())((

).(.].[)(

)()()(:)(

3

2

2

2

2

2

1

ρGscP

dscPwdsscw

scwcE

cEcEcEconfigsc

cc

EI

∇−=

+∂∂

+∂∂

=

+=

∫∫

Page 79: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 79

Solução da minimização

0)().().(

).(.])('')('.[)(

2

2

22

2

1

32

22

1

=∇++−

=>−

++= ∫∫

cPds

cdwdsd

dsdcw

dsd

LagrangeEuler

dscPwdsscwscwcEcc

Equilíbrio

Dinâmica

0)().().( 2

2

22

2

1 =∇++− cPds

cdwdsd

dsdcw

dsd

dtdc

Page 80: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 80

Implementação: difer.finitas

)()]2(...)2(..[)1()(2)1(.

...'))'(''()(''''

)1()(2)1()(''

)()1()('

)()(

)(

)(''''.''.

51221

2

21

iPixaixawh

ixixixw

ixixh

ixixixix

hixixix

iyix

ic

cPcwcw

−∇=++−+++−−

=

++−−=

−+=

=

−∇=+−

Para cada ponto i do contorno em equilíbrio

Page 81: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 81

Diferenças finitas

∇−

∇−∇−

=

−∇=+++−+−+++

)(

)2()1(

)(

...)2()1(

000

...00...

)()2(....)1(.)2(....00

1

21

2

1

21

521

nP

PP

nx

xx

bbb

bbbb

iPixbixbixb

Sistema de equações com dependência implícita

•Métodos numéricos iterativos

)(. XfXArrr

=

Page 82: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 82

Modo dinâmico

0)().().( 2

2

22

2

1 =∇++− cPds

cdwdsd

dsdcw

dsd

dtdc

)(.)..(

)(.

)(.

11

111

−−

−−−

∆+∆−=

=+∆−

=+

ttt

tttt

XftXAtIX

XfXAtXX

XfXAdt

dX rrr

Solução iterativa até atingir o equilíbrio

Page 83: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 83

Snakes:Vantagens/desvantagens

+ Emula modelo físico. Imagens são apenasrepresentações de modelos físicos.

- Processos reais são complexos p/ modelar- Constantes desconhecidas- Pesos relativos ?- Apenas segmentação e alinhamento. Tracking exige

modelagem mais precisa.

Page 84: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 84

Balloon

Simulated annealingRegion-growing com função custoModelo físico de expansão

Pode superar bordas espúrias

PsP

ksnwf∇

∇−=

)(.)(.1

r

n

Page 85: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 85

Elementos finitos (FEM)

O elemento como um todo é modelado e segue umalei.

Valores internos ao elemento podem ser estimados apartir dos extremos

Minimiza-se o resíduo total considerando as funçõesde interpolação

Page 86: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 86

FEM

)(''''.''. 21 cPcwcw −∇=+−Modelo c(s)

[ ]

fcA

dssNcPcwcwresiduo

sNcsNcsccPcwcw

i

c

ci

=

=+∇+−=

+==+∇+−

∫.

0)(.)(''''.''.

)(.)(.)(0)(''''.''.

2

121

2211

21Resíduo

)(.)..(

)(.

)(.

11

111

−−

−−−

∆+∆−=

=+∆−

=+

ttt

tttt

XftXAtIX

XfXAtXX

XfXAdt

dX rrr

Page 87: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 87

Topological Snakes

Snakes sobre um grid dodomínio

+ simples que o FEM+ eficiente que o snakes+ incorpora o balloon

Page 88: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 88

T-snake

0)().().( 2

2

22

2

1 =∇++− cPds

cdwdsd

dsdcw

dsd

dtdc

externaballoonflexaoelástica fffbfadtdck +=+− ...

))((

)(

/)...(1

tiflexao

tielástica

externaballoonflexaoelásticati

ti

cLaplacianoLaplacianof

cLaplacianof

ktfffbfacc

=

=

∆++−+=+

Page 89: OIdentificação de objetos OQuantização: contagens, área ...€¦ · Segmentação de Imagens S.Furuie Jul/01-1Segmentação de Imagens Motivação OIdentificação de objetos

Segmentação de Imagens S.Furuie Jul/01- 89

resultados