Segmentação de Imagens S.Furuie Jul/01- 1

Segmentação de Imagens

MotivaçãoIdentificação de objetosQuantização: contagens, área, perímetro, volumeVisualização 2D, 3DReconhecimento de padrõesClassificação

Segm. Reconh.Padrões

Classif.

NormalPatolog.

Congen.Adquir....

Segmentação de Imagens S.Furuie Jul/01- 2

Motivação

Processos convencionais (manual e semi-automático) : demorados e cansativos

gated MRI : 16 volumes, 12 cortes => 192 imggated SPECT: idem

Segmentação de Imagens S.Furuie Jul/01- 3

Resultados em RM

VE

VD

Transv.RM

Mioc.

Segmentação de Imagens S.Furuie Jul/01- 4

VE: pre-Ventriculotomia

Diástole

Segmentação de Imagens S.Furuie Jul/01- 5

VE: pre-ventriculotomia

Sístole

Segmentação de Imagens S.Furuie Jul/01- 6

Visão Global

OperadoresRepresentação dos resultados da segmentaçãoTécnicas de segmentação

thresholdingsnakesregion-growingsplit-mergefuzzy connectednessredes neuraismétodos estatísticos

Interpretação

Segmentação de Imagens S.Furuie Jul/01- 7

Segmentação de Imagens

Por descontinuidadeoperadores (detetores)

– ponto– linha– borda (gradiente,laplaciano e LoG)

contornos– manual– semi-automático– automático (conexão de bordas,Transf. de Hough)

Por similariedadethresholdingregion-growingsplit and merge

Segmentação de Imagens S.Furuie Jul/01- 8

Gradiente

∇ = +f x y f x yx

u f x yy

ux y( , ) ( , ) ( , )∂∂

∂∂

∂∂

∂∂

f x yx

f i f i

f i f i f i

f i f i f i

f x yx

f i f i

x i

x i

( , ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( , ) ( ) ( )

=

=

= + − −

+ =+ +

− =− +

=+ − −

12

12

12

12

12

12

1 12

i-1 i i+1-1 0 1

-1 0 1-1-1

00

11

-1 0 1-2-1

00

21

-1 -1 -101

01

01

-1 -2 -101

02

01

Sobel∂

∂

∂∂

f x yx

f x yy

( , )

( , )

Segmentação de Imagens S.Furuie Jul/01- 9

Algoritmo p/ Laplaciano em x?

∂∂

∂∂

f x yx

f i f i

f i f i f i

f i f i f i

f x yx

f i f i

x i

x i

( , ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( , ) ( ) ( )

=

=

= + − −

+ =+ +

− =− +

=+ − −

12

12

12

12

12

12

1 12

∇ = +22

2

2

2f x y f x yx

f x yy

( , ) ( , ) ( , )∂∂

∂∂

Segmentação de Imagens S.Furuie Jul/01- 10

Sobel, Laplace,...

Laplace

Sobel f x y f x yx

f x yy

( ( , ) ) ( ( , ) ) ( ( , ) )= +∂

∂∂

∂2 2

∇ = +22

2

2

2f x y f x yx

f x yy

( , ) ( , ) ( , )∂∂

∂∂

∂∂

∂∂∂∂

∂∂

∂∂

2

2 12

12

11 2 1

f x yx

fx

xfx

fx

f i f if i f i f i

ii i

( , ) ( )( ) ( )

( ) ( ) ( )

= = −

− − + +

+ −

= ( ( + ) - ( ) ) - ( f ( i ) - f ( i - 1 ) ) =

i-1 i i+11 -2 11

0 1 01 -4 1

10

H z z z

H w wT

( ) ( )

( ) ( cos ( ) )

= − +

= − −

− 1 2

2 1

Segmentação de Imagens S.Furuie Jul/01- 11

Laplaciano da Gaussiana (LoG)

Edge detectorGauss=>SmoothLaplace=>Zero crossing

),(*),(),(

)2

exp(),(

2

2

22

yxfyxGaussyxg

yxyxGauss

∇=

+−=

σ

LoG(x)

Segmentação de Imagens S.Furuie Jul/01- 12

Label (blob)

k=1 (classe do background/borda 0)scan image x

– if f(x)==0 continue– if f(xu)==1 and f(xL)==0 =>c(x)=c(xu)– if f(xu)==0 and f(xL)==1 =>c(x)=c(xL)– if f(xu)==1 and f(xL)==1 => c(x)=c(xL), c(xu) equiv. c(xL)– if f(xu)==0 and f(xL)==0 =>c(x)=k++

0 0 0 .. 000...0

xxu

xL

Expansão p/ 3D

Segmentação de Imagens S.Furuie Jul/01- 13

Representação dos objetos

formato, texturascaracterísticas desejadas:

invariância à Translação, Rotação e Escala (ePonto de início p/ contornos

Contornos de objetosencadeamento: 013102...

– direção– variação de direção– Invar. T, R, (E se usar escala adequada), (I se

normalizar)polígonos

– max. distância ao contornoconvex hull

– menor conjunto convexo que contém o objeto.

01

2

3

Segmentação de Imagens S.Furuie Jul/01- 14

Representação de contornos

esqueletoassinaturas r

ix i j y i

( ) :

( ) :( ) ( )

θ

θ

i n v . T , R ( s e m e s m o I ) , E ( s e n o r m a l i z a d o p e l a v a r . )

+

r

x

y i

θθ

x

y i

i1 2

Segmentação de Imagens S.Furuie Jul/01- 15

Segmentação por região

Região: Region-growingconectividade, afinidade, tamanho, forma,possibilidade

– semente– para cada vizinho, agregar o mesmo se similar. Se

agregado, considerar os vizinhos deste.Região: Split and Merge

quadtree, octree– testar homogeneidade de cada quadrante

se não homogêneo, subdividir e continuar até últimoquadrante

– merge de quadrantes vizinhos com homogeneidadessimilares.

Segmentação de Imagens S.Furuie Jul/01- 16

Movimento:diferença acumulativa: histogramadomínio da freq.: projeção das imagens. velocidademédia

Segmentação de Imagens S.Furuie Jul/01- 17

Técnicas: Thresholding

T=T[ f(x,y), x, y, p(x,y) ]de imagem f(x,y)p(x,y): propriedade local

GlobalÓtimo:local : baseado na região das bordasbaseado em características: grad. e laplacianomulti-banda m in Erro T

Erro T P p x dx P p x dx

Erro TT

P p T P p T

p x p xPP

TT

T

( )

( ) . ( ) . ( )

( ). ( ) . ( )

( ), ( ):

ln( )

= +

= => =

++

−

−∞

∞

∫ ∫2 2 1 1

1 1 2 2

1 2

22

2

2

1

0

2

∂∂

µ µ σµ µ

se G aussian

T = 1

1

Segmentação de Imagens S.Furuie Jul/01- 18

Optimal thresholding

)ln(2

)(.)(.

0min

.)(..)(.

1

)2

)(exp(2

1)(

)(.)(.)(

1

2

21

221

2211

1122

21

2

22211

PPT

TpPTpPT

ErroErro

dxxpPdxxpPErro

PP

xxp

xpPxpPxp

T

T

T

i

i

ii

µµσµµ

∂∂

σµ

σπ

−+

+=

=⇒

=⇒

+=

=+

−−=

+=

∫∫∞

∞−

T x

P1

P2

p1(x) p2(x)

Segmentação de Imagens S.Furuie Jul/01- 19

Isodata (k-means)

0

1

2

)

)

)

K classes com centro em c

Inicializar c

Para cada x => atribuir x p / classe j com menor distancia

3) Recalcular c

4) Repetir 2) e 3) ate nao haver mais alter.

i

j(0)

i i

j

atrib. 1

atrib

.2

Segmentação de Imagens S.Furuie Jul/01- 20

Segmentação de estruturas 3D dinâmicas

Motivaçãomedida e visualização de estruturas do mundo realestruturas dinâmicascoração, VE, miocárdio, ...parâmetros: FE, volume, área, ...

Dificuldadeselevado volume de dados:16 vol. X 12 slices X 256 X 256=> 192 slicesestruturas complexas : forma, superposição, diversasintersecções com um plano, não-homogeneidade,especifidade, ...

Segmentação de Imagens S.Furuie Jul/01- 21

PROBLEMA e PROPOSTA

PROBLEMASegmentação de estruturas 3D, 4DEstruturas complexas

PROPOSTAconectividade fuzzy considerando múltiplas imagensde um objeto

RAZÕES INTUITIVASestruturas de interesse tem voxels conectados (fuzzy)pelo menos em alguma dimensãoconectividade baseado em afinidade entre voxelsfácil expansão p/ 3D, 4D

Segmentação de Imagens S.Furuie Jul/01- 22

Fuzzy Connectedness entre 2 vox.

Considera adjacencia e afinidade entre dois voxelsDados 2 voxels “i” e “j” com valores (vetorial) v(i), v(j)fc(i,j)=max{f(i,j)}f(i,j)=g( adj(i,j), v(i), v(j), i, j )adj : adjacencia (fuzzy)f(i,j)=adj(i,j) . affin(v(i), v(j), i, j )affin: afinidade (fuzzy)

Segmentação de Imagens S.Furuie Jul/01- 23

Fuzzyness

fuzzy sets, membershipDomínio XFuzzy Set={ (x, f(x)) | x ε X }f : X => [0,1] (membership)

fuzzy relationi ε X , j ε Xrelation={(i,j), r(i,j)}r : X x X => [0,1]

Segmentação de Imagens S.Furuie Jul/01- 24

fuzzy relationconnectednessadjacencyaffinity

Propostaadj(i,j)=1 (se 1-adjacent)

=0affin(i,j)=exp(-0.5d**2)

d**2 : dist. estatísticaprogramação dinâmica

queue

Segmentação de Imagens S.Furuie Jul/01- 25

Conectividade Fuzzy

Algorit: Fuzzy Object ExtractionInput: imagem (C,f) e seed sOutput: imagem (Co,fo)Auxiliares:queue Q

0. Set fo(i)=0, i#s e fo(s)=11. Push all spels c of Co | affin(s,c)>0 to Q2. While Q is not empty do2.1. Remove a spel c from Q2.2. find fmax=maxd [min(fo(d),affin(c,d))]2.3. if fmax> fo(c) then set fo(c) = fmax

push all spels e | affin(c,e)>0 to Q endif2.4. endwhile

s

f:C

fos c dd e

Segmentação de Imagens S.Furuie Jul/01- 26

Conectividade Fuzzy

Algorit: Fuzzy Object ExtractionInput: imagem (C,f) e seed sOutput: imagem (Co,fo)Auxiliares:queue Q

0. Set fo(i)=0, i#s e fo(s)=11. Push all spels c of Co | affin(s,c)>0 to Q2. While Q is not empty do2.1. Remove a spel c from Q2.2. find fmax=maxd [min(fo(d),affin(c,d))]2.3. if fmax> fo(c) then set fo(c) = fmax

push all spels e | affin(c,e)>0 to Q endif2.4. endwhile

f:C

s

fos c dd e

Segmentação de Imagens S.Furuie Jul/01- 27

Segmentação de Imagens Médicas 3D baseadoem Vetor de Atributos e Conectividade

Competitiva

S.S. Furuie1, M.F.S. Rebelo1, M.A.Gutierrez1, J.K. Udupa2

1Divisão de InformáticaInstituto do Coração - HC.FMUSP

2Medical Image Processing GroupUniversity of Pennsylvania

Segmentação de Imagens S.Furuie Jul/01- 28

Motivação

Segmentação de objetos é crítica paraquantificação e visualização 3D

Segmentação de Imagens S.Furuie Jul/01- 29

Motivação

Segmentação manual(RM)

Aorta com patologia

• Evitar a extenuante tarefa de segmentarcentenas de imagens manualmente

Segmentação de Imagens S.Furuie Jul/01- 30

Motivação

Processos convencionais (manual e semi-automático) : demorados e cansativos

gated MRI : 16 volumes, 12 cortes => 192 imggated SPECT: idem

Segmentação de Imagens S.Furuie Jul/01- 31

Objetivos

Segmentação de estruturas Médicas 3DCom pequena intervenção humanaIndependente da modalidade e órgãoAplicável a 3D dinâmicasInclusão de múltiplos atributosPermita inclusão de informações “a priori”Múltiplos objetos (VE, VD, Miocárdio, ...)

Segmentação de Imagens S.Furuie Jul/01- 32

Protocolo

Imagens 3D dinâmicas deRessonância Magnética doCoração16 volumes com 12 cortes (256x 256, 16 bits)1,64 x 1,64 x 10,0 mmO usuário fornece uma regiãodo objeto de interesse em umdos cortes.

Segmentação de Imagens S.Furuie Jul/01- 33

12 3 4

ECG

1 2 3 4

(a)

(b)

Gated 3D

Segmentação de Imagens S.Furuie Jul/01- 34

Hipóteses

Possibilidade de treinar o classificador através deuma amostra do objeto com característicasaproximadamente homogêneas.Os parâmetros estimados, através de um corte(treinamento), são válidos para todo o objeto;

Segmentação de Imagens S.Furuie Jul/01- 35

Metodologia

Cálculo do vínculo de cada voxel a cada objeto deinteresse

Vínculo entre dois voxels depende da afinidade e daconectividade espacial em todos os caminhospossíveis

a

bc d

iV(a,b)= maxi { v (a,b | i) }

v(a,b | i)= min { afin(c,d) }

Segmentação de Imagens S.Furuie Jul/01- 36

Metodologia

Afinidade é baseado no vetor de atributos eadjacênciaafin(c,d) = h[ adj(c,d), f(c), f(d), c, d ]

f(x): vetor de atributos sobre o voxel x

afin(c,d) = adj(c,d) . h[ f(c), f(d) ]h( ) = grau de similaridade dos atributos aoobjetoprogramação dinâmica

Segmentação de Imagens S.Furuie Jul/01- 37

associação ‘fuzzy’

função de associação : verossimilhança

VE

VD

x=f(c) h Rj M: [ , ]→ 01

( )h x d xj j( ) exp .= −

12

2

( ) ( ) ( )d x x x S x xj jT

j j2 1= − −−. .

j

Segmentação de Imagens S.Furuie Jul/01- 38

Algoritmo

O algoritmo, para um dado objeto de interesse, consisteportanto em:

Estimar os parâmetros estatísticos (média ecovariância) do cluster correspondente ao objetoatravés dos voxels de uma região fornecida pelousuário;Calcular a matriz de covariância inversa;Obter o vínculo de cada voxel a cada objeto

– Para cada voxel, calcular a associação ao objeto– Calcular afinidade– Obter o vínculo (Programação dinâmica)

Segmentação de Imagens S.Furuie Jul/01- 39

Resultados em RM

VE

VD

Transv.RM

Mioc.

Segmentação de Imagens S.Furuie Jul/01- 40

Competição

Extração do objeto VE

Imagem com a associação aos objetos VE e Mioc.

Músculos

ifif ( ( fVE fVE(x) >(x) > fMIOC fMIOC(x))(x))then fVEthen fVE(x)=1(x)=1else fVEelse fVE(x)=0(x)=0

Segmentação de Imagens S.Furuie Jul/01- 41

Cavity Segmentation: results

a b

c d

Original

MYOC memb.

CAVI memb.

Segm. Cavity

Proc. time (1 vol.)=21 sUltra Sparc 1/140

Segmentação de Imagens S.Furuie Jul/01- 42

Segmentation of LV myocardium

From the endocardium surface: incorporation ofconnected voxels with low costCost: gradient, local texture, smoothness and shape

Segmentação de Imagens S.Furuie Jul/01- 43

Cost function

cost(i)=max{a.grad2(i), b. texture(i), c.shape(i)}grad (i) : local 3D gradiente magnitude

a=1/std(grad2)texture(i) : difference of local mean and expected

texture(i)=(vi - m)2

b=1/std(texture)shape(i): distance disparity in relation toendocardium

c=1/2 (two voxels of distance disparity)Threshold=max{avg(grad2), avg(texture)}+1.0

Segmentação de Imagens S.Furuie Jul/01- 44

Smoothness and shape

1

32 4 5

window=5

d

i1 2 3 4 5

dist.dispar=1

shape(i)=max m,n{dm - dn | m,n in N(i) }dk : the smallest distance of voxel k to

endocardium surfaceN(i) :neighbor surface voxels of i, including i. The

window size used for this work was 5x5x5.Based on distance map

Segmentação de Imagens S.Furuie Jul/01- 45

Results: LV Myocardium

a b

c d

Original w/o shape constraints

Proposed Manual

3D rendition

Proc. time (1 vol.): 4 sUltra Sparc 1/140

Segmentação de Imagens S.Furuie Jul/01- 46

Conclusions

Two-step technique: cavity and myocardiumSemi-automatic volumetric approach

Assures connectivityInclusion of priors:

– position– smoothness and shape

Independent of modality, patient, calibration,..Further investigation:

objective comparison with manual approachalternative shape cost functions

Segmentação de Imagens S.Furuie Jul/01- 47

Vantagens/Desvantagens

+ treinamento baseado na imagem• Independência da escala, equipamento,..

+ método inerentemente 3D, 4D+ incorpora conectividade espacial e afinidade

considerando múltiplos atributos

− lento− assume distribuição normal multivariada para os

atributos

Segmentação de Imagens S.Furuie Jul/01- 48

Conclusão

Abordagem geralno domínio espacial: imagens 2D, 3D, ...no domínio dos atributos: imagens múltiplas

Assegura conectividadeAprende as características dos objetos, considerandoas circunstâncias da aquisição (treinamento mínimo)Resultados no sentido ‘fuzzy’Pesquisas futuras:

agilização do algoritmotexturas específicas que ressaltem objetosmedidas de afinidade

Segmentação de Imagens S.Furuie Jul/01- 49

Resultados

Phantoms 3Dbons resultados

MRI do coração (4D)aquisição degradadaclassificaçao autom.vários falsos negativos

A investigaroutra aquisiçãodefinir novos affinity functionsrefinamento (simulated annealing, semi-automático, ...)

S.Furuie Jul/01- 50

Abordagem usando 'Level set' para segmentação deimagens

Unidade de Pesquisa e DesenvolvimentoServiço de InformáticaInCor

Segmentação de Imagens S.Furuie Jul/01- 51

4 LEVEL SET FUNCTIONS

Signed distance transform

RR:Ψ N >−

Ψ (c(t),t)= 0x

yΨ

c(t)

Segmentação de Imagens S.Furuie Jul/01- 52

6 Cost function: similarity

Similaritypointwise curvatures oflevel set ΨKGaussian curvature

Level set ΨK used forcurvature estimation.

ΨK (r)=ΨS (r) + ΨD (r)

S.Furuie Jul/01- 53

Motivação

Metodologia para segmentação de imagensn-dimensionalcontornos complexos

Descrição dos objetos identificadosAnálise e visualização

Segmentação de Imagens S.Furuie Jul/01- 54

Snakes

Não possibilita intersecção de contornos2DDependente da modelagem das forças/velocidadesDependente de pesos dos termos da função

S.Furuie Jul/01- 55

Descrição

Baseado em modelos físicos de propagação de interfaces emodelos deformáveis

fluídochamascrescimento de cristais

Solução de PDE do tipo Hamilton-Jacobi

Shape modeling with front propagation: a level set approachR Malladi, JA Sethian, BC Venturi. IEEE PAMI 17(2):158-175, feb1995

PARA MAIS INFORMAÇÕES...

S.Furuie Jul/01- 56

Vantagens

Sem suposições a priori de topologiasSuporta formas complexas e nDimensionaisPontos fracos

modelagem da velocidade de propagaçãocondições de parada

Segmentação de Imagens S.Furuie Jul/01- 57

Segmentação de Imagens S.Furuie Jul/01- 58

S.Furuie Jul/01- 59

Metodologia

Dado um contornoGerar uma hipersuperfícieNo qual o contorno ésolução )0),(|()(

:),(),0[:)(

=Ψ=>−Ψ

>−∞

txxtRRtx

RtN

N

rr

r

γ

γ

Segmentação de Imagens S.Furuie Jul/01- 60

Exemplo de hipersuperfície

S.Furuie Jul/01- 61

Metodologia: level set

Diferenciando...Notando que gradiente énormal ao contornoPDE do tipo Hamilton-JacobiCondição inicial

0..

0.

0.....

0),()0),(|()(

2

2

1

1

=

Ψ∇+

∂Ψ∂

=Ψ∇+∂Ψ∂

=+∂Ψ∂

+∂Ψ∂

+∂Ψ∂

=Ψ=Ψ=

dtxd

nt

dtxd

t

dtdx

xdtdx

xt

txtxxt

rrr

rr

r

rrγ

Segmentação de Imagens S.Furuie Jul/01- 62

Modelagem da velocidade

nK

n

Ft

dtxd

nt

r

r

rr

r

rrr

.

0.

0..

∇=

Ψ∇Ψ∇

=

=Ψ∇+∂Ψ∂

=

Ψ∇+

∂Ψ∂

),(*11

))(.( 0

yxIGg

KFFgF

σ∇+=

+=

Segmentação de Imagens S.Furuie Jul/01- 63

Segmentação de Imagens S.Furuie Jul/01- 64

Discretização

322

22

,,,1

,

)(..

)(/),(

))(),((

..

ss

ssssss

ssss

jim

jim

jim

ji

yxyxxyK

yxxyn

sysx

FT

+

−=

+−=

Ψ∇∆−Ψ=Ψ +

r

r

Segmentação de Imagens S.Furuie Jul/01- 65

split

Segmentação de Imagens S.Furuie Jul/01- 66

ramificação

S.Furuie Jul/01- 67

Status atual

S.Furuie Jul/01- 68

Outras Aplicações

Restauração de imagensEvolução de contornosPropagação de combustão, fluídos, sismologia,crescimento de cristais, ...Difusão, deposição de materiais, ...

Segmentação de Imagens S.Furuie Jul/01- 69

Segmentação de estruturas médicas baseado emcontornos ativos e elementos finitos

Segmentação de Imagens S.Furuie Jul/01- 70

Tema: Modelos deformáveis

Importânciamotivaçãoaplicações

Revisão de métodos 2D/3Dfundamentos/metodologiavantagens/desvantagens

Conclusões

Segmentação de Imagens S.Furuie Jul/01- 71

Motivação

Avaliação funcional dos músculos cardíacosGlobal

– variação do volume/área/energia cinéticaRegional

– pela movimentação regional do endocárdio– pelo encurtamento da parede do miocárdio

espessura do miocárdioLocal

– pela trajetória de pontos do músculo (tracking)– pela velocidade dos pontos do músculo

Segmentação de Imagens S.Furuie Jul/01- 72

Aplicações

Quantificação da avaliação cardíacaVisualização da deformação (fisiologia) localAlinhamento e fusão de imagensInterpolação

Segmentação de Imagens S.Furuie Jul/01- 73

Segmentação de estr. deform.

Baseados na intensidade do pixel/voxel– optical flow, region-growing, conectividade,..– ad hocs

Baseados em contornos/superfíciesSnakesBalloonTopological snakes

Baseados em marcas fiduciais (int. e ext.)– MR tagging

Segmentação de Imagens S.Furuie Jul/01- 74

Snakes

Objetivo: segmentação (obtenção de contornos esuperfícies)Dado: imagem (intensidades) e soluçao inicial

– obter uma função de energia (interna + externa) emfunção parametrizada

– minimizar em relação ao contornoanaliticamentenumericamente: steepest descent, CG, ...

Segmentação de Imagens S.Furuie Jul/01- 75

Snakes: equilíbrio de forças

1) P/ cada vértice do contornoinicial, obter:

forças internas (curvatura,..forças externas (gradiente ..

2) Determinação iterativa davelocidade e posição

tvpp

tavv

fm

a

ki

ki

ki

ki

ki

ki

ki

i

ki

∆+=

∆+=

=

++

++

++

.

.

.1

)1()()1(

)1()()1(

)1()1(

rrr

rrr

rr

pi-1

pi pi+1di-1

di

radialext

radial

ii

ii

Iffiltrocurvf

ddddcurv

)()(int

1

1

−∇=⊗=

−−

=−

−rr

rr

n

Segmentação de Imagens S.Furuie Jul/01- 76

Snakes: fundamento

)(min

).(.].[)(

)()()(:)(

3

2

2

2

2

2

1

cE

dscPwdsscw

scwcE

cEcEcEconfigsc

c

cc

EI

∫∫ +∂∂

+∂∂

=

+=

))(),(()( sysxsc = x

ys

s

Segmentação de Imagens S.Furuie Jul/01- 77

'','),(

).'',',;()(

)(min

ccsc

dscccsFcE

cE

c

c

∫=

...''/'.'.'/'../..)'',',;()''.'','.'),(.;())(''),('),(;(

+∂∂+∂∂+∂∂+=+++ cFvcFvcFvcccsFvcvcsvcsFscscscsF

εεεεεε

0)''

()'

(

0/min

2

2

=∂∂

+∂∂

−∂∂

−=>=∂∂=>

cF

dsd

cF

dsd

cF

LagrangeEulerEE εε

Segmentação de Imagens S.Furuie Jul/01- 78

Definição adequada da Energia

Elasticidade (suavidade do contorno)Rigidez (curvaturas )Informações de borda

Im)*())((

).(.].[)(

)()()(:)(

3

2

2

2

2

2

1

ρGscP

dscPwdsscw

scwcE

cEcEcEconfigsc

cc

EI

∇−=

+∂∂

+∂∂

=

+=

∫∫

Segmentação de Imagens S.Furuie Jul/01- 79

Solução da minimização

0)().().(

).(.])('')('.[)(

2

2

22

2

1

32

22

1

=∇++−

=>−

++= ∫∫

cPds

cdwdsd

dsdcw

dsd

LagrangeEuler

dscPwdsscwscwcEcc

Equilíbrio

Dinâmica

0)().().( 2

2

22

2

1 =∇++− cPds

cdwdsd

dsdcw

dsd

dtdc

Segmentação de Imagens S.Furuie Jul/01- 80

Implementação: difer.finitas

)()]2(...)2(..[)1()(2)1(.

...'))'(''()(''''

)1()(2)1()(''

)()1()('

)()(

)(

)(''''.''.

51221

2

21

iPixaixawh

ixixixw

ixixh

ixixixix

hixixix

iyix

ic

cPcwcw

−∇=++−+++−−

−

=

++−−=

−+=

=

−∇=+−

Para cada ponto i do contorno em equilíbrio

Segmentação de Imagens S.Furuie Jul/01- 81

Diferenças finitas

∇−

∇−∇−

=

−∇=+++−+−+++

)(

)2()1(

)(

...)2()1(

000

...00...

)()2(....)1(.)2(....00

1

21

2

1

21

521

nP

PP

nx

xx

bbb

bbbb

iPixbixbixb

Sistema de equações com dependência implícita

•Métodos numéricos iterativos

)(. XfXArrr

=

Segmentação de Imagens S.Furuie Jul/01- 82

Modo dinâmico

0)().().( 2

2

22

2

1 =∇++− cPds

cdwdsd

dsdcw

dsd

dtdc

)(.)..(

)(.

)(.

11

111

−−

−−−

∆+∆−=

=+∆−

=+

ttt

tttt

XftXAtIX

XfXAtXX

XfXAdt

dX rrr

Solução iterativa até atingir o equilíbrio

Segmentação de Imagens S.Furuie Jul/01- 83

Snakes:Vantagens/desvantagens

+ Emula modelo físico. Imagens são apenasrepresentações de modelos físicos.

- Processos reais são complexos p/ modelar- Constantes desconhecidas- Pesos relativos ?- Apenas segmentação e alinhamento. Tracking exige

modelagem mais precisa.

Segmentação de Imagens S.Furuie Jul/01- 84

Balloon

Simulated annealingRegion-growing com função custoModelo físico de expansão

Pode superar bordas espúrias

PsP

ksnwf∇

∇−=

)(.)(.1

r

n

Segmentação de Imagens S.Furuie Jul/01- 85

Elementos finitos (FEM)

O elemento como um todo é modelado e segue umalei.

Valores internos ao elemento podem ser estimados apartir dos extremos

Minimiza-se o resíduo total considerando as funçõesde interpolação

Segmentação de Imagens S.Furuie Jul/01- 86

FEM

)(''''.''. 21 cPcwcw −∇=+−Modelo c(s)

[ ]

fcA

dssNcPcwcwresiduo

sNcsNcsccPcwcw

i

c

ci

=

=+∇+−=

+==+∇+−

∫.

0)(.)(''''.''.

)(.)(.)(0)(''''.''.

2

121

2211

21Resíduo

)(.)..(

)(.

)(.

11

111

−−

−−−

∆+∆−=

=+∆−

=+

ttt

tttt

XftXAtIX

XfXAtXX

XfXAdt

dX rrr

Segmentação de Imagens S.Furuie Jul/01- 87

Topological Snakes

Snakes sobre um grid dodomínio

+ simples que o FEM+ eficiente que o snakes+ incorpora o balloon

Segmentação de Imagens S.Furuie Jul/01- 88

T-snake

0)().().( 2

2

22

2

1 =∇++− cPds

cdwdsd

dsdcw

dsd

dtdc

externaballoonflexaoelástica fffbfadtdck +=+− ...

))((

)(

/)...(1

tiflexao

tielástica

externaballoonflexaoelásticati

ti

cLaplacianoLaplacianof

cLaplacianof

ktfffbfacc

=

=

∆++−+=+

Segmentação de Imagens S.Furuie Jul/01- 89

resultados