Restauração de Imagens

35M34 – Sala 3D5Bruno Motta de CarvalhoDIMAp – Sala 15 – Ramal 227

DIM00972

Introdução

Restauração busca reconstruir ou recuperar uma imagem que foi degradada usando informações a respeito do processo de degradação

Após modelar o processo de degradação, a restauração de imagens busca aplicar o processo inverso de modo a obter a imagem não degradada

A área de realce de imagens tem interseções com a restauração de imagens, mas é um processo mais subjetivo, onde se busca uma imagem mais adequada, geralmente de acordo com algum critério subjetivo 

DIM00973

Modelo de Degradação

O modelo de degradação utilizado usa uma função H que opera na imagem de entrada f(x,y) e um termo de ruído aditivo η(x,y) para gerar a imagem degradada g(x,y)

Se H é um processo linear e invariante a posição, a funçao degradada g é  ),(),(*),(),( yxyxfyxhyxg η+=

DIM00974

Modelo de Degradação

Deste modo, no domínio da frequência nós temos

Na primeira parte desta aula nós vamos ter H como o operador identidade, isto é, nós estaremos lidando com imagens degradadas somente por ruído

),(),(),(),( vuNvuFvuHvuG +=

DIM00975

Modelos de Ruído As principais fontes de ruído em imagens digitais 

se manifestam nas etapas de aquisição e transmissão 

Na aquisição isso pode acontecer devido a precisão dos sensores, sensibilidade dos sensores a condições ambientais

Na transmissão isso pode acontecer devido a interferência no canal usado para transmissão

Podemos nos referir ao ruído suas características espaciais ou de frequência

DIM00976

Modelos de Ruído Quando o espectro de Fourier do ruído é 

constante, ele é chamado de ruído branco (devido a luz branca conter quase todas as freqeuências do espectro visível em quantidades iguais)

Com a exceção de ruídos periódicos no espaço, nós assumiremos aqui que o ruído é independente das coordenadas espaciais, e também que não é correlacionado com a imagem original

DIM00977

Modelos de Ruído• Funções de densidade de probabilidade (PDFs) 

são usadas para modelar diferentes tipos de ruídos

• Eles modelam o comportamento das intensidades no componente de ruído no modelo visto anteriormente

• Ruído Gaussiano – problemas em sensores devido a altas temperaturas ou iluminação falha

• Ruído de Rayleigh – range imaging• Ruídos exponencial e gama – laser imaging• Ruído de impulso – mudança falha de estados 

em sensores

DIM00978

Modelos de Ruído Imagem ao lado foi utilizada para 

demonstrar tipos de ruídos Os seis tipos de ruídos foram 

adicionados a imagem e as imagens resultantes e seus histogramas foram gerados

Os níveis de ruído para cada caso foram escolhidos de tal forma que o histograma dos três objetos estivessem começando a se fundir 

DIM00979

Modelos de Ruído

DIM009710

Modelos de Ruído

DIM009711

Ruídos Periódicos Geralmente aparecem devido a interferências 

elétricas ou eletromecânicas durante a aquisição das imagens

Pode ser muito reduzido através de filtragem no domínio da frequência

Isso acontece porque o período do ruído corresponde a frequência de uma senoide, que nada mais é do que uma frequência no domínio da frequência

DIM009712

Ruídos Periódicos• Os parâmetros do ruído são 

geralmente estimados observando­se o espectro de Fourier da imagem

• Como visto anteriormente, picos no domínio da frequência indicam componentes que formam o ruído periódico

DIM009713

Estimação de Parâmetros de Ruídos Pode­se também tentar inferir sobre a 

peridodicidade do ruído diretamente da imagem, porém isso só funciona em casos simples

Detecção automática dos picos no domínio da frequência é possível se picos forem acentuados ou se temos alguma informação a priori sobre as áreas onde os picos estariam localizados

Alguns parâmetros das PDFs dos ruídos podem ser conhecidos das descrições dos sensores 

DIM009714

Estimação de Parâmetros de Ruídos Pode­se adquirir uma imagem padrão com 

iluminação uniforme para estimar parâmetros de ruídos ou pode­se usar partes de imagens que tenham intensidades quase constantes

DIM009715

Restauração no Domínio Espacial Como estamos considerando sinais que tenham 

sido degradados somente por ruído, temos:

Caso o ruído seja periódico, podemos estimá­lo como mencionado anteriormente

A filtragem espacial é adequada quando o ruído é somente aditivo

Neste caso, realce=restauração 

),(),(),( yxyxfyxg η+= ),(),(),( vuNvuFvuG +=

DIM009716

Filtros de Médias

O filtro de média mais simples é o de média aritmética, que associa a média das intensidades dos pontos da imagem corrompida em uma janela a intensidade do pixel onde esta janela está centrada na imagem restaurada 

Pode ser implementada usando uma máscara de convolução

Usando­se o filtro de média geométrica nós temos  

mn

Sts xy

tsgyxf

1

),(),(),(ˆ

= ∏

∈

DIM009717

Filtros de Médias O valor obtido usando­se o filtro de média harmônica é dado 

por 

Remove ruído salt mas falha em ruídos pepper Já o valor obtido usando­se o filtro de média contra­

harmônica é dado por

    onde Q é a ordem do filtro. Funciona bem para ruídos salt­and­pepper (um de cada vez, escolhendo­se o sinal de Q)

∑∈

=

xySts tsg

mnyxf

),( ),(1),(ˆ

∑∑

∈

∈

+

=

xy

xy

Sts

QSts

Q

tsg

tsgyxf

),(

),(

1

),(

),(),(ˆ

DIM009718

Filtros de Médias

DIM009719

Filtros de Médias

DIM009720

Filtros de Médias

• Ruídos Gaussianos ou uniformes ­ média aritmética ou geométrica

• Ruídos salt­and­pepper – harmônico (salt) ou contra­harmônico (salt e pepper, mas não simultaneamente)

DIM009721

Filtros de Ordenação

Filtros baseados em ordenações (rankings) das intensidades da imagem degradada na janela do filtro

Mediana max e min ponto médio média alfa­cortada

{ }),(median),(ˆxySt)(s, tsgyxf ∈=

{ } { }),(min),(ˆe),(max),(ˆxyxy St)(s,St)(s, tsgyxftsgyxf ∈∈ ==

{ } { }[ ]),(min),(max21),(ˆ

xyxy St)(s,St)(s, tsgtsgyxf ∈∈ +=

∑∈−

=xySt)(s,

),(1),(ˆ tsgdmn

yxf r

DIM009722

Filtros de Ordenação

Filtros baseados em ordenações (rankings) das intensidades da imagem degradada na janela do filtro

O filtro da mediana troca o valor original do pixel pelo valor da mediana da região definida pelo filtro

Os filtros max e min substituem o valor original pelo máximo e mínimo, respectivamente, da área delimitada pelo filtro

f x , y=mediana s , t ∈S xy

{g s , t }

f x , y= maxs ,t ∈S xy

{g s ,t } e  f x , y= mins ,t ∈Sxy

{g s ,t }

DIM009723

Filtros de Ordenação

O filtro do ponto médio calcula a média dos valores minímo e máximo e substitui o valor original do pixel 

O filtro da média alfa­cortada elimina os d/2 maiores  e os d/2 menores valores e calcula a média dos pixel restantes, que vai substituir o pixel original 

f x , y=12[ max s , t∈S xy

{g s , t } mins ,t ∈Sxy

{gs , t }]

f x , y= 1mn−d

∑s ,t ∈Sxy

{gr s ,t }

DIM009724

Filtros de Ordenação

DIM009725

Filtros Adaptativos

Os filtros mencionados até agora são aplicados a toda a imagem, ao contrário dos filtros adaptativos, cujos comportamentos mudam de acordo com as características estatísticas da imagem no área definida pelo filtros

Podem obter melhores performances mas suas implementações são mais complexas

DIM009726

Filtros Adaptativos

Exemplo: Filtro adaptativo para remoção de ruído aditivo, usando valores de média e variância

Filtro preserva bordas e elimina ruído em áreas homogêneas f x , y=g x , y−

² ²L

[ g x , y−mL ]

f x , y−imagem recuperada   g x , y−imagem corrompida ²−variância do ruído   ²L−variância local   mL−média local

DIM009727

Filtros Adaptativos

Exemplo de filtro adaptativo de medianaNível  A : A1=zmed−zmin

  A2=zmed−zmax

  If  A10  AND  A20, Vá para o Nível B  Senão aumente o tamanho da janela  Se o tamanho da janela  S_max repita o Nível  A  Senão retorne  zmed

Nível  B : B1=z xy−zmin

  B2=z xy−zmax

  If  B10  AND  B20,  retorne z xy

  Senão retorne zmed

zmin=intensidade mínima em  S xy

zmax=intensidade máxima em  S xy

zmed

=mediana das intensidades em  Sxy

Smax=maior tamanho permitido da regiãoS xy

zxy=intensidade da imagem em  x , y

DIM009728

Filtros Adaptativos

DIM009729

Restauração no Domínio da Frequência Filtros podem ser definidos 

interativamente, após a visualização da transformada de uma imagem como nos filtros de rejeição de banda e notch

Outros métodos incluem estimação de degradações, filtragem inversa e filtragem de Wiener 

DIM009730

Filtros de Supressão de Bandas

H u , v=1−e−12 [D 2u ,v −D

02

D u , vW ]2

H u ,v = 1

1[ D u , v WD2 u , v −D0

2 ]2n

H u ,v ={1, se  D u ,vD0−W2

0, se  D0−W2D u , v D0

W2

1, se  D u ,vD0W2

DIM009731

Filtros de Supressão de Bandas

DIM009732

Filtros Notch

Partes dos coeficientes da transformada da imagem são atenuados ou eliminados de acordo com pontos especificados por um usuário

Exceto no caso (u,v)=(0,0), dois filtros são usados devido a simetria da transformada de Fourier

DIM009733

Filtros Notch

Os filtros notch ideal, Butterwoth e Gaussiano podem ser definidos por

H u , v =1−e−12 [ D1u , v D2 u , v

D02 ]H u , v = 1

1[ D02

D1u , v −D2u ,v ]n

H u , v={0, se  D1u , v D0  ou  D2u , v D0

1, caso contrário 

Onde  D1u ,v=[u−M /2−uo2v−N /2−vo

2 ]1/2

 e 

          D2 u , v =[u−M /2uo2v−N /2vo

2 ]1/2

DIM009734

Filtros Notch Ótimos Em alguns caso, é difícil julgar o que é e o que 

não é um pico de interferência na transformada de uma imagem

A abordagem citada usa uma função de peso ou modulação (x,y) que tenta diminuir o efeito de componentes do ruído que não estão presentes na estimativa do ruído (x,y)

f x , y=g x , y− x , y x , y

DIM009735

Filtros Notch Ótimos Uma abordagem é a de se selecionar (x,y) tal que a 

variância (x,y) da estimativa da função restaurada seja minimizada na vizinhança do pixel (x,y), isto é, 

Combinando­se as duas equações, minimizando­se a variância (x,y) e isolando­se (x,y), nós temos

2 x , y= 12a12b1

∑s=−a

a

∑t=−b

b

[ f xs , yt − f x , y ]2

x , y = g x , y x , y−g x , y x , y 2 x , y −  2 x , y

DIM009736

Restauração no Domínio da Frequência

DIM009737

Degradações Lineares e Invariantes a Posição A degradação de um sinal foi modelada como

O operador H é dito linear se 

isto é, se H tem as propriedades aditiva e da homogeneidade

H é dito invariante a posição se 

g x , y=H [ f x , y] x , y

H [af 1 x , ybf 2 x , y]=aH [ f 1 x , y]bH [ f 2 x , y]

H [ f x− , y−]=g x− , y−

DIM009738

Degradações Lineares e Invariantes a Posição

No contínuo nós temos

Usando as propriedades aditiva e da homogeneidade, chegamos a

h(x,,y,) é chamada de point spread function (PSF) pois na ótica, ela descreve como um sistema ótico borra um ponto de luz

f x , y=∫−∞

∞

∫−∞

∞

f , x− , y−d d

g x , y=H [ f x , y ]=H [∫−∞

∞

∫−∞

∞

f ,x− , y− dd ]g x , y=∫

−∞

∞

∫−∞

∞

f ,H [ x− , y−] d d    ou

∫−∞

∞

∫−∞

∞

f ,h x , , y , dd

DIM009739

Degradações Lineares e Invariantes a Posição A integral de superposição (ou Friedholm) do 

primeiro tipo é a base da teoria de sistemas lineares

Um sistema linear é completamente caracterizado pela sua resposta a impulsos

No caso de invariância a posição a equação se torna                                                   também conhecida 

como integral de convolução Na presença de um ruído aditivo a expressão acima 

se transforma em 

g x , y=∫−∞

∞

∫−∞

∞

f ,h x , , y , dd

g x , y=∫−∞

∞

∫−∞

∞

f ,h x− , y−dd

g x , y=∫−∞

∞

∫−∞

∞

f ,h x , , y , dd x , y

DIM009740

Degradações Lineares e Invariantes a Posição No caso de invariância a posição a equação se torna 

Como os valores de (x,y) são aleatórios e independentes de posição, nós podemos reescrever a equação como

Vários tipos de degradações podem ser modelados como processos lineares e invariantes a posição

Como degradações são modeladas como sendo resultado de uma convolução, a restauração linear de imagens é também chamada de deconvolução 

g x , y=∫−∞

∞

∫−∞

∞

f ,h x− , y−dd x , y

g x , y=h x , y∗ f x , yx , y

DIM009741

Estimando Funções de Degradação As três principais maneiras de se estimar uma 

degradação são: observação, experimentação e modelagem matemática

Na observação, coleta­se informação da imagem degradada, por exemplo, examinando estruturas simples, estimando uma sub­imagem não­borrada, e calculando H usando esta imagem e a imagem original H su , v=

G s u , vF s u , v

DIM009742

Estimando Funções de Degradação Na estimação por experimentação, utiliza­se 

equipamento similar ao usado para adquirir a imagem, podemos estimar a função de degradação adquirindo um impulso usando  parâmetros parecidos

H u ,v =G u , vA

Um impulso é simulado por um ponto brilhante de luz, logo, temos 

DIM009743

Estimando Funções de Degradação Na estimação por modelagem, utiliza­se modelos 

matemáticos para caracterizar alguma degradação de origem conhecida

Por exemplo, Hufnagel e Stanley (1964) usaram a equação abaixo para modelar turbulência H u , v=e−k u2v25 /6

DIM009744

Estimando Funções de Degradação

DIM009745

Estimando Funções de Degradação

Imagem ao lado foi criada modelando­se um borramento por movimento linear uniforme entre o objeto sendo capturado e o sensor de aquisição

Esta técnica pode ser usada para criar efeitos em fotografias, por exemplo

DIM009746

Filtragem Inversa

A filtragem inversa busca recuperar uma estimativa usando

Entretanto, na presença de ruído, nós temos

Ou seja, não podemos recuperar F(u,v) exatamente porque o ruído N(u,v) é uma função aleatória desconhecida

Se H tem valores nulos ou pequenos, o ruído domina a solução

F u , v= G u , vH u , v

F u ,v =F u , v N u , vH u ,v

DIM009747

Filtragem Inversa Figura ao ladomostra imagens filtradas usando a função de degradação exata

Observe como o limite dosuporte do filtro diminui o problema dos valores próximos de 0

H u ,v=e−k [u−M /22v−N /22]5/6

DIM009748

Filtragem de Wiener

Os filtros de Wiener, ou filtros de erro quadrado médio mínimo, modelam tanto degradação quanto adição de ruído ao sinal original, ao contrário dos filtros inversos

O método considera a imagem e o ruído como processos aleatórios, e tenta estimar uma versão não corrompida de f minimizando o erro                onde E{.} é o valor esperado do argumento 

e2=E { f − f 2}

DIM009749

Filtragem de Wiener

O mínimo da função de erro no domínio da freqüência é dado por

onde 

F u , v = [ H *u ,v S f u ,v

S f u , v∣H u ,v ∣2Su , v ]G u , v

  = [ 1H u , v

H u , v2

∣H u ,v ∣2Su ,v /S f u ,v ]G u , v

H u , v=função de degradaçãoH*u , v=conjugado de  H u , v∣H u , v∣2=H *u , vH u , vSu , v=∣N u , v∣2=espectro de potência do ruídoS f u , v=∣F u , v∣2=espectro de potência da imagem original

DIM009750

Filtragem de Wiener

Se o ruído for zero, o filtro de Wiener se torna um filtro inverso

Como não sabemos o espectro da imagem não corrompida, devemos estimá­la

No caso de ruído branco, a equação anterior se torna

Deste modo, pode­se especificar K interativamente até que um resultado desejado seja alcançado

F u , v =[ 1H u , v

H u , v 2

∣H u , v ∣2K ]G u , v

DIM009751

Filtragem de Wiener

Comparação com filtragem inversa

DIM009752

Filtragem de Wiener

Comparação com filtragem inversa

Observe como o ruído ainda está presente no resultado do filtro inverso na terceira linha

DIM009753

Filtragem de Quadrados Mínimos Uma constante aproximando a razão entre os 

especros de potência do ruído e da imagem original nem sempre é adequado

Nos filtros de quadrados mínimos somente a média e a variância do ruído precisam ser especificados (e podem ser estimados a partir de uma imagem degradada)

Representando­se o processo de degradação da imagem na forma matricial temos g=Hf

DIM009754

Filtragem de Quadrados Mínimos

Como H é muito sensível a ruídos, o método restaura a imagem usando uma medida de suavidade, como a segunda derivada da imagem (Laplaciano), minimizando 

    sujeito a                        onde                 é a norma Euclidiana  No domínio da freqüência nós temos

    onde  é um parâmetro que deve ser ajustado para manter a restrição acima e P(u,v) é transformada de Fourier do Laplaciano

C=∑x=0

M−1

∑y=0

N −1

[ ∇2 f x , y ]2

∥g−H f∥2=∥∥2 ∥w∥2=wT w

F u , v =[ H *u ,v ∣H u , v ∣2∣P u ,v∣2 ]G u , v

DIM009755

Filtragem de Quadrados Mínimos Comparação com o resultados 

obtidos usando­se filtros de Wiener 

DIM009756

Filtragem de Quadrados Mínimos Parâmetro  pode ser definido por observação ou 

calculado de modo ótimo usando um procedimento iterativo

DIM009757

Filtro de Média Geométrica O filtro da média geométrica é uma generalização do 

filtro de Wiener, que define uma família de filtros, que podem ser controlados variando­se  e  (que são positivos)

Quando =1 este filtro se reduz a um filtro inverso,     =0 implica em um filtro paramétrico de Wiener, que se reduz a um filtro de Wiener quando =1

F u , v =[ H *u , v∣H u , v∣2 ][ H *u ,v

∣H u , v ∣2[ Su , v

S f u ,v ] ]1−

G u , v

DIM009758

Transformações Geométricas Transformações geométricas modificam o 

relacionamento espacial entre os pixels e não suas intensidades, e são divididas em uma transformação espacial seguida de uma interpolação das intensidades

Uma imagem f com coordenadas (x,y) sofre uma transformação geométrica gerando a imagem g com as coordenadas (x’,y’). Essa transformação pode ser expressa por  x '=r x , y  e  y'=s x , y

DIM009759

Transformações Geométricas Conhecendo­se as funções r e s pode­se, teoricamente, 

recuperar f, porém geralmente é impossível se caracterizar a transformação em toda a imagem usando apenas um par de funções r e s

Por isso usa­se pontos âncora em pixels correspondentes nas imagens distorcida e corrigida para o cálculo de r e s em sub­áreas da imagem corrigida

DIM009760

Transformações Geométricas Nós podemos reescrever r e s como

Como essas equações poder gerar números não inteiros, deve­se usar algum método de interpolação para mapear os valores nos pontos da grade da imagem

r x , y=x '=c1 xc2 yc3 xyc4   e   s x , y =y'=c5 xc6 yc7 xyc8

DIM009761

Transformações Geométricas