REGISTRO AUTOMÁTICO

DE IMAGENS

Dmitry Fedorov

Dr. Leila M. G. Fonseca

INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2003.

Motivação

Estudos multi-temporais (Landsat-TM)

Motivação

Estudos multi-temporais (Imagens aéreas)

Motivação

Criação de imagens estéreo (LYNX-SAR)

Motivação

Ampliação da área imageada (seqüência de fotos aéreas)

Fases de registro

Registro pode ser realizado nas seguintes etapas:

1. Obtenção de pontos de controle

2. Determinação da função de transformação

3. Interpolação

Como registro é feito?

Geralmente, o registro é feito manualmente

Através de vários pontos de controle modela-se a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste

pontos de controle

Obtenção de Pontos de controle

Obtenção de pontos de controle inclui duas etapas:

1. Extração de feições (pontos, cantos, linhas, contornos): Segmentação, transformada Wavelet, Optical Flow...

Obtenção de Pontos de controle

2. Casamento das feições extraídas

Métodos de correlação, função de custo, códigos em cadeia, geometria...

Obtenção de Pontos de controle

comparar janela Sij com janelas Wz

Sij

Wz

Métodos de correlação

Obtenção de Pontos de controle

1K

0l

1L

0m

1K

0l

1L

0m

2ij

2z

1K

0l

1L

0mijz

m)(l,Sm)(l,W

m)(l,m)S(l,Wj)R(i,

Correlação Cruzada Normalizada:janelas mais parecidas tem R(i,j) máximo

Coeficiente de correlaçãoC(i,j) em escala absoluta [-1, 1]

1K

0l

1L

0m

1K

0l

1L

0m

2s

2ij

2w

2z

1K

0l

1L

0msijwz

)-m)(l,(S)-m)(l,(W

)-m)(l,)(S-m)(l,(Wj)C(i,

Detecção de similaridade seqüencial

1

0

1

0

),(),(),(K

l

L

mijz mlSmlWjiE

Sij – Janela da imagem de referência;

Wz – Janela da imagem de ajuste

w - média da janela W;

s - média da janela W.

Obtenção de Pontos de controle

Métodos de correlação

Obtenção de Pontos de controle

Obtenção de Pontos de controle

Extração de Feições usando LoG

2

22

22

22

4 21

1),(

yx

eyx

yxLoG

- 4

0- 22

1

0

- 1

- 2

- 3

YX

x 10 - 3

0-2

-42

-4

Obtenção de Pontos de controle

Casamento de feições usando códigos em cadeia

Números representam ângulos,Unidade representa um ângulo de 45°,Ex: 3 -> próximo pixel esta a nordeste (135°).

C1: 11122211334C2: 11112211133

Comparar por correlação

Obtenção de Pontos de controle

Extração de feições usando segmentação

Obtenção de Pontos de controle

Extração de feições usando segmentação

21

21

21

21

21

212

1

21

21cc

cc

rr

rr

pp

pp

aa

aa

ai – Área da região i (polígono);

pi – Extensão do perímetro da região i;

ri e ci - Largura e comprimento do retângulo delimitante da região i.

Função de transformação

A transformação espacial que modela a distorção entre as imagens é calculada através do conjunto de pontos de controle

Maneira tradicional para estimar os parâmetros da transformação é através da solução de mínimos quadrados

23

13

2221

1211

a

a

y

x

aa

aa

Y

X

23

13

2221

1211

a

a

y

x

aa

aa

Y

XA transformação mais utilizada é a Afim:

T

Função de transformação

dy

dx

y

x

Y

X

dy

dx

y

x

Y

X

Translação:

Translação

Função de transformação

Rotação, escala e translação:

Translação

dy

dx

y

xr

Y

X

cossin

sincos

EscalonamentoRotação

Função de transformação

Afim:

Translação

Escalonamento

Rotação

dy

dx

y

x

aa

aa

Y

X

2221

1211

dy

dx

y

x

aa

aa

Y

X

2221

1211

skew

Função de transformação

Perspective:

11 76

43

21

y

x

raa

dymm

dxmm

Y

X

11 76

43

21

y

x

raa

dymm

dxmm

Y

X

Problemas de registro de imagens

• Grande número de métodos automáticos são desenvolvidos por causa do aumento da geração e utilização das imagens

• Um único método não funciona adequadamente para diferentes tipos de dados

• Sem interferência do especialista os métodos automáticos apresentam dificuldades na geração de resultados corretos e confiáveis

Sistema de registro

Registro

Mosaico

Verificação de consistência eedição dos pontos de controle.

Escolha do método de mosaico

Escolha o método de registro.

RESULTADO Avaliação do resultado.

SISTEMA USUÁRIO

Ima

ge

ns

Ima

ge

m

Pontos de controleTransformação associada

Resultados de testes de aceitação

Registro

Mosaico

Verificação de consistência eedição dos pontos de controle.

Escolha do método de mosaico

Escolha o método de registro.

RESULTADO Avaliação do resultado.

SISTEMA USUÁRIO

Ima

ge

ns

Ima

ge

m

Pontos de controleTransformação associada

Resultados de testes de aceitação

Sistema de registro

Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg)

Foi enfatizada a utilização em plataformas diferentes

Três métodos de registro automático foram implementados:

• método baseado em optical flow e geometria

• método baseado na transformação wavelet

• método baseado em contornos

Método padrão

Optical Flow

imagem1 imagem 2

Extração de pontos utilizando máximos locais

pontos 1 pontos 2

Casamento preliminar utilizando janelas rotacionadas enormalizadas

pontoscasados

Refinamento dos casamentos utilizando geometria

imagem 1 imagem 2

Optical Flow

imagem1 imagem 2

Extração de pontos utilizando máximos locais

pontos 1 pontos 2

Casamento preliminar utilizando janelas rotacionadas enormalizadas

pontoscasados

Refinamento dos casamentos utilizando geometria

imagem 1 imagem 2

O método baseado em optical flow e geometria

É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada

Método baseado em wavelets

Pré-processamento

imagensde

entrada

Decomposição waveletn=1,...,L

L

n Extração de feições

Extração de feições

Casamento de feições

Verificação deconsistência dos

casamentos

Função de transformaçãoinicial

Casamento inicial

Casamento de feições

Refinamento deparâmetros do modelo de

distribuição

Função de transformaçãofinal

Interpolação

Imagens registradas

Pré-processamento

imagensde

entrada

Decomposição waveletn=1,...,L

L

n Extração de feições

Extração de feições

Casamento de feições

Verificação deconsistência dos

casamentos

Função de transformaçãoinicial

Casamento inicial

Casamento de feições

Refinamento deparâmetros do modelo de

distribuição

Função de transformaçãofinal

Interpolação

Imagens registradas

O método baseado em wavelets é importante para o registro de imagens de radar onde identifica uma boa quantidade de pontos de controle

Apresenta melhor precisão e eficiência de registro do que o método padrão

O método baseado em contornos

Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos

É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral

imagem1 imagem 2

Extrair contornos utilizando código em cadeia

contornos1

contornos2

Casar contornos utilizando código em cadeia

Refinar os casamentos utilizando geometria

contornos casados

Extrair pontos utilizando centroides dos contornos

pontoscasados

contornos casados

LoG

imagem 1 imagem 2

imagem1 imagem 2

Extrair contornos utilizando código em cadeia

contornos1

contornos2

Casar contornos utilizando código em cadeia

Refinar os casamentos utilizando geometria

contornos casados

Extrair pontos utilizando centroides dos contornos

pontoscasados

contornos casados

LoG

imagem 1 imagem 2

Interpolação

O resultado pode ser:

imagem registrada

mosaico de imagens

O mapeamento de NCs é realizada

usando interpolação:

bilinearvizinho mais

próximo

Interface gráfica do sistema

Três passos lógicos:

1) Dados e pre-processamento

2) Busca de pontos de controle

3) Geração da imagem resultante

Controle das janelas

Interface gráfica do sistema

1) Identificação de pontos(auto, semi-auto, manual)

2) Transformação(translação, RST, afim, etc.)

3) Identificar pontos!

Busca de pontos de controle

Interface gráfica do sistema

1) Imagem resultado(mosaico, registro separado)

2) Sobreposição(normal, interlaçado, blended)

3) Interpolação (vizinho mais próximo, Bilinear)

Geração da imagem resultante

4) Equalização

Ferramentas do sistema

Pre-processamento:

Modificar resolução, escolher a banda, realçar...

Edição de pontos de controle:

Remover, gravar ou carregar, mostrar nas imagens...

Ferramentas do sistema

Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador

Testes do sistema

O sistema foi testado operacionalmente por vários pesquisadores em:

• Instituto Nacional de Pesquisas Espaciais

• Universidade da Califórnia, Santa Barbara

• Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia

Testes exaustivos foram executados com imagens:

• Radar

• Multi-sensores

• Alta resolução

• Seqüências de vídeo

Testes do sistema

Imagens Método wavelets Método padrão

Radar, JERS-1(10/10/95) + (08/13/96)Amazônia, floresta(512*512)(512*512)

Tempo: 3185ms C.P.: 53RMSE: 0.7648

Tempo: 6099msC.P.: 6 (de 300)RMSE: 1.0000

SPOT band 3 + TM band 4(08/08/95) + (06/07/94)Cidade Brasília(512*512)(512*512)

Tempo: 3325ms C.P.: 29RMSE: 0.8710

Tempo: 5889msC.P.: 6 (de 300)RMSE: 1.8257

TM band 5(06/07/92) + (07/15/94)Amazônia, floresta (512*512)(512*512)

Tempo: 3104msC.P.: 188RMSE: 0.5359

Tempo: 2914msC.P.: 4 (de 128)RMSE: 0.7071

Comparação entre os métodos padrão e wavelets:

Testes do sistema

Comparação entre os métodos padrão e contornos:

Imagens Método contornos

Método padrão

Landsat, composição 3,4,5Litoral(1390*1500)(1200*1650)

Tempo: 2604msC.P.: 3RMSE: 0.8165

Tempo: 6008msC.P.: 5 (de 128)RMSE: 1.3416

Fotos aéreasÁrea urbana, Bay area, Califórnia(1283*2352)(1547*2284)

Tempo: 4566msC.P.: 32RMSE: 1.4790

Tempo: 9183ms C.P.: 22 (de 128)RMSE: 2.0226

Fotos aéreas coloridasÁrea urbana, Santa barbara, Califórnia(306*386)(335*472)

Tempo: 521ms C.P.: 6RMSE: 0.4082

Tempo: 1392msC.P.: 21 (de 128)RMSE: 1.2536

Imagens de florestas

Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

Imagens de Radar

Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996

Imagens do CBERS

Mosaico de 4 imagens CBERS-IRMMS de datas diferentes

Imagens Landsat

Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos

Detalhe do registro

Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos

Imagens do LANDSAT 7 PAN - CBERS CCD

R: PAN

G,B: CCD 4

Registro automático usando retângulos

Composição colorida das imagens registradas R-PAN, G-4CCD, B-3CCD

Imagens do radar RADARSAT-1, SAR

Mosaicos de seqüências de vídeo

seqüência de 100 imagens IR gerado em 20 segundos

Mosaicos de seqüências de vídeo

Mosaicos registrados das seqüências de

640x480 pixels

14 visíveis

6 termais

Mosaico de imagens Ikonos

_

Fotografia digital

Método Blending para fotografia digital

Conclusão

• O sistema foi implementado e testado

• Existem binários para Windows, Linux, Solaris Sparc

• Desenvolvida a página WEB do sistema:http://regima.dpi.inpe.br/

• Desenvolvida a versão demo para WEB:http://regima.dpi.inpe.br/demo/http://nayana.ucsb.edu/registration/

Agradecimentos

Várias instituições participaram no desenvolvimento:

• Divisão de Processamento de Imagens, INPE• Divisão de Sensoriamento Remoto, INPE• Vision Lab, Universidade da Califórnia, Santa Barbara• China Lake Naval Air Warfare Center, Califórnia

O trabalho foi financiado pelas instituições:

• CAPES• SELPER Brasil• Office of Naval Research, China Lake Naval Air Warfare Center• CalTrans

Demonstração do sistema

Regeemy