REGISTRO AUTOMÁTICO DE IMAGENS - GeoSenso · Métodos de correlação, função de custo, códigos...

REGISTRO AUTOMÁTICO

DE IMAGENS

Dmitry Fedorov

Dr. Leila M. G. Fonseca

INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS,

São José dos Campos, 2003.

Motivação

Estudos multi-temporais (Landsat-TM)

Motivação

Estudos multi-temporais (Imagens aéreas)

Motivação

Criação de imagens estéreo (LYNX-SAR)

Motivação

Ampliação da área imageada (seqüência de fotos aéreas)

Fases de registro

Registro pode ser realizado nas seguintes etapas:

1. Obtenção de pontos de controle

2. Determinação da função de transformação

3. Interpolação

Como registro é feito?

Geralmente, o registro é feito manualmente

Através de vários pontos de controle modela-se a função de

distorção entre as duas imagens, que é usada para corrigir a

imagem de ajuste

pontos de controle

Obtenção de Pontos de controle

Obtenção de pontos de controle inclui duas etapas:

1. Extração de feições (pontos, cantos, linhas,

contornos): Segmentação, transformada Wavelet,

Optical Flow...


2. Casamento das feições extraídas

Métodos de correlação, função de custo, códigos em

cadeia, geometria...


comparar janela Sij com janelas Wz

Sij

Wz

Métodos de correlação


1K

0l

1L

0m

1K

0l

1L

0m

2

ij

2

z

1K

0l

1L

0m

ijz

m)(l,Sm)(l,W

m)(l,m)S(l,W

j)R(i,Correlação Cruzada Normalizada:

janelas mais parecidas tem R(i,j) máximo

Coeficiente de correlaçãoC(i,j) em escala absoluta [-1, 1]

1K

0l

1L

0m

1K

0l

1L

0m

2

s

2

ij

2

w

2

z

1K

0l

1L

0m

sijwz

)-m)(l,(S)-m)(l,(W

)-m)(l,)(S-m)(l,(W

j)C(i,

Detecção de similaridade seqüencial

1

0

1

0

),(),(),(K

l

L

m

ijz mlSmlWjiE

Sij – Janela da imagem de referência;

Wz – Janela da imagem de ajuste

w - média da janela W;

s - média da janela W.


Métodos de correlação


Extração de Feições usando LoG

2

22

2

2

22

4 21

1),(

yx

eyx

yxLoG

-4

0-22

1

0

-1

-2

-3

YX

x 10 -3

0-2

-42

-4


Casamento de feições usando códigos em cadeia

Números representam ângulos,

Unidade representa um ângulo de 45°,

Ex: 3 -> próximo pixel esta a nordeste

(135°).

C1: 11122211334

C2: 11112211133

Comparar por correlação


Extração de feições usando segmentação


Extração de feições usando segmentação

21

21

21

21

21

212

1

21

21

cc

cc

rr

rr

pp

pp

aa

aa

ai – Área da região i (polígono);

pi – Extensão do perímetro da região i;

ri e ci - Largura e comprimento do

retângulo delimitante da região i.

Função de transformação

A transformação espacial

que modela a distorção

entre as imagens é

calculada através do

conjunto de pontos de

controle

Maneira tradicional para estimar os parâmetros da transformação

é através da solução de mínimos quadrados

23

13

2221

1211

a

a

y

x

aa

aa

Y

XA transformação mais

utilizada é a Afim:

T


dy

dx

y

x

Y

X

Translação:

Translação


Rotação, escala e translação:

Translação

dy

dx

y

xr

Y

X

cossin

sincos

EscalonamentoRotação


Afim:

Translação

Escalonamento

Rotação

dy

dx

y

x

aa

aa

Y

X

2221

1211

skew


Perspective:

11 76

43

21

y

x

raa

dymm

dxmm

Y

X

Problemas de registro de imagens

• Grande número de métodos automáticos são

desenvolvidos por causa do aumento da geração e

utilização das imagens

• Um único método não funciona adequadamente para

diferentes tipos de dados

• Sem interferência do especialista os métodos

automáticos apresentam dificuldades na geração de

resultados corretos e confiáveis

Sistema de registro

Registro

Mosaico

Verificação de consistência e

edição dos pontos de controle.

Escolha do método de mosaico

Escolha o método de registro.

RESULTADO Avaliação do resultado.

SISTEMA USUÁRIO

Ima

ge

ns

Ima

ge

m

Pontos de controle

Transformação associada

Resultados de testes de aceitação

Sistema de registro

Código do sistema foi escrito em C++ utilizando

bibliotecas livres (Qt, libtiff, libjpeg)

Foi enfatizada a utilização em plataformas diferentes

Três métodos de registro automático foram

implementados:

• método baseado em optical flow e geometria

• método baseado na transformação wavelet

• método baseado em contornos

Método padrão

Optical Flow

imagem1 imagem 2

Extração de pontos utilizando máximos locais

pontos 1 pontos 2

Casamento preliminar utilizando janelas rotacionadas e

normalizadas

pontos

casados

Refinamento dos casamentos utilizando geometria

imagem 1 imagem 2

O método baseado em

optical flow e geometria

É o mais lento, porém é

o mais robusto e aceita

uma grande variedade

de dados de entrada

Método baseado em wavelets

Pré-processamento

imagens

de

entrada

Decomposição wavelet

n=1,...,L

L

n Extração de feições

Extração de feições

Casamento de feições

Verificação de

consistência dos

casamentos


inicial

Casamento inicial

Casamento de feições

Refinamento de

parâmetros do modelo de

distribuição


final

Interpolação

Imagens registradas

O método baseado em

wavelets é importante

para o registro de

imagens de radar onde

identifica uma boa

quantidade de pontos

de controle

Apresenta melhor

precisão e eficiência de

registro do que o

método padrão

O método baseado em contornos

Apresenta processamento

rápido, porém só pode ser

utilizado em imagens que

possuem um número

suficiente de contornos

fechados bem definidos

É adequado para o registro de

imagens de diferentes

sensores pois o método de

casamento de feições não

depende da resposta

espectral

imagem1 imagem 2

Extrair contornos utilizando código em cadeia

contornos

1

contornos

2

Casar contornos utilizando código em cadeia

Refinar os casamentos utilizando geometria

contornos casados

Extrair pontos utilizando centroides dos contornos

pontos

casados

contornos casados

LoG

imagem 1 imagem 2

Interpolação

O resultado pode ser:

imagem registrada

mosaico de imagens

O mapeamento de

NCs é realizada

usando interpolação:

bilinear

vizinho mais

próximo

Interface gráfica do sistema

Três passos lógicos:

1) Dados e pre-processamento

2) Busca de pontos de controle

3) Geração da imagem resultante

Controle das janelas


1) Identificação de pontos

(auto, semi-auto, manual)

2) Transformação

(translação, RST, afim, etc.)

3) Identificar pontos!

Busca de pontos de controle


1) Imagem resultado

(mosaico, registro separado)

2) Sobreposição

(normal, interlaçado, blended)

3) Interpolação

(vizinho mais próximo, Bilinear)

Geração da imagem resultante

4) Equalização

Ferramentas do sistema

Pre-processamento:

Modificar resolução,

escolher a banda, realçar...

Edição de pontos de controle:

Remover, gravar ou carregar,

mostrar nas imagens...

Ferramentas do sistema

Registro de áreas retangulares aproximadamente

correspondentes selecionadas por operador

Testes do sistema

O sistema foi testado operacionalmente por vários

pesquisadores em:

• Instituto Nacional de Pesquisas Espaciais

• Universidade da Califórnia, Santa Barbara

• Office of Naval Research, China Lake Naval Air Warfare

Center, China Lake, Califórnia

Testes exaustivos foram executados com imagens:

• Radar

• Multi-sensores

• Alta resolução

• Seqüências de vídeo

Testes do sistema

Imagens Método wavelets Método padrão

Radar, JERS-1

(10/10/95) + (08/13/96)

Amazônia, floresta

(512*512)(512*512)

Tempo: 3185ms

C.P.: 53

RMSE: 0.7648

Tempo: 6099ms

C.P.: 6 (de 300)

RMSE: 1.0000

SPOT band 3 + TM band 4

(08/08/95) + (06/07/94)

Cidade Brasília

(512*512)(512*512)

Tempo: 3325ms

C.P.: 29

RMSE: 0.8710

Tempo: 5889ms

C.P.: 6 (de 300)

RMSE: 1.8257

TM band 5

(06/07/92) + (07/15/94)

Amazônia, floresta

(512*512)(512*512)

Tempo: 3104ms

C.P.: 188

RMSE: 0.5359

Tempo: 2914ms

C.P.: 4 (de 128)

RMSE: 0.7071

Comparação entre os métodos padrão e wavelets:

Testes do sistema

Comparação entre os métodos padrão e contornos:

Imagens Método

contornos

Método padrão

Landsat, composição 3,4,5

Litoral

(1390*1500)(1200*1650)

Tempo: 2604ms

C.P.: 3

RMSE: 0.8165

Tempo: 6008ms

C.P.: 5 (de 128)

RMSE: 1.3416

Fotos aéreas

Área urbana, Bay area, Califórnia

(1283*2352)(1547*2284)

Tempo: 4566ms

C.P.: 32

RMSE: 1.4790

Tempo: 9183ms

C.P.: 22 (de 128)

RMSE: 2.0226

Fotos aéreas coloridas

Área urbana, Santa barbara, Califórnia

(306*386)(335*472)

Tempo: 521ms

C.P.: 6

RMSE: 0.4082

Tempo: 1392ms

C.P.: 21 (de 128)

RMSE: 1.2536

Imagens de florestas

Imagens da floresta amazônica, TM na banda 5,

adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

Imagens de Radar

Imagens da floresta amazônica, JERS-1, adquiridas em

diferentes datas, 10/10/1995 e 08/13/1996

Imagens do CBERS

Mosaico de 4 imagens CBERS-IRMMS de datas diferentes

Imagens Landsat

Mosaico de duas imagens Landsat de datas diferentes. Foi

gerado sem equalização em 3 minutos e 50 segundos

Detalhe do registro

Mosaico de duas imagens Landsat de datas diferentes. Foi

gerado com equalização em 5 minutos e 45 segundos

Imagens do LANDSAT 7 PAN - CBERS CCD

R: PAN

G,B: CCD 4

Registro automático usando

retângulos

Composição colorida das imagens registradas

R-PAN, G-4CCD, B-3CCD

Imagens do radar RADARSAT-1, SAR

Mosaicos de seqüências de vídeo

seqüência de 100 imagens IR gerado em 20 segundos

Mosaicos de seqüências de vídeo

Mosaicos registrados

das seqüências de

640x480 pixels

14 visíveis

6 termais

Mosaico de imagens Ikonos

_

Fotografia digital

Método Blending para fotografia digital

Conclusão

• O sistema foi implementado e testado

• Existem binários para Windows, Linux, Solaris Sparc

• Desenvolvida a página WEB do sistema:

http://regima.dpi.inpe.br/

• Desenvolvida a versão demo para WEB:

http://regima.dpi.inpe.br/demo/

http://nayana.ucsb.edu/registration/

Agradecimentos

Várias instituições participaram no desenvolvimento:

• Divisão de Processamento de Imagens, INPE

• Divisão de Sensoriamento Remoto, INPE

• Vision Lab, Universidade da Califórnia, Santa Barbara

• China Lake Naval Air Warfare Center, Califórnia

O trabalho foi financiado pelas instituições:

• CAPES

• SELPER Brasil

• Office of Naval Research, China Lake Naval Air

Warfare Center

• CalTrans

Demonstração do sistema

Regeemy

REGISTRO AUTOMÁTICO DE IMAGENS - GeoSenso · Métodos de correlação, função de custo, códigos...

Documents

Transcript of REGISTRO AUTOMÁTICO DE IMAGENS - GeoSenso · Métodos de correlação, função de custo, códigos...