UNIVERSIDADE DE BRASLIA

FACULDADE DE TECNOLOGIA

DEPARTAMENTO DE ENGENHARIA MECNICA

SISTEMA DE VISO ROBTICA PARA

RECONHECIMENTO E LOCALIZAO DE OBJETOS

SOB MANIPULAO POR ROBS INDUSTRIAIS EM

CLULAS DE MANUFATURA

LAERCIO ARRAES JARDIM

ORIENTADOR: JOS MAURCIO SANTOS TORRES DA MOTTA

DISSERTAO DE MESTRADO EM SISTEMAS MECATRNICOS

PUBLICAO: ENM.DM

BRASLIA/DF: OUTUBRO 2006

ii

UNIVERSIDADE DE BRASLIA

FACULDADE DE TECNOLOGIA

DEPARTAMENTO DE ENGENHARIA MECNICA

SISTEMA DE VISO ROBTICA PARA IDENTIFICAO

E LOCALIZAO DE OBJETOS SOB MANIPULAO

POR ROBS INDUSTRIAIS EM CLULAS DE

MANUFATURA.

LAERCIO ARRAES JARDIM

DISSERTAO SUBMETIDA AO DEPARTAMENTO DE

ENGENHARIA MECNICA DA FACULDADE DE TECNOLOGIA

DA UNIVERSIDADE DE BRASLIA COMO PARTE DOS

REQUISTOS NECESSRIOS PARA A OBTENO DO GRAU

DE MESTRE EM SISTEMAS MECATRNICOS.

APROVADA POR:

_________________________________________________

Prof. Dr. JOS MAURCIO S. T. DA MOTTA - (ENM-UnB)

(Orientador)

_________________________________________________

Prof. Dra.CARLA MARIA C. C. KOIKE (CIC/UnB)

(Examinador Externo)

_________________________________________________

Prof. Dr. TEODIANO FREIRE BASTOS FILHO - (UFES)

(Examinador Externo)

BRASLIA/DF, 19 DE OUTUBRO DE 2006

iii

FICHA CATALOGRFICA

JARDIM, LAERCIO ARRAES

Sistema de Viso Robotica para Identificao e Localizao de Objetos sob Manipulao

por Robs Industriais em Clulas de Manufatura. [Distrito Federal] 2006.

xvii, 110p., 297 mm (ENM/FT/UnB, Mestre, Sistemas Mecatrnicos, 2006). Dissertao

de Mestrado Universidade de Braslia. Faculdade de Tecnologia.

Departamento de Engenharia Mecnica.

1.Viso computacional 2. Projetivas invariantes

3. Identificao e localizao de Objetos 4. Vrtices

I. ENM/FT/UnB II. Ttulo (srie)

REFERNCIA BIBLIOGRFICA

JARDIM, L. A. (2006). Sistema de Viso Robtica para Identificao e Localizao de

Objetos sob Manipulao por Robs Industriais em Clulas de Manufatura. Dissertao de

Mestrado em Sistemas Mecatrnicos, Publicao ENM.DM-04A/06, Departamento de

Engenharia Mecnica, Universidade de Braslia, Braslia, DF, 110p.

CESSO DE DIREITOS

AUTOR: Laercio Arraes Jardim.

TTULO: Sistema de Viso Robtica para Identificao e Localizao de Objetos sob

Manipulao por Robs Industriais em Clulas de Manufatura.

GRAU: Mestre ANO: 2006

concedida Universidade de Braslia permisso para reproduzir cpias desta Dissertao

de Mestrado e para emprestar ou vender tais cpias somente para propsitos acadmicos e

cientficos. O autor reserva outros direitos de publicao e nenhuma parte dessa dissertao

de mestrado pode ser reproduzida sem autorizao por escrito do autor.

____________________________

Laercio Arraes Jardim

iv

AGRADECIMENTOS

Vida,

Essa ddiva que o Criador nos deu.

Luz do Sol

Por brilhar todos os dias de minha vida.

Aos Mestres

Por transmitir seus conhecimentos. Em especial, o meu orientador, por seus conhecimentos

transmitidos com pacincia e dignidade.

Todas...

... as pessoas que me apoiaram.

v

RESUMO SISTEMA DE VISO ROBTICA PARA RECONHECIMENTO E

LOCALIZAO DE OBJETOS SOB MANIPULAO POR ROBS

INDUSTRIAIS EM CLULAS DE MANUFATURA

Autor: Laercio Arraes Jardim

Orientador: Prof. Dr. Jos Maurcio S. T. da Motta

Programa de Ps-graduao em Sistemas Mecatrnicos

Braslia, Outubro de 2006.

Existem vrias tcnicas de aplicao de viso robtica para o reconhecimento

(identificao e localizao) de objetos industriais tipicamente encontrados em uma clula

de manufatura, objetivando a pega e transporte de peas para agrupamento de forma

inteiramente automtica por manipuladores industriais.

Viso robtica automtica para objetos industriais complicados uma importante e ainda

difcil tarefa, especialmente no estgio de extrao de caractersticas desses objetos.

Prope-se um modelo de reconhecimento de objetos de formatos diversos, utilizando-se de

extrao de pontos caractersticos (vrtices) para formao de bancos de invariantes, para

posterior identificao e localizao.

A fase de identificao dos objetos desenvolvida em dois processamentos, off-line e on-

line. O processo off-line tem como objetivo gerar um banco de dados, onde seriam

armazenadas informaes necessrias identificao de objetos. Essas informaes so

constitudas de vetores de projetivas invariantes. Os vetores de projetivas invariantes so

gerados atravs de uma lista de vrtices extrados dos objetos chamados modelos. A

ordenao da lista dos vrtices deve ser de tal maneira que sua seqncia (horria)

apresente a geometria bsica do modelo. O processo on-line encarrega-se de identificar

objetos que tenham sido previamente armazenados no banco de dados.

A fase de localizao foi desenvolvida com o objetivo de determinar posies e

orientaes de objetos em um sistema de referncia conhecida. possvel relacionar, nesta

vi

fase, os diversos planos que o objeto, devidamente identificado, se encontra, podendo ser o

plano da imagem, da cmera ou da base do manipulador.

O reconhecimento de objetos, atravs de sua identificao por projetiva invariante e sua

localizao em coordenadas da cmera, permitir o posicionamento do manipulador para a

apreenso com controle de posio e orientao.

vii

ABSTRACT

There are several techniques for applying robotic vision for identification and localization

of industrial objects. These objects are typically found in manufacturing cells. The purpose

is to catch and transport the pieces for automatically grouping.

Robotic vision for industrial objects is an important and still difficult task, especially

feature extraction of the object image. For that, this work proposes a model for recognition

of objects different shapes, most of time symmetric, using the extraction of feature points

(corners) for creating a database of invariants, for identification and localization.

The step of object identification is developed in two different processes: on-line and off-

line. The off-line step has the objective of creating a database, where the information

needed to identify the objects is recorded by using vectors of invariant projective. These

vectors are defined from a list of corners extracted from an object image. The order of the

corners listed is sorted in some way that its sequence shows the basic geometry of the

model. The on-line process has the objective of identifying the objects previously recorded.

The localization step was developed to assign positions and orientations of the object in a

reference coordinate system. At this stage, it is possible to relate all the coordinate frames

previously assigned to the object, like the image, camera or base manipulator frames

The recognition of objects, through the identification of invariant projective and its

localization in camera coordinates, allows the positioning of a manipulator to catch and to

control it position and orientation.

viii

NDICE

1. INTRODUO...................................................................................................... 13

2. NOES DE TICA E PROCESSAMENTO DE IMAGENS........................ 16

2.1 IMAGENS DIGITAIS NOES DE TICA............................................. 17

2.1.1 Imagens de Intensidade............................................................................. 17

2.1.2 tica Bsica................................................................................................ 18

2.1.3 Radiometria Bsica ................................................................................... 20

2.1.4 Formao Geomtrica da Imagem........................................................... 21

2.2 PARMETROS DE CMERAS..................................................................... 23

2.2.1 Parmetros Extrnsecos ............................................................................ 23

2.2.2 Parmetros Intrnsecos ............................................................................. 25

2.3 FILTRAGEM DE RUDOS ............................................................................. 26

2.3.1 Filtro Linear............................................................................................... 27

2.4 CARACTERSTICAS DAS IMAGENS ......................................................... 30

2.4.1 Contorno..................................................................................................... 31

2.4.2 Vrtices ....................................................................................................... 34

2.4.3 Centro de Massa ........................................................................................ 36

2.4.4 Segmentao de Imagem........................................................................... 38

3. RECONHECIMENTO DE OBJETOS IDENTIFICAO........................... 40

3.1 Projetiva Invariante para Gerao de Modelos.............................................. 41

3.2 Configurao Geomtrica do modelo .............................................................. 42

3.3 Criao do Banco de Invariantes ..................................................................... 44

3.4 Identificao de Peas por Comparao ......................................................... 45

3.4.1 Processamento Off-Line............................................................................ 45

3.4.2 Processamento On-Line ............................................................................ 50

4. RECONHECIMENTO DE OBJETOS LOCALIZAO ............................. 52

4.1 Conceitos Bsicos............................................................................................... 52

4.2 Localizao de Objetos Imagem de Intensidade.......................................... 52

ix

4.2.1 Modelo de Cmera de Perspectiva Completa ......................................... 53

4.2.2 Modelo de Cmera de Perspectiva Fraca................................................ 55

4.2.3 Exemplo de Aplicao para Modelo de Cmera de Perspectiva Fraca 56

5. CONTROLE DO ESPAO OPERACIONAL UTILIZANDO VISO........... 59

5.1 Aspectos Gerais.................................................................................................. 59

5.2 Subsistema de Controle do Manipulador........................................................ 59

5.2.1 Espao Operacional e Espao Junta Cinemtica Direta e Inversa.... 59

5.2.2 Matriz Jacobiano do Manipulador .......................................................... 61

5.3 Subsistema de Viso .......................................................................................... 62

5.3.1 Formao da Imagem................................................................................ 63

5.3.2 Jacobiano da imagem ................................................................................ 64

5.3.3 Jacobiano Completo .................................................................................. 65

5.4 Sistema de Controle Por Viso......................................................................... 67

5.5 Cinemtica do Erro ........................................................................................... 69

6. EXPERIMENTOS................................................................................................. 71

6.1 Identificao dos Objetos.................................................................................. 71

6.1.1 Processamento Off-line Gerao do Banco de Invariantes ................ 71

6.1.2 Processamento On-Line Identificao de Objetos............................... 80

7. CONCLUSO E SUGESTES PARA TRABALHOS FUTUROS............... 107

REFERNCIAS BIBLIOGRFICAS .......................................................................... 109

x

LISTA DE TABELAS

TABELA 2.1 - MATRIZ 8X8 DE UMA IMAGEM SINTTICA................................................................................... 17 TABELA 3.1 LISTA DE PONTOS (VRTICES) DO MODELO 1.............................................................................. 47 TABELA 3.2 - LISTA DE PONTOS (VRTICES) DO MODELO 2. ............................................................................. 47 TABELA 3.3 VALORES DOS VETORES INVARIANTES DOS MODELOS 1 E 2. ...................................................... 49 TABELA 6.1 VRTICES DO MODELO 1. ........................................................................................................... 75 TABELA 6.2 VRTICES DO MODELO 2. ........................................................................................................... 76 TABELA 6.3 VRTICES DO MODELO 3. ........................................................................................................... 76 TABELA 6.4 VRTICES DO MODELO 1. ........................................................................................................... 76 TABELA 6.5 VRTICES DO MODELO 2. ........................................................................................................... 76 TABELA 6.6 VRTICES DO MODELO 3. ........................................................................................................... 77 TABELA 6.7 VRTICES DO MODELO 1. ........................................................................................................... 78 TABELA 6.8 VRTICES DO MODELO 2. ........................................................................................................... 78 TABELA 6.9 VRTICES DO MODELO 3. ........................................................................................................... 78 TABELA 6.10 RESULTADO DOS CLCULOS DE PROJETIVA INVARIANTE PARA OS MODELOS 1, 2 E 3.............. 80 TABELA 6.11 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1. ........................... 82 TABELA 6.12 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2 ............................ 82 TABELA 6.13 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3 ............................ 82 TABELA 6.14 VRTICES DO OBJETO (PIXEL).................................................................................................. 85 TABELA 6.15 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1 ............................ 86 TABELA 6.16 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2 ............................ 86 TABELA 6.17 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3. ........................... 87 TABELA 6.18 VRTICES DO OBJETO (PIXEL).................................................................................................. 91 TABELA 6.19 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1. ........................... 91 TABELA 6.20 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2. ........................... 92 TABELA 6.21 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3. ............................ 92 TABELA 6.22 VRTICES DO OBJETO (PIXEL).................................................................................................. 96 TABELA 6.23 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1. ........................... 96 TABELA 6.24 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2. ........................... 96 TABELA 6.25 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3. ........................... 97 TABELA 6.26 LISTA DOS VRTICES (PIXEL) SELECIONADOS DO OBJETO 1. ................................................... 101 TABELA 6.27 LISTA DOS VRTICES (PIXEL) SELECIONADOS DO OBJETO 2. ................................................... 102 TABELA 6.28 LISTA DOS VRTICES (PIXEL) SELECIONADOS DO OBJETO 3. ................................................... 103

xi

LISTA DE FIGURAS

FIGURA 2.1 (A) IMAGEM EM FORMA DE SUPERFCIE. (B) IMAGEM SINTTICA................................................. 17 FIGURA 2.2 GEOMETRIA TICA DAS LENTES FINAS........................................................................................ 19 FIGURA 2.3 FORMAO DE IMAGENS ATRAVS DAS LENTES FINAS. .............................................................. 20 FIGURA 2.4 MODELO CMERA PERSPECTIVA................................................................................................. 22 FIGURA 2.5 EXEMPLO DE TRANSFORMAO ENTRE DOIS SISTEMAS MUNDO (PW) E CMERA (PC).............. 25 FIGURA 2.6 (A) IMAGEM ORIGINAL, (B) IMAGEM ATENUADA COM MSCARA AMEDIA1, (C) IMAGEM ATENUADA

COM MSCARA AMEDIA2. ........................................................................................................................... 28 FIGURA 2.7 (A) IMAGEM ORIGINAL. (B) IMAGEM COM ATENUAO GAUSSIANA = 1.5. .............................. 30 FIGURA 2.8 (A) IMAGEM ORIGINAL. (B) CONTORNO EXTRADO POR CANNY EDGE DETECTOR. ....................... 32 FIGURA 2.9 (A) IMAGEM ORIGINAL. (B) EXTRAO DE CONTORNO POR ROBERT = 34.88. (C) EXTRAO

DE CONTORNO POR SOBEL = 78.4. ..................................................................................................... 33 FIGURA 2.10 (A) IMAGEM ORIGINAL. (B) IMAGEM BINARIZADA COM LIMIAR = 170. (C) VRTICES DE IMAGEM

BINARIZADA. .......................................................................................................................................... 36 FIGURA 2.11 (A) IMAGEM BINARIZADA COM CENTRO DE MASSA. (B) IMAGEM BINARIZADA ROTACIONADA

COM CENTRO DE MASSA......................................................................................................................... 38 FIGURA 2.12 (A) IMAGEM ORIGINAL (B) IMAGEM BINARIZADA. (C) IMAGEM SEGMENTADA SEM O PRIMEIRO

OBJETO. (D) IMAGEM SEGMENTADA SEM DOIS OBJETOS.......................................................................... 39 FIGURA 3.1 (A) IMAGEM DO MODELO 1 - APRESENTAO DA IMAGEM DO OBJETO MODELO 1 COM OS

VRTICES; ............................................................................................................................................... 43 FIGURA 3.2 (A) IMAGEM DO MODELO 2. (A) - APRESENTAO DA IMAGEM DO OBJETO MODELO 2 COM OS

VRTICES; (B) GEOMETRIA DO MODELO 2............................................................................................... 43 FIGURA 3.3 ESQUEMA DE ORDENAO DE VRTICES NO SENTIDO HORRIO.................................................. 44 FIGURA 3.4 FLUXOGRAMA DA TCNICA DE RECONHECIMENTO DE OBJETOS POR MEIO DO CLCULO DE

INVARIANTES. PROCESSAMENTO OFF-LINE. ........................................................................................... 46 FIGURA 3.5 (A) IMAGEM DO MODELO 1. (B) IMAGEM DO MODELO 2. ............................................................. 47 FIGURA 3.6 GEOMETRIA DO MODELO 1 E LISTA DOS PONTOS NO SENTIDO HORRIO...................................... 48 FIGURA 3.7 GEOMETRIA DO MODELO 2 E LISTA DOS PONTOS NO SENTIDO HORRIO...................................... 49 FIGURA 3.8 FLUXOGRAMA DA TCNICA DE RECONHECIMENTO DE OBJETOS. PROCESSAMENTO ON-LINE. .... 50 FIGURA 4.1 FASES PARA A LOCALIZAO DO OBJETO. (A) IMAGEM DO POSICIONAMENTO DO OBJETO SOBRE

UMA GRADE. (B) HISTOGRAMA DA IMAGEM DO OBJETO. (C) IMAGEM BINARIZADA. (D) POSIES DO

OBJETO E MARCAS - PIXELS..................................................................................................................... 57 FIGURA 5.1 SISTEMAS DE COORDENADAS. (B) BASE DO MANIPULADOR, (G) GARRA E (C) CMERA............. 61 FIGURA 5.2 SISTEMAS DE COORDENADAS. (B) BASE DO MANIPULADOR, (OBJ) OBJETO E (C) CMERA. ....... 63 FIGURA 5.3 RELAO ENTRE OS JACOBIANOS MANIPULADOR, IMAGEM E COMPLETO.................................. 65 FIGURA 5.4 SISTEMAS DE CONTROLE POR POSIO (ALMEIDA, 2004). .......................................................... 68 FIGURA 5.5 SISTEMAS DE CONTROLE POR IMAGEM (ALMEIDA, 2004). .......................................................... 68 FIGURA 6.1 MODELOS DE OBJETOS UTILIZADOS. (A) MODELO 1. (B) MODELO 2. (C) MODELO 3.................. 72

xii

FIGURA 6.2 HISTOGRAMAS. (A) HISTOGRAMA MODELO 1. (B) HISTOGRAMA MODELO 2. (C) HISTOGRAMA

MODELO 3. ............................................................................................................................................. 73 FIGURA 6.3 IMAGEM BINARIZADA. (A) IMAGEM BINARIZADA DO MODELO 1. (B) IMAGEM BINARIZADA DO

MODELO 2. (C) IMAGEM BINARIZADA DO MODELO 3. .............................................................................. 74 FIGURA 6.4 APS A EXTRAO DOS VRTICES. (A) MODELO 1 VRTICES TAU () = 1,0527E+5. (B) MODELO

2 VRTICES TAU () = 1,0921E+5. (C) MODELO 3 VRTICES TAU () = 6.2502E+4. ........................ 75 FIGURA 6.5 IMAGEM DOS OBJETOS COM OS VRTICES NECESSRIOS GERAO DA GEOMETRIA DO MODELO.

(A) MODELO 1. (B) MODELO 2. (C) MODELO 3........................................................................................ 77 FIGURA 6.6 GEOMETRIA DOS OBJETOS. (A) MODELO 1. (B) MODELO 2. (C) MODELO 3. ............................... 79 FIGURA 6.7 (A) IMAGEM ORIGINAL DO OBJETO. (B) IMAGEM BINARIZADA APS A EXTRAO DOS VRTICES.

............................................................................................................................................................... 81 FIGURA 6.8 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................... 81 FIGURA 6.9 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO ................................................. 83 FIGURA 6.10 (A) IMAGEM ORIGINAL DO OBJETO. (B) IMAGEM BINARIZADA APS A EXTRAO DOS VRTICES.

............................................................................................................................................................... 84 FIGURA 6.11 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................. 85 FIGURA 6.12 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO. .............................................. 89 FIGURA 6.13 (A) IMAGEM ORIGINAL DO OBJETO. (B) IMAGEM BINARIZADA APS A EXTRAO DOS VRTICES.

............................................................................................................................................................... 90 FIGURA 6.14 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................. 90 FIGURA 6.15 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO. .............................................. 94 FIGURA 6.16 (A) IMAGEM ORIGINAL DO OBJETO TRANSLADADA E ROTACIONADA. (B) IMAGEM BINARIZADA

APS A EXTRAO DOS VRTICES. .......................................................................................................... 95 FIGURA 6.17 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................. 95 FIGURA 6.18 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO. .............................................. 98 FIGURA 6.19 IMAGEM ORIGINAL.................................................................................................................... 99 FIGURA 6.20 HISTOGRAMA DA IMAGEM ORIGINAL. ....................................................................................... 99 FIGURA 6.21 IMAGEM BINARIZADA E VRTICES EXTRADOS........................................................................ 100 FIGURA 6.22 IMAGEM DOS VRTICES SELECIONADOS DO OBJETO 1. ........................................................... 100 FIGURA 6.23 GEOMETRIA DO OBJETO 1....................................................................................................... 101 FIGURA 6.24 IMAGEM DOS VRTICES SELECIONADOS DO OBJETO 2. ........................................................... 101 FIGURA 6.25 GEOMETRIA DO OBJETO 2. ...................................................................................................... 102 FIGURA 6.26 IMAGEM DOS VRTICES SELECIONADOS DO OBJETO 3. ........................................................... 102 FIGURA 6.27 GEOMETRIA DO OBJETO 3. ...................................................................................................... 103 FIGURA 6.28 RESULTADO DA COMPARAO DO OBJETO 1 COM OS MODELOS 1, 2 E 3................................. 104 FIGURA 6.29 RESULTADO DA COMPARAO DO OBJETO 2 COM OS MODELOS 1, 2 E 3................................. 105 FIGURA 6.30 RESULTADO DA COMPARAO DO OBJETO 3 COM OS MODELOS 1, 2 E 3................................. 106

13

1. INTRODUO

Com as palavras: ... Tomemos ua mquina autnoma que tenha energia e um motor para

manifest-la e ainda sutis dispositivos para dosar e dirigir suas manifestaes, mas que no

tenha um rgo que permita seu comando exterior. Ela pode variar e mesmo matizar sua

ao, mas incapaz de agir sem que mensagens exteriores lhe digam quando e como. Em

outras palavras, ela no tem nenhum programa ... (Latil, 1959), pode-se observar que

Pierre de Latil, na dcada de 50 do sculo XX, definia como seriam as mquinas inteligentes

nos tempos mais modernos, e que dependeriam essencialmente de suas programaes e de

comportamentos pr-determinados.

O autor completa seu pensamento quando compara a esttua de Condillac com a tartaruga de

Grey Walter (uma das primeiras mquinas descrita com inteligncia artificial). ... Dotemo-

la, porm, de um sentido eletrnico, depois de um outro e, depois, de muitos... Que

acontecer, ento?... Se um clrigo do XVIII sculo pde, por extraordinrio golpe de

audcia intelectual, demonstrar que sua esttua seria capaz de ter idias desde que fsse

dotada de sentidos, um cientista do XX sculo poder bem demonstrar isso com um rob

eletrnico....

Nota-se que no final do pargrafo anterior aparecem as seguintes palavras: desde que,

denotando a condio necessria e suficiente para a conclusiva capaz de ter idias, do

silogismo, cuja premissa : dotada de sentidos, ou seja, o pensamento artificial dever ser

dotado de conhecimentos prvios, necessrios para tomadas de decises.

Atualmente, a comunidade de viso computacional consciente de que, em diversas

pesquisas desenvolvidas, necessita-se de processamento de tarefas bastante complexas para

interpretao de imagens, elevando assim o custo e reduzindo a velocidade computacional,

comprometendo a preciso e a flexibilidade dos sistemas.

Reconhecimento de objetos parte essencial de quase todos os sistemas de robtica de alto

nvel. Reconhecer um objeto significa identific-lo e localiz-lo. Ainda no h uma tcnica

geral que identifique e localize qualquer tipo de objeto, independente de suas propriedades

intrnsecas como cor, forma, medidas e outras.

14

Tcnicas para reconhecimento de objetos podem ser classificadas em duas classes gerais:

uma que se utiliza de bases de dados dos modelos de objetos (nessa classe, encontra-se a

representao geomtrica dos mesmos que depende da imagem e de como so armazenados

seus dados), e outra, que usa as aparncias de objetos, utilizando-se das suas caractersticas

globais e locais (Bandlow, 1998).

Trs tcnicas sero apresentadas para identificao de objetos: a) rvores de interpretao

baseiam-se na identificao de todas as partes de um objeto em uma imagem que combine

com um dado modelo, previamente armazenado; b) Invariantes indexam geometrias de

modelos previamente armazenados para identificar objetos em uma imagem; e c) mtodos

que se baseiam em aparncias utilizam aparencia ao invs das caractersticas do objeto na

imagem.

Em geral, a Geometria Projetiva fornece uma excelente ferramenta para identificao de

objetos, atravs do emprego de geometria invariante de pontos caractersticos dos mesmos.

Esses pontos caractersticos podem ser vrtices, linhas ou curvas.

Essa pesquisa tem como foco principal o reconhecimento (identificao e localizao) de

objetos em imagens, atravs de comparao desses objetos com modelos previamente

armazenados. Os objetos modelos tm suas caractersticas geomtricas conhecidas e esto

armazenadas em um banco de invariantes.

O problema da localizao de um objeto consiste em conhecer a posio e a orientao desse

objeto em uma determinada imagem. Para tanto, necessrio conhecer o modelo do sensor

(cmera) e o modelo geomtrico do objeto. Existem dois mtodos de localizao de objetos

em imagens que se baseiam em apenas uma imagem. O primeiro a localizao de objetos

no espao 3-D atravs do mtodo iterativo de Newton, que resolve um sistema de equaes

no lineares, sendo necessrio o conhecimento prvio de alguns pontos caractersticos dessa

imagem e os parmetros intrnsecos e extrnsecos da cmera. O segundo o mtodo de

modelo de cmera de perspectiva fraca que se utiliza do conhecimento prvio do objeto

identificado na imagem, no sendo necessrio conhecer os parmetros intrnsecos e

extrnsecos da cmera (Trucco et al, 1998). O segundo mtodo tambm foco deste

trabalho.

15

Neste trabalho, no captulo 2, sero apresentados os principais conceitos de tica e

processamento de imagens. A extrao de caractersticas da imagem (vrtices) o foco

principal desse capitulo. No captulo 3, sero apresentados os modelos mais conhecidos para

o reconhecimento de objetos identificao, e tambm descrever os procedimentos

necessrios identificao de objetos por invariantes, abrangendo as fases off-line (gerao

do banco de invariantes dos modelos) e on-line (identificao de objetos por comparao). O

captulo 4 destinado s tcnicas de localizao de objetos por dois modelos: cmera

perspectiva completa e cmera perspectiva fraca. No captulo 5 ser apresentado o controle

de um manipulador face a um sistema de viso. Nesse captulo, dois subsistemas

caracterizam o sistema de controle do espao de trabalho: subsistema de controle do

manipulador e subsistema de viso. O captulo 6 apresenta os resultados de experimentos

sobre reconhecimento de objetos. No captulo 7 as concluses e sugestes de trabalhos

futuros.

Espera-se neste trabalho, mostrar a aplicao de sistemas de viso computacional, no sentido

de reconhecimento de objetos, com a finalidade da pega e classificao desses objetos, por

um manipulador industrial.

16

2. NOES DE TICA E PROCESSAMENTO DE IMAGENS

Os elementos bsicos de um sistema de viso computacional so: a) aquisio; b)

armazenamento; c) processamento; d) comunicao; e e) exibio de imagens. O

processamento de imagens o elemento em que a maioria de suas funes pode ser

desenvolvida em software, ou seja, envolvem procedimentos que so expressos em forma de

algoritmos. Essas funes consistem em avaliar as propriedades da imagem e suas

transformaes.

Com o processamento de imagens pode-se: a) melhorar a qualidade de apresentao dessas

imagens; b) compactar imagens para melhorar a transmisso; c) restaurar imagens para

eliminar efeitos de degradao; e d) extrair caractersticas (contorno, vrtices e outras) dessas

imagens, com diversas finalidades, por exemplo, o reconhecimento de objetos.

As rotinas utilizadas no processamento de imagens deste trabalho foram desenvolvidas em

MATLAB (Verso 6.0), um software matemtico cujo ncleo est no processamento de

matrizes e vetores. Alm de operaes algbricas comuns com matrizes, o MATLAB fornece

operaes com vetores que permitem a manipulao rpida de um conjunto de dados, de

muitas maneiras diferentes. Enfim, a combinao existente entre a estrutura de dados

vetoriais, os recursos de programao e uma interface grfica que permite a utilizao em

desenvolvimento de aplicativos, torna o MATLAB uma ferramenta poderosa para a

resoluo de problemas em diversas reas, principalmente em viso computacional,

considerando que uma imagem um vetor bidimensional (matriz).

Utilizando-se da ferramenta MATLAB, possvel visualizar, atravs da Figura 2.1, como

uma imagem pode ser apresentada. A Tabela 2.1 apresenta a matriz 8x8 de uma imagem

sinttica, a Figura 2.1a apresenta esta mesma matriz na forma de superfcie e a Figura 2.1b

mostra a imagem sinttica, representada como intensidade de brilho.

17

Tabela 2.1 - Matriz 8x8 de uma imagem sinttica.

1 2 3 4 1 1 2 1

2 2 3 2 1 2 2 1

3 1 38 39 37 36 3 1

4 1 45 44 41 42 2 1

1 2 43 44 41 42 2 1

2 1 39 41 42 40 2 1

1 2 1 2 2 3 1 1

1 2 1 3 1 1 4 2

(a) (b)

Figura 2.1 (a) Imagem em forma de superfcie. (b) Imagem sinttica.

2.1 IMAGENS DIGITAIS NOES DE TICA

O principal componente de viso computacional a imagem digital. Pode-se afirmar que

existem dois tipos bsicos de imagens digitais: a) imagem de intensidade avalia-se a

quantidade de luz capturada pelo dispositivo da cmera; e b) image de profundidade

estima-se diretamente a estrutura 3-D da cena (mundo real). As imagens digitais, tanto de

intensidade quanto de profundidade, so matrizes 2-D.

2.1.1 Imagens de Intensidade

Uma fotografia uma imagem de intensidade. Uma imagem de intensidade contm

parmetros fsicos que esto diretamente relacionados com a imagem vista. So parmetros

fsicos as caractersticas ticas das lentes, a fotometria e a geometria da imagem projetada. A

18

distncia focal, o campo de viso e a abertura angular so as principais caractersticas ticas

das lentes. Os parmetros fotomtricos esto relacionados intensidade e direo da

luminosidade; em outras palavras, referem-se s propriedades de reflexo da superfcie vista

em relao quantidade de luz que atinge o fotorreceptor. Tipo de projeo, posio da

cmera e distores introduzidas no processamento da imagem so alguns parmetros

geomtricos que interferem na posio da imagem no qual um ponto 3-D da cena

projetado.

2.1.2 tica Bsica

A formao de uma imagem depende da quantidade de raios de luz que penetram a cmera

pela abertura angular e chega ao plano de projeo da imagem. Um aparelho fotossensvel na

cmera registra essa intensidade de luz.

Foco da imagem

Um ponto de uma superfcie recebe raios de luz de vrias direes e consequentemente

reflete esses raios, tambm em vrias direes, e alguns desses raios podem entrar na

cmera. Uma imagem mais ntida quando esses raios convergem para um ponto no plano

de projeo da imagem na cmera.

Pode-se conseguir maior nitidez em uma imagem reduzindo o tamanho do diafragma da

cmera para um ponto, chamado de pinhole, ou introduzindo um sistema tico composto de

lentes e diafragmas que convirgam seus raios luminosos para um nico ponto.

O tempo de exposio tambm um fator importante na qualidade da imagem. Esse tempo

inversamente proporcional ao quadrado do dimetro do diafragma. Assim, quanto menor o

dimetro do diafragma maior o tempo necessrio para a exposio. Por outro lado, necessita-

se de um mnimo de luz para registrar uma imagem visvel, ento uma reduo do diafragma

nem sempre a alternativa mais eficaz para se obter melhor nitidez da imagem. Um sistema

tico permite uma abertura do diafragma maior num tempo menor de exposio, melhorando

a capacidade de captar luminosidade.

19

Equao fundamental das lentes finas

A Figura 2.2 mostra os principais elementos na construo das lentes finas. Onde FL e FR

so chamados de foco esquerdo e direito respectivamente, e esto situados no eixo focal.

Quando a lente tem curvaturas iguais nas duas superfcies, os focos tm distncias iguais e,

neste caso, chamado de comprimento focal f.

Figura 2.2 Geometria tica das lentes finas.

Duas propriedades bsicas das lentes finas definem uma equao fundamental. A primeira,

por construo das lentes, permite que qualquer raio de luz que entra na lente e paralelo ao

eixo tico de um lado, passe pelo ponto focal do outro lado. A segunda, tambm por sua

construo, permite que qualquer raio que entra na lente, passando pelo ponto focal de um

lado, emerge paralelo ao eixo tico do outro lado, como mostra a Figura 2.3.

Lente Fina

Eixo ptico FL FR

O

f f

20

Figura 2.3 Formao de imagens atravs das lentes finas.

Sejam os triangulos RRLL FOQFspFORFSP e,, . Pela teoria dos tringulos semelhantes

pode-se demonstrar uma forma da equao fundamental das lentes, equao (2.1).

2. fzZ = (2.1)

Substituindo fzzefZZ +=+= , obtm-se a equao fundamental das lentes, equao (2.2).

fzZ1

1

1 =+ (2.2)

2.1.3 Radiometria Bsica

Radiometria : designao comum s tcnicas de medidas de grandezas associadas

energia radiante ( Novo Dicionrio Aurlio 15 Edio), em outras palavras, o estudo das

Q

FL FR

O

f f

P

S

z Z

R

s

p

21

relaes entre as quantidades de energia luminosa emitida de fontes de luz, refletida de

superfcies e registrada por sensores.

Irradiana da imagem Energia luminosa incidente, por unidade de rea, e em cada

ponto p do plano da imagem, medida em watt.

Radiana de imagem Energia luminosa, por unidade de rea, idealmente emitida por

cada ponto P de uma superfcie no espao 3-D em uma dada direo d ao ponto p,

medida em lumens.

Superfcie lambertiana Uma superfcie dita lambertiana se seus pontos refletem

igualmente a luz incidente em todas as direes, ou seja, no absorve energia luminosa.

2.1.4 Formao Geomtrica da Imagem

Pare entender a formao geomtrica de imagens necessrio conhecer o que significa uma

transformao de perspectiva, tambm chamada de transformao de imagem. Essa

transformao projeta pontos no espao 3-D sobre um plano, e mostra uma aproximao de

como uma imagem formada ao se olhar para um mundo tridimensional.

Cmera Perspectiva

O mais comum modelo geomtrico para cmeras de intensidade a perspectiva, tambm

chamado de modelo pinhole. Esse modelo consiste de um plano (plano da imagem), e um ponto O em espao 3-D (centro ou projeo do foco). A distncia entre e O chamado de comprimento focal f. A linha que passa por O e perpendicular a chamado de eixo tico. O ponto o onde o eixo tico intercepta o plano da imagem o centro de projeo da imagem,

como mostra a Figura 2.4. O ponto p a imagem do ponto P determinado pela interseco

do segmento de linhaOP com o plano da imagem .

Considere o sistema de referncia de coordenadas 3-D no qual O a origem e o plano ortogonal ao eixo Z, e sendo P = [X, Y, Z]T e p = [x, y, z]T, possivel escrever as equaes

(2.3) da projeo perspectiva para as coordenadas da cmera.

22

ZYye

ZXx ff == (2.3)

Note que se z = f , ento o ponto p pode ser escrito por [x,y]T ao invz de [x,y,z]T.

Figura 2.4 Modelo cmera perspectiva.

Cmera Perspectiva Fraca

As Equaes 2.3 no so lineares devido ao fator 1/Z. Transform-las em equaes lineares

o que se chama de modelo cmera perspectiva fraca. Para tanto, suponha que se a distncia

relativa ao longo do eixo tico (z), de quaisquer dois pontos do objeto no espao 3-D (profundidade) seja muito menor que a distncia media Z desses pontos ao plano 2-D da

imagem (na cmera), ento possvel reescrev-las para obter as equaes (2.4) lineares.

YZ

yeXZ

x ff == (2.4)

Se a variao de z < Z /20 (Trucco et al, 1998), pode-se considerar uma aproximao linear das Equaes 2.3, tambm chamada de projeo ortogrfica. Neste caso, significa que

quaisquer pontos so projetados ao longo de raios paralelos ao eixo tico, tomando 1Z

f .

YX

Z

Plano da Imagem

Eixo tico

Sistema da cmera

p o

f

O P

23

2.2 PARMETROS DE CMERAS

Para conhecer a posio de objetos no espao, necessita-se de equaes que relacionem as

coordenadas dos pontos no sistema 3-D com as coordenadas dos pontos correspondentes na

imagem da cmera. As Equaes 2.3 definem bem essa situao e assumem que:

Pode-se relacionar o sistema de referncia da cmera com algum outro sistema conhecido, por exemplo, sistema de coordenadas externa.

As coordenadas dos pontos da imagem no sistema de referncia da cmera podem ser obtidas atravs das coordenadas em pixels.

Algumas caractersticas das cmeras so chamadas em viso computacional como

parmetros extrnsecos e intrnsecos.

Parmetros extrnsecos So parmetros que definem a localizao e orientao do sistema

de referncia da cmera em relao a um sistema de referncia conhecido.

Parmetros intrnsecos So parmetros que relacionam as coordenadas em pixels de uma

imagem com as coordenadas correspondentes no sistema de referncia da cmera.

2.2.1 Parmetros Extrnsecos

O sistema de referncia da cmera tem sido mencionado com o objetivo de escrever as

equaes fundamentais da projeo perspectiva, equaes (2.3), numa forma mais simples.

Normalmente o sistema de referncia da cmera desconhecido, ento o problema

conhecer a localizao e a orientao do sistema da cmera em relao a um sistema

conhecido, utilizando-se apenas dados da imagem.

Trucco et al (1989), define parmetros extrnsecos como sendo qualquer conjunto de

parmetros geomtricos que identifiquem univocamente as transformaes entre o sistema

de referncia da cmera desconhecido e um sistema conhecido, chamado de sistema de

coordenadas externo.

24

Para essas transformaes utilizam-se normalmente um vetor de translao, T, e uma matriz

de rotao, R. O vetor 3-D de translao descreve a posio relativa das origens dos dois

sistemas. A matriz de rotao uma matriz 3x3 ortogonal, ou seja, RT.R = R.RT = I, que

permite o alinhamento entre os eixos dos dois sistemas. A Figura 2.5 mostra a relao entre

as coordenadas de um ponto no sistema 3-D qualquer (PW = [25 35 19]T), e as coordenadas

desse ponto no sistema de referncia da cmera (PC = [15 -17 26]T), tambm determinado

pela equao (2.5).

)( WC T - P R.P = (2.5)

, onde

=

333231

232221

131211

rrrrrrrrr

R , o produto de trs matrizes de rotao ao longo dos eixos X,Y e Z.

Essas matrizes de rotao so definidas como:

=

=

cos0sin010sin0cos

)(,cossin0sincos0001

)( yx RR

=

1000cossin0sincos

)(e z

R

No exemplo apresentado na Figura 2.5, a rotao se d no eixo Y em 180, gerando a matriz

de rotao e o vetor de translao igual a [ ]455240e100010001

=

= TR ,

respectivamente.

25

Figura 2.5 Exemplo de transformao entre dois sistemas Mundo (Pw) e Cmera (Pc).

2.2.2 Parmetros Intrnsecos

So os parmetros que definem as caractersticas ticas, geomtricas e digitais da cmera.

Para o modelo pinhole, os parmetros intrnsecos so:

A projeo perspectiva da qual o nico parmetro a distncia focal f; A transformao entre os sistemas da cmera e o sistema da imagem (pixel); e As distores geomtricas introduzidas pelo sistema tico.

Para encontrar o conjunto de parmetros intrnsecos, devem-se relacionar as coordenadas

(Xim , Yim ) de um ponto da imagem em unidade de pixel com as coordenadas (X , Y) do

mesmo ponto no sistema de referncia da cmera, equao (2.6), considerando que a imagem

no tenha distoro geomtrica, e que o sensor CCD seja um grid retangular de elementos

fotossensveis.

( ) ( ) YYimXXim S.OYYeS.OXX == (2.6)

35

25

Y

Z

X

y

z

x

20

40

45

52

Pw = [ 25 35 19 ]T

26

, onde ( )YX O,O so as coordenadas do centro da imagem em pixel e ( )YX S,S o tamanho dos pixels.

So parmetros intrnsecos a distncia focal f, as coordenadas do centro da imagem em pixel

e o tamanho efetivo dos pixels nas direes horizontais e verticais. O coeficiente de distoro

radial, tambm um parmetro intrnseco.

Resumindo, a equao (2.6) a equao matricial da projeo perspectiva e pode ser

reescrita na forma da equao (2.7).

=

=

=

TRTRTR

ff

T3

T2

T1

.rrr

.rrr

.rrr

Me100OS/0O0S/

Monde

1ZYX

.M.Mxxx

333231

232221

131211

extyy

xx

intw

w

w

extint

3

2

1

(2.7)

, onde Ri (i = 1, 2, 3) o vetor 3-D formado pela i-sima linha da matriz R.

2.3 FILTRAGEM DE RUDOS

Rudo qualquer detalhe na imagem, dado ou resultado intermedirio, que no seja

interessante aos propsitos do clculo principal. Imagine duas imagens de uma mesma cena,

adquiridas por uma mesma cmera e com a mesma intensidade de luz, em que os valores de

pixels no sejam iguais. Esses valores diferentes podem introduzir erros nos resultados de

clculos. Neste caso muito importante dimensionar a magnitude desse erro, tambm

chamado de rudo.

Em algoritmos de processamento de imagens, como por exemplo, na deteco de linhas ou

contornos, considera-se rudo a flutuao de pixel esprios, normalmente introduzidos pelo

sistema de aquisio de imagem. possvel reduzir a magnitude do rudo, atravs de tcnicas

chamadas de filtragem, sem alterar significativamente a qualidade da imagem.

27

2.3.1 Filtro Linear

Filtragem linear uma tcnica que tem como finalidade atenuar ou eliminar o rudo de uma

imagem, e consiste, no domnio da freqncia, em efetuar uma convoluo entre os valores

dos pixels da imagem e uma matriz (A) chamada de mscara, conforme mostra a equao

(2.8), onde uma imagem I de dimenses NxM, tem sua verso filtrada IA atravs do uso da

convoluo discreta com a mscara A de dimenses m x m, sendo m um valor muito menor

que N e M (Cai, 1990).

( ) ( ) ( )==

== 2m

2m

k

2m

2m

h

kj,hiIk,hAA*Ij,iAI (2.8)

.divisodaeirointvaloro2meconvoluoindica*

Filtros lineares baseiam-se em que a funo de transferncia e o impulso so Transformadas

de Fourier inversas uma da outra. Os denominados filtros passa-baixas atenuam ou eliminam

os componentes de alta freqncia no domnio de Fourier enquanto deixam as baixas

freqncias inalteradas. Os componentes de alta freqncia caracterizam bordas ou outros

detalhes finos de uma imagem, de forma que o efeito resultante da filtragem passa-baixas o

borramento da imagem. Do mesmo modo, filtros passa-altas atenuam ou eliminam os

componentes de baixa freqncia, e como esses componentes so responsveis pelas

caractersticas que variam lentamente em uma imagem (contraste total e a intensidade

mdia), o resultado dessa filtragem a reduo destas caractersticas, ou seja, um afinamento

das bordas e outros detalhes finos. Por ltimo, os filtros passa-banda, cuja caracterstica

remover regies selecionadas entre freqncias altas e baixas, so mais utilizados em

restaurao de imagens, tendo pouca aplicao na eliminao ou atenuao de rudos para

realce das imagens (Gonzalez et al, 2000).

Atenuao pela mdia

Nos filtros passa-baixas todos os coeficientes de suas mscaras devem ser positivos. Uma

mscara para essa filtragem teria seus componentes iguais a 1 (um). Como a convoluo

resulta em valores diferentes do previsto em escala de cinza (0 a 255), faz-se necessrio que

se obtenha um valor mdio, e neste caso necessrio dividir o resultado pela quantidade de

elementos da mscara. Essas mscaras podem ser:

28

=

111111111

91

1mediaA ou

=

1111111111111111111111111

251

2mediaA

A Figura 2.6a apresenta uma imagem em sua forma original. A Figura 2.6b apresenta a

mesma imagem aps filtragem com uma mscara Amedia 1. A Figura 2.6c apresenta a mesma

imagem aps filtragem com mscara Amedia 2.

(a)

(b)

(c)

Figura 2.6 (a) Imagem original, (b) Imagem Atenuada com mscara Amedia1, (c) Imagem atenuada com

mscara Amedia2.

29

Atenuao gaussiana

Atenuao gaussiana um caso particular da atenuao pela mdia, onde a mscara um 2-

D gaussiano. Neste caso a convoluo da imagem com a mscara gaussiana 2-D igual

convoluo de todas as linhas da imagem com a mscara gaussiana 1-D somada

convoluo de todas as colunas da imagem com a mscara 1-D, desde que ambas tenham o

mesmo desvio padro. A equao (2.9) mostra a separabilidade das mscaras gaussianas.

( ) ( ) ( )

( )

( )

=

=

=

+

=

==

==

===

===

2m

2mk

2k2

m

2mh

2h

2m

2mk

2kh2

m

2mh

2m

2mk

2m

2mh

G

kj,hiIee

kj,hiIe

kj,hiIk,hGG*Ij,iI

2

2

2

2

2

22

(2.9)

Para a construo da mscara gaussiana deve-se conhecer o desvio padro para obter o tamanho da mscara. Segundo Trucco et al (1998), a relao usada em geral w=w/5, onde w define a largura da mscara. Para a amostragem ser gaussiana, no intervalo de [- , ], w deve ser um valor maior ou igual a 0.8, logo a menor largura da mascara deve ser 5.

A Figura 2.7a apresenta a imagem em sua forma original. A Figura 2.7b mostra a mesma

imagem com atenuao gaussiana, com desvio padro = 1,5.

30

(a)

(b)

Figura 2.7 (a) Imagem original. (b) Imagem com atenuao gaussiana = 1.5.

2.4 CARACTERSTICAS DAS IMAGENS

As caractersticas mais importantes para anlise de imagem de peas industriais so as

fronteiras e as medidas geomtricas derivadas dessas fronteiras. Essas caractersticas so

agrupadas em trs tipos: Global, Local e Caracterstica relacional (Chin et al, 1986). So

exemplos de caractersticas globais, o permetro, o centro de massa, distncias entre dois

pontos da fronteira e o centro de massa, curvatura, rea e momento de inrcia. exemplo de

caractersticas locais o segmento de linha, segmento de arco com curvatura constante e

vrtices que definem fronteiras dos objetos. Exemplos de caractersticas relacionais so as

medidas de distncia e a sua orientao relativa que interligam subestruturas e regio de um

objeto.

Antes de iniciar o processo de extrao de caractersticas deve-se obter uma imagem

binarizada de uma imagem original em escala de cinza, e para isso necessrio escolher um

limiar apropriado, ou um sensor que produza imagem binarizada. Uma imagem binarizada

reduz a complexidade dos dados que sero trabalhados.

Vrios algoritmos utilizados na extrao de caractersticas em imagens binarisadas so para

obteno de contornos ou fronteiras. O problema que esses algoritmos detectam fronteiras

de objetos planos e so normalmente falhos na obteno de fronteiras em superfcies. Apesar

31

dos sistemas serem bastante sofisticados na extrao de caractersticas, seus mtodos so

aplicados em modelos 2-D.

So caractersticas de imagens os contornos, vrtices, linhas, cnicas e outros. Neste trabalho

ser dada nfase aos vrtices.

2.4.1 Contorno

Vrias interpretaes de imagens so baseadas em contornos, ou melhor, onde a imagem

possui contraste. O contraste para viso humana significa a capacidade de perceber o

permetro de um objeto, desde que esse objeto tenha diferentes intensidades de luz sua

volta. Essencialmente, a fronteira de um objeto uma mudana de valor nos nveis da

imagem de intensidade. Um contorno detectado pela derivada de primeira ordem,

localizando assim regies onde ocorre uma diferena de intensidade ou um mximo local.

Em viso computacional, a deteco de uma fronteira um processo de trs passos:

Atenuar rudos Suprimir o mximo de rudos sem comprometimento do contorno;

Realar contorno Projetar um filtro que tenha maior sada nos pontos do contorno que em

outras regies. Assim o contorno o mximo local; e

Localizar o contorno Estabelecer, por um limiar, quais os mximos que significam

contorno. Os contornos devem estar bem afilados.

Canny Edge Detector

O operador Canny Edge Detector uma tcnica para deteco de fronteira em viso

computacional. Seus principais objetivos so:

Deteco tima Imagem de intensidade sem dados esprios ou rudos;

Boa localizao Detectar arestas o mais prximo possvel da fronteira real; e

Resposta nica O operador retorna apenas um ponto para cada ponto do contorno

verdadeiro.

32

Canny [1986], mostra em seu trabalho os passos e o desenvolvimento completo do algoritmo

do operador canny edge detector para a extrao de contornos.

A Figura 2.8a apresenta a figura original. A Figura 2.8b apresenta o contorno da imagem

utilizando-se do algoritmo de Canny Edge Detector.

(a)

(b)

Figura 2.8 (a) Imagem original. (b) Contorno extrado por Canny Edge detector.

Outros Operadores Robert e Sobel

Ambos os operadores Robert e Sobel so mais simples de executar que o operador canny

edge detector, pois suas formulaes matemticas so menos complexas. Em ambos os casos

seus algoritmos seguem 4 passos bem definidos, alterando apenas a mscara aplicada na

filtragem:

1- Aplicar um filtro adequado para atenuar o rudo;

2- Filtrar a imagem sem rudos com as mscaras AR1 e AR2 (Robert) ou AS1 e AS2

(Sobel), obtendo duas imagens I1 e I2, respectivamente;

=

=1111

1111

R2R1 AA e

=

=

101202101

121000121

S2S1 AA

3- Calcular a magnitude do gradiente, equao (2.10), para cada pixel (i,j);

33

( ) ( ) ( )j,iIj,iI 2221 +=ji,G (2.10) 4- Selecionar como contorno todos os pixels com valor de gradiente maior que um

limiar ().

A Figura 2.9a apresenta a imagem original. A Figura 2.9b apresenta o contorno da imagem

utilizando o operador Robert com limiar = 34.88. A Figura 2.9c apresenta o contorno da imagem utilizando o operador Sobel com limiar = 78.4.

(a)

(b)

(c)

Figura 2.9 (a) Imagem original. (b) Extrao de contorno por Robert = 34.88. (c) Extrao de

contorno por Sobel = 78.4.

34

2.4.2 Vrtices

Vrtice definido por Deriche (1993) como sendo pontos pertencentes ao contorno da

imagem onde ocorre um mximo local de curvatura, ou a interseo de 2 ou mais arestas do

contorno.

Existem vrias tcnicas para extrao de vrtices. Vicente et al. (2002) classificam em dois

grupos: o primeiro consiste na operao sobre a imagem do objeto com a extrao prvia do

contorno; e o segundo grupo consiste em operao diretamente nos valores dos pixels em

escala de cinza. As tcnicas mais clssicas so de Beaudt, Kitchen, Noble e Trucco.

Tcnica de extrao de vrtices por Beaudet

Em Beaudet (1978), foi proposto o operador invariante rotacional, chamado DET, equao

(2.11). Este operador obtido usando a segunda ordem da expanso de Taylor na imagem de

intensidade I (i, j).

2xyyyxx II.IDET += (2.11)

Os vrtices so detectados tomando um valor limite entre os valores extremos desse

operador. DET estimado como o determinante da matriz Henssiana H, que esta relacionado

com o produto das curvaturas principais kmin.kmax , equao (2.12), chamada de curvatura

gaussiana:

2y

2x

maxminyyyx

xyxx

II1DETk.ke

II

II H ++=

= (2.12)

Ento, para o pixel I(i,j) se kmin.kmax = 0, o pixel parablico; se kmin.kmax > 0, o pixel

elptico; e se kmin.kmax < 0, o pixel hiperblico. Como o denominador da equao (2.12)

sempre positivo, o sinal da curvatura gaussiana tem o mesmo sinal de DET. Localizam-se os

vrtices onde DET tem valor positivo ou negativo em ambos os lados do contorno.

35

Tcnica de extrao de vrtices por Kitchen

Em Kitchen (1982), foi proposto que para se determinarem os vrtices, basta localizar onde

ocorre a mudana de direo do gradiente ao longo do contorno, multiplicando esse ponto

pela magnitude do gradiente local. Os vrtices so identificados pelos valores mximos de K,

equao (2.13).

2y

2x

yxxy2xyy

2yxx

II

I.I.I.2I.II.IK +

+= (2.13)

Tcnica de extrao de vrtices por Noble

Noble (1982) utiliza-se da teoria de geometria diferencial para determinao de vrtices.

Tcnica de extrao de vrtices por Trucco

Em Trucco et al, (1998), faz-se uso da tcnica do gradiente espacial da imagem [ ]Tyx EE , . A extrao de vrtices feita utilizando-se do menor autovalor de uma matriz C, equao

(2.14), que considera um ponto genrico p na imagem e calculado na sua vizinhana Q

2N+1 x 2N+1 pxeis (por exemplo, 5x5), definida por Trucco et al, (1998):

yE

ExE

EEEE

EEEyx

2yyx

yx2x

eonde,C

==

= (2.14)

Pode-se adotar um valor de limiar , determinado como uma porcentagem dos maiores valores dentre os menores autovalores de C. Isso garante que em duas direes de um ponto

tm-se valores de gradiente suficientemente altos para caracterizar um vrtice.

A Figura 2.10a apresenta a imagem original. A Figura 2.10b apresenta a imagem binarizada

com limiar igual a 170. A Figura 2.10c apresenta os vrtices da imagem binarizada,

utilizando a tcnica apresentada por Trucco.

36

(a)

(b)

(c)

Figura 2.10 (a) Imagem original. (b) Imagem binarizada com limiar = 170. (c) Vrtices de imagem

binarizada.

2.4.3 Centro de Massa

Uma boa caracterstica de imagens aquela que pode ser localizada sem ambigidades em

diferentes vistas da mesma cena.

Considerando imagens binrias, a funo caracterstica f(i,j) assume valores 1 (um) para

pontos do objeto ou 0 (zero) para os demais (background).

Assim, a rea de um objeto pode ser obtida em sua forma discreta pela equao (2.15):

37

=I

)j,i(fA (2.15)

O centro de rea o centro geomtrico da figura com a mesma forma e com massa constante

por unidade de rea. O centro de massa o ponto onde toda a massa do objeto pode ser

concentrada, sem que com isso se altere o momento da primeira ordem relativamente a

qualquer um dos eixos.

Numa imagem de intensidade 2-D, o momento de primeira ordem em torno de i e j dado

pela equao (2.16).

=

=

II

II

)j,i(f.j)j,i(f.j

)j,i(f.i)j,i(f.i (2.16)

, onde ( )j,i a posio do centro de rea. As equaes 2.16 podem ser reescritas na forma das equaes (2.17).

A

)j,i(f.jj

A

)j,i(f.ii

I

I

=

= (2.17)

A Figura 2.10 apresenta a imagem de um objeto e seu centro de massa em duas posies

diferentes. A Figura 2.101a apresenta a imagem e seu centro de massa. A Figura 2.10b

apresenta a mesma imagem anterior, porm com uma rotao de 180, e seu centro de massa.

38

(a)

(b)

Figura 2.11 (a) Imagem binarizada com Centro de Massa. (b) Imagem Binarizada Rotacionada com Centro de

Massa.

2.4.4 Segmentao de Imagem

O processo de segmentao de imagens consiste em separar a imagem nos seus diversos

componentes, e assim separar os diversos objetos que nela existem. Esta separao consiste

em agrupar todos os pixels que pertencem a um dado objeto ou regio, atravs de um critrio

de semelhana, por exemplo, sua intensidade.

A Figura 2.10 apresenta uma imagem contendo vrios objetos. A Figura 2.10a apresenta a

imagem original. A Figura 2.10b apresenta a imagem original binarizada. A Figura 2.10c

apresenta a imagem original sem o primeiro objeto. A Figura 2.10d apresenta a imagem

original sem o primeiro e o segundo objetos.

39

(a)

(b)

(c)

(d)

Figura 2.12 (a) Imagem original (b) Imagem Binarizada. (c) Imagem Segmentada sem o primeiro objeto. (d)

Imagem segmentada sem dois objetos.

40

3. RECONHECIMENTO DE OBJETOS IDENTIFICAO

Reconhecimento de objetos significa que seus descritores ou simplesmente modelos estejam

disponveis, ou melhor, reconhecer objetos significa que se conhece previamente sua

geometria. No h como reconhecer aquilo que desconhecido, ou seja, que no tenha sido

previamente armazenado em um banco de dados. Em viso computacional esta classe de

reconhecimento chama-se reconhecimento baseado em modelos, onde a idia central est na

comparao entre uma imagem plana 2-D e uma base de dados armazenada de modelos.

Reconhecimento de objetos envolve duas operaes bsicas: Identificao e Localizao.

Este captulo destinado s tcnicas de Identificao de objetos. Identificao determina a

natureza e localizao determina a posio 3-D do objeto na imagem. As tcnicas mais

clssicas para identificao de objetos utilizando-se de modelos so: rvore de

interpretao, Identificao baseado em aparncias e Invariantes (Trucco et al, 1998).

rvores de interpretao

Essa tcnica engloba a classe de algortmos que se baseiam na identificao de

caractersticas. So algortmos que identificam partes de um objeto em uma imagem, ou seja,

identifica todos os subconjuntos da imagem que tenham forma de um modelo conhecido.

Enfim, rvore de interpretao consiste em identificar as formas de um objeto o mais

consistente possvel, sem ser necessrio efetuar todas as combinaes entre astas formas,

pois isso seria impraticvel no mbito computacional.

Identificao baseado em aparncias

Essa tcnica engloba a classe de algoritmos que para identificar objetos, utilizam-se de

imagens desses objetos e no de suas caractersticas. So algoritmos que identificam se em

partes de uma imagem encontram-se partes de um determinado objeto. A idia central dessa

tcnica consiste em simplesmente identificar um objeto por sua aparncia. Para tanto deve

armazenar um conjunto de imagens, em diversos ngulos, que representem as aparncias do

objeto modelo. Assim um objeto de uma determinada imagem poder ser identificado por

comparao.

41

Invariantes

Essa tcnica visa uma classe de algoritmos que identifica objetos, utilizando-se de

caractersticas geomtricas invariantes de modelos previamente armazenados em um banco

de dados. So algoritmos que identificam objetos ou partes deles, em uma imagem. A idia

central dessa classe de algoritmos consiste em armazenar as caractersticas geomtricas

invariantes dos objetos, para sua posterior identificao em uma determinada imagem.

O foco deste trabalho est na classe de algoritmos de identificao de objetos por invariantes,

e os pontos caractersticos utilizados na construo da geometria dos objetos sero seus

vrtices.

3.1 Projetiva Invariante para Gerao de Modelos

Invariantes so propriedades funcionais de configuraes geomtricas que no se alteram sob

certas classes de transformaes, por exemplo, o comprimento de um segmento de linha no

varia em funo de uma rotao ou translao. Nas transformaes usuais, existem

invariantes bem conhecidas como comprimentos e reas transformaes Euclidianas,

(Vicente et al, 2002) ou razo de comprimentos e ngulos transformaes por

similaridades (Hartley et al, 2000). Em transformaes projetivas ocorrem tambm

invariantes, onde a mais conhecida a razo das razes de comprimentos (cross-ratio).

Uma grande vantagem na utilizao de invariantes est na facilidade de aquisio de

modelos para gerao da base de dados, bastando para isso adquirir uma nica imagem do

objeto real e gerar um vetor de invariantes que ser armazenado como ndice do objeto.

Assumindo que todos os objetos so planares, afirma-se que a transformao de imagens

uma transformao entre planos. Assim, pode-se considerar diretamente o mapeamento entre

pontos correspondentes do plano do objeto e o plano da imagem. O mapeamento

construdo por uma transformao projetiva, da o nome: projetiva invariante.

Seja p = [x,y,1]T as coordenadas homogneas de um ponto na imagem e P = [X,Y,1]T as

coordenadas homogneas dos pontos correspondentes no plano real. A transformao

projetiva que mapeia P em p pode ser escrita pela equao (3.1).

42

k.p=T.P (3.1)

, onde T (matriz projetiva 3x3) e k so definidos como um fator de escala.

Nessa seo sero apresentadas invariantes projetivas construdas em funo de pontos

caractersticos da imagem (vrtices). Essas invariantes so calculadas utilizando 5 vrtices da

imagem (pi i= 1,2,3,4,5) em coordenadas homogneas (no colineares). Vrios trabalhos

(Trucco et al., 1998; Song et al., 2000 e Vicente et al., 2002) mostram duas projetivas

invariantes independentes I1 e I2 definidas pelas equaes (3.2):

SSSSISS

SSI521432

5324212

531421

5214311 .

... == (3.2)

, ondeSijk o determinante da matrix 3x3 composta pelos pontos | pi pj pk | .

3.2 Configurao Geomtrica do modelo

Para a construo dos modelos de objetos aplica-se o algoritmo para determinao de

vrtices, descrito no item 2.4.2 (Tcnica de extrao de vrtices por Trucco), sobre a imagem

do objeto, e seleciona-se um conjunto desses vrtices cujo determinante associado seja

diferente de zero, o que evita valores de I1 e I2 indesejveis (zero ou indefinido). Para tanto,

deve-se evitar que 3 de cada grupo de 5 pontos sejam colineares. O conjunto selecionado

deve ter a forma geomtrica do objeto modelo.

Por exemplo, dois modelos de objetos so apresentados nas Figura 3.1 e Figura 3.2. A

escolha se deu pela complexidade geomtrica da pea, mais prximos de objetos industriais

comuns.

43

(a) (b)

Figura 3.1 (a) Imagem do modelo 1 - Apresentao da imagem do objeto modelo 1 com os vrtices;

(b) Geometria do modelo 1.

(a)

(b)

Figura 3.2 (a) Imagem do modelo 2. (a) - Apresentao da imagem do objeto modelo 2 com os vrtices;

(b) Geometria do modelo 2.

A seqncia dos pontos extrados do conjunto de vrtices, obtidos na imagem original, deve

seguir uma ordenao de maneira que forme um polgono fechado e numa seqncia de

pontos no sentido horrio (Song, 2000), conforme esquema mostrado na Figura 3.3. Na

Figura 3.1b e Figura 3.2b os vrtices esto ordenados no sentido horrio.

O objetivo de se obter uma seqncia de pontos (vrtices) no sentido horrio reduzir o

nmero de combinaes possveis para a identificao do objeto. Para se obter a seqncia

de vrtices de um objeto em uma imagem, sugere-se usar uma imagem binarizada. Inicia-se

o algoritmo em um ponto p pertencente ao contorno da imagem, e desloca-se a janela de

44

busca no sentido horrio, ao longo de todo o contorno do objeto, criando uma lista de

vrtices, medida que os mesmos so encontrados.

Figura 3.3 Esquema de ordenao de vrtices no sentido horrio.

3.3 Criao do Banco de Invariantes

Assumindo que o modelo composto de M vrtices (Song, 2000), definem-se dois vetores

de invariantes g1 e g2, equao (3.3), que identificam o modelo:

( )( )( )

( )( )

2,1

4,3,2,1,

3,2,1,,1

7,6,5,4,3

6,5,4,3,2

5,4,3,2,1

=

= i

M

MM

II

III

g

i

i

i

i

i

i

(3.3)

, onde Ii so invariantes dos vrtices calculados utilizando a equao 3.2.

Utilizando-se do conjunto de pontos da Figura 3.3, onde M=8, os vetores gi so definidos

pela equao (3.4):

P1

P2 P1

P6

P5

P4

P3

P7 P8

45

( )( )( )( )( )( )( )( )

1,2i

P,P,P,P,P

P,P,P,P,P

P,P,P,P,P

P,P,P,P,P

P,P,P,P,P

P,P,P,P,P

P,P,P,P,P

P,P,P,P,P

43218i

32187i

21876i

18765i

87654i

76543i

65432i

54321i

i

IIIIIIII

g =

= (3.4)

3.4 Identificao de Peas por Comparao

A tcnica de identificao de objetos por invariantes desenvolvida neste Projeto considera

que um modelo constitudo de um conjunto de pontos caractersticos (vrtices), e atravs

desse conjunto pode-se calcular o vetor de invariantes (equao 3.3). Essa tcnica inicia com

um processamento off-line para a gerao de um banco de objetos modelos associados a

vetores invariantes. Na fase de identificao, onde o processamento on-line, o vetor de

invariantes do objeto a ser identificado tambm gerado por um conjunto de pontos

caractersticos. Esse vetor de invariantes ser utilizado na comparao com o banco de

modelos, a fim de identificar o objeto na imagem.

O objeto modelo ser chamado simplesmente de modelo e o objeto a ser identificado ser

chamado simplesmente de objeto

3.4.1 Processamento Off-Line

A Figura 3.4 mostra o diagrama de blocos da tcnica de identificao, na fase do

processamento off-line.

46

Figura 3.4 Fluxograma da tcnica de reconhecimento de objetos por meio do clculo de invariantes.

Processamento Off-Line.

O processo iniciado adquirindo uma imagem de cada objeto modelo (J). Em seguida

executa-se a extrao dos vrtices, citado no item 2.4.2, utilizando a tcinca de extrao por

Trucco. O resultado uma lista de pontos em ordem crescente do nmero das linhas. A

Figura 3.5 apresenta o resultado da extrao de vrtices, sendo (a) e (b) os modelos 1 e 2,

respectivamente. A Tabela 3.1 apresenta a lista dos pontos ordenados pelos nmeros das

linhas para modelos 1 e a Tabela 3.2 apresenta a lista dos pontos ordenados pelos nmeros

das linhas para modelos 2. Essa lista ser re-ordenada com o objetivo de se obter um

polgono fechado (sentido horrio).

Imagem do Modelo

J=1

Extrao dos vrtices

Ordena lista de vrtices

Exclui pontos colineares

Geometria do Modelo - M(j)

vertices

Calcula/armazena vetor Invariante gi(j)

J = J + 1

47

(a)

(b)

Figura 3.5 (a) Imagem do modelo 1. (b) Imagem do modelo 2.

Tabela 3.1 Lista de pontos (vrtices) do modelo 1.

i J

142 128

159 115

209 260

229 232

249 217

277 201

303 369

366 311

Tabela 3.2 - Lista de pontos (vrtices) do modelo 2.

i J

49 313

61 266

67 341

70 365

98 312

131 252

131 355

169 293

328 99

368 146

48

Em cada seqncia de 5 pontos, deve-se ter o cuidado de no conter 3 pontos colineares.

Conhecer a geometria do objeto modelo facilita a construo do polgono fechado que

represente sua melhor configurao, sendo que em algumas vezes importante eliminar

vrtices desnecessrios.

A Figura 3.6 e a Figura 3.7 mostram a geometria dos modelos 1 e 2, respectivamente, aps

a ordenao dos pontos no sentido horrio. A inverso da figura ocorre porque, para a

cmara (pixels), a ordem crescente do eixo y de cima para baixo.

Figura 3.6 Geometria do modelo 1 e lista dos pontos no sentido horrio.

Modelo 1

0

50

100

150

200

250

300

350

400

0 100 200 300 400

I j

142 128

229 232

209 260

303 369

366 311

277 201

249 217

159 115

Lista dos Pontos ordenados no sentido horrio

49

Figura 3.7 Geometria do modelo 2 e lista dos pontos no sentido horrio.

Finalmente, calcula-se o vetor de invariante (equao 3.3), para gerar a tabela dos vetores

que representam os modelos (Tabela 3.3).

Tabela 3.3 Valores dos vetores invariantes dos modelos 1 e 2.

Vetor Invariante

Modelo 1 (g)

Vetor Invariante

Modelo 2 (g)

I1 I2 I1 I2

-0.5151 -0.6445 -0.1882 3.3081

0.1948 7.8687 0.5867 2.7027

0.9390 1.6208 0.8121 1.0127

0.5579 0.6170 0.0381 0.2800

15.3477 0.6240 -1.2576 -0.5731

-0.0092 -49.0756 0.8507 0.8088

0.9727 0.4582 -0.8020 0.0590

9.1682 0.4706 -7.3112 -0.0935

1.2222 0.3616

1.0483 1.3560

Modelo 2

0

50

100

150

200

250

300

350

400

0 100 200 300 400

i J

49 313

98 312

67 341

70 365

131 355

169 293

368 146

328 99

131 252

61 266

Lista dos Pontos ordenados no sentido horrio

50

3.4.2 Processamento On-Line

A Figura 3.8 mostra o diagrama de blocos da tcnica de identificao, na fase do

processamento on-line.

Figura 3.8 Fluxograma da tcnica de reconhecimento de objetos. Processamento On-Line.

Imagem Objeto

Extrao dosvrtices

Ordena lista de vrtices

Excluir vrtices

indesejaveis

J = 1

Verifica N de pontos do modelo(M) e objeto(N)

Calcula n combinaes NCM = k

Calcula o vetor -gik e Erro-E de k-combinao

Cria a lista de erros (Emin) - modelo avaliado

J = J + 1

J < n de modelos

Menor erro da lista Emin

Identifica o Objeto

51

Inicia-se o processamento on-line com uma imagem em que se deseja identificar algum

objeto, e semelhante ao processamento off-line, inclusive o processo de excluso dos

pontos indesejveis. So pontos indesejveis os pontos colineares. Outra forma de excluir

pontos indesejveis atravs das distncias mxima e mnima entre os pontos que compem

a configurao geomtrica dos modelos.

Em seguida, deve-se verificar se o nmero de vrtices que gerou o polgono fechado do

objeto maior que o nmero de vrtices dos modelos. Conhecendo o nmero de vrtices do

modelo e do objeto que se deseja identificar, possvel calcular o nmero de combinaes

possveis (k). Para cada combinao calcula-se o vetor de invariantes, equao (3.3), e o erro

associado em relao ao modelo, equao (3.5).

=

+=

M

k k

kk

k

kk

ggg

gggE

1 2

22

1

11 (3.5)

, onde ikg o k-simo elemento do vetor invariante ig do modelo, e ikg o invariante

correspondente a ikg do objeto.

Gera-se, assim, um vetor de erros (tamanho k), constitudo de erros para cada combinao. O

menor valor a combinao que melhor identifica o objeto.

Para cada modelo possvel gerar uma configurao do objeto associado ao erro mnimo,

gerando uma lista de erros mnimos. O menor dos erros mnimos identifica finalmente o

objeto.

52

4. RECONHECIMENTO DE OBJETOS LOCALIZAO

4.1 Conceitos Bsicos

Como j explanado anteriomente, o reconhecimento de um objeto envolve duas operaes

bsicas: Identificao e localizao. Este captulo destinado s tcnicas de localizao de

objetos. O problema de localizao conhecido em viso computacional como localizao

de objetos baseados em modelos ou estimar sua de posio.

A localizao de objetos significa determinar a posio 3-D e a sua orientao. Para isso

necessrio que se tenha uma imagem, um sensor e a geometria do objeto que se deseja

localizar. No espao 3-D a posio est vinculada translao T, e a orientao rotao

R.

A localizao de objetos desenvolvida neste trabalho, baseia-se na utilizao de apenas uma

imagem, ou seja, no necessrio calibrar o sensor. Portanto, importante que seus

parmetros intrnsecos sejam conhecidos. Tambm necessrio que os modelos sejam

centrados em suas caractersticas geomtricas. A condio mais importante que o objeto j

tenha sido identificado. Como os objetos esto vinculados s suas caractersticas

geomtricas, neste caso devem-se excluir as tcnicas de identificao de objetos baseada em

aparncias e outras tcnicas que no faam uso das caractersticas geomtricas do objeto.

Podem-se utilizar imagens de intensidade ou imagens de profundidade. No caso de imagens

de intensidade, os modelos esto apresentados em espao 3-D e as imagens dos objetos em

2-D, necessitando, assim, de uma transformao adequada para a sua devida identificao e

localizao. Para as imagens de profundidade, tanto os modelos quanto os objetos sob

anlise esto definidos em espao 3-D, e nesse caso, podem ser comparados diretamente.

Neste trabalho, aplicam-se apenas os casos de utilizao de imagens de intensidade.

4.2 Localizao de Objetos Imagem de Intensidade

A localizao de objetos a partir de uma imagem de intensidade, dado um modelo, consiste

em que todos os pontos e vetores extrados da imagem esto definidos em funo do sistema

de referncia da cmera e que os parmetros intrnsecos so todos conhecidos.

53

O problema consiste em solucionar a equao (4.1).

[ ] TP.RZ,Y,X miTiii += (4.1)

, onde [ ]Tiiii Z,Y,XP = so n pontos (n 3), expressos no sistema de referncia da cmera, e [ ]Tmimimimi Z,Y,XP = so os n pontos correspondentes do objeto, expressos no sistema de referncia do objeto. Como [ ]Tiii y,xp = so as projees de Pi no sistema da cmera (pixels), ento, torna-se necessrio conhecer o vetor de translao T e a matriz de

rotao R , para efetuar as transformaes rgidas.

Enfim, solucionar a equao (4.1) consiste em determinar os parmetros extrnsecos da

cmera, que pode est conectada ao atuador de um robot.

Dois mtodos so conhecidos: modelo da cmera de perspectiva completa e modelo de

cmera de perspectiva fraca.

4.2.1 Modelo de Cmera de Perspectiva Completa

Este modelo aplica o mtodo iterativo de Newton (Trucco, et al 1998). O mtodo consiste

em relacionar pontos do modelo e do objeto, ambos em coordenadas da cmera 3-D,

tomadas atravs das projees perspectivas, conforme a equao (4.2)

[ ] Ti

i

i

iTiii Z

Y,ZXy,xp

== f.f. (4.2)

Aplicando a equao (4.1) na equao (4.2), obtm-se a equao (4.3)

3mi33

mi32

mi31

2mi23

mi22

mi21

i

3mi33

mi32

mi31

1mi13

mi12

mi11

i

TZ.rY.rX.rTZ.rY.rX.r

y

TZ.rY.rX.rTZ.rY.rX.r

x

++++++=++++++=

f.

f. (4.3)

54

Como R e T so desconhecidos, basta aplicar os pontos conhecidos (no mnimo 3) para

obter assim seis equaes com seis variveis. As variveis so Rx(), Ry() e Rz() Rotaes nos eixos x, y e z, respectivamente; e Tx ,Ty e Tz Translaes nos eixos x, y e z, respectivamente.

Para determinar as variveis que solucionam o sistema de equaes no lineares, aplica-se o

Mtodo Iterativo Newton (Trucco et al, 1998), que consiste em:

1. Dados n 3 pontos do modelo 3-D e seus correspondentes pontos no sistema de referencia da cmera 3-D Estima-se R0 e T0 Valores inicias para Rotao e

Translao, respectivamente;

2. Utilizando R0 = R e T0 = T calcule Pi, que deve ser a localizao prevista para miP ;

3. Projete Pi no plano da imagem () pixel, utilizando a equao (4.2); 4. Avalie o residual xi e yi atravs das equaes (4.4);

xi = xi(R0 , T0) - ix e yi = yi(R0 , T0) - iy (4.4)

5. Resolva o sistema linear equao (4.5);

i

3

1jj

j

ij

j

i

i

3

1jj

j

ij

j

i

yR.RyT.

Ty

xR.RxT.

Tx

=

+

=

+

=

= (4.5)

Para determinar 3,2,1j,ReT jj =

6. Altere os valores estimados para a rotao R e a translao T;

7. Se xi e yi so valores muito pequenos, os novos valores de R e T so a soluo, caso contrrio voltar ao passo 2 com os novos valores de R e T.

55

4.2.2 Modelo de Cmera de Perspectiva Fraca

O mtodo aplicado a modelos de cmera de perspectiva fraca matematicamente mais

simples que o mtodo de cmera de perspectiva completa, porm mais restritivo. Neste

caso no se utilizam os parmetros intrnsecos e extrnsecos da cmera. Como no possvel

definir quo longe est o ponto (objeto), este modelo no fornece informaes em distncia.

O problema de localizao de objetos, em viso monocular, torna-se mais complexo quando

os parmetros intrnsecos e extrnsecos so desconhecidos. Uma tcnica proposta de

localizao de objetos utiliza-se do conceito de transformaes perspectivas que preservam

razes cruzadas (cross-ratio) (Horaud et al, 1989 e Michel, 1852).

O mtodo tem referencia no trabalho do matemtico francs Michel Chasle (1852), que

estudou transformaes perspectivas que preservam razes cruzadas (cross-ratio) de quatro

(4) pontos colineares, e por extenso definiu uma relao entre coordenadas 2-D (x,y) de um

ponto no plano do objeto e sua projeo perspectiva (x,y) no plano da imagem. Horaud, et

al (1989) mostra que essa relao pode ser escrita pela equao (4.6).

1qypx1dycx

y'

1qypx1byax

x'

2

1

++++=++++=

(4.6)

, onde 21 eq,p,d,c,b,a, so constantes.

Sejam as equaes (4.7)

d.,wv'y,

wu'x 2211 d' ,.c c' ,.b b' ,.a a' ====== (4.7)

Aplicando as equaes (4.7) em (4.6), pode-se reescrev-las, gerando assim a equao (4.8).

=

1yx

. b' a'

wvu 1

1qp'd'c 2

(4.8)

56

Na prtica, deseja-se determinar (x, y) no plano do objeto, a partir das coordenadas da

cmera (pixel). Enfim, devem-se determinar os coeficientes a, b, c, d, p, q, 1 e 2 da matriz.

As equaes de Horaud et al, (1989), representam um sistema de 2 equaes com 8

incgnitas, ento, necessitam-se de no mnimo 4 pontos no colineares marcados no plano da

imagem (pixel (x, y)) e seus correspondentes no plano fsico do objeto (coordenadas

homogneas (x , y , 1)), para resolver o sistema. Esse sistema matricial resulta na

equao b A.x = e pode ser escrita pela equao (4.9).

=

'4

'4

'3

'3

'2

'2

'1

'1

2

'

'1

'

'

'44

'4444

'44

'4444

'33

'3333

'33

'3333

'22

'2222

'22

'2222

'11

'1111

'11

'1111

1000

0001

1000

00011000

00011000

0001

yxyxyxyx

qp

dc

ba

yyyxyxxyxxyx

yyyxyxxyxxyxyyyxyxxyxxyxyyyxyxxyxxyx

(4.9)

Pode-se melhorar a robustez do mtodo, admitindo-se mais alguns pontos, com o objetivo de

mensurar os erros encontrados entre os valores previstos e os valores reais.

O sistema de equaes (4.9) resolvido, utilizando-se do mtodo dos mnimos quadrados do

sistema .bA .A.xA TT = .

Finalmente, deseja-se localizar um ponto M de coordenadas desconhecidas ( xm , ym , 1), no

plano do objeto a partir de coordenadas da imagem (pixel).

4.2.3 Exemplo de Aplicao para Modelo de Cmera de Perspectiva Fraca

A Figura 4.1 apresenta as fases do resultado de localizao de objetos. Na Figura 4.1a o

objeto est sobre uma grade com marcas que definem suas posies no plano. A Figura 4.1b

mostra o histograma da imagem (Figura 4.1a), utilizado na identificao do limiar (220)

57

necessrio binarizao da imagem. A Figura 4.1c apresenta a imagem binarizada, utilizada

para extrao dos vrtices. Finalmente a Figura 4.1d identifica as posies da imagem no

sistema da cmera (pixel).

(a)

(b)

(c)

(d)

Figura 4.1 Fases para a localizao do objeto. (a) Imagem do posicionamento do objeto sobre uma grade. (b)

Histograma da imagem do objeto. (c) Imagem binarizada. (d) Posies do objeto e marcas - pixels.

Utilizando-se os pontos (1,1), (1,6), (6,1) e (6,6) no plano de referncia do objeto (Figura

4.1a) e seus respectivos pontos (260,51), (52,51), (260,259) e (52,259) no plano de referncia

da imagem em pixel (Figura 4.1c), na equao (4.9), possvel determinar os coeficientes

a, b, c, d, p, q, 1 e 2. Enfim, atravs desses coeficientes e da equao (4.8) possvel determinar um ponto do plano de referncia da imagem fazendo uso de um ponto no plano

de referncia d