ODI Tutorial

March 31

2012 Uso da ferramenta Oracle Data Integrator (ODI) para a construo de processos ETL (Extract, Transform and Load). Nesta srie de tutoriais, utilizaremos o ODI para integrar dados de diferentes origens (banco de dados diferentes e arquivos texto) para uma base de destino Oracle.

Configurao Modelo de Dados

ODI Configurao do Modelo de Dados

Para criar um novo modelo de dados, siga os passos descritos abaixo:

1. Abra o ODI Designer. Clique em na pasta Models e selecione Insert Model

Folder. Digite DW_ORIGEM no campo Name. Este passo importante para

organizar os modelos de dados.

2. Aps criar a pasta, vamos criar a estrutura do modelo de dados. Para o nosso

Projeto o ambiente fonte (origem de dados) uma tabela, vamos parametrizar

este ambiente para poder utilizar a tabela criada no passo anterior. Preencha as

informaes tal qual descrita na tabela abaixo:

Parmetro Valor

Name SRC_TABLES

Technology Oracle

Logical Schema LOGICAL_DW_ORIGEM

3. Agora clique na aba Reverse e vamos parametrizar a engenharia reversa das

tabelas e importar para dentro do ODI a estrutura fsica das tabelas que esto

no banco de dados Oracle. Selecione o Contexto Desenvolvimento, o Tipo de

Objeto a ser parametrizado uma tabela portanto, selecione Table e depois

clique nos botes Apply e Reverse nesta sequncia.

O resultado podemos ver a esquerda do painel de modelo de dados, veja que

na estrutura abaixo do modelo que criamos SRC_TABLES existem vrios

objetos sendo que alguns deles so as nossas tabelas CLIENTE,

FATURAMENTO, GRUPO_ITEM, ITEM_ESTOQUE, ITEM_NF,

TIPO_CLIENTE e VENDEDOR.

4. Aps fazer a engenharia reversa das tabelas, verifique se realmente as tabelas

foram criadas e para isso veja a sequencia abaixo, o primeiro que devemos

fazer selecionar a tabela que queremos:

Em seguida clique na tabela desejada, vou utilizar a tabela TIPO_CLIENTE

como exemplo, com o boto direito do mouse e em seguida selecione a opo

Data ou View Data.

Voc dever ter uma viso dos dados semelhante a figura mostrada abaixo:

Esse processo poder ser repetido para todas as tabelas para que tenhamos

certeza de que o ambiente ORIGEM tenha sido criado com sucesso.

Utilizando os mesmos passos visto acima, crie o ambiente de DESTINO do nosso

projeto, levando em considerao que a pasta do modelo deve se chamar

DW_DESTINO e o modelo de dados deve se chamar TRG_TABLES conforme tabela

abaixo:

Parmetro Valor

Name TRG_TABLES

Technology Oracle

Logical Schema LOGICAL_DW_DESTINO

Devem ser importadas as tabelas DIM_CLIENTE, DIM_PRODUTO, DIM_TEMPO,

DIM_VENDEDOR e FATO_VENDAS.

ODI Configurao de Topologia para ArqTxt

Depois de criar o modelo de dados para o banco de dados devemos configurar a

utilizao de arquivos textos dentro do Oracle Data Integrator. Para essa tarefa

teremos que utilizar dois mdulos do ODI, o mdulo Topology para configurar o

armazenamento fsico do arquivo e o mdulo Designer para configurar o modelo de

dados para este arquivo texto.

Para criar o esquema fsico para um novo modelo de arquivo texto siga os seguintes

passos:

1. Entre no mdulo Topology. J dentro do mdulo, click na pasta Physical

Architecture e selecione Technologies > File. Clique com o boto direito e

em seguida selecione a opo Insert Data Server.

2. Uma nova janela ir abrir e nela devemos fazer duas parametrizaes, na

primeira aba denominada Definition d um nome para o esquema fsico, no

nosso caso o nome ser EXPORT-TBL-ARQTXT conforme mostrado na figura

abaixo.

3. Clique na aba JDBC para configurar a conexo para o arquivo texto. O

parmetro JDBC Driver deve ser preenchido com

com.sunopsis.jdbc.driver.file.FileDriver e o parmetro JDBC Url deve ser

preenchido com jdbc:snps:dbfile.

4. Clique no boto Test para verificar se a parametrizao feita est correta e em

seguida clique no boto Apply para continuar a configurao do esquema

fsico.

5. Aps clicar no boto Apply uma nova janela vai se abrir, para os campos

Directory (Schema) e Directory (Work Schema) entre o caminho

(diretrio) onde os arquivos sero gerados, para nosso projeto utilize o

seguinte caminho C:\PROCESSO\INTEGRACAO\ARQUIVOS.

6. Ao clicar no boto Apply para continuar a configurao ser apresentada uma

mensagem de aviso, onde informa que o esquema no possui Context. Neste

instante no h problema pois ainda iremos configurar o esquema lgico e o

contexto, resolvendo o problema. Caso no faamos essa configurao no

ser possvel utilizar as estruturas de arquivo texto. Clique no boto OK.

7. Para verificar se o esquema fsico foi criado corretamente veja ao lado esquedo

da tela de navegao se exite o esquema EXPORT-TBL-ARQTXT criado,

abrindo o esquema como se fosse um diretrio (clicando no smbolo +)

devemos ter a mesma viso que a figura abaixo nos mostra.

8. Dentro do mdulo Logical Architecture v at Technologies > File, com o

boto direito selecione a opo Insert Logical Schema.

9. Uma nova janela ser aberta, nela devemos parametrizar o esquema lgico

para gerao do arquivo texto, lembrando que no momento em que estamos

desenvolvendo uma interface o objeto atribudo como esquema de trabalho de

parametrizao sempre o esquema lgico por isso sua importncia vital.

Para manter a padronizao iremos utilizar o mesmo nome do esquema fsico

no esquema lgico EXP-TBL-ARQTXT. Neste passo tambm devemos definir

quais so os Contextos que iremos utilizar, para o nosso projeto iremos utilizar

os Contextos Global e Desenvolvimento. Para parametrizar basta clicar no

campo Physical Schema que um Drop List ser apresentado, selecione o

esquema fsico correpondente e em seguida clique no boto OK.

10. Valide se o esquema lgico foi criado, veja no painel de navegao se o

esquema lgico foi criado.

ODI Configurao de Modelo para ArqTxt

Depois de criar a topologia fsica e lgica para o nosso arquivo texto o momento para

configurar o modelo de dados para o arquivo texto. Para criar o modelo de dados siga

os passos abaixo:

1. No mdulo Designer v at a aba Models e clique com o boto direito sobre

o diretrio que j criamos anteriormente DW_ORIGEM, selecione a opo

Insert Model conforme apresentado na figura abaixo:

2. Uma nova janela ser apresentada, iremos preencher os parmetros nas abas

Definition e Reverse, conforme a tabela abaixo e as figuras ilustrativas:

Parmetro Valor

Name SRC_FILES

Technology File

Logical Schema EXPORT-TBL-ARQTXT

Context Global

Type of object to Reverse-Engineer Table

Aba Definition.

Aba Reverse.

Diferentemente do modelo de dados do banco de dados, no devemos fazer o

Reverse-engineer pois no temos o arquivo criado, logo no haver referncia

para a engenharia-reversa.

Aps a configurao clique no boto OK.

3. Veja se o modelo de dados foi criado, navegando no painel a esquerda, o

resultado deve ser algo semelhante a figura abaixo:

4. Agora voc deve criar a estrutura do arquivo texto, para isso clique com o

boto direito sobre o modelo criado SRC_FILES e selecione a opo Insert

Datastore.

5. Uma nova janela ser aberta, nela devemos configurar as abas Definition,

Files e Columns. Utilze a tabela abaixo para configurao dos campos:

Parmetro (Aba Definition) Valor

Name SRC_PERIOD

Alias PER

Datastore Type Table

OLAP Type

Resource Name SRC_DATETIME.TXT

Parmetro (Aba Files) Valor

File Format Delimited

Heading (Number of Lines) 1

Record Separator MS-DOS

Field Separator Other

Symbol Field Separator ;

Para criar os campos manualmente clique no boto .

Name Type Physical Length Logical Length

ID_TEMPO Numeric 5 5

DATA_DIA Date 10 10

DIA String 2 2

DIA_SEMANA String 1 1

MES String 2 2

MES_ANO String 8 8

ANO String 4 4

TURNO String 1 1

6. Terminada a configurao clique no boto OK e verifique no painel de

navegao a esquerda se o seu modelo de dados foi criado.