PDI – Muito além de Business Intelligence www.knowsolution.com.br

PDI - KETTLE Muito Além de Business Intelligence

Leandro Guimarães

PDI – Muito além de Business Intelligence www.knowsolution.com.br

O Que é o PDI? • Pentaho Data Integration - Conhecido como Kettle;

•  Faz parte da suite de ferramentas Pentaho;

•  Ferramenta de ETL (Extract, Transform, Load);

•  Interface gráfica (Drag and Drop);

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Processo ETL

Extract Transform Load

Bancos de Dados, Excel, etc..

Dimensional

Relacional

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Fontes de Dados (Extract) •  Mais de 35 Tipos de Fontes de Dados

•  Conexão com Bancos de dados via JDBC

•  Arquivos Excel, csv, tamanho fixo

•  Leitura de E-mails

•  Json

•  Serviços REST

•  Serviços SOAP •  …

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Ferramentas (Transform) • Cálculos; •  Joins; • Group by; • Sort; • WebServices; • SSH; •  JavaScript; • …

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Saídas (Load) •  Loading em Bancos de Dados

via JDBC

•  Arquivos Excel

•  RSS

•  XML

•  HTTP

•  Json

•  Arquivos Texto

•  E-mail

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Exemplo Prático 1 •  Importação de uma Planilha Excel com clientes para uma

tabela PostgreSQL; •  Inserir ordenado por ID; • Primeiro nome deve estar em coluna separada;

•  Tempo Aproximado: 8 minutos (Buscar_Clientes)

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Exemplo Prático 2 •  Ler vendas de uma tabela PostgreSQL; • Analisar cotação da moeda via WS; • Exportar para planilha Excel com o valor da cotação.

•  Tempo Aproximado: 10 minutos (Exportar Vendas)

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Exemplo Prático 3 • Enviar como arquivo anexo a planilha gerada pelo

Exemplo 2 para um e-mail específico;

•  Tempo Aproximado: 7 minutos

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Kitchen •  Ferramenta para execução de Jobs via linha de comando;

• Possibilidade de agendar via crontab, Agendador de Tarefas, etc…

•  sh kitchen.sh /rep:1 /job:PostSale_Job /user:*** /pass:*** /logfile:/home/pentaho/logs/etl/kettle.log /level:Debug

PDI – Muito além de Business Intelligence www.knowsolution.com.br

O Lado Negro da Força

PDI – Muito além de Business Intelligence www.knowsolution.com.br

O Lado Negro da Força 2

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Onde se aprofundar? •  Lista de discussão: pentahobr@yahoo.com.br • Wiki: www.wiki.pentaho.com

• Blog Know Solutions: www.knowsolution.com.br • Contato direto: leandro@knowsolution.com.br

PDI – Muito além de Business Intelligence www.knowsolution.com.br

Obrigado! Dúvidas?

Contato: leandro@knowsolution.com