Universidade Federal do Rio de JaneiroEscola Politécnica

Departamento de Engenharia Eletrônica e de ComputaçãoMBA de Gestão Estratégica da InformaçãoGEI 16 - Informação e Suporte a Decisão

Professor Sergio Palma

Cezar Taniguchi D. TamerDaniel PerezLeonardo MiccolisLuís Augusto Quaresma Ramos

• Extração de dados de fontes

• Transformação: limpeza, formatação, padronização, agregação ou aplicação de regras de negócio.

• Carga dos dados em sistemas, Data Warehouses ou arquivos em diferentes formatos.

• Processos de ETL são componentes reutilizáveis que podem ser programados para realizar a transferência de dados regularmente.

• São projetados para alta eficiência, escalabilidade e manutenabilidade.

• Grandes volumes de dados se beneficiam da capacidade do ETL de suportar operações paralelas (MPP).

• Captar dados de fontes (sistemas/áreas) distintas forma programática;

• Transformar em informação de qualidade (consistentes e normalizadas) evitando redundâncias;

• Carregar as informações normalizadas para permitir a análise posterior e servir no suporte a decisão.

Serão mostrados alguns exemplos de casos bem sucedidos de implantação de ETL.

Solução:A Honda selecionou 2 projetos:

1.  Projeto de Fatura de Serviços e Venda de Carros Usados: para realizar uma Pesquisa de Satisfação do Cliente no pós-venda e gerar Lembretes de Serviços para todas as concessionárias do Reino Unido.

2.  Reposição Automática de Peças: para transferir dados das concessionárias para o Sistema de Planejamento Automático (APS) em Bruxelas, buscando comparar os níveis de estoque atual nas concessionárias com o histórico de vendas e então automaticamente restabelecer as peças para atender à demanda projetada.

Solução: Os dados são transferidos dos servidores ETL dedicados das concessionárias para o escritório da Honda em Bangor, País de Gales, onde são verificados e consolidados com os dados recebidos da HUK. Os resultados são enviados para a HUK, para análise e para gerar lembretes da próxima data de serviço.

Resultados:

• A integração das concessionárias agora é muito mais rápida.

• Melhora na satisfação dos clientes.• Os projetos têm revolucionado de várias formas a

maneira como a Honda trabalha com suas concessionárias.

• Uma melhor comunicação, relacionamento e serviços para as concessionárias

• Eficiência da cadeia de abastecimento.

• Quanto as empresas gastam em ETL?

• ETL Market Share

• Tendências de Mercado

2007

As principais tendências na integração de dados este ano:• A demanda por integração de dados continua a exceder a

capacidade dos fornecedores.• A integração de dados corporativos continua a expandir  além

do ETL e DW.• MDM (Master Data Management) e CDI (Customer Data

Integration) dependem cada vez mais  da experiência de Integração de dados das empresas.

• ETL está se expandindo para mercados de pequeno e médio porte.

• Excessivo uso de ferramentas de ETL e fracasso de empresas iniciantes em integração de dados.

• O BI operacional é adotada porque a integração de dados é muito difícil.

• A disputa por Market Share entre pequenas e médias empresas e ETL departamental em grandes empresas está entre desenvolvimento interno e ferramentas de ETL prontas.

• Informatica Power Center• SAS• SSIS• SAP• IBM• ORACLE• Pentaho Kettle

Vantagens:• Open Source: baixo custo;• Qualidade, segurança e independência de fornecedor;• Possibilidade de adequação a necessidades específicas,

estabilidade e suporte técnico.

Desvantagens:• Por ser open source não tem suporte técnico;• É necessário investimentos com implantação,

treinamento e suporte.

Cezar Tamer – Consultoria de BiTel: (21) 8570-9797

• Microsoft SQL Server Integration Services

• Integração de dados do SAP com Flat Files manipulados para criação de hierarquia

• Tratamento dos dados

• Controle de atualização de registros

• Controle de dados

• Chaves de medidas

• Processando base OLAP

• ETL Market - http://www.slideshare.net/mrm0/etl-market-webcast acessado em: 08/10/2011

• Fornecedores Líderes - http://www.etltools.net/etl-tools-comparison.html acessado em: 08/10/2011

• ETL Price - http://www.adeptia.com/products/etl_vendor_comparison.html acessado em: 08/10/2011

• Trends - http://seekingalpha.com/article/184700-top-10-data-integration-trends-for-2010 acessado em: 09/10/2011

• Case Studies - http://www.etlsolutions.com/en/content/cms/case-studies/ acessado em: 09/10/2011

• Jitterbit - www.jitterbit.com/Solutions/etl-data-integration acessado em: 09/10/2011• Wherescape -  www.wherescape.com/products/wherescape-red/ acessado em:

10/10/2011• Pentaho - http://sourceforge.net/projects/pentaho/files/ acessado em: 09/10/2011• Pentaho -

http://wiki.softwarelivre.org/pub/PentahoBrasil/Documentos/Pentaho_3_5.pdf acessado em: 09/10/2011

• Microsoft SQL Server 2008 Integration Services: Problem Design Solution