Formação Analista BI Microsoft – Módulo I

Formação Analista de BI Microsoft

Aula 1

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

É uma consultora de Business Intelligence e Data Warehousing que atua desde 2000, guiando as

empresas à transformar seus dados em valiosas informações que transforam o seus negócios.

Nossa empresa é constituída pela CETAX – Consultoria em Informática, e pela Tutor Pro Treinamentos.

Somos referência no segmento de tecnologia, especialistas na área Business Intelligence e Data

Warehousing, onde atuamos há mais de 15 anos.

01

Apresentação Cetax

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Com mais de 20 anos de experiência em TI, sendo 15 exclusivamente com Business

Intelligence e Data Warehouse, Marco Garcia é certificado pelo Kimball University, nos EUA,

onde obteve aula pessoalmente com Ralph Kimball – um dos principais gurus do Data

Warehouse.

Também realizou treinamentos no TDWI – maior entidade de pesquisa de Data Warehouses do

mundo, além de vivência profissional em diversos projetos, passando por bancos, financeiras,

construtoras, varejo, marketing e outros.

02

Apresentação do Instrutor

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

• Capacitar os profissionais para atuar com projetos de Business Intelligence Microsoft

• Demonstrar as principais técnicas desses projetos

• Demonstrar as principais ferramentas BI Microsoft

Objetivos do curso

03

Formação Analista BI Microsoft – Módulo I

MÓDULO 1 BUSINESS INTELLIGENCE & DATA WAREHOUSE

Conceitos e fundamentos

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

The ability to learn or understand or to deal with new or trying situations :reason; also:the skilled use of reason\

the ability to apply knowledge to manipulate one's environment or to think abstractly as measured by objective

criteria (as tests).

What is intelligence?

04

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

O que é Business Intelligence?

A capacidade de aprender, compreender ou para lidar com situações novas ou difíceis: a razão; também: o uso

habilidoso da razão \ a capacidade de aplicar o conhecimento para manipular o próprio ambiente ou para pensar

abstratamente medido por critérios objetivos (como testes).

05

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

70,s DSS

80,s

EIS

90,s

DW/ BI

• DSS - Decision Support Systems

• EIS - Executive Information Systems

• DW / BI - Data Warehouses & Business Intelligence Systems

Evolução do BI

06

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

DSS – Decision Suport Systems

• O conceito vem dos anos 60, mas com inicio prático nos anos 70

• DSS eram utilizados para apoiar a tomada de decisões.

• Mas possuíam capacidades muito limitadas.

• Tinham baixa capacidade de customização

07

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

EIS – Executive Information Systems

• EIS são sistemas utilizados para apoiar a gerência a tomar decisões;

• Alguns autores consideram os EIS o conjunto de DSSs da empresa, com um pouco mais de flexibilidade;

• Alguns sistemas tinham geradores de relatórios que eram considerados EIS;

• Podemos considerar esses sistemas com precursores dos sistemas de Business Intelligence Atuais.

08

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

• Os sistemas de BI que utilizamos hoje são derivações dos sistemas anteriores;

• Têm maior capacidade de customização;

• Montagem dos relatórios e gráficos pelo usuário final;

• Ferramentas no suporte de todo o ciclo da informação;

• Diversas ferramentas para utilizações específicas.

BI – Business Intelligence

09

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Business Intelligence pode ser definido como um conjunto de técnicas utilizadas para extrair inteligência a partir

de dados sobre um determinado negócio.

“Business Intelligence é o processo de transformar dados em informação e através da descoberta transformar

informação em conhecimento.” – Gartner Group.

10

O que é Business Intelligence

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

O objetivo é converter o volume de dados em informações relevantes ao negócio, através de relatórios

analíticos.

Decisão

Conhecimento

Informação

Dados Volume

Valor

11

Propósito do Business Intelligence

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

ADMINISTRATIVO/ FINANCEIRO • Compras. • Pagamentos. • Recebimentos. • Fluxo de Caixa. • Inadimplência. • Controles de Custos. • Fechamentos. • Contabilidade. • Estoques • movimentações de materiais. • Logística e distribuição.

VENDAS E FATURAMENTO • Volumes de Vendas. • Análises comparativas. • Desempenho de lojas ou filiais. • Rankings ( melhores ou piores ). • Lucratividade das vendas. • Alocação de Receitas.

PROCESSOS DIVERSOS

• Pesquisas de Dados. • Análises comportamentais e de

ambiente. • Mineração de dados (

descoberta de padrões ). • Estudo para novos produtos. • Oportunidades e contenção de

perdas. • Monitoramentos Operacionais.

Para quais processos de negócios

12

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Onde emprega-se BI

Estratégia

• Dashboards e KPI

• BPMs / CPMs / EPMs

Análises Táticas

• Budgeting e Planning

• What-If e Simulações

• Dashboards e KPIs

• Mineração de Dados

• Query Report

Análises Operacionais

• Query Report

• Reports Fixos ( pdf )

• Páginas de Intranet

• Reports através de emails

• Telas para interação com os dados.

13

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Tipos de aplicativos de BI e consumo de dados

Tipo da Aplicação Modo de Consumo Tipo da Análise

Queries, Relatórios e Mining Acesso Ad-Hoc Estratégicas

Táticas

Relatórios Padronizados

Acesso “Push Buttom” Aplicações Analíticas

Dashboards e Scorecards

BI Operacional Relatórios Operacionais

14

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Exercício – Módulo 1

Quais Sistemas podemos considerar precursores dos Sistemas de BI ?

O que significa DSS ?

O que significa EIS ?

Cite uma definição de Business Intelligence :

Cite 3 benefícios do uso de BI

16

Formação Analista BI Microsoft – Módulo I

MÓDULO 2 INTRODUÇÃO AO DATA WAREHOUSE

Conceitos e fundamentos

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Qual a melhor estratégia para montar um sistema de BI?

A melhor estratégia é a montagem de um Data Warehouse para a organização dos dados. Vantagens da montagem do DW :

• Criação de um ambiente para integração e tratamento dos dados. • Ambiente com objetivo único. • Separação dos sistemas legados (transacionais). • Base de dados Otimizada para consultas. • Suporte de ferramentas específicas para esse fim.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

O que é Data Warehouse

Data Warehouse é um processo que extrai os dados de sistemas operacionais e transacionais, limpando, transformando em informações organizadas permitindo analises dessas informações.

Seus principais autores são : Ralph Kimball e Bill Inmon

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

O que o Data Warehouse não é?

• Um software

• Um modelo de dados

• Uma técnica isolada

• Uma base de dados

• Um produto

• Uma linguagem de programação

• Uma cópia do sistema transacional

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Objetivos de um Data Warehouse

• Tornar a informação facilmente acessível. • Apresentar a informação de maneira consistente e única. • Centralizar e controlar o acesso as informações corporativas. • Permitir as áreas de negócio avaliar suas informações e tomar decisões mais precisas. • Padronizar a informação de diversas fontes.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Características de um Data Warehouse

• Orientado por Assunto ( Subject Oriented )

• Integrado ( Integrated )

• Não Volátil ( Nonvolatile )

• Orientado por Tempo ( Time Variant )

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Data Warehouse – Orientado por assunto

Sistema Operacional

Vida

Saúde

Odontológico

Previdência

Data Warehouse

Clientes

Produtos

Contratos

Apólices

Diferentemente dos Sistemas Legados que tem seus dados orientados por funcionalidades, os Data Warehouses são orientados por assuntos, considerando uma seguradora :

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Data Warehouse - Integrado

Os dados carregados no Data Warehouse são extraídos e carregados no Data Warehouse, padronizando as informações. O dado pode ter diversas fontes o Data Warehouse integra

essas informações fornecendo uma visão única e corporativa.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Os dados carregados dos Sistemas Operacionais, sofrem modificações durante todo o dia:

• Inserções de Novos Clientes • Exclusão de Clientes • Alteração no Cadastro dos Clientes

Data Warehouse – Não volátil

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

No Data Warehouse, os dados são carregados em janelas de tempo previamente determinadas, 1 vez por dia, todas as madrugadas, etc.

Atualizar

Inserir

Apagar

Cargas de Dados

Data Warehouse

Sistemas Operacionais

Data Warehouse – Não volátil

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Os sistemas operacionais sempre possuem as informações correntes no momento da leitura. Os Data Warehouses possuem posições históricas, onde é possível comparar os períodos de tempo. As cargas de dados são feitas em intervalos regulares e pré-definidos, sendo as informações organizadas por uma unidade de tempo. Por exemplo: Diário, Semanal ou Mensal

Data Warehouse – Orientado por tempo

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Sistemas Operacionais X Sistemas de Informação Gerenciais

Operacional Informações

Conteúdo dos Dados Valor Corrente Transformados, Sumarizados

Estrutura de Dados Otimizados para transações Otimizados para Queries

Frequência de Acesso alto Médio para Baixo

Tipo de Acesso Leitura, Alteração e Deleção Leitura

Uso do Sistema Previsíveis e repetitivos Ad Hoc, Randômico, Heurístico

Tempo de Reposta Milisegundos Alguns segundos até minutos

Quantidade de Usuários Grande Grupo Pequeno Grupo

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Índices Muitos Poucos

Joins Alguns Muitos

Dados Desnormalizados Normalizados

Dados Derivados

Agregações

Comum Raramente

OLTP

Estruturas de dados mais Complexas, (3NF)

Data Warehouse Estruturas de dados Multidimensionais

OLTP x OLAP

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

• OLAP = On-Line Analytical Processing. Podem ser : • ROLAP ( Relacional – OLAP ).

• São consideradas ROLAP quando aplicadas a banco de dados relacional, como Oracle,

SqlServer, DB2, MySql, entre outros.

• A linguagem principal é o SQL

O que é OLAP? ROLAP/MOLAP/HIOLAP

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

O que é OLAP? ROLAP/MOLAP/HOLAP

MOLAP ( Multidimensional – OLAP ). São consideradas MOLAP quando aplicadas a banco de dados multidimensionais, como Analysis Services (SSAS), Hyperion, Cognos PowerPlay/TM1, Oracle OLAP, entre outros.

A linguagem principal é o MDX ( MultiDimensional eXtensions ).

O armazenamento dos dados é em cubo.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

• HOLAP ( Híbrido – OLAP ).

• As análises podem ser feitas utilizando ROLAP e MOLAP.

• Com linguagem SQL e MDX.

• Pode armazenar dados detalhados no Relacional e agregados no Multidimensional.

O que é OLAP?

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Área intermediária entre os bancos de dados e os usuários finais.

DW

TB_CLIENTES ( TABELA ) CD_CLIENTE ( COLUNAS ) NM_CLIENTE DS_ENDEREÇO

Clientes

Código do Cliente Nome do Cliente Endereço do Cliente

Camada semântica ou metadados

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Data Warehouse x Data Mart

Data Warehouse Data Mart

• Visão Abrangente • Empresa • Feito para a empresa • Regras de negócios corporativas

• Visão Localizada • Departamento ou Processo de Negócio • Público alvo focado • Regras de negócios específicas

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Exercícios – Módulo 2

1. O que é um Data Warehouse ?

2. Quais seus 2 principais autores ?

3. Cite as 4 Características de um Data Warehouse :

4.O que é OLAP e OLTP ?

5.O que é Data Mart ?

Formação Analista BI Microsoft – Módulo I

MÓDULO 3 ESTRUTURA E COMPONENTES DO DATA WAREHOUSE

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Componentes do Data Warehouse

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Sistema de fontes ou Sistemas legados

Os sistemas legados são aqueles que servem como base das informações do Data

Warehouse. São responsáveis pela entrada de dados, aplicação das regras de negócio e

suporte a legislação.

Pode ser uma fonte único ERP ou CRM, ou informações de diversos sistemas.

Pode-se preparar uma interface de saída dos dados para o DW ou mesmo acessar

diretamente as tabelas internas de dados.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Staging Area

• A Staging Area também conhecida como Back Room, é responsável pelo recebimento dos dados, limpeza e tratamento inicial dos dados. Comparando a um restaurante a Staging Area pode ser considerada a cozinha, onde o alimento é preparado.

• Os dados recebidos na Staging podem ser armazenados em arquivos texto, XML ou banco de dados. Sendo a última opção mais usual. Assim como o restaurante, os clientes não tem acesso a ela. Pode ser classificada como Persistente ou Transiente.

• A Staging Area é propriedade do Time de ETL

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Data Apresentation

• Na camada de apresentação os dados estão limpos e tratados de acordo com as regras definidas.

• Nessa área os dados podem ser acessados pelos usuários ou por outros sistemas.

• Comparando a um restaurante, essa área é a parte das mesas onde o cliente almoça.

• É altamente aconselhável que somente os processos de ETL escrevam nessa camada.

• Geralmente é modelada com técnicas de Modelagem Dimensional.

• Alguns modelos possuem dados sumarizados e outros nível atômico.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Data Access Tools

• Podem ser utilizadas diversos tipos de ferramentas para acessar os dados. • As ferramentas de query report são as mais comuns. • Outras ferramentas de Budgeting, Forecasting ou Data Mining também podem ser

utilizadas. • Essas ferramentas somente consultam os dados não podendo alterá-los. • 90% dos usuários podem ser considerados usuários de informação, ou seja, nunca vão

construir uma consulta complexa

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Granularidade

• Granularidade, vem da palavra Grão (Grain), define qual vai ser o nível mínimo que a informação será armazenada em um modelo/tabela. Podemos analisar uma compra em

um supermercado, o nível máximo de detalhe é o registro da compra de um cliente, produto a produto. Para uma visão analítica pode-se analisar o total de compras por

produto ou por cliente, tendo assim uma granularidade diferente.

Formação Analista BI Microsoft – Módulo I Formação Analista BI Microsoft – Módulo I

Exercício – módulo 3

• Quais são as 4 principais Estruturas de um data Warehouse ?

• O que é a Staging Area ?

• O que é a Data Presentation Area ?

• O que podemos definir como Granularidade ?

Formação Analista BI Microsoft – Módulo I

Bancos de Dados

Responsáveis pelo armazenamento dos dados.

Performance das consultas. Gerenciamento do espaço

consumido.

Formação Analista BI Microsoft – Módulo I

Ferramenta de Integração (ETL)

Responsáveis pela integração entre os dados.

Performance das cargas.

Formação Analista BI Microsoft – Módulo I

Plataforma de BI

Responsável pela interação entre os usuários e o data warehouse.