Ferramentas OLAPHeron Silva - [email protected] Joo Moreira - [email protected]
Business Intelligence
Agenda do CursoReviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios
Referncia bibliogrficaThe Microsoft DW Toolkit, Kimball Advanced Data Warehouse Design (2009), Elzbieta Quadrante Mgico de BI Gartner 2011 OLAP Solutions, Thomsen Editora Wiley
Business Intelligence
Agenda do Curso
Reviso conceitos
Ferramentas Histrico Operaes Arquitetura
Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios
Para que OLAP? Facilitar a tomada de decises Realizando anlises comparativas Respondendo perguntas analticas em modelos multidimensionais Examinando os dados e agregados para encontrar padres e tendncias de importncia para a organizao Manipulando dinamicamente e agregando automaticamente dados do dataw arehouseBusiness Intelligence
OLAP - FerramentasSoftare com objetivo de dar suporte w tomada de decises atravs de anlise dinmica e multidimensional dos dados de uma organizao Suporta operaes de navegao permitindo que a ao do usurio final seja tanto analtica quanto navegacional
OLAP - FerramentasFerramentas OLAP servem para: Manipular e analisar um grande volume de dados sob mltiplas perspectivas (dimenses) Facilitar a criao de queries complexas com grande quantidade de dados
Evoluo das Ferramentas
Linguagens de programao e Sistemas Gerenciadores de Banco de Dados (SGBD) Facilidade
para Analistas de Sistema (dados acessados de forma mais simples) para usurios comuns (gerentes, diretores e profissionais da rea de marketing, vendas etc..) Independncia de tcnicos de informtica para gerar relatrios Anlise das informaes de forma dinmica e rpida
Ferramentas OLAP Facilidade
Histrico
Fonte: 2009 SAP
Operaes OLAP
Roll-up, drill-don, pivot, slice, dice, drillw across, drill-through
Roll-up
A operao de roll-up transforma medidas detalhadas em medidas sumarizadas, movendo acima na hierarquia ou reduzindo a dimenso (agrega para o nvel acima). Ex: Roll-up da dimenso Loja de cidade para pas
Drill-don w
A operao de drill-do n realiza o oposto da roll-up, ou seja, passando de w um nvel mais geral para um nvel mais detalhado em uma hierarquia, representando ndices (medidas) mais detalhados. A figura apresenta um drilldon de quartil para ms na dimenso tempo. w
Pivot
A operao pivot (ou rotate) roda os eixos de um cubo para oferecer uma alternativa de visualizao dos dados
Slice
A operao slice seleciona uma dimenso em um cubo resultando em um sub-cubo. A figura ilustra dados filtrados quando somente Paris filtrado.
Dice
A operao dice define uma seleo em duas ou mais dimenses, resultando em um outro subcubo. A figura apresenta as vendas nas lojas de Paris para os primeiros seis meses
Drill-across
A operao drill-across executa consultas envolvendo mais de um cubo. Esse pode ser o caso, por exemplo, se quisermos comparar dados de venda de um cubo com dados de aquisies de outro cubo. Essa operao requer que os dois cubos tenham pelo menos uma dimenso em comum
Drill-through
A operao de drill-through permite que se mova a partir dos dados no nvel mais detalhado de um cubo para os dados no sistema transacional do qual os dados do cubo foram derivados. Isso pode ser utilizado, por exemplo, quando se quer determinar o motivo de um desvio em algum valor no cubo.
Onde est OLAP na Arquitetura?
Outra Viso da Arquitetura
Arquitetura OLAP - ROLAP
Relational OLAP (ROLAP)
Dados armazenados em um Banco de Dados Relacional Gerador Inteligente de SQL a partir da especificao do modelo multidimensional Simulao das operaes OLAP (slice&dice, por exemplo, transformam-se em uma declarao WHERE de SQL) Anlise mais exploratria dos dados Servidor de banco de dados relacional e a engine OLAP em um servidor que armazena cubos de informao (a consulta enviada e processada no servidor do banco de dados relacional) Permite anlise de grande quantidade de dados
Arquitetura OLAP - ROLAP
Vantagens: Alta escalabilidade - limitao o BD Relacional Pode alavancar as funcionalidades inerentes do BD Desvantagens: Baixo desempenho Consultas SQL custosa para grande volume de dados; Limitado pelas funcionalidades SQL (por exemplo, a dificuldade de realizar clculos complexos)
Arquitetura OLAP - MOLAP
Multidimensional OLAP (MOLAP) Cubo agregado a partir do modelo relacional. Consultas tem menor tempo de resposta j que todos os dados esto pr-agregados no cubo. Dados armazenados em formatos proprietrios Acesso aos dados diretamente no banco de dados multidimensional Usurio manipula os dados do cubo diretamente no servidor Benefcios de desempenho Avaliaes mais simples e rpidas, mas com limitao de tamanho
Arquitetura OLAP - MOLAP Vantagens Alto desempenho Clculos complexos Baixa escalabilidade Investimentos altos
Desvantagens
Arquitetura OLAP
Hybrid OLAP (HOLAP) Combina
as solues ROLAP e OLAP (tenta combinar as vantagens de cada) Alta performance do MOLAP Melhor escalabilidade do ROLAP
Exemplo:
ROLAP para dados detalhados da tabela fato e MOLAP para dados agregados.
Arquitetura OLAP
Desktop OLAP (DOLAP) Local OLAP (LOLAP)
Processamento na mquina cliente Consulta o servidor e recebe micro cubo para ser analisado Vantagens: menor trfego na rede e menor sobrecarga no servidor Desvantagem: maior tempo para iniciar anlise e limitao no volume da dados do cubo (devido ao tempo/volume do transporte)
Agenda do CursoReviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios
Tomada de decises ... o processo pelo qual so escolhidas algumas ou apenas uma entre muitas alternativas para as aes a serem realizadas. ...deciso a ao tomada com base na apreciao de informaes. Decidir recomendar entre vrios caminhos alternativos que levam a determinado resultado. (Wikipdia)Business Intelligence
Quem Responsveis pela tomada de deciso? Diretores / Executivos Gerentes / Administradores
Usurios de ferramentas OLAP? Tomadores de decises Analistas de negcio Fornecedores ClientesBusiness Intelligence
O que e como Chegar a uma concluso? Tomadores de decises precisam ter domnio das diversas variveis ou situaes que podem interferir no objetivo final; Necessrio conhecer os objetivos da organizao; Optar pela melhor alternativa (a que d real valor para a organizao) dentre as disponveis.Business Intelligence
Quando Tomar decises? O mercado exige rapidez nas solues, portanto o quanto antes a melhor deciso for tomada, melhor para a organizao; Uso de estratgia para agendar o melhor momento para uma tomada de deciso atravs de alguma mudana na organizao.
Business Intelligence
Business Intelligence
Processo1. Examinar a situao1. Percepo da situao que abrange algum problema; 2. Diagnstico e definio do problema; 3. Definio dos objetivos;
2. Buscar alternativas de soluo ou de cursos de ao; 3. Escolher alternativa mais apropriada ao alcance dos objetivos;1. Avaliao e comparao dessas alternativas;
4. Implementar a alternativa escolhida.Business Intelligence
Percepo do problema1. 2.
3. 4.
Problema: Situao onde o estado atual das coisas diferente do desejado. Desvio em relao a experincia do passado (Vendas mais baixas, turnover de funcionrios); Desvio em relao ao plano (lucros menores, estouros de oramento, projetos atrasados, projees no alcanadas); Pessoas trazem problemas (clientes insatisfeitos, demisses, problemas de relacionamentos); Desempenho dos competidores (procesos melhores, novos lanamentos, Business Intelligence melhor atendimento)
Diagnstico e definio Esse gap um problema? Como resolv-lo? Qual o tamanho do espao (gap) entre o estado atual e o estado desejado? Como essa diferena afeta nossas chances de alcanar os nossos objetivos? Qual o timing para agir? Quais so as prioridades? Fcil de ser resolvido? Poderia se resolver sem aes tomadas? A deciso deve ser tomada por mim? Business Intelligence
Decises Problemas diferentes requerem diferentes tipos de tomadas de deciso Todo problema administrativo equivale a um processo de deciso de forma exclusivamente mtua. Sendo ambos pontos extremos, possuindo um subconjunto de decises entre eles.(Simon, 1970) Tipos Programadas No programadasBusiness Intelligence
Decises programadas So as decises caracterizadas pela rotina e repetitividade. So adotadas mediante uma regra, com dados evidentes, condies estticas, certeza, previsibilidade. Acontecem com certa frequncia na organizao.(Wikipdia) Exemplos Fazer pedido de estoque sempre que o nvel cair para 100 unidades; Liquidao de mercadorias de lojas do vesturio prximo a troca de estao; Lanamento de um produto no mercado (carro, livro, Business Intelligence alimentos)
Decises no programadas So as decises caracterizadas pela noestruturao, dados inadequados, nicos e imprevisveis. Estes tipos de decises esto ligados s variveis dinmicas tornando-se de difcil controle. Seu intuito a resoluo de problemas incomuns, marcados pela inovao e incerteza.(Wikipdia) Se um problema no surge com freqncia suficiente para ser resolvido por uma poltica, ele deve ser resolvido por uma deciso noprogramada.Business Intelligence
Condies de deciso Condies de certeza Quando a deciso tomada se baseando em certezas, atravs de informaes precisas, mensurveis e confiveis sobre os resultadosQuando a certeza sobre o sucesso com o resultado da tomada da deciso tem probabilidade conhecida (entre 0 e 100%) Quando a probabilidade incerta ou desconhecida (algumas vezes por metas no claras)Business Intelligence
Condies de risco
Condies de incerteza (ou ignorncia)
Nveis de deciso
Nvel Estratgico Longo prazo: em geral so decises para muitos anos
Nvel Ttico
Mdio prazo: deciso para alguns mesesCurto prazo: deciso para alguns dias ou alguns meses Momentneo: deciso para algumas horas / dias
Nvel Operacional Nvel de despacho ou liberaoImportncia (Alta, mdia, normal, pouca e no importante)Estruturao (Estruturada e no estruturada) Previsibilidade (previsvel, rotineira, no rotineira, indita)Business Intelligence
Condies de deciso Condies de certeza Quando a deciso tomada se baseando em certezas, atravs de informaes precisas, mensurveis e confiveis sobre os resultadosQuando a certeza sobre o sucesso com o resultado da tomada da deciso tem probabilidade conhecida (entre 0 e 100%) Quando a probabilidade incerta ou desconhecida (algumas vezes por metas no claras)Business Intelligence
Condies de risco
Condies de incerteza (ou ignorncia)
Agenda do CursoReviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios
Microsoft
Microsoft
Microsoft Pontos Positivos: Ganhando mercado desde que entrou em 2000 BI em: Microsoft Office, Microsoft SQL Server e Microsoft SharePoint Usurios satisfeitos (acima da mdia) - Capacidade de Execuo Baixo custo (mesmo comparado com open-source) Base instalada - mais custoso migrar para outra soluo Mais citado como baixo TCO
Microsoft Pontos Positivos: Orientado para TI (SQL Server e Visual Studio) Investimento em Suporte, Parceiros, Desenvolvedores etc..
Avanos para Larga Escala Data (1o na pesquisa) e Usurios (2o na pesquisa - 1 o MicroStrategy)
Uso do OLAP > que 2x a mdia (Microsoft SQL Server Analysis Services)
Microsoft Pontos Positivos: Iniciando (tardiamente) in-memory - SQL Server Poer w Pivot SQL Server "Denali": in-memory Microsoft Analysis Services cubes
Integrado com ambiente de Colaborao (SharePoint) Busca, gerenciamento, compartilhamento, rede social etc..
Microsoft Pontos Negativos: Complexidade pelos 3 produtos combinados Como integrar? Impactos na inovao. Proposta: "Faa voc mesmo
Comparando com os Grandes Foco limitado (desenvolvedores) Falta foco em ferramentas voltadas para o negcio Falta clareza em Mobilidade Mudanas: Excel 2010 e Poer Pivot w
Microsoft Pontos Negativos: Faltam Pacotes para agilizar a implementao A empresa precisa ter base MS: Excel, Windos, SQL Server, SQL Server Analysis Services, w Visual Studio e .NET com SharePoint Server
Falta camada de metadados (entre as piores classificaes)
BIDS SQL Server 2005/2008 com Business Intelligence Studio (BIDS) BIDS a IDE para desenvolvimento atravs dos tipos de projetos SQL Server Integration Services -SSIS SQL Server Analysis Services -SSAS SQL Server Reporting Services -SSRS
BIDS = Visual Studio + "plugins"
BIDS IDE com mesmo ambiente para criao de ETL, cubos e relatrios Soluo nica no Visual Studio pode conter um ou mais tipos de projeto Integrado ao Visual Studio: podem ser usados componentes de bibliotecas (dlls), Web Services, Providers, etc Controle de cdigo fonte (TFS, VSS, SVN, etc)
Analysis Services Servidor Microsoft para construo de: Estruturas multidimensionais (cubos) Modelos de data mining
Cubos Modelos multidimensionais carregados com dados de uma ou vrias fontes Pode armazenar valores agregados Pode conter calculations, KPIs, translations e perspectives
Unified Dimensional Model UDM um termo que define um conceito importante: Enterprise Data Warehouse Exemplo: A dimenso cliente se encontra em datamarts diferentes, mas os cubos fazem referncia mesma dimenso Cubos diferentes podem compartilhar as mesmas dimenses No BIDS, UDM = cubo
Data Mining Utiliza algoritmos estatsticos para encontrar tendncias e padres nos dados Categorias: Algoritmos de classificao Algoritmos de regreo Algoritmos de segmentao Algoritmos de associao Algoritmos de anlises sequenciais
Agenda do CursoReviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios