Post on 22-Sep-2020
Inteligência nos Negócios (Business Inteligente)
Sistemas de Informação – Sistemas de Apoio a Decisão
Aran Bey Tcholakian Morales, Dr. Eng.
(Apostila 5)
2
BI
Dados ( OLTP e outras fontes)
Data Warehouse/ Data Marts
Ferramentas OLAP
Mineração de dados - KDD
Interpretação/
Avaliação
Decisões
Analise
de dados
Analises dos
tomadores de
decisão
Fundamentação da disciplina
Dados
Informação
Conhecimento
Análises Exploratória de Dados
3
Os dados estão em todos os lugares . Os sistemas de informação
melhoraram a capacidade de coletar dados em toda a empresa.
Ao mesmo tempo, as empresas passam a recolher dados de seus
clientes, gerados quando navegam na internet, colocam posts nas
redes sociais e nos blogs e de eventos externos, tais como
tendências de mercado, notícias do setor e movimentos dos
concorrentes.
4
Análises de dados: Conceitos
Por outro lado, os analista de negócios tem perguntas que gostariam
de responder, por exemplo:
Qual foi o retorno de uma campanha publicitária?
Que clientes devem ter uma atenção especial, uma vez que podem
considerar “deixar de utilizar” os nossos serviços ?
É um determinado cliente confiável a se qualificar para um
empréstimo?
Nem sempre é fácil de obter respostas a perguntas.
5
Análises de dados: Conceitos
Em tais situações, vale a pena recorrer aos dados, que podem
esconder informações valiosas para auxiliar no processo decisório,
( as empresas podem coletar dados, internos e externos, com esta
finalidade).
Por exemplo, se sabemos que os clientes deixaram de usar nossos
produtos no passado, podemos construir um modelo analítico
(baseado nos dados) que descreve os padrões, o comportamento e
as características desses clientes.
6
Análises de dados: Conceitos
Análises de dados é:
• o processo de obtenção, transformação, análise e validação de
dados para responder a uma pergunta (geralmente de negócio)
que se traduz em ações (decisões);
• o conjunto de habilidades e técnicas necessárias para encontrar,
armazenar, processar e desenhar insights baseados em dados;
• a habilidade de combinar as capacidades analíticas de um
cientista e um engenheiro com a visão de negócios do um
executivo empresarial;
7
Análises de dados: Conceitos
Comparação com outras disciplinas analíticas
• A mineração de dados : Esta disciplina é sobre a criação de
algoritmos para extrair insights de dados. Tem alguma intersecção
com a estatística, e é um subconjunto da análises de dados.
• Aprendizado de máquina : Disciplina de ciência da computação,
parte da análises de dados e intimamente relacionado com a
mineração de dados. Aprendizagem de máquina é sobre a criação
de algoritmos (como a mineração de dados) para resolver
problemas da ciência da computação.
8
Análises de dados: Conceitos
Podemos definir a relação entre o aprendizado de máquina e
mineração de dados da seguinte forma:
A mineração de dados é parte do processo KDD, durante o qual os
algoritmos de aprendizado de máquina são utilizados como
ferramentas para extrair padrões potencialmente valiosos realizada
dentro de conjuntos de dados e onde a IA é a motivação (teórica e
pratica) para a criação de algoritmos.
9
Análises de dados: Conceitos
Mineração de dados é uma etapa do processo KDD:
“KDD é o processo não trivial interativo e iterativo, para
identificação, a partir de dados, de padrões compreensíveis, que
sejam válidos, novos, potencialmente úteis a partir de grandes
conjuntos de dados.” [Fayyad, 1996]
“KDD é o processo, não trivial, de extração de informações,
implícitas, previamente desconhecidas e potencialmente úteis, a
partir dos dados armazenados em um BD.” [Frawley, Piatetsky-Shapiro & Matheus, 1991]
10
Análises de dados: Conceitos
11
Análises de dados: Conceitos
12Equipe técnica que desenvolve e
oferece suporte ao BIAnalistas de negócio
Análises de dados: Conceitos
As principais etapas do processo podem ser:
1. Entendimento do negócio;
2. Coleta e pré-processamento de dados;
3. Modelos de análises (modelos analíticos);
4. Validação dos resultados obtidos com os modelos analíticos;
5. Tomada de decisão;
13
Análises de dados: O Processo
• Etapa 1: entendimento do negócio:
Consiste, além de entender o assunto de negócio em questão, definir
o problema a ser tratado e as possíveis hipóteses que podem dar
indícios as respostas esperadas do problema levantado;
Nesta fase, o conhecimento, experiência, senso comum, vivencia e
criatividade humana dos analistas sobre o assunto de negócio é
essencial para a realização das perguntas necessárias e pertinentes,
assim como para a formulação das hipóteses que forneçam
sustentação as perguntas de negócio.
14
Análises de dados: O Processo
• Etapa 1: Entendimento do negócio:
O objetivo procurado, não emerge de forma isolada; ele é
desenvolvido encima de um assunto existente e informações
contextuais conhecidas, inicia com uma necessidade de análise, uma
pergunta de negócio que se traduz em objetivo analítico.
15
Análises de dados: O Processo
• Etapa 1: Entendimento do negócio:
Devemos ter uma ideia das perguntas de negócio que queremos
responder para ter mais claro o objetivo analítico e o estado final da
análise que pretendemos.
As perguntas nos levam ao levantamento de hipóteses que podem
ser respondidas com o auxílio dos dados.
16
Análises de dados: O Processo
Exemplo:
Os cientistas de dados do BigMart tem dados de 2013 sobre vendas
de 1559 produtos em 10 lojas de cidades diferentes.
O BigMart pretende compreender as propriedades dos produtos e
estabelecimentos, que desempenham um papel chave nas vendas.
O problema pode ser planteado como:
É possível estimar as vendas de cada produto em cada uma de
nossas lojas?
O objetivo é construir um modelo preditivo das vendas de cada
produto para loja em particular. 17
Análises de dados: O Processo
Hipóteses a nível de loja:• Tipo da cidade: lojas localizadas em cidades urbanas devem ter vendas mais
elevadas por causa dos níveis de rendimento mais elevados de pessoas;
• Densidade populacional: lojas localizadas em áreas densamente povoadas devem ter vendas mais elevadas por causa da maior demanda;
• Capacidade da loja: lojas (stores) muito grandes devem ter vendas maiores;
• Concorrentes: Lojas tendo estabelecimentos semelhantes nas proximidades, deve ter menos vendas por causa de uma maior concorrência;
• Marketing: lojas que têm uma boa divisão de marketing devem ter vendas maiores, pois devem ser capazes de atrair clientes pela publicidade;
• Localização: lojas localizadas dentro de mercados populares deve ter vendas mais elevadas por causa de um melhor acesso aos clientes;
18
Análises de dados: O Processo
Hipóteses a nível do produto:
• Marca: produtos de marcas conhecidas devem ter vendas mais elevadas devido à maior confiança no cliente;
• Embalagem: Os produtos com boa embalagem podem atrair clientes e vender mais;
• Utilidade: produtos de uso diário devem ter uma maior tendência para vender em comparação com os produtos de uso específicos;
• Área de exibição: os produtos que estão disponíveis em prateleiras de fácil acesso na loja são susceptíveis em chamar mais a atenção e vender mais;
• Visibilidade na loja: A localização do produto em uma loja terá impacto sobre as vendas. Aqueles que são à direita na entrada vai chamar a atenção de clientes em primeiro lugar, em vez de os de volta.
• Publicidade: Melhor publicidade de um determinado produtos na loja, a tendência é vendar mais;
• Ofertas promocionais: os produtos acompanhados com ofertas atraentes e descontos vai vender mais.
19
Análises de dados: O Processo
Etapa 2: Coleta e Preparação de dados (pré-processamento):
Concentra-se no entendimento e na obtenção de dados que você
precisa. Isto significa preparar os dados para atender às suas
necessidades analíticas.
Temos dados disponíveis e confiáveis para responder o objetivo
analítico?
A qualidade de suas entradas vão decidir a qualidade da saída.
20
Análises de dados: O Processo
Etapa 2: Coleta e Preparação de dados (pré-processamento):
Uma vez definida a hipótese de negócios, faz sentido gastar tempo
e esforços na, exploração, limpeza e preparação dos dados (70% do
tempo total do projeto está no pré-processamento de dados).
21
Análises de dados: O Processo
22
O primeiro passo da etapa de pré-processamento consiste na
identificação das variáveis (seleção dos dados).
O conhecimento sobre o domínio auxilia determinando os valores
válidos, os atributos ou informações para construção de novos
atributos.
A seleção, implica muitas vezes na extração de diferentes fontes de
dados e na integração de tais dados, com o objetivo de obter uma
única fonte de dados.
Na extração e integração, é efetuada a limpeza e transformação dos
dados.
Análises de dados: O Processo
Etapa 3: Modelos analíticos:
Esta é a atividade onde devemos identificar a técnica analítica que
vai produzir os resultados esperados, que nos leva as possíveis ações
que podem ser tomadas para atingir o objetivo esperado.
O conjunto de possíveis técnicas analíticas é grande, vasto e difícil de
compreender, os objetivos e caraterísticas do problema apontam
para as técnicas mais adequadas.
25
Análises de dados: O Processo
26
O processo de construir um modelo para representar um conjunto
de dados é comum para todos os modelos analíticos.
O que não é comum é a maneira no qual os modelos são construídos,
utilizando diferentes alternativas.
O objetivo da construção de modelos, é organizar e resumir os dados
para facilitar a interpretação e a descoberta de padrões, tendências
e relações interessantes entre dados e fornecer subsídios para auxiliar
nos processos de gestão e de decisão da organização.
Análises de dados: O Processo
Segundo o objetivo definido, podemos definir os modelos analíticos
em:
descritivas (o que aconteceu?);
descoberta (por que isso aconteceu?);
preditivas (que vai acontecer?);
prescritivas (como podemos fazer para isso acontecer?);
27
Análises de dados: O Processo
Descritivo: o objetivo da análise descritiva é resumir o que
aconteceu. Os dados brutos são resumidos, através de funções
básicas de análise, como funções agregadas dos bancos de dados tais
como a contagem, somas, médias. As técnicas OLAP e de exploração
de dados se enquadram neste modelo.
Mais do 70% das análises de negócio são descritivas.
Por exemplo: Como os meus clientes estão distribuídos no que diz
respeito à localização (geografia)?
Qual é o número de post, de seguidores, elogios e page views de uma
página no facebook? 28
Análises de dados: Modelos Analíticos
Descoberta: é um olhar sobre o desempenho passado para
determinar o que aconteceu e por quê.
Identifica relações ocultas ou padrões entre os dados.
Por exemplo:
Há grupos dentro meus clientes que compram de forma semelhante?
Clientes que compram tv a cabo compram internet banda larga?
Que clientes devem ter uma atenção especial, uma vez que podem
considerar “deixar de utilizar” os nossos serviços ?
29
Análises de dados: Modelos Análiticos
Preditiva: utiliza observações passadas para prever futuras
observações, isto é, construí uma análise dos cenários prováveis do
que poderia acontecer.
Por exemplo: Podemos prever quais os produtos que determinados
grupos de clientes são mais propensos a comprar?
30
Análises de dados: Modelos Análiticos
Prescritiva: este tipo de análise não só prevê um possível futuro,
prevê vários futuros com base nas ações que podem ser tomadas.
Um modelo prescritivo é, por definição, também preditivo.
Este tipo de modelo é muito pouco utilizado (menos de 1% dos
modelos são prescritivos).
Construir um modelo prescritivo significa, não apenas utilizar os
dados existentes, mas também os dados de ação e de feedback
para orientar o tomador de decisão a um resultado desejado.
Por exemplo: Podemos saber que produtos vão maximizar a nossa
receita? 31
Análises de dados: Modelos de Análises
Etapa 4: Validação do modelo e dos resultados:
Queremos que o modelo generalize ou aprenda a relação entre as
variáveis escolhidas para responder aos objetivos traçados ,
confirmando ou rejeitando as hipóteses levantadas.
Para avaliar esta relação, é utilizado um conjunto de dados, que não
foi anteriormente utilizado na construção do modelo (dados de treino
e dados de teste).
Desta forma teremos o que chamamos erro do modelo, e saberemos
se devemos voltar as etapas anteriores ou os resultados obtidos são
satisfatórios.32
Análises de dados: O Processo
33
Análise Exploratória de Dados (AED)
34
AED consiste em ORGANIZAR e RESUMIR os dados coletados por
meio de tabelas, gráficos ou medidas numéricas (técnicas de
estatística descritiva e de visualização) e, a partir dos dados
resumidos, procurar identificar padrões, comportamentos, relações
e dependências.
O objetivo final é tornar mais clara a descrição dos dados a fim de
ajudar o analista a desenvolver algumas hipóteses sobre o problema
em questão e permitir a construção de modelos apropriados para
tais dados, isto é auxiliar na INTERPRETAÇÃO dos dados.
Análise Exploratória de Dados (AED)
36
1. Folha 11 – exercício 1:
Configure o repositório de dados e
Crie novo processo
Análise Exploratória de Dados (AED)
37
ProcessoPropriedades
do Operador
Help
Operadores
Executar processo Visões
38
Folha 11 – Exercício 1
Execução e do processo
39
Ícone “estatísticas”: apresenta medidas estatísticas básicas das
variáveis
40
Clicando em uma variável apresenta os histograma
Clicando sobre o gráfico, ampliamos o histograma
41
42
Trocando o tipo de gráfico para “Scatter” e configurando os eixos,
podemos observar as diferenças entre os tipos de flores Iris.
43
Trocando o tipo de gráfico para “Scatter 3D” e configurando os eixos,
podemos observar as diferenças entre os tipos de flores Iris.
44
No tipo de gráfico para “Quartile”, podemos observar os outliers.
45
No tipo de gráfico para “Quartile Color”, podemos observar os
outliers para cada variável referente a cada tipo de Iris.
46
No tipo de gráfico para “Scatter matrix”, podemos observar a
dispersão de todas as variáveis 2 a 2.
47
Folha 2: Exercício 2: Escolher e configurar o componente “Read CSV”.
48
Escolher o componente “Replace Missing Valeus”.
49
Configurando o componente “Replace Missing Valeus”.
42
31
50
Comparando os dados originais e depois da aplicação do componente
“Replace Missing Valeus”.
51
Configurando o componente “Replace”.
Para desenvolver os diferentes tipos de modelos de análises, temos
um conjunto de tarefas, técnicas e algoritmos.
As 3 tarefas principais são: associação, classificação e agrupamentos.
Cada uma das diferentes tarefas tem diferentes técnicas de análises e
as estas um conjunto de algoritmos que podem ser utilizados.
As tarefas, técnicas e algoritmos, podem ser aplicados a todos os
modelos analíticos (descrição, descoberta, preditivos e prescritivos).
52
Modelos Analíticos
53
Tarefa: Associação
• Associar os itens de vendas de um supermercado
– Tarefa T: associar os itens que são vendidos em uma mesma venda;
– Dados de Treinamento E: uma base de dados com os dados dos itens vendidos na mesma venda;
– Medida de Desempenho P: frequência que as associações acontecem;
54
Visa descobrir associações importantes entre os itens (k-itemsets),tal que, a presença de um item em uma determinada transação iráimplicar na presença de outro item na mesma transação.
Cada registro corresponde a uma transação, com itens assumindovalores binários (sim/não), indicando se o cliente comprou ou não orespectivo item.
Uma regra de associação é uma implicação na forma X Y, epossui dois parâmetros básicos: um suporte e uma confiança;
Técnica: Regras de Associação
55
A função do Suporte é determinar a freqüência (contagem ou emporcentagem) que ocorre um itemset entre todas as transações daBase de Dados.
A confiança mede a força da regra e determina a sua validade, istoé, quantifica a frequência do antecedente implicando oconsequente.
A confiança e suporte são utilizadas como filtro para gerar menosregras.
Técnica: Regras de Associação
56
Id Leite Café Cerveja Pão Manteiga Arroz Feijão
1 N S N S S N N
2 S N S S S N N
3 N S N S S N N
4 S S N S S N N
5 N N S N N N N
6 N N N N S N N
7 N N N S N N N
8 N N N N N N S
9 N N N N N S S
10 N N N N N S N
Leite S = 0.2; Pão S=0.5Café e Pão S= 0.3 Se (Café) Então (Pão) C = 1.0 (S(Café e Pão)/S(Café)
Pão e Manteiga S = 0.4 Se (Pão) Então (Manteiga) C = 0.8Se (Manteiga) Então (Pão) C = 0.8
Café, Pão e Manteiga S = 0.3 Se (Café e Pão) Então Manteiga C = 1.0Se (Café) Então (Pão e Manteiga) C =1.0
Técnica: Regras de Associação
57
Fases do algoritmo apriori:
1. Geração dos conjuntos candidatos, com suporte acima do mínimo
estabelecido;
2. Geração da regras de associação dos conjuntos candidatos gerados
no passo anterior com confiança superior ao mínimo estabelecido;
Técnica: Regras de Associação
58
TID Items
100 A, C, D
200 B, C, E
300 A, B, C, E
400 B, E
Base de dados
L1
Itemsets So
{A, C} 2
{B, C} 2
{B, E} 3
{C, E} 2
Itemsets So
{A} 2
{B} 3
{C} 3
{E} 3
L2Itemsets So
{A, B} 1
{A, C} 2
{A, E} 1
{B, C} 2
{B, E} 3
{C, E} 2
C2
Itemsets So
{A, B, C} 1
{A, B, E} 1
{A, C, E} 1
{B, C, E} 2
C3
Itemsets So
{B, C, E} 2
L3
Algoritmo Apriori Suporte mínimo = 2
Itemsets So
{ Null } 2
C4
FIM (Fase I)
Itemsets So
{A} 2
{B} 3
{C} 3
{D} 1
{E} 3
C1
59
Regras geradas com L2 (para s >= 50% e c >= 60%)
Se A Então C ( s = 50%, c = 100%)
Se C Então A ( s = 50%, c = 66.7%)
Se B Então C ( s = 50%, c = 66.7%)
Se C Então B ( s = 50%, c = 66.7%)
Se B Então E ( s = 75%, c = 100%)
Se E Então B ( s = 75%, c = 100%)
Se C Então E ( s = 50%, c = 66.7%)
Se E Então C ( s = 50%, c = 66.7%)
Algoritmo Apriori
60
Regras geradas com L3 (para s >= 50% e c >= 60%)
Se B e C Então E ( s = 50%, c = 100%)
Se B e E Então C ( s = 50%, c = 66.7%)
Se C e E Então B ( s = 50%, c = 100%)
Se B Então C e E ( s = 50%, c = 66.7%)
Se C Então B e E ( s = 50%, c = 66.7%)
Se E Então B e C ( s = 50%, c = 66.7%)
Algoritmo Apriori
61
Folha 11 – Exercício 4
1. Leitura dos dados do problema: Import / Data
2. Escolher o componente Read (segundo o formato dos dados), e configurar os parâmetros (para aparecer mais parâmetros clique no ícone )
Algoritmo Apriori
62
4. Escolher o algoritmo de mineração: Modeling/Association and Item Set Mining
5. Escolher o componente FT-Growth e configurar o suporte
Algoritmo Apriori
63
6. Conectar as duas saídas do componente FT-Growth com as saídas do processo.
7. Salvar o arquivo, executar e verificar as saídas.
Algoritmo Apriori
64
8. Escolher o componente Create Association Rules e configurar o parâmetro confiança.
Algoritmo Apriori
65
9. Visualizar a saída das regras de associação.
Algoritmo Apriori
66
Folha 11 – exercício 5. Processo final.
Algoritmo Apriori
67
Folha 11 – exercício 5. Processo final e configuração do componente “Numerical to Binomial”.
Algoritmo Apriori
68
Algoritmo AprioriFolha 11 – exercício 5. Resultados
69
BI
Dados ( OLTP e outras fontes)
Data Warehouse/ Data Marts
Ferramentas OLAP
Mineração de dados - KDD
Interpretação/
Avaliação
Decisões
Analise
de dados
Analises dos
tomadores de
decisão
Fundamentação da disciplina
Dados
Informação
Conhecimento
Análises Exploratória de Dados