Roteiro BI e Mineração de Dados Introdução Processo KDD Conjuntos de Dados Funcionalidades da MD Etapas de Desenvolvimento da MD Integração DW e MD
Business Intelligence Inteligência de negócios, ou inteligência
empresarialmétodo que visa ajudar as empresas a tomar
as decisões inteligentes Análise dos clientes
Clientes Mais ValiososClientes de Maior PotencialClientes Negativos (geram prejuízos)Clientes Intermediários
BI e Mineração de Dados Grande volume de dados armazenado
diariamente pelas empresas Estratégias de Análise para tornar a empresa
mais competitiva BI:
Obter a partir dos dados operativos brutos, informação útil para subsidiar a tomada de decisão nos escalões médios e altos da empresa.
Mineração de Dados: Subsidiar a empresa com conhecimento novo e útil
acerca do seu meio ambiente
Introdução Problema: Crescimento da quantidade de
informações disponíveis e distribuídas em diversas bases de dados:Bases de dados das Empresas (várias filiais)Bancos (concessão de crédito) Internet (Redes Sociais, e-mail)
Introdução
OBJETIVO
“Extrair novos conhecimentos que estão escondidos em grandes
bases de dados.”
Introdução Data Warehouse: repositório de múltiplas
fontes de dados heterogêneos unificados em um único local.
DW
Bases de DadosDistribuídas
Introdução
KDD
Muitos Dados, mas Pouca Informação
KDD KDD: Knowledge Discovery from Data. KDD é um processo de extração de
informações úteis em bases de dados, no qual a descoberta de conhecimento é a sua última etapa.
Processo KDD Limpeza Integração Seleção Transformação Mineração dos Dados Avaliação dos Padrões Apresentação do
Conhecimento
Processo KDD Componentes Principais:
Repositório de informações Servidor de Banco de
Dados Base de Conhecimentos Mecanismo de Mineração
de Dados Avaliação dos padrões Interface com o usuário
Processo KDD Repositório de informações (Banco de
Dados, Data Warehouse, Internet): Representa uma ou um conjunto de bases de dados, ou qualquer tipo de repositório utilizado para armazenamento de dados. As etapas de limpeza dos dados e técnicas de integração do processo KDD devem ser aplicadas nesses componentes
Processo KDD Servidor de Banco de Dados ou Data
Warehouses: Esses servidores são responsáveis pela coleta dos dados relevantes, com base na solicitação do usuário.
Base de Conhecimento: usada para guiar a pesquisa ou para avaliar o quão interessante é o padrão encontrado.
Processo KDD Mecanismo de Mineração de Dados: Este
componente é fundamental para o processo KDD e consiste em um conjunto de módulos funcionais para tarefas como a caracterização, associação e análise de correlação, classificação, predição, análise de agrupamentos (cluster) e análise de outlier.
Processo KDD Módulo de Avaliação de Padrões: analisa se
os resultados obtidos pelo componente de mineração de dados são interessantes. Esse módulo precisa ter uma interação com o módulo de mineração de dados para focar a busca em padrões interessantes.
Processo KDD Interface com Usuário: Estabelece a
comunicação entre o processo KDD e o usuário, permitindo que o usuário interaja com o sistema como um todo.
Conjuntos de Dados Banco de Dados Relacional:
Modelo mais utilizado.
CarrosAno Cor Modelo ...2005 Preto Astra ...1974 Azul Claro Fusca ...
... ... ... ...
Conjuntos de Dados Data Warehouses:
União de diversos conjuntos de dados ou Reestruturação de uma base de dados
Conjuntos de Dados Banco de Dados Transacional:
Arquivos ou tabelas que armazenam as informações de uma transação.
Podem existir outros arquivos ou tabelas complementares
Transação PrincipalNúmero Tipo Meio
0001 Venda de Carro
Vendedor Loja
0002 Venda de Som
Internet
... ... ...
Transação SecundáriaNúmero Data Responsável
0001 05/07/2008
José
0002 08/07/2008
Internet
... ... ...
Conjuntos de Dados Sistemas de Informação e de Dados
Avançados: Banco de dados objeto-relacional Banco de Dados Temporais Banco de Dados Textuais World Wide Web
Funcionalidades Descrição de Classe/Conceito
Pessoas Itens
Compram muito ou pouco Adulto ou Infantil
Funcionalidades Descrição de Classe/Conceito
Caracterização: resumo das características gerais ou características de uma classe de destino de dados.
Discriminação: comparação entre as características gerais dos dados dos objetos da classe principal com as características gerais dos objetos de uma ou um conjunto de classes contrastantes.
Funcionalidades Mineração de Padrões Freqüentes,
Associações e Correlações Padrões Freqüentes: são os padrões que ocorrem
com freqüência no conjunto de dados. Associação: indica como os padrões freqüentes
estão relacionados. Correlação: análise estatística para determinar se as
regras de associações encontradas são relevantes.
Funcionalidades Mineração de Padrões Freqüentes,
Associações e Correlações Regras de Associação:
Compra(X, “computador”) Compra(X, “software”) [suporte = 1%, confiança = 50%]
Confiança é a certeza de que a regra irá ocorrer 50% das pessoas que compram computadores compram
softwares. Suporte é a quantidade relativa que a regra
representa 1% das pessoas compraram computadores.
Funcionalidades Mineração de Padrões Freqüentes,
Associações e Correlações Regras de Associação:
Idade(X, “20...29”) ^ Renda(X, “300,00...900,00”) Compra(X, “CD”)[suporte = 2%, confiança = 60%]
60% das pessoas que possuem entre 20 e 29 anos e têm renda entre 300,00 e 900,00 compram CDs.
2% das pessoas analisadas possuem entre 20 e 29 anos e têm renda entre 300,00 e 900,00.
Funcionalidades Classificação e Predição
Classificação é um processo de encontrar um modelo (ou função) que descreve e distingue classes de dados, com a finalidade de ser capaz de usar o modelo para prever a classe de objetos cujo rótulo da classe é desconhecido.
Predição é utilizada para definir um provável valor para uma ou mais variáveis. Ex.: a previsão da cotação de uma ação na bolsa de valores.
Funcionalidades Agrupamento
(clustering) Diferentemente das
técnicas de classificação e predição as técnicas de agrupamento analisam os objetos sem o conhecimento prévio de qual classe cada objeto pertence.
Classificação dos Sistemas de Mineração de Dados Interdisciplinaridade da técnica
A mineração de dados é um campo interdisciplinar, a confluência de um conjunto de disciplinas
Mineração de dados
Inteligência Artificial(Redes Neurais)
Outras Disciplinas
Banco de dados Visualização
Estatística
Biologia
Etapas do Desenvolvimento da Mineração de Dados Permitir a interação entre o usuário e o processo
de mineração de dados
Analisar os resultados sobre ângulos diferentes
Usuário “interfere” no processo de mineração de dados
Permite um desenvolvimento em etapas
Etapas do Desenvolvimento da Mineração de Dados
Conjunto dos dados relevantes na mineração de dados: Parte do banco de dados ou o conjunto de dados de
interesse por parte do usuário Banco de Dados? Data Warehouse? Quais atributos?
Etapas do Desenvolvimento da Mineração de Dados
Tipo de conhecimento a ser extraído: Especifica as funcionalidades da mineração de dados
que serão executadas Caracterização? Regras de Associação? Previsão? Agrupamento ou classificação?
Etapas do Desenvolvimento da Mineração de Dados
Base de conhecimentos previamente extraídos: Auxilia no processo de descoberta de conhecimento e
na análise dos padrões encontrados Hierarquia de Conceitos
Etapas do Desenvolvimento da Mineração de Dados
Medidas mais interessantes ou critérios padrões de avaliação: Auxiliam o processo de mineração ou, após
descoberta de conhecimento, ajudam na avaliação dos padrões encontrados
Regras de associação Suporte e confiança
Etapas do Desenvolvimento da Mineração de Dados
Representação visual dos padrões encontrados: Refere-se à forma em que os padrões descobertos
são exibidos Regras de associação Tabelas Gráficos Diagramas Árvores de Decisão
Integração: Data Mining com Data Warehouse A comunicação das ferramentas de mineração
de dados e as ferramentas de bancos de dados é uma etapa crítica para o processo de extração de conhecimento
Sistema DM autônomo ou incorporado em aplicativos (não utiliza sistemas de bancos de dados ou DW) Desenvolvimento de algoritmos de mineração de
dados, nos quais as informações sobre os dados já são conhecidas e estão embutidas no código fonte.
Integração: Data Mining com Data Warehouse Sistema de Mineração de dados com nenhum
acoplamento Utiliza arquivos para recuperar dados e gravar os
resultados obtidos. Sistemas com acoplamento flexível
Lê os dados de um banco de dados ou DW e armazena os resultados em qualquer outra fonte de dados (Banco de Dados, DW, arquivos).
Integração: Data Mining com Data Warehouse Sistema com acoplamento semi-apertado
Os sistemas de Banco de Dados e DW possuem funcionalidades de mineração de dados.
Resultados intermediários são armazenados e auxiliam a Mineração de Dados futura.
Sistemas com acoplamento apertado Sistemas de banco de dados e mineração de dados
estão completamente integrados Sistema de informação que engloba Banco de Dados
ou DW e a mineração de dados
Top Related