Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

31
1 Exploração GSI :: captura e codificação de conhecimento individual e colectivo para estender a base de conhecimento da organização Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse Outras técnicas para consultar BDs Hipermédia e Web Disponibilizando DB pela Web Baseada em tecnologias de IA Sistemas Especialistas (Periciais) Redes Neuronais Case-based Reasoning – CBR Lógica Difusa (Fuzzy) Algoritmos Genéticos Agentes Inteligentes Técnicas Inteligentes Híbridas Computação GRID Operação Proj. Espec. Admin. RH Admin. TI

description

Operação. Admin. TI. Admin. RH. Proj. Espec. Exploração GSI :: captura e codificação de conhecimento individual e colectivo para estender a base de conhecimento da organização. Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse - PowerPoint PPT Presentation

Transcript of Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

Page 1: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

1

Exploração GSI:: captura e codificação de conhecimento individual e colectivo para estender a base de conhecimento da organização

Baseada em tecnologias de BD– OLAP (análise de dados multidimensionais)– Data Mining– Data Warehouse

Outras técnicas para consultar BDs– Hipermédia e Web– Disponibilizando DB pela Web

Baseada em tecnologias de IA– Sistemas Especialistas (Periciais)– Redes Neuronais– Case-based Reasoning – CBR– Lógica Difusa (Fuzzy)– Algoritmos Genéticos– Agentes Inteligentes

Técnicas Inteligentes Híbridas Computação GRID

Operação

Proj.Espec.

Admin.RH

Admin.TI

Page 2: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

2

Técnicas Inteligentes baseadas em BD

OLAP– Bases de dados multidimensionais

Data mining– ajuda as organizações a capturar o conhecimento

“desconhecido” que está residente em grandes bases de dados

– fornece aos gestores novos instrumentos (insight) para melhorar a performance dos negócios

– importante ferramenta para gestão da tomada de decisão Data Warehouse

– é um BD que armazenam dados actuais e históricos de potencial interesse para gestores dispersos pela empresa

Page 3: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

3

Técnicas Inteligentes baseadas em BD

:: Análise de Dados Multidimensionais

Como fazer as seguintes buscas? – Quantas unidades do produto X foi entregue em Novembro de

2005?– Compare as vendas do produto X por trimestre e por região de

Portugal nos últimos 2 anos?

usamos a técnica conhecida como OLAP - Online Analytical Processing OLAP analisa os dados de maneira que os modelos de

BD tradicionais não conseguem representar.. BD multi-dimensionais especializadas Ferramentas que criam visões multi-dimensionais de

dados em relação à BD

Page 4: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

4

i

parafusos, arruelas,parafusos e porcas

- com OLAP, os usuários devem ter uma boa idéia da informação que estão buscando! Já com Data Mining..

Page 5: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

5

Técnicas Inteligentes baseadas em BD

:: Data Mining

– fornece insights sobre os dados da empresa que não podem ser obtidos por OLAP

– os modelos e regras podem ser usados para guiar a tomada de decisão

prevendo os efeitos destas decisões

– por exemplo: analisando as facturas dum supermercado pode-se

descobrir que quando compramos polvo, em 45% dos casos também compramos azeite

Mas, quando o polvo está em promoção, compramos azeite em 65% dos casos

– pensando em fazer polvo à lagareiro, talvez ;)

Page 6: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

6

Técnicas Inteligentes baseadas em BD

:: Data Mining

Tipos de informações obtidas em um Data Mining:– Associação

polvo ~ azeite– Sequência

quem compra casa quer frigorífico (máximo um mês depois), etc– Classificação

identificando características de clientes prestes a anular cartão de crédito

– Descoberta de Nichos (Clustering) descobrindo relações de clientes baseados na demografia e seus

investimentos pessoais– Previsão (Forecasting)

estimando o valor futuro de variáveis contínuas como as vendas

Page 7: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

7

Técnicas Inteligentes baseadas em BD

:: Data Mining – Casos de Sucesso

Page 8: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

8

Técnicas Inteligentes baseadas em BD

:: Data Warehouse

– sistemas legados (hierárquicos, etc.), DBMS OO ou relacionais, sistemas baseados em HTML ou XML, etc.

são copiados para dentro da BD de Data Warehouse– a cada hora, dia, semana, mês, etc.

– são padronizados em um modelo de dados comum– e consolidados para que possam ser usados

para análise de gestão e tomadas de decisão

– os dados podem ser usados por qualquer pessoa mas não podem ser modificados

Page 9: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

9

o Data Warehouse deve ser cuidadosamente projectado tanto por especialistas técnicos como especialistas do negócio

Page 10: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

10

Outras Técnicas de Análise

:: Hipermédia DB & Web

– Permite aos usuários aceder tópicos em um Web site em qualquer ordem que deseje

– É uma abordagem para gestão de informação que armazena pedaços de informação na forma de nós que o usuário especifica

– Os nós podem ser: Textos Gráficos Sons Vídeos Programas executáveis, etc.

Page 11: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

11

Outras Técnicas de Análise

:: DB Hipermédia & Web

Page 12: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

12

Outras Técnicas de Análise

:: Disponibilizando DB pela Web

Page 13: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

13

o filme..

Page 14: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

14

Técnicas Inteligentes baseadas em IA

Sistemas Especialistas, CBR e Lógica Difusa– Usados para captar conhecimento tácito (não falado, arcaico)

Redes Neuronais – como o Data Mining > “descoberta” de conhecimento– Podem descobrir modelos subliminares, categorias e

comportamentos em grandes quantidades de dados Algoritmos Genéticos

– Geram soluções a problemas muito grandes e complexos aos seres humanos

Agentes Inteligentes– Automatizam tarefas rotineiras para ajudar organizações a

pesquisar e filtrar informações

Page 15: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

15

Técnicas Inteligentes baseadas em IA

:: Sistemas Especialistas

Captam o conhecimento tácito num domínio bastante específico e limitado de uma especialidade humana

Capturam o conhecimento de empregados habilidosos na forma de um conjunto de regras

Executam tarefas que podem ser feitas em poucos minutos, tais como

– Diagnósticos de erros em máquinas (motores, alinhamento de pneus, etc.)

– Determinação de crédito para um empréstimo– Tomadas de Decisão altamente estruturadas

problemas que não podem ser resolvidos por especialistas humanos em um período curto de tempo, também serão demasiado difíceis a um SE

Page 16: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

16

Page 17: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

17

Técnicas Inteligentes baseadas em IA

:: CBR – Case-Based Reasoning (raciocínio)

– CBR capturam conhecimento organizacional enquanto os SE capturam o conhecimento individual

– Descrições de experiências individuais passadas representadas como casos são armazenadas em uma BD para uma recuperação futura

para quando o usuário encontrar um caso com parâmetros similares

soluções sem sucesso também são adicionadas à BD de casos

– encontramos CBR em Sistemas de Diagnósticos em Medicina Sistemas de Suporte a Clientes

Page 18: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

18

Page 19: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

19

Técnicas Inteligentes baseadas em IA

:: Sistemas de Lógica Difusa (Fuzzy)

– a maioria das pessoas não pensam em termos das regras IF-THEN ou números precisos

– nós tendemos a categorizar coisas imprecisamente Homem forte, mulher inteligente, empresa grande, dia

frio..

– Lógica Fuzzy é uma tecnologia baseada em regra que pode representar tais imprecisões criando regras

– que usa aproximações ou valores subjectivos

assim, usando Lógica Difusa,

as organizações podem criar SI que capturam o conhecimento tácito onde existe ambiguidades linguística

Page 20: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

20

u

Page 21: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

21

Técnicas Inteligentes baseadas em IA

:: Redes Neuronais

– Descobrem o conhecimento usando hw e sw para emular os modelos de processamento do cérebro

– “aprendem” modelos em grandes quantidades de dados Buscando por relacionamentos Separando o “joio” do trigo Construindo modelos

– e corrigindo os erros do modelo ciclicamente

– Possui uma rede de nós de processamento e detecção que interagem continuamente entre uns e outros

Nós “treinamos” a rede alimentando-a com um conjunto de dados nos quais os inputs produzem um conjunto de resultados ou conclusões conhecidas

Page 22: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

22

– O computador aprende a solução correcta através dos exemplos

Renda – 4000, Débitos – 800, Idade 33, Pagamentos - em dia Então, a rede neuronal aprende que > bom risco de crédito!

– Quando o computador é alimentado com mais dados cada caso será comparado com a saída conhecida..

– Se difere, uma correção é calculada e aplicada aos nós na camada escondida até uma condição (correção < x, por exemplo) ser alcançada

Page 23: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

23

Técnicas Inteligentes baseadas em IA

:: Redes Neuronais

– Existem aplicações de RN emergentes em Medicina, Ciência e Negócios

– para resolver problemas de classificação de modelos, previsões, análise financeira, controle e optimização

Exemplo– VISA Internacional usa redes neurais para detectar fraudes

monitoriza todas transacções para detectar mudanças repentinas nos modelos de compras dos donos de cartões

Diferente de Sistemas Especialistas (que possui explicações para suas soluções), as RN nem sempre podem explicar porque chegaram a uma solução!

Também não pode garantir chegar à mesma solução com a entrada dos mesmos dados | ou garantir que encontrou a melhor solução!

Na maioria das aplicações, as RN são usadas para auxiliar as decisões humanas ao invés de substitui-las!

Page 24: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

24

Técnicas Inteligentes baseadas em IA

:: Algoritmos Genéticos (ou Computação Adaptativa) (é da família de algoritmos evolutivos)

– são usados para encontrar a solução óptima para um problema específico examinando-se uma grande quantidade de soluções possíveis

as técnicas de solução dos problemas são conceptualmente baseadas nos métodos que os organismos vivos usam para adaptarem-se em seus ambientes

– promove a evolução de soluções para problemas particulares

controlando a > geração > variação > adaptação e seleção– de possíveis soluções usando processos baseados em genética

Aptidão > Seleção > Reprodução > Mutação

técnica de programação que imita a evolução biológica como estratégia para resolver problemas

Page 25: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

25

– A população inicial é gerada Atribuindo-se aleatoriamente

valores aos genes de cada cromossomo

– A aptidão bruta de um indivíduo da população é medida por uma função de erro

– Critérios de parada do algoritmo Aptidão do melhor indivíduo +

limitação do número de gerações

Erro abaixo de um valor especificado pelo projetista para um determinado parâmetro

Custo computacional elevado devido ao grande número de variáveis (populações elevadas) e ao alto número de gerações para a cobertura do espaço de soluções

Page 26: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

26

representa informações como strings de 0s e 1s uma possível solução pode ser representada por uma

grande string destes dígitos Os algoritmos genéticos fornecem métodos para

pesquisar todas possíveis combinações de dígitos para identificar a string certa que representa a melhor estrutura possível para a solução do problema

Page 27: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

27

Técnicas Inteligentes baseadas em IA

:: Algoritmos Genéticos (ou Computação Adaptativa)

– Indicado para problemas de Minimização de custos, maximização de lucros, agendas

eficientes, uso eficiente de recursos, etc.

– Em problemas muito dinâmicos e complexos, envolvendo cetenas ou milhares de variáveis ou fórmulas

os AG podem expedir uma solução porque eles podem avaliar muitas soluções diferentes rapidamente para encontrar a melhor

– Melhor caminho, aplicações de GPS, etc..

– Exemplos General Electric – em motores a jacto, cada mudança no projecto

requer mudança em 100 variáveis

Page 28: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

28

Técnicas Inteligentes baseadas em IA

:: Agentes Inteligentes

– são programas de sw que trabalham em background sem a intervenção humana

– Trata de tarefas específicas, repetitivas e previsíveis para

um usuário individual um processo de negócio ou uma aplicação de sw

– Utilizam uma base de conhecimento limitada– Podem ser usados para tomar decisões baseadas

nas preferencias dos usuários

Exemplos: deletar junk mail, agendar apontamentos, encontrar vôo + barato entre várias companhias, encontrar conferencias, etc.

Page 29: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

29

Economiza $300 milhões por ano– Com um investimento total de menos de $3 milhões

Descobriu que– Podia despachar caminhões sem estarem cheios

Menos gastos com combustíveis e com o tempo dos motoristas– entre outros..

Page 30: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

30

Técnicas Inteligentes baseadas em IA

:: Sistemas Híbridos

– Podemos integrar numa única aplicação Algoritmos Genéticos Lógica Fuzzy Redes Neuronais e Sistemas Especialistas

– para colher vantagens das melhores características destas tecnologias

– Japão Electrodomésticos Mitsubishi, Sanyo, etc. Matsushita (Panasonic)

– Máquina de lavar “Neurofuzzy”, etc…

Page 31: Baseada em tecnologias de BD OLAP (análise de dados multidimensionais) Data Mining Data Warehouse

31

Técnicas Inteligentes baseadas em SD

:: Computação GRID

– Envolve a conexão de computadores remotos geograficamente

em uma única rede para criar um super-computador virtual– Combinando o poder computacional de todos o

computadores no GRID (grade)

– Usamos um computador apenas 25% do tempo– Podemos utilizar o tempo “morto” em projectos

humanitários transnacionais, Colmeia, etc.– conexões com alta largura de banda tornaram

possíveis a Computação GRID

www.globus.org