Técnicas de Modelagem de Dados
description
Transcript of Técnicas de Modelagem de Dados
![Page 1: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/1.jpg)
Maio, 2009
Técnicas de Modelagem de Dados
Bruno Filipe de Oliveira Lins
![Page 2: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/2.jpg)
Problema
Incerteza
Dem
pster-Shafer
Dezert-Sm
arandach
Trabalhos R
elacionados
2
Agenda
![Page 3: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/3.jpg)
Problema
Sistemas baseados
em
conhecimento
devem ser capazes
de representar,
manipular
e com
unicar dados
Devem
estar preparados
para m
odelar e
tratar dados considerados im
perfeitos
3
![Page 4: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/4.jpg)
Incerteza
A incerteza em um
problem
a ocorre
sempre
que as
informação
pertinente a
situação sejam
deficientes
em
algum aspecto
Essa deficiência
pode ser
causada por um
a informação
incompleta,
imprecisa,
vaga, incerta, contraditória, entre outros m
otivos
4
![Page 5: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/5.jpg)
5
Dempster-Shafer
![Page 6: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/6.jpg)
Dempster-Shafer6
Originou-se com o trabalho de Dempster sobre probabilidades inferior e superior e teve continuidade com os trabalhos de Shafer , que refinou e estendeu as idéias de Dempster.
![Page 7: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/7.jpg)
Dempster-Shafer7
Provêm métodos simples de combinar evidências oriundas de diferentes fontes sem a necessidade de um conhecimento a priori de suas distribuições de probabilidade
![Page 8: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/8.jpg)
8
Frame de discernimento – Q
Conceitos Básicos
![Page 9: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/9.jpg)
9
Atribuição de probabilidade básica – bpa Indica a crença em determinada hipótese
Função de Crença – bel() Total de crença atribuída a um determinado
subconjunto de Q Plausibilidade – pl()
Quantidade máxima de crença que pode ser atribuída a um determinado subconjunto de Q
Conceitos Básicos
![Page 10: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/10.jpg)
10
bpa
Conceitos Básicos
0,2 0,3 0,1
0,4
![Page 11: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/11.jpg)
11
bel()
Conceitos Básicos
0,2 0,3 0,1
0,4
bel(N, T) = m({N}) + m({T}) + m ({N, T})bel(N, T) = 0,2 + 0,3 + 0,4bel(N, T) = 0,9
![Page 12: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/12.jpg)
12
pl()
Conceitos Básicos
0,2 0,3 0,1
0,4
pl(N) = m({N}) + m ({N, T})pl(N) = 0,2 + 0,4pl(N) = 0,6
![Page 13: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/13.jpg)
13
Limitações Possibilidade de obtenção de resultados contra
intuitivos Problemas no gerenciamento de combinação de
funções de crenças conflitantes Grande necessidade computacional
Dempster-Shafer
![Page 14: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/14.jpg)
14
Dezert-Smarandach
![Page 15: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/15.jpg)
15
Extensão do modelo de DST propõe novas regras quantitativas de
combinação para fontes de informação incertas, imprecisas e altamente conflitantes.
Dezert-Smarandach
![Page 16: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/16.jpg)
16
Propostas hyper-power set DQ
Composto pelo conjunto de todos os elementos formados a partir dos elementos de Q através da utilização dos operadores ∩ e U
Dezert-Smarandach
![Page 17: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/17.jpg)
17
Hyper-Power Set DQ
Dezert-Smarandach
Quando Q = {θ1, θ2,θ3}
Então DQ = {θ0 , θ1 , θ2 ... θ18}
![Page 18: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/18.jpg)
18
Propostas bpa
bel()
pl()
Dezert-Smarandach
m(Ø) = 0 ∑m(A) = 1A Є DQ
bel(A) = ∑m(B) B Є DQ
B A
pl(A) = ∑m(B) B Є DQ
B ∩ A ≠Ø
![Page 19: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/19.jpg)
19
Propostas Modificação nas regras de combinação de
funções de crença proporcionando desta forma o tratamento dos conflitos (PCR-5)
Redistribuição (total ou parcial) das massas de conflitos entre os subconjuntos não vazios
Dezert-Smarandach
![Page 20: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/20.jpg)
20
Trabalhos Relacionados
![Page 21: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/21.jpg)
21
Proposta por Siartelis et al, descreve a utilização da teoria da evidência de Dempster-Shafer na elaboração de um sistemas de DDoS.
Fazendo uso dos dados fornecidos por múltiplos sensores, este trabalho emprega a TDS como arcabouço para a criação de um mecanismo (engine) de fusão de dados multisensor.
A novel approach for a Distributed Denial of Service Detection Engine
![Page 22: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/22.jpg)
22
A novel approach for a Distributed Denial of Service Detection Engine
![Page 23: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/23.jpg)
23
O método proposto por Chen e Aickelin [24] descreve a utilização da fusão de dados em um sistema para detecção de trafego anômalo.
O sistema possui um mecanismo capaz de “aprender” as características fundamentais do ambiente e, desta forma, gerar inferências sobre o estado da rede.
Anomaly Detection Using the Dempster-Shafer Method
![Page 24: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/24.jpg)
24
Anomaly Detection Using the Dempster-Shafer Method
Dados de vários sensores
Dado1 Dado2 Dadon. . .
Atribuição do bpa Atribuição do bpa. . . Atribuição do bpa
m1(H) m2(H) mn(H). . .
Dado Normal ou Anômalo
Combinação Dempster-Shafer
![Page 25: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/25.jpg)
25
O IDSDMF, proposto por Tian et al., é um modelo que descreve o uso de um mecanismo de fusão de dados baseado na teoria da evidência de Dempster-Shafer visando minimizar o número de falsos positivos encontrados nos alertas gerados pelos IDSs espalhados pela rede.
DS Evidence Theory and its Data Fusion Application in Intrusion
Detection
![Page 26: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/26.jpg)
26
DS Evidence Theory and its Data Fusion Application in Intrusion
Detection
Switch
Firewall
Internet
IDSDMF
1
2
1
1
2
1
2
Network IDS
Host IDS
IDS1
IDS2
. . .
IDSn
Correlação entre os alertas
Atribuição dos bpasmsn(Aj)
Atribuição dos bpasms1(Aj)
Atribuição dos bpasms2(Aj)
. . .
Fusão de bpas de um mesmo ciclo
Fusão de bpas de um mesmo ciclo
Fusão de bpas de um mesmo ciclo
. . .
m1(Aj)
m2(Aj)
mn(Aj)
Fusão de
bpas
m(Aj)
![Page 27: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/27.jpg)
27
• Dempster, A. P. (1967) Upper and Lower Probabilities Induced by a Multivalued Mapping. Em Annals Mathematics Statistics, 38, páginas 325-339.
• Dempster, A. P. (1967) Upper and Lower Probability Inferences Based on a Sample from a Finite Univariate Population. Em Biometrika, 54, páginas 515-528.
• Shafer, G. (1976) A mathemathical theory of evidence. Princeton, Princeton University Press.
• Chen, Q., and Aickelin, U. (2006) Anomaly Detection Using the Dempster-Shafer Method. Em International Conference on Data Mining, DMIN 2006, Las Vegas, Nevada, USA.
Referências
![Page 28: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/28.jpg)
28
• Tian, J., Zhao, W, Du, R., e Zhang, Z. (2005) D-S Evidence Theory and its Data Fusion Application in Intrusion Detection. Em The Sixth International Conference on Parallel and Distributed Computing Applications and Technologies. Páginas 115 – 119,
• http://fs.gallup.unm.edu//DSmT.htm
• Dezert, J., Smarandache, F. - An introduction to DSmT
Referências
![Page 29: Técnicas de Modelagem de Dados](https://reader036.fdocumentos.com/reader036/viewer/2022062305/568152cb550346895dc0e5ea/html5/thumbnails/29.jpg)
Maio, 2009
Técnicas de Modelagem de Dados
Bruno Filipe de Oliveira Lins