Rodrigo RochaAnálise de Clustering (tópicos adicionais) 11/11/20081/34 Análise de Clustering:...

Rodrigo Rocha Análise de Clustering (tópicos adicionais) 11/11/2008 1/34

Análise de Clustering:Tópicos adicionais

Rodrigo Rocha Gomes e Souza

Aula de Mineração de Dados (pós-graduação)Universidade Federal de Campina Grande, 11/11/2008

Figuras tiradas do livro “Introduction to Data Mining”, de Tan, Steinbach e Kumar

Sumário

Algoritmos baseados em protótipos– Fuzzy c-means– EM (Expectation Maximization)

Algoritmos baseados em densidades– Grid-based– DENCLUE

Algoritmos baseados em grafos– Sparsification (técnica)– Chameleon– SNN (Shared Nearest Neighbor - técnica)– Jarvis-Patrick– SNN Density

Algoritmos baseados em protótipos

K-means (revisão)

Não lida bem com clusters de diferentes formas, tamanhos e densidades

É um algoritmo rápido

Fuzzy c-means: Introdução

Motivação– Nem sempre os dados estão bem separados– Atribuição de um elemento a um cluster pode

ser quase arbitrária Solução

– Clusters são conjuntos nebulosos: x

i pertence a C

j com grau w

ij (entre 0 e 1)

– wi1 + w

i2 + ... + w

ik = 1

Fuzzy c-means: Algoritmo

Atribua um valor a cada wij

repita– Calcule o centróide de cada cluster– Recalcule cada w

ij até os centróides se estabilizarem

c j =∑i=1

w ij2 xi

∑i=1

w ij =1/dist x i , c j

∑q=1

1/dist x i , cq2

Para obter um clustering, atribua cada elemento ao cluster para o qual seu grau de pertinência é maior

Fuzzy c-means: Exemplo

EM (Expectation Maximization)

Motivação: dados seguem distribuições estatísticas conhecidas

Generalização do k-means e do fuzzy c-means

EM: Maximum Likelihood Estimation

Likelihood: até que ponto determinada distribuição estatística explica os dados?

EM: Algoritmo

Cada cluster é representado por uma distribuição estatística com determinados parâmetros

Algoritmo– Selecione um conjunto inicial de parâmetros– repita

Para cada objeto xi, calcule a probabilidade de x

pertencer a cada distribuição.Ache os parâmetros que maximizam o likelihood

– até os parâmetros se estabilizarem

densidades e tamanhos diferentes

formas elípticas

K-means

EM: Weka=== Run information ===

Scheme: weka.clusterers.EM -I 100 -N 3 -M 1.0E-6 -S 100Relation: irisInstances: 150Attributes: 5 sepallength sepalwidth petallength petalwidth classTest mode: evaluate on training data

=== Model and evaluation on training set ===

Number of clusters: 3

Fonte: Wikipedia

ClusterAttribute 0 1 2 (0.34) (0.33) (0.32)============================================sepallength mean 5.9188 5.006 6.6181 std. dev. 0.5168 0.3489 0.6001

sepalwidth mean 2.7577 3.418 2.9906 std. dev. 0.3133 0.3772 0.3064

petallength mean 4.268 1.464 5.5681 std. dev. 0.4667 0.1718 0.5369

petalwidth mean 1.3303 0.244 2.0348 std. dev. 0.1968 0.1061 0.2665

class Iris-setosa 1 51 1 Iris-versicolor 50.5437 1 1.4563 Iris-virginica 2.3846 1 49.6154 [total] 53.9283 53 52.0717

Clustered Instances

0 52 ( 35%)1 50 ( 33%)2 48 ( 32%)

Log likelihood: -2.21075

likelihood ≈ 0,11

Algoritmos baseados em densidades

DBSCAN (revisão)

Lida bem com clusters de diferentes tamanhos e formas

Não lida bem com clusters de diferentes densidades

Grid-based

Motivação: eficiência Desvantagem: sensível a parâmetros (limiar de

densidade, tamanho de cada célula)

DENCLUE

Generalização do DBSCAN

Maneira mais precisa de calcular densidades

Fonte: Wikipedia

Algoritmos baseados em grafos

Clustering Hierárquico Aglomerativo Matriz de proximidade entre objetos

Clustering Hierárquico Aglomerativo Inicialmente, cada cluster contém um objeto A cada passo, agrupa os dois clusters mais

próximos entre si

Clusters aninhados Dendrograma

3 6 4 1 2 50

Clustering Hierárquico Aglomerativo Proximidade entre clusters?

Sparsification

Variações– Remover arestas com similaridade < limiar– Manter apenas arestas para os k vizinhos mais

próximos de cada nó Vantagens: menos dados a processar; é possível

usar algoritmos de particionamento de grafos

Chameleon

Motivação: modelo local (dinâmico) de cluster

Closeness schemes will merge (a) and (b)

Average connectivity schemes will merge (c) and (d)

Chameleon: Conceitos

Relative closeness (RC) Relative interconnectivity (RI)

Proximidade entre dois clusters:

RI(Ci, C

j) * RC(C

Chameleon: Algoritmo

Construa o grafo dos k vizinhos mais próximos Particione o grafo (algoritmo METIS) repita

– Agrupe os clusters de acordo com RI e RC até não ser possível agrupar clusters

Chameleon: Resultados

Lida bem com diferentes formas, tamanhos e densidades

Assume que o particionamento do grafo produz subclusters

SNN (Shared Nearest Neighbors)

Motivação: dificuldade em tratar alta dimensionalidade e densidades diferentes

“Dois pontos similares aos mesmos pontos são similares entre si” (mesmo se a similaridade original era pequena)

SNN: Algoritmo

Compute o grafo dos k vizinhos mais próximos Se dois pontos x, y não estão ligados,

similaridade(x, y) = 0 Caso contrário, similaridade(x, y) = número de

vizinhos comuns entre x e y

Jarvis-Patrick

Algoritmo– Compute o grafo de similaridade SNN– Remova as arestas com similaridade < limiar– Encontre os componentes conexos do grafo

resultante

Jarvis-Patrick: Resultados

Lida bem com clusters de diferentes densidades, tamanhos e formas

Muito sensível ao parâmetro limiar

limiar = L limiar = L + 1

SNN density

Algoritmo– Compute o grafo de similaridade SNN– Aplique o DBSCAN (Eps, MinPts)

Lida bem com diferentes tamanhos, densidades e formas

SNN density

Cada cluster tem múltiplos pontos representativos Escolhe pontos mais distantes uns dos outros Encolhe os pontos em direção ao centróide Usa amostragem e particionamento para tratar de

forma eficiente grandes volumes de dados

CURE: Algoritmo

Selecione uma amostra aleatória dos dados Particione a amostra em partições de tamanho

igual Agrupe os pontos de cada partição usando o AHC

de CURE Use o AHC de CURE para agrupar os clusters do

passo anterior até restarem apenas K clusters Atribua cada ponto (de fora da amostra) ao cluster

mais próximo

CURE: Resultados

Não lida bem com diferentes densidades Lida bem com outliers

Subspace (CLIQUE)

Motivação: clusters em subespaços CLIQUE: de Agrawal, baseado no Apriori Vantagens e desvantagens do Apriori

– lento

SOM – Mapas auto-organizáveis

Motivação: redução de dimensões, visualização Motivação: vizinhança entre clusters Desvantagem:

– convergência não é garantida– lento

Escalabilidade

Amostragem Particionamento ...

Minimum Spanning TreeOPOSSUM

Características de dados

Alta “dimensionalidade” (procurar termo na álgebra linear)

Muitas instâncias Dados esparsos. Booleano vs. inteiro Outliers ...

Remover este slide?

Sumário

Características de dados e clusters Algoritmos e técnicas

– protótipo– densidade– grafos

Algoritmos escaláveis Considerações finais

Características de clusters

Forma Diferentes tamanhos Diferentes densidades

Rodrigo RochaAnálise de Clustering (tópicos adicionais) 11/11/20081/34 Análise de Clustering:...

Documents

Transcript of Rodrigo RochaAnálise de Clustering (tópicos adicionais) 11/11/20081/34 Análise de Clustering:...

Adicionais e DSR

só adicionais

A Validity Measure for Hard and Fuzzy Clustering Derived from Fisher’s Linear Discriminant

Clustering Electric Load Curves: The Brazilian Experience · José Francisco Moreira Pessanha (CEPEL / UERJ) francisc@cepel.br ... (UERJ / UFF) getlecl@vm.uff.br Clustering Electric

Folhas de problemas adicionais

Clustering com numpy e cython

Riscos adicionais

SESAME: CLUSTERING WITH SEMANTIC SIMILARITY BASED ON ...

a02s03 - Riscos Adicionais

COMENTÁRIOS ADICIONAIS

Clustering Prof. Francisco de A. T. de Carvalho fatc@cin.ufpe.br.

Data Mining - Clustering

(k-means, SOM e hierárquicos) · Clustering •Nos casos onde não são conhecidos os rótulos das classes ou mesmo a quantidade de classes, algoritmos de agrupamento (clustering)

Hierarchical clusteringHierarchical clusteringHierarchical … · 2019. 11. 21. · Hierarchical Clustering • Agglomerative Clustering ... Agglomerative clustering (bottom-up) •

Agrupamentos / Clustering Filipe Wanderley Lima ( fwl@cin.ufpe.br ) fwl@cin.ufpe.br.

4_5 - Anexo - Tópicos Adicionais

Clustering: k-means e Agglomerative · 2014-11-04 · Clustering: k-means e Agglomerative 3 Classificação de Dados - Histórico Desde o homem primitivo, é natural a necessidade

CLUSTERING: UMA REVISÃO AOS ALGORITMOS BÁSICOS HECTOR ENRIQUE DE LA HOZ LEÓN.

Créditos orçamentários e adicionais · Créditos adicionais abertos sem recursos: calcula a diferença entre os créditos adicionais abertos e o superávit financeiro do exercício

Text Clustering Tarcísio Pontes Rafael Anchieta. Roteiro Motivação Introdução Representação de documentos Redução da dimensão Clustering para textos Avaliação.