Redes e sistemas complexosolhar para um mundo em mudança

Francisco Restivo

frestivo@braga.ucp.pt

Sumário

• Análise de redes sociais

– Métricas

– Dinâmicas

• Ferramentas

– NodeXL

– Gephi

• Sistemas complexos

• Desafios

2013-09-25 2

Redes que mudaram o mundo

2013-09-25 3

Mais…

2013-09-25 4

Origem e formação das redes

por Paul Baran, pioneiro da Internet

2013-09-25 5

Os meus amigos no Facebook

2013-09-25 6

Comunidades

2013-09-25 7

Uma rede de jovens

2013-09-25 8

Uma rede de livros (co-leitura)

http://www-personal.umich.edu/~mejn/networks/

2013-09-25 9

Redes e sistemas complexos

2013-09-25 10

A ciência das redes

2013-09-25 11

Network Science (o meu Padlet)

http://padlet.com/wall/networkscience

2013-09-25 12

Redes sociais

• Actores (nós, vértices, etc)

• Relações (lados, arestas, etc)

• Direccionadas ou não direccionadas

– Seguir, gostar, ser amigo, serem co-autores, etc

• Com atributos diversos (actores e relações)

2013-09-25 13

Representação

• Podem ser representadas por matrizes ou por listas de lados, por exemplo

A B C D E

A 0 1 1 1 0

B 1 0 1 0 1

C 0 0 0 1 0

D 0 1 1 0 0

E 1 1 0 0 0

A B

A C

A D

B A

B C

B E

C D

D B

D C

E A

E B

2013-09-25 14

Atributos

• Os nós e os lados podem ter atributos

• Associados a propriedades próprias

• Ou a métricas da rede

2013-09-25 15

Métricas globais

• Número de vértices 5

• Número de lados 11

• Número de componentes 1

• Diâmetro 2

• Densidade 0.55

2013-09-25 16

• Distância ao nó mais distante

A B

D

G

E

C

F

A B C D E F G

ABCDEFG

1 2 1 1 1 23 2 2 2 3

1 1 3 21 2 1

2 23

E(A)=2E(B)=3E(C)=3etc

Excentricidade (de um nó)

2013-09-25 17

A B H

I

J

K

D

G

E

C

F

Diâmetro e raio

• Diâmetro = Máxima excentricidade 5

• Raio = Mínima excentricidade 3

2013-09-25 18

A B

D

G

E

C

F

A B C D E F G

ABCDEFG

1 2 1 1 1 23 2 2 2 3

1 1 3 21 2 1

2 23

|D(1)|=8|D(2)|=9|D(3)|=4

L=(8x1+9x2+4x3)/(8+9+4) L=1.8

Distância média

2013-09-25 19

Métricas dos nós

• Grau

– In/Out

• Centralidade

– Proximidade/distância

– Intermediação

• PageRank

2013-09-25 20

A B

D

G

E

C

F

4 – 4 – 3 – 2 – 1 – 1 - 1

Sequência de graus

2013-09-25 21

4

4

3

2

1

1

1

C= Distância média aos vizinhos

A B H

I

J

K

D

G

E

C

F

N=11

C(G)=1/10(1+2*3+2*3+4+3*5)C(G)=3.2

C(A)=1/10(4+2*3+3*3)C(A)=1.9

C(B)=1/10(2+2*6+2*3)C(B)=2

Centralidade de proximidade

2013-09-25 22

closeness

BC= múmero de caminhos maiscurtos que passam pelo nó.

A B H

I

J

K

D

G

E

C

F

BC(G)=0

N=11

BC(D)=9+7/2=12.5

BC(B)=4*6=24BC(A)=5*5+4=29

Centralidade de intermediação

2013-09-25 23

betweenness

PR=Probabilidade de um visitante visitar o nó.PR=Cada página vota nos seus vizinhos.

A E F

G

H

I

B

K

C

J

D

PR(A)=PR(B)/4 + PR(C)/3 + PR(D)+PR(E)/2O navegador aleatório parará de navegar algures

PR(X)=(1-d)/N + d( PR(y)/k(y))

PageRank

2013-09-25 24

random walker

praça mais visitada

F 2.028

A 1.656

B 1.615

C 1.199

E 0.933

J 0.833

G 0.581

H 0.581

I 0.581

D 0.502

K 0.493

PageRank:

• Vamos explorar NodeXL

• Vale a pena conhecer Gephi (mais avançado)

Software

2013-09-25 25

NodeXL

2013-09-25 26

Experimentar…

• Notar que em NodeXL apenas se introduzem

– Os lados

– Os atributos dos lados

– Os atributos dos vértices (uma vez criados)

• Notar que existem vários separadores na folha

• Respeitar as colunas pré-definidas

• Aprender uma coisa de cada vez…

2013-09-25 27

Distrito de Braga

2013-09-25 28

Mais métricas dos vértices

• Grau

• Centralidade

• Eigenvector

• PageRank

• Clustering

2013-09-25 29

Eigenvector

• Definição recursiva: centralidade de um nó é a soma das centralidades de todos os seusvizinhos

• Corresponde à definição matemática de vector próprio da matriz de adjacências

Ax= x

2013-09-25 30

Matriz de adjacências

2013-09-25

A B H

I

J

K

DG

E

C

F

A B C D E F G H I J K

A 1 1 1 1 1

B 1 1

C 1

D 1 1 1

E 1 1 1

F 1 1

G 1 1

H 1 1 1 1 1

I 1

J 1

K 1

A 0.218

D 0.166

E 0.166

F 0.125

G 0.125

B 0.087

H 0.049

C 0.016

I 0.016

J 0.016

K 0.016

Eigenvector:

31

melhores citações

Eigenfactor

2013-09-25 32

Coeficiente de clustering

• Numa comunidade, há uma certatransitividade:

se A está ligado a B e B está ligado a C, entãoé bastante provável que A esteja ligado a C (amigo do amigo)

• Coeficiente de clustering de um nó

número de ligações entre os seus vizinhos / máximo de ligações possível

2013-09-25 33

Clustering

2013-09-25

A B H

I

J

K

D

G

E

C

F

CA=1/6CC=1/1=1 CE=2/3vizinhos máximo de ligações

2 1

3 3

4 6

k k(k-1)/2

34

Comunidades

• Densidade de rede:

número de lados / máximo número de lados

• Comunidades:

grupos de nós em que a densidade do seu interior é maior que a densidade entre eles

2013-09-25 35

Detecção de comunidades

• Usam-se muitos algoritmos

– Clauset-Newman-Moore

– Wakita-Tsurumi

– Girvan-Newman

2013-09-25 36

Clauset-Newman-Moore

2013-09-25

6 grupos

NodeXL_Europe.xlsx

37

Wakita-Tsurumi

2013-09-25

11 grupos

38

Girvan-Newman

2013-09-25

5 grupos

39

Social Network Importer

2013-09-25 40

Importação de dados no NodeXL

2013-09-25 41

Facebook fan page

2013-09-25 42

Visualização de comunidades

2013-09-25 43

Grupos misturados

2013-09-25 44

Grupos separados

2013-09-25 45

Ligações entre grupos

2013-09-25 46

Layouts

• Podem ou não ser essenciais para a compreensão das redes

2013-09-25 47

Fruchterman-Reingold

2013-09-25 48

Harel-Koren

2013-09-25 49

Circle

2013-09-25 50

Gephi

2013-09-25 51

Formatos suportados por Gephi

• GEXF• GDF• GML• GraphML• Pajek NET• GraphViz DOT• CSV• UCINET DL• Tulip TPL• Netdraw VNA• Spreadsheet

2013-09-25 52

Dinâmicas das redes

• Redes como sistemas

• Entrada / saída

• Tempo / frequência

2013-09-25 53

x(t) y(t) = h(t) * x(t)

X(j ) Y(j ) = H(j ).X(j )

Complexidade

• As colónias de insectos

• O cérebro

• O sistema imunitário

• O mercado

• A World Wide Web

Sistemas constituídos por um grande número de unidades muito simples, de onde emerge “inteligência”, “consciência”, uma vida própria

2013-09-25 54

Sistemas complexos

• Sistemas baseados em redes de componentes

• Sem controlo central

• Com regras de operação simples

• Um sistema de informação sofisticado

• Capacidade de adaptação por aprendizagem ouevolução

• Comportamentos emergentes

• Auto-organização

2013-09-25 55

Pode medir-se a complexidade?

• Há várias propostas

• Ainda não há uma ciência/teoria dacomplexidade

• Estão-se a definir os conceitos básicos: informação, computação, ordem, vida …

2013-09-25 56

Santa Fe Institute

2013-09-25 57

Organizações

• São sistemas complexos

• Com um grande dilema

– Centralizar / descentralizar

– Conservar / inovar

• No mundo global

2013-09-25 58

Detecção de situações anormais

• Alterações climáticas

• Mudanças de hábitos de consumo

• Segurança

• O padrão escondido por detrás de tudo o quefazemos…

2013-09-25 59

BarabasiLab

2013-09-25 60

AmaralLab

2013-09-25 61

Luís Bettencourt

2013-09-25 62

FAS.Research

2013-09-25 63

Cases Gallery

2013-09-25 64

Visual Complexity

2013-09-25 65

Wolfram World

2013-09-25 66

Wolfram|Alpha personal analytics

2013-09-25 67

Pew Research Center

2013-09-25 68

Networks, Crowds and Markets

2013-09-25 69

2013-09-25 70

2013-09-25 71

2013-09-25 72

2013-09-25 73

2013-09-25 74

Há aqui muitos desafios

• Estudar um tópico

– Detecção de comunidades

– Desconvolução (onde começou?)

• Estudar uma rede grande

– Há muitos datasets disponíveis

– Stanford Large Network Dataset Collection

– Tore Opsahl’s Datasets

– Gephi sample datasets

2013-09-25 75

FIMFrancisco Restivofrestivo@braga.ucp.pt

sites.google.com/site/frestivo