Predição de Links em Redes Complexas usando o Classificador Naïve Bayes

27
UNIVERSIDADE DE S ˜ AO PAULO ORLANDO DA SILVA JUNIOR PREDI ¸ C ˜ AO DE LINKS EM REDES COMPLEXAS USANDO O CLASSIFICADOR NA ¨ IVE BAYES ao Paulo – SP 2015

Transcript of Predição de Links em Redes Complexas usando o Classificador Naïve Bayes

UNIVERSIDADE DE SAO PAULO

ORLANDO DA SILVA JUNIOR

PREDICAO DE LINKS EM REDES

COMPLEXAS USANDO O

CLASSIFICADOR NAIVE BAYES

Sao Paulo – SP

2015

UNIVERSIDADE DE SAO PAULO

ESCOLA POLITECNICA

Pos-graduacao em Engenharia Eletrica

Doutorado em Engenharia Eletrica

Orlando da Silva Junior

PREDICAO DE LINKS EM REDES

COMPLEXAS USANDO O

CLASSIFICADOR NAIVE BAYES

Monografia apresentada a Universidade de Sao Paulo como

parte dos requisitos requisitos necessarios para a obtencao de

creditos no curso de Tecnicas de Raciocınio Probabilıstico em

Inteligencia Artificial, ministrada pelo Prof. Dr. Paulo Sergio

Cugnasca.

Sao Paulo – SP

2015

Resumo

As redes complexas sao aplicaveis em diversas areas do conhecimento: das ciencias

humanas, para a investigacao dos comportamentos humanos, as ciencias exatas, para

aplicacoes de uso pratico. Uma das tarefas aplicaveis em redes complexas e a predicao

de links, que busca obter a probabilidade das associacoes futuras entre as entidades

de uma rede. Mais recentemente, tem-se empregado o uso de tecnicas de aprendi-

zado supervisionado para a resolucao desse problema. Neste trabalho e estudada a

aplicacao da tecnica supervisionada Naıve Bayes para a predicao de links em redes

complexas.

Palavras-chave: predicao de links, redes complexas, naıve bayes.

i

Lista de Figuras

2.1 Diagrama para a construcao do conjunto de dados preditivo. . . . . . 5

4.1 Distribuicao dos graus das redes utilizadas neste trabalho. . . . . . . 12

5.1 Taxa de erro do classificador naıve Bayes. . . . . . . . . . . . . . . . . 17

ii

Lista de Tabelas

4.1 Medidas estatısticas das redes. . . . . . . . . . . . . . . . . . . . . . . 14

iii

Sumario

1 INTRODUCAO 1

1.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 PREDICAO DE LINKS 4

2.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.2 Metodos Preditivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3 CLASSIFICADOR NAıVE BAYES 8

3.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3.2 Aprendizado com Naıve Bayes . . . . . . . . . . . . . . . . . . . . . . 9

4 ABORDAGEM EXPERIMENTAL 11

4.1 Conjuntos de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

4.2 Modelagem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.3 Avaliacao de Desempenho . . . . . . . . . . . . . . . . . . . . . . . . 14

5 RESULTADOS E DISCUSSAO 16

6 CONCLUSAO 18

REFERENCIAS 19

iv

Capıtulo 1

INTRODUCAO

As redes complexas sao aplicaveis em diversas areas do conhecimento. Nas cien-

cias humanas, elas tem sido utilizadas para conceituar e investigar o comportamento

das relacoes existentes entre os indivıduos. Ja nas ciencias exatas, as redes comple-

xas tem sido aplicadas principalmente na descoberta de padroes de interacao entre

mesmos ou diferentes objetos [Silva-Junior e Lorena, 2013].

Uma rede complexa pode ser vista como um grafo constituıdo por um conjunto de

itens, chamados nos ou vertices, com conexoes entre eles, chamadas arestas.[Newman,

2003]. Enquanto os nos podem representar pessoas, grupos, organizacoes ou disposi-

tivos, as arestas podem expressar alguma forma de interacao entre esses itens, como

amizade, rivalidade ou algum tipo de transferencia de informacao. Por exemplo,

em uma rede de coautorias, e comum observar que os nos representam autores de

publicacoes cientıficas e as arestas representam a coautoria daqueles autores em de-

terminadas publicacoes.

Recentemente, as pesquisas em redes tem se focado na analise das conexoes entre

as entidades, que, frequentemente, exibem padroes que podem indicar propriedades

1

acerca dos dados, como a importancia ou a categoria do objeto [Getoor e Diehl,

2005]. Um dos problemas que tem ganhado destaque nessa categoria e a predicao

de links, que trata de predizer a existencia de uma conexao entre duas entidades

observando os atributos dos objetos ou suas conexoes. A maior parte das solucoes

obtem a probabilidade de associacoes futuras entre todos os pares de nos da rede,

indicando o grau de seguranca com que os nos serao conectados em um instante de

tempo futuro. Em geral, para a resolucao desse problema sao empregados algoritmos

que estimam escores ou pesos para todos pares de vertices no grafo, predizendo os

links com base no valor desses pesos [Liben-Nowell e Kleinberg, 2007]. Esses metodos

sao tambem referenciados como nao-supervisionados [Lu et al., 2010].

No entanto, ja mostrou-se [Lichtenwalter et al., 2010] que os metodos nao supervi-

sionados sao incapazes de lidar a dinamica nas redes, alem de capturar importantes

relacionamentos interdependentes entre as propriedades topologicas de uma rede.

Muitos estudos tem adotado uma abordagem supervisionada para uma analise mais

detalhada da estrutura da rede. Nessa abordagem, sao empregados algoritmos de

aprendizado de maquina [Hasan et al., 2006, Silva-Junior et al., 2013], que se tor-

nam capazes de capturar o relacionamento dinamico entre as propriedades da rede e

conseguem trabalhar com varios escores simultaneamente.

Um dos algoritmos supervisionados mais simples e populares e o naıve Bayes,

que se baseia no teorema de Bayes para realizar inferencias. O algoritmo e facil de

implementar e, em alguns domınios, seus resultados sao comparaveis a tecnicas mais

sofisticadas, como redes neurais.

2

1.1 Objetivos

O objetivo geral deste trabalho e estudar a aplicacao da tecnica naıve Bayes na

predicao de novos links em redes complexas. Sao objetivos especıficos deste traba-

lho a descricao das ferramentas de predicao de links em redes complexas, o estudo

aprofundado do naıve Bayes e a aplicacao e validacao da tecnica supervisionada em

conjunto de dados que represente uma rede complexa.

3

Capıtulo 2

PREDICAO DE LINKS

2.1 Introducao

Em problemas de predicao de links e dada uma rede complexa representada por

um grafo do tipo G = (V,E), onde V e o conjunto de nos e E e o conjunto de arestas

da rede. Cada aresta em E e do tipo e = (u, v) e representa um par de nos (u, v),

tal que u e v fazem parte do conjunto de vertices V de G.

O conjunto de dados formado para a tarefa preditiva e construıdo com represen-

tacoes de links que se formam, chamados links positivos, e links que nao se formam,

chamados links negativos [Silva-Junior e Lorena, 2013]. Alem disso, os exemplos do

conjunto descrevem uma rede e suas conexoes em um intervalo de tempo δt, que sera

utilizado pelos preditores para inferir as conexoes em ∆t+ σ.

A Figura 2.1 ilustra o metodo empregado na construcao do conjunto preditivo

para a predicao de novos links. O conjunto universo e formado de todas as arestas que

podem existir entre os nos do grafo formado pelo instante inicial #1, que representa

o conjunto de nos presentes no intervalo ∆t. O grafo do instante #2 representa o

4

conjunto das arestas presentes na rede do intervalo seguinte. O conjunto binario

U −X e, entao, formado do seguinte modo: em Y −X estao os links positivos e em

U − (X + Y ) estao os links negativos.

Figura 2.1: Diagrama para a construcao do conjunto de dados preditivo.

Embora a predicao de links seja tratada tradicionalmente como um problema bi-

nario e temporal, nem sempre essas caracterısticas sao observadas na rede. Em geral,

tem-se apenas uma rede, que e particionada por algum metodo amostral para criar

os instantes #1 e #2. Segue-se, entao, a abordagem apresentada para a construcao

do conjunto de dados.

Para avaliar o preditor, o conjunto de dados e dividido em dois subconjuntos:

treinamento e validacao. No subconjunto de treinamento e empregado o metodo

preditivo que ira computar a probabilidade de cada par de nos. O subconjunto de

validacao e utilizado para verificar a acuracia do algoritmo em predizer corretamente

os novos links. Em geral, a taxa preditiva do algoritmo e fornecida pela precisao, que

5

e dada pela relacao entre os links positivos preditos corretamente e todos os links

preditos como positivos [Lu e Zhou, 2011]. Neste trabalhou optou-se por utilizar

a taxa de erro total do classificador, que e dada pela proporcao inversa entre a

quantidade de links e a soma dos links negativos preditos como positivos e dos links

negativos preditos como positivos.

Uma caracterıstica inerente do problema e o alto desbalanceamento na proporcao

de links positivos e links negativos [Shibata et al., 2012]. A existencia de exemplos

negativos e usualmente muito maior que de exemplos positivos. Um conjunto de

dados e considerado desbalanceado se cada classe nao esta representada de modo

aproximado. Isso acontece porque, muitas vezes, as entidades da rede nao estabele-

cem conexoes de fato [Silva-Junior, 2014].

2.2 Metodos Preditivos

Os metodos empregados no problema de predicao de links sao preditores elabo-

rados por algoritmos que atribuem que calculam e atribuem escores aos pares de

vertices existentes de um grafo. O escore representa a probabilidade de um determi-

nado par de vertices estar conectado. Para calcular essa probabilidade, os algoritmos

podem ser baseados no grau do no, na sua vizinhanca com outros nos ou no cami-

nho entre pares de nos [Lu e Zhou, 2011]. Este trabalho adota tres preditores: dois

baseados na vizinhanca e um baseado no caminho.

Nos algoritmos listados a seguir, Γ(x) define o conjunto de vizinhos do no x, ou

Γ(x) = {y | y ∈ V, (a, b) ∈ E} [Silva-Junior, 2014]:

6

• Indice de Jaccard: calcula a similaridade entre diferentes conjuntos de amos-

tras e e expresso como:

Jaccard(u, v) =|Γ(u) ∩ Γ(v)||Γ(u) ∪ Γ(v)|

(2.1)

• Coeficiente de Adamic/Adar: define um escore de similaridade entre dois

nos por meio da ponderacao dos vizinhos comuns mais raros e com maior peso.

E obtido por meio da seguinte equacao:

Adamic/Adar(u, v) =∑

w ∈ Γ(u)∩Γ(v)

1

log |Γ(w)|(2.2)

• Metrica Katz (KZ): e uma medida que aprimora o calculo do caminho mais

curto entre dois nos realizando a soma direta ponderada de todos os caminhos

entre os nos. E computada pelo calculo da equacao seguinte, onde paths〈l〉x,y e

o conjunto de todos os caminhos de tamanho l entre o no u e o no v e β e um

parametro definido pelo usuario que auxilia no calculo dos caminhos:

Katz(u, v) =∞∑l=1

βl · |paths〈l〉u,v| (2.3)

7

Capıtulo 3

CLASSIFICADOR NAIVE

BAYES

3.1 Introducao

O classificador naıve Bayes e um dos metodos probabilısticos mais simples de

aprendizado supervisionado. Ele e baseado no teorema de Bayes sobre probabili-

dades condicionais e assume que os atributos de entrada do conjunto de dados sao

independentes entre si. Em alguns domınios, naıve Bayes e comparavel a outras

tecnicas mais sofisticadas, como arvores de decisao e redes neurais, alem de ser bas-

tante apropriado em contextos de alta dimensionalidade, ou seja, onde o espaco de

atritubos e alto e torna a estimacao de densidade pouco atrativa [Hastie et al., 2009].

O teorema de Bayes, apresentado na Equacao 3.1, fornece um metodo direto para

calcular a probabilidade de uma hipotese baseada na sua probabilidade a priori, na

probabilidade de observacao dos dados dada a hipotese e na propria probabilidade

dos dados observados [Mitchell, 1997].

8

P (A|B) =P (B|A)P (A)

P (B)(3.1)

Os algoritmos de aprendizado desenvolvidos para o naıve Bayes sao simples e

faceis de implementar. Em geral, a tecnica e categorizada como um metodo de

aprendizado supervisionado. Nesse paradigma, o algoritmo aprende a partir de um

conjunto de dados pre-classificados e o modelo obtido e utilizado na classificacao

de novos dados, ainda nao vistos pelo algoritmo. Assim como nos demais metodos

supervisionados, o naıve Bayes trabalha com uma etapa de inducao, que utiliza dados

de um conjunto de treinamento para aprender hipoteses que relacionem os atributos

de entrada com seus respectivos atributos de saıda. Quando o algoritmo aprende uma

hipotese valida tambem para outros dados, diz-se que essa hipotese possui capacidade

de generalizacao [Faceli et al., 2011].

3.2 Aprendizado com Naıve Bayes

A ideia base do aprendizado com naıve Bayes e assumir que os valores dos atri-

butos de entrada sao independentes entre si dada a classe que lhes pertence. Desse

modo, a probabilidade P (~x|yi) de um exemplo ~x pertencer a classe yi pode ser de-

composta em um produto de probabilidades, sendo reescrita da seguinte maneira:

P (~x|yi) = P (~x1, ~x2, . . . , ~xn|yi) =n∏

j=1

P (~xj|yi) (3.2)

Utilizando o teorema de Bayes na expressao anterior, obtem-se as seguintes ex-

pressoes:

9

P (~x|yi) =P (yi|~x)P (~x)

P (yi)(3.3)

P (~x|yi)P (yi) = P (yi|~x)P (~x) (3.4)

Considerando que o termo P (~x) da equacao 3.4 e uma constante independente

de yi, a probabilidade de um exemplo pertencer a classe yi torna-se proporcional a

expressao:

P (yi|~x) ∝ P (yi)n∏

j=1

P (~xj|yi) (3.5)

O metodo de aprendizado do naıve Bayes envolve uma etapa na qual P (yi) e

P (~xj|yi) sao estimados com base na frequencia de cada um sobre o conjunto de trei-

namento. O resultado dessas estimativas corresponde as hipoteses aprendidas, que

sao usadas na classificacao de novos exemplos pela aplicacao da regra da Equacao

3.6, que corresponde ao classificador naıve Bayes. A formula adotada pelo classifica-

dor usa a tecnica MAP (maximum a posteriori), que maximiza a probabilidade de o

algoritmo encontrar a hipotese mais provavel dado o conjunto de treinamento.

yMAP = arg maxiP (yi|~x) (3.6)

10

Capıtulo 4

ABORDAGEM EXPERIMENTAL

A abordagem experimental empregada neste trabalho e baseada na metodologia

exposta em [Silva-Junior, 2014], que apresenta um arcabouco para a predicao de

fluxos em redes de computadores, utilizando os escores predivitos como atributos de

entrada em diversas tecnicas de aprendizado supervisionado. As principais etapas

desse arcabouco podem ser aplicaveis neste trabalho do seguinte modo: dado um

conjunto de dados formado por pares de nos de duas redes complexas, o problema

da predicao de links pode ser tratado pelo calculo das probabilidades de diversos

preditores para cada par de nos. O calculo indica o ındice do par de nos estar formado

na segunda rede. Utilizando um conjunto de probabilidades independentes entre si, o

problema tambem pode ser resolvido pela aplicacao da tecnica supervisionada naıve

Bayes, que adota os preditores como atributos de entrada e representa de maneira

binaria a formacao do par de nos no atributo de saıda. O preditor bayesiano e

avaliado conforme sua taxa de erro.

11

4.1 Conjuntos de Dados

Figura 4.1: Distribuicao dos graus das redes utilizadas neste trabalho.

Os dados utilizados nos experimentos deste trabalho foram gerados de maneira

sintetica para facilitar a conducao da investigacao e torna-la abrangente a qualquer

domınio que tenha como base a mesma estrutura subjacente. Adotou-se o modelo

Erdos-Renyi [Erdos e Renyi, 1959] para a construcao das redes, que gera um grafo

aleatorio do tipo G(n, p), em que n e a quantidade de nos do grafo e p e a probabili-

dade de uma determinada aresta existir no grafo. Empregou-se n = 100 e p = 0, 15

12

para duas redes deste trabalho, que representam os instantes #1 e #2 no tempo. A

Tabela 4.1 mostra as seguintes caracterısticas das redes nos dois instantes:

• Numero de nos: quantidade de entidades da rede;

• Numero de arestas: quantidade de conexoes existentes entre as entidades;

• Grau medio: e media dos graus de todos os nos da rede. A Figura 4.1

ilustra a conectividade da rede por meio da distribuicao dos graus conforme a

quantidade de nos presentes;

• Diametro: corresponde ao maior valor do caminho mınimo entre dois nos;

• Densidade: e a proporcao entre a quantidade de arestas presentes na rede e

o numero maximo possıvel de arestas que poderiam ser formadas. Se uma rede

possui uma alta densidade, ela e considerada uma rede densa, tendendo a ter

todos os seus nos conectados;

• Assortatividade: indica a tendencia da rede em encontrar nos altamente

conectados que estao conectados uns com os outros. Valores negativos indicam

que nos com alto grau tendem a se conectar com nos de baixo grau. Coeficientes

positivos indicam que nos com graus semelhantes tendem a se conectarem.

4.2 Modelagem

A primeira etapa pre-predicao consistiu na formatacao das redes para adequa-las

a formulacao tradicional do problema. A rede do instante #1 e chamada de conjunto

de treinamento e a rede do instante #2 e chamada de rede de validacao, conforme

modelagem descrita no Capıtulo 2. O conjunto de dados preditivo resultante da

13

Tabela 4.1: Medidas estatısticas das redes.

Instante #1 Instante #2

Nos 100 100Arestas 722 807Grau Medio Total 14,44 16,14Diametro 3 3Densidade 0,146 0,163Assortatividade 0,013 -0,045

modelagem originou 4228 pares de nos, constituindo 4186 links que se formam (po-

sitivos) e 42 links que nao se formam (negativos). A princıpio, observa-se uma alta

desproporcao entre exemplos positivos e negativos, que e resultante das caracterıs-

ticas das redes construıdas e do criterio de modelagem adotado, que nao segue o

comumente empregado em aplicacoes reais [Hasan et al., 2006, Lichtenwalter et al.,

2010, Lichtnwalter e Chawla, 2012].

Por fim, ao conjunto de preditivo, foram acrescentadas as probabilidade de cada

preditor. Para todos os exemplos foram computados os valores tendo como base a

rede do instante #1. Para o preditor Katz, os valores foram calculados observando

cada no individulamente, e nao o par de nos, como nos demais preditores.

4.3 Avaliacao de Desempenho

A avaliacao de desempenho consistiu no calulo da taxa de erro do naıve Bayes,

que e calculada pela soma de falsos positivos e falsos negativos dividida pela quanti-

dade total de exemplos do conjunto. Em razao da existencia de apenas um conjunto

preditivo, empregou-se tambem um metodo de amostragem para obter estimativas

mais otimistas em relacao ao conjunto de dados. O conjunto foi amostrado pelo

metodo da Validacao Cruzada [Lu e Zhou, 2011], que particiona o conjunto de dados

14

em K subconjuntos de tamanho aproximadamente igual. Enquanto os K − 1 pri-

meiros subconjuntos sao designados como um unico conjunto de treinamento para o

algoritmo aprendiz, o subconjunto restante e designado como conjunto de teste. Esse

processo e repetido K vezes, alternando o conjunto de teste. Este trabalho adotou

K = 10 para os experimentos.

15

Capıtulo 5

RESULTADOS E DISCUSSAO

Neste capıtulo sao apresentados e discutidos os resultados dos experimentos rea-

lizados.

A Figura 5.1 apresenta a taxa de erro do classificador naıve Bayes nos 10 subcon-

juntos de treinamento particionados pelo metodo da Validacao Cruzada. A media

aritmetica do classificador nos 10 subconjuntos e igual a 0, 009935240 e o desvio pa-

drao e equivalente a 0, 006676565. Em outras palavras, a taxa de erro do classificador

e menor que 1%.

Tanto os valores dos subconjuntos quanto a media geral deles mostram que o

algoritmo e bastante eficicente para a predicao de links em redes aleatorias. Do ponto

de vista da predicao de links, o bom desempenho e obtido em razao da configuracao

topologica da rede adotada e dos algoritmos de escore empregados, que permitem

determinar com alta precisao quais conexoes se formarao no instante futuro.

Alguns trabalhos [Lichtenwalter et al., 2010, Lu et al., 2010, Silva-Junior et al.,

2014] ja haviam observado a superioridade das tecnicas de aprendizado de maquina

para o problema da predicao de links. Como mostrado experimentalmente neste

16

Figura 5.1: Taxa de erro do classificador naıve Bayes.

trabalho, uma das principais vantagens das tecnicas supervisionadas e a combinacao

de diferentes algoritmos de escore para o alcance de uma taxa de erro preditiva menor,

colaborando tanto para a selecao do preditor mais eficiente quanto para a predicao

de novos dados.

17

Capıtulo 6

CONCLUSAO

Este trabalho estudou a aplicacao da tecnica naıve Bayes na predicao de novos

links em redes complexas. Duas redes aleatorias sinteticas foram modeladas como

um problema de predicao de links e a taxa de erro foi obtida para o classificador

gerado pela tecnica supervisionada. Os resultados indicam que o naıve Bayes e um

algoritmo promissor para a resolucao de problemas de conexoes em redes complexas.

Os trabalhos futuros incluem a adocao de mais preditores e tambem a observacao de

redes complexas do mundo real.

18

Referencias

[Erdos e Renyi, 1959] Erdos, P. e Renyi, A. (1959). On random graphs, I. Publica-

tiones Mathematicae (Debrecen), 6:290–297. Citado em [12].

[Faceli et al., 2011] Faceli, K., Lorena, A. C., Gama, J., e de Carvalho, A. C. (2011).

Inteligencia Artificial: Uma Abordagem de Aprendizado de Maquina. LTC, Rio de

Janeiro. Citado em [9].

[Getoor e Diehl, 2005] Getoor, L. e Diehl, C. P. (2005). Link mining: a survey.

SIGKDD Explor. Newsl., 7(2):3–12. Citado em [2].

[Hasan et al., 2006] Hasan, M. A., Chaoji, V., Salem, S., e Zaki, M. (2006). Link

prediction using supervised learning. In In Proc. of SDM 06 workshop on Link

Analysis, Counterterrorism and Security. Citado em [2, 14].

[Hastie et al., 2009] Hastie, T., Tibshirani, R., Friedman, J., Hastie, T., Friedman,

J., e Tibshirani, R. (2009). The elements of statistical learning. Number 1 in

Springer Series in Statistics. Springer. Citado em [8].

[Lu e Zhou, 2011] Lu, L. e Zhou, T. (2011). Link prediction in complex networks: A

survey. Physica A: Statistical Mechanics and its Applications, 390(6):1150 – 1170.

Citado em [6, 14].

19

[Liben-Nowell e Kleinberg, 2007] Liben-Nowell, D. e Kleinberg, J. (2007). The link-

prediction problem for social networks. Journal of the American Society for In-

formation Science and Technology, 58(7):1019–1031. Citado em [2].

[Lichtenwalter et al., 2010] Lichtenwalter, R. N., Lussier, J. T., e Chawla, N. V.

(2010). New perspectives and methods in link prediction. In Proceedings of the

16th ACM SIGKDD international conference on Knowledge discovery and data

mining, KDD ’10, p. 243–252, New York, NY, USA. ACM. Citado em [2, 14, 16].

[Lichtnwalter e Chawla, 2012] Lichtnwalter, R. e Chawla, N. (2012). Link prediction:

Fair and effective evaluation. In Advances in Social Networks Analysis and Mining

(ASONAM), 2012 IEEE/ACM International Conference on, p. 376–383. Citado

em [14].

[Lu et al., 2010] Lu, Z., Savas, B., Tang, W., e Dhillon, I. S. (2010). Supervised link

prediction using multiple sources. In Proceedings of the 2010 IEEE International

Conference on Data Mining, ICDM ’10, p. 923–928, Washington, DC, USA. IEEE

Computer Society. Citado em [2, 16].

[Mitchell, 1997] Mitchell, T. M. (1997). Machine Learning. McGraw-Hill Sci-

ence/Engineering/Math. Citado em [8].

[Newman, 2003] Newman, M. E. J. (2003). The structure and function of complex

networks. SIAM REVIEW, 45:167–256. Citado em [1].

[Shibata et al., 2012] Shibata, N., Kajikawa, Y., e Sakata, I. (2012). Link prediction

in citation networks. Journal of the American Society for Information Science and

Technology, 63(1):78–85. Citado em [6].

20

[Silva-Junior, 2014] Silva-Junior, O. (2014). Investigacao de predicao de fluxos em

redes de computadores. Dissertacao de Mestrado, Universidade Federal do ABC.

Citado em [6, 11].

[Silva-Junior e Lorena, 2013] Silva-Junior, O. e Lorena, A. C. (2013). Aprendizado

de maquina supervisionado na predicao de links em redes complexas - uma revi-

sao sistematica. Technical Report 01/2013, Universidade Federal do ABC, Santo

Andre, Brasil. Citado em [1, 4].

[Silva-Junior et al., 2013] Silva-Junior, O., Lorena, A. C., e Kamienski, C. A. (2013).

Predicao de links em redes p2p. In Anais do I Simposio da Pos-graduacao da

Universidade Federal do ABC, Santo Andre, Brasil. Citado em [2].

[Silva-Junior et al., 2014] Silva-Junior, O., Lorena, A. C., e Kamienski, C. A. (2014).

Predicao de fluxos em redes de computadores. In XXXII Simposio Brasileiro de

Redes de Computadores e Sistemas Distribuıdos. Citado em [16].

21