04/21/23 MD - Prof. Paulemir Campos 1

UPE – Caruaru – Sistemas de InformaçãoDisciplina: Mineração de DadosProf.: Paulemir G. Campos

Redes Neurais Artificiais(Parte 2)

04/21/23 MD - Prof. Paulemir Campos 2

Roteiro da Aula Redes Neurais Artificiais (RNAs):

Principais Modelos Conexionistas e Aplicações

Referências.

04/21/23 MD - Prof. Paulemir Campos 3

Principais Modelos Conexionistas e Aplicações

04/21/23 MD - Prof. Paulemir Campos 4

Introdução Há vários tipos de Redes Neurais

Artificiais (RNAs); As principais RNAs são:

MLP (Multilayer Perceptron); RBF (Radial Basis Function); ART (Adaptive Resonance Theory); SOM (Self-Organizing Maps); Redes Recorrentes; e, Redes Fuzzy.

04/21/23 MD - Prof. Paulemir Campos 5

Redes MLP As Redes MLP (Multilayer

Perceptron) geralmente são constituídas por:

uma camada de entrada; uma ou mais camadas escondidas; e, uma camada de saída.

04/21/23 MD - Prof. Paulemir Campos 6

Redes MLP

Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas

04/21/23 MD - Prof. Paulemir Campos 7

Redes MLP Redes MLP são treinadas usando

aprendizado supervisionado;

O algoritmo back-propagation é o mais popular utilizado no treinamento de redes MLP;

04/21/23 MD - Prof. Paulemir Campos 8

Redes MLP O funcionamento do algoritmo back-

propagation consiste de duas fases: a fase para frente: os pesos das conexões

são mantidos fixos e propaga-se os valores dos nodos de entrada, camada-a-camada, para obter-se a saída da rede;

a fase para trás: os pesos das conexões são ajustados, da camada de saída para a camada de entrada, de acordo com o erro (diferença entre a saída da rede e a saída desejada) atingido pela rede.

04/21/23 MD - Prof. Paulemir Campos 9

Redes MLP Aplicações:

Redes MLP treinadas com o algoritmo back-propagation foram aplicadas na solução de vários problemas difíceis, como:

Diagnóstico médico; Detecção de falhas mecânicas; Previsão de séries temporais, etc.

04/21/23 MD - Prof. Paulemir Campos 10

Redes RBF Uma rede RBF (Radial Basis Function) é

do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas:

Camada de entrada: composta pelos atributos de entrada de um conjunto de dados;

Uma única camada escondida: formada por funções de base radial, geralmente Gaussiana, responsáveis por efetuar uma transformação não-linear do espaço de entrada para o espaço da camada escondida;

04/21/23 MD - Prof. Paulemir Campos 11

Redes RBF Uma rede RBF (Radial Basis Function) é

do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas (Cont.):

E, camada de saída: fornece a resposta da rede, resultante de uma combinação linear (somatório, por exemplo) do produto dos valores de saída dos nodos escondidos pelos seus respectivos pesos com o nodo da camada de saída.

04/21/23 MD - Prof. Paulemir Campos 12

Redes RBF

Arquitetura de uma Rede RBF

Onde:x é o vetor de entrada;i são as m funções de base radial de cada nodo escondido;e wi os pesos de cada nodo escondido com o nodo de saída.

04/21/23 MD - Prof. Paulemir Campos 13

Redes RBF Aplicações:

As redes RBF foram primeiramente utilizadas na solução de problemas de interpolação multivariado;

Atualmente, a aplicação de redes RBF em análise numérica tornou-se um significativo campo de pesquisas.

04/21/23 MD - Prof. Paulemir Campos 14

Redes ART As redes ART (Adaptive Resonance

Theory), diferentemente das redes MLP e RBF, empregam aprendizado não-supervisionado de forma competitiva para gerar clusters (agrupamentos) a partir do conjunto de dados de entrada.

04/21/23 MD - Prof. Paulemir Campos 15

Redes ART Aprendizado em redes ART:

Em função do grau de similaridade entre um padrão de entrada e os padrões contidos nos clusters da rede, um cluster é escolhido e apenas os seus pesos são ajustados;

Caso esse grau de similaridade não supere um certo limiar, de modo que nenhum cluster seja ativado, um novo cluster é criado para acomodar o padrão da entrada da rede.

04/21/23 MD - Prof. Paulemir Campos 16

Redes ART

Arquitetura Básica de uma Rede ART1

Onde:F1-a é a camada de entrada;F1-b é a camada de interface;F2 é a camada de clusters ou camada de saída;R (reset) é um nodo para controlar o grau de similaridade dos padrões localizados num mesmo cluster;G1 e G2 são nodos conectados às camadas F1 e F2 da rede para prover um controle do processo de aprendizagem

04/21/23 MD - Prof. Paulemir Campos 17

Redes ART Aplicações de Alguns Modelos:

Rede ART1: processa apenas padrões de entrada binários;

Rede ART2: capaz de processar padrões de entrada com valores contínuos;

Rede ARTMAP: uma rede mais sofisticada que permite aprendizado incremental supervisionado.

04/21/23 MD - Prof. Paulemir Campos 18

Redes SOM Uma rede SOM (Self-Organizing

Maps) ou Mapas de Kohonen é identificada pela formação de um mapa topográfico dos padrões de entrada;

As localizações espaciais dos nodos disparados neste mapa são um indicativo de características estatísticas intrínsecas contidas nos padrões de entrada.

04/21/23 MD - Prof. Paulemir Campos 19

Redes SOM Semelhante às redes ART, as redes

SOM são baseadas numa aprendizagem não-supervisionada competitiva, em que os nodos da camada de saída competem entre si resultando em apenas um nodo vencedor (winner takes all neuron).

04/21/23 MD - Prof. Paulemir Campos 20

Redes SOM O principal objetivo de uma rede

SOM é transformar os sinais de um padrão de entrada de dimensão arbitrária num mapa discreto uni ou bidimensional;

Por esta razão, as redes SOM também são denominadas mapas de características.

04/21/23 MD - Prof. Paulemir Campos 21

Redes SOM

Arquitetura de uma Rede SOM Bidimensional

04/21/23 MD - Prof. Paulemir Campos 22

Redes SOM Aplicações:

As redes SOM foram bem aplicadas na solução de problemas como:

geração de música por computador; reconhecimento de caracteres; seleção de características; e, no bem conhecido problema do

caixeiro viajante (traveling salesman problem).

04/21/23 MD - Prof. Paulemir Campos 23

Redes Recorrentes São RNAs com um ou mais

caminhos de realimentação (feedback loops);

Por exemplo, considerando-se uma rede MLP, várias arquiteturas de redes recorrentes podem ser obtidas construindo-se caminhos de realimentação dos nodos de saída e/ou dos nodos escondidos para os nodos de entrada.

04/21/23 MD - Prof. Paulemir Campos 24

Redes Recorrentes

Os caminhos de realimentação habilitam as redes recorrentes a registrarem temporariamente estados definidos pelos espaços de entrada e saída da rede.

04/21/23 MD - Prof. Paulemir Campos 25

Redes Recorrentes Redes Recorrentes são utilizadas

basicamente com duas finalidades: Memórias Associativas:

Redes de Hopfield; e, BAM (Bidirectional Associative

Memory). Redes de Mapeamento Entrada-Saída:

Redes NARX; Rede de Elman; MLP Recorrente; e, Rede Recorrente de Segunda Ordem.

04/21/23 MD - Prof. Paulemir Campos 26

Redes Recorrentes Aplicações:

Redes Recorrentes são bastante úteis em diversas aplicações, como:

modelagem e predição não-linear; equalização adaptativa de canais de

comunicação; processamento de voz; e, diagnóstico de motores automotivos.

04/21/23 MD - Prof. Paulemir Campos 27

Redes Fuzzy Compreende todas as redes

neurais que empregam conceitos da lógica fuzzy em sua concepção;

Usualmente, redes fuzzy apresentam a topologia de uma rede MLP direta com pesos, propagação e funções de ativação diferentes de redes comuns ou não-fuzzy.

04/21/23 MD - Prof. Paulemir Campos 28

Redes Fuzzy Por exemplo, a seguir é

apresentada uma rede fuzzy com três camadas onde: suas unidades usam operadores de

conjuntos fuzzy (união ou interseção) ao invés das funções de ativação normalmente utilizadas por RNAs;

os pesos são conjuntos fuzzy; e, a camada escondida representa

regras fuzzy.

04/21/23 MD - Prof. Paulemir Campos 29

Redes Fuzzy

Exemplo de Rede Fuzzy

Onde:

1(1), 2

(1) e 3(1) representam

conjuntos fuzzy definidos para a entrada x1

1(2), 2

(2) e 3(2) representam

conjuntos fuzzy definidos para a entrada x2

04/21/23 MD - Prof. Paulemir Campos 30

Redes Fuzzy

Outros modelos conexionistas também estão sendo fuzzyficados, como:

Redes SOM; e, Redes ART.

04/21/23 MD - Prof. Paulemir Campos 31

Redes Fuzzy A motivação para o crescente interesse

no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais: Servem como ferramentas de engenharia

do conhecimento e estatísticas; São relativamente resistentes ao

“esquecimento catastrófico”, isto é, tendem a não “esquecerem” o conhecimento adquirido quando necessitam treinarem com novos dados;

04/21/23 MD - Prof. Paulemir Campos 32

Redes Fuzzy A motivação para o crescente

interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais (Cont.): Interpolam e extrapolam bem em

regiões onde os dados são esparsos; E, aceitam tanto dados de entrada

reais quanto fuzzy.

04/21/23 MD - Prof. Paulemir Campos 33

Referências Braga, A. P.; Ludermir, T. B. e

Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000.

Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE.

04/21/23 MD - Prof. Paulemir Campos 34

Referências Fausett, L. V. Fundamentals of

Neural Networks: Architectures, Algorithms, and Applications. New Jersey, Prentice-Hall, 1994.

Haykin, S. Neural Networks, A Comprehensive Foundation. 2nd ed. Prentice Hall, 1999.

04/21/23 MD - Prof. Paulemir Campos 35

Referências Zurada, J. M. Introduction to

Artificial Neural Systems. St. Paul-MN, USA, West Publishing Company Inc., 1992.