Post on 07-Apr-2016
1
Projeto Híbrido de Redes Neurais
Ricardo Bastos C. Prudêncio
Orientação: Teresa B. Ludermir
CIn - UFPEJan - 2002
2
Roteiro Introdução Uso de Conhecimento para o Projeto de RNAs Uso de Busca para o Projeto de RNAs: Algoritmos Genéticos Um Novo Modelo de Automatização: Raciocínio Baseado em Casos e Algoritmos Genéticos Treinamento Híbrido de Redes Neurais Considerações Finais
3
Redes Neurais Artificiais Possuem diversas vantagens que as tornam bem sucedidas em uma diversidade de problemas
Poder computacional, tolerância a falhas, tolerância a ruído, incompletude e inconsistência nos dados, etc...
O sucesso de uma rede neural depende de um projeto bem realizado
4
Projeto de Redes Neurais Preparação dos Dados
Seleção, transformações, limpeza, etc… Escolha do Modelo e da Arquitetura
MLP, RBF, Elman, Jordan, GMDH, etc… N°. de camadas, n°. de neurônios, etc…
Treinamento dos Pesos Backpropagation, Gradientes Conjugados,
etc… Taxa de aprendizado, momentum, etc…
Avaliação Medida de desempenho
5
Projeto Automático de Redes Neurais
Objetivo: Automatizar total ou parcialmente o projeto
das redes neurais. Motivações:
Facilitar o projeto das redes neurais. Otimizar o desempenho das redes neurais.
Abordagens: Uso de conhecimento (teórico ou
experimental, do domínio ou geral) Uso de técnicas de busca
6
Uso de Conhecimento para o Projeto de RNAs
Conhecimento do domínio: técnicas que transformam conhecimento
simbólico sobre o domínio em redes neurais.
Conhecimento geral: conhecimento adquirido pela experiência
em resolver problemas de diferentes domínios.
7
Conhecimento do Domínio
Algoritmo KBANN (Knowledge Based Artificial Neural Network)
Conjunto Inicialde Regras
Conjunto de Regras Reescritas
Rede Gerada com as Regras
A
A1 A2
B C D E
OR
AND
A :- B, C, D
A :- D, E
A :- A1
A1 :- B, C, D
A :- A2
A2 :- D, E
Reescrita Inserção das regras
8
Conhecimento GeralConhecimento válido para diversos domínios
Relaciona as características do problema com os parâmetros do projeto.
Sistemas Especialistas Exemplo: Regras Fuzzy
Algoritmos de Aprendizado. Exemplo: Raciocínio Baseado em Casos (RBC)
9
Uso de Busca para o Projeto de RNAs: Algoritmos
Genéticos Abordam o projeto de RNAs como um problema de busca e otimização.
Por que AGs??? Menos sensíveis a mínimos locais Otimizam uma grande quantidade de
funções
Inúmeros usos no projeto: Definição da arquitetura Aprendizado dos pesos.
10
Algoritmos Genéticos para o Projeto de RNAs
Cromossomo: codifica a rede neural Operadores genéticos: exploram o espaço de busca das
redes. Função de aptidão: representa a função de desempenho
da rede para o problema abordado
1001 0100 0011 0100 0011 1001 1000 0011 1011
49 3 34 9 38 11
Pai-1 Pai-2 Filho-1
11
Projeto Híbrido de Redes Neurais
Integra diferentes técnicas de IA para o projeto automático de redes neurais
Estudo de Sistemas Neurais Híbridos
Contribuições: Modelo de Automatização
Raciocínio Baseado em Casos e Algoritmos Genéticos
Treinamento Híbrido de Redes Neurais AGs e Levenberg-Marquardt
12
Um Novo Modelo de Automatização: RBC e AG Projeto das redes é tratado de forma híbrida:
uso de conhecimento e busca.
Conhecimento é usado para iniciar o processo de busca.
Base de casos é usada para inicializar a primeira população dos AGs.
No modelo proposto, RBC manipula o conhecimento e AGs realizam a busca.
13
Exemplo de Caso no Domínio de Previsão de Séries
Temporais Caso 1
PROBLEMA SOLUÇÃO
Série Temporal [0.2, 0.3, ..., 1.2] Modelo Rede NARX
Média da Série 0.625 Arquitetura Janela tempo=2
Desvio Padrão 0.12 Cam contexto=1
Autocorrelação [1, 0.76, .., 0.1] camada oculta=4
Sazonalidade Não Algoritmo Backpropagation
Tendência Sim Taxa Apren. 0.2
14
Representação do Caso como Cromossomo
1 - 2 - 1 - 4 - 1 - 0.2
Categoria “Rede NARX” associada ao valor 1
Camada de contexto (sem transformações)
Categoria “Backpropagation” associada ao valor 1
Janela de tempo (sem transformações)
Camada oculta (sem transformações)
Taxa de aprendizado (sem transformações)
Cromossomo 1
15
Protótipo Definição da arquitetura da redes NARMAX para previsão de séries temporais:
Tamanho da janela de tempo Tamanho da camada de contexto Tamanho da camada oculta
Modelos Univariados
Implementação em MATLAB 5.0
16
Protótipo - Arquitetura
Módulo de Processamento (PROC)
Módulo Gerenciador da Base de Casos (GBC)
Módulo Algoritmo Genético (AG)
Módulo de Treinamento (TR)
Rede treinada + resultados
Série temporal
novo caso
GBC AG
TR
Arquiteturas sugeridas
PROC
Série processada
17
Protótipo – Módulo PROC Facilitar a modelagem das séries
Eliminação da Tendência: aplicação do operador de diferenciação
Eliminação da Sazonalidade: aplicação do operador de diferenciação sazonal
18
Protótipo – Módulo AG Representação vetorial
2 - 1 - 2
Z
Zt
Zt-1 Zt-2 et-1e
19
Operador de Mutação
Função de Aptidão: MSE (Mean Squared Error) do conjunto de
validação (estimativa do poder de generalização)
Protótipo – Módulo AG
pi + 1; if 0.5
pi – 1; if 0.5
pi+1 =
U(0;1)
20
Protótipo – Módulo GBC Casos usam a mesma representação usada nos cromossomos
47 casos Arquiteturas geradas pelos AGs para 47
séries temporais extraídas da literatura.
Medida de Similaridade: Distância Euclidiana entre as 10 primeiras
autocorrelações das séries.
21
Protótipo – Módulo TR Algoritmo de Levenberg Marquardt
Cada série temporal é igualmente dividida em três conjuntos de dados:
treinamento, validação e teste.
Critérios de parada (Proben): número máximo de iterações perda de generalidade parada no progresso de treinamento
22
Testes (I) Objetivo: Avaliar a utilidade da base de casos na inicialização dos AGs.
AGs inicializados com casos vs. AGs com inicialização aleatória
Avaliação para 3 séries temporais.
5 execuções para cada série temporal # de Cromossomos: 4 # de Gerações: 5
23
Resultados (I) Série 1:
Média MSE Treinamento
Média MSE Validação
Média MSE Teste
RBC-AG 126131,15 186623,70 149631,48
AG 104408,96 198346,50 160808,85
• Ganhos nos conjuntos de validação e teste
24
Resultados (I) Série 2:
Média MSE Treinamento
Média MSE Validação
Média MSE Teste
RBC-AG 14102,08 41050,44 85318,92
AG 11508,00 42436,19 96287,59
• Ganhos nos conjuntos de validação e teste
25
Resultados (I) Série 3:
Média MSE Treinamento
Média MSE Validação
Média MSE Teste
RBC-AG 1355,28 1559,11 1359,75
AG 1474,61 1686,90 1411,46
• Ganhos nos três conjuntos de dados
26
Resultados (I) Média do Número de Conexões
• Ganho nas três séries de teste
AG RBC-AG Ganho %
Série 1 11,2 6,2 44,64
Série 2 21,0 13,6 35,24
Série 3 30,2 5,0 83,44
27
Conclusões (I) AGs inicializados com casos geraram redes com menor erro de validação e de teste.
AGs inicializados com casos geraram redes com menor número de conexões.
Montagem de uma base com 50 casos.
Base de casos adquiriu conhecimento útil.
28
Trabalhos Futuros (I) Implementar outras medidas de similaridade, com seleção de atributos.
Extrair conhecimento simbólico a partir da base de casos.
Extensão do modelo para outros parâmetros do projeto.
Aplicação do modelo em outros problemas.
29
Treinamento Híbrido de Redes Neurais
Algoritmos Genéticos são bons em buscas globais, porém ineficientes em busca locais.
Técnicas de Gradiente são boas em busca locais, porém ineficientes em buscas globais.
Combinações das duas técnicas podem gerar algoritmos de treinamento mais eficientes.
30
Treinamento Híbrido – AGs e Levenberg-Marquardt (LM) AGs são usados para definir os pesos iniciais da rede para o algoritmo de LM.
Algoritmo LM é executado tamanho da população X número de gerações vezes
AlgoritmosGenéticos
AlgoritmoLM
Evolução
AlgoritmoLM
Evolução
AlgoritmoLM
Evolução
Configurações de pesos iniciais
31
Algoritmos Genéticos Representação direta
Z
Zt
Zt-12Zt-1...
...H1 H5
0
51
0.21...
-0.13 0.37...
-0.03 0.22...
-0.35
12x5 pesos da camadade entrada
5 pesos da camadaoculta
1 bias da saída + 5 bias da camada oculta
32
Algoritmos Genéticos Mutação Gaussiana sobre cada peso
pi+1 = pi +
N(0, 2)
Função de Aptidão = MSE do conjunto de validação após treinamento com LM.
33
Levenberg-Marquardt A série temporal foi igualmente dividida em três conjuntos de dados
treinamento, validação e teste
Critérios de parada (Proben) número máximo de iterações perda de generalidade parada no progresso de treinamento
34
Testes (II) Rede NARX com janela de tempo de tamanho 12 e 5 neurônios na camada oculta
Dados: Série temporal com 300 pontos representando
vazões da bacia de Guarapiranga
Algoritmo Híbrido vs. LM com inicialização aleatória
Cada procedimento retorna a rede com menor erro de validação gerada
35
Testes (II) Parâmetros da mutação fixos
Taxa de Mutação = 0.1 Desvio da Mutação Gaussiana = 0.3
Tamanho da população e número de gerações variaram
(5x10), (10x10) e (10x20)
Algoritmo LM com três taxas de aprendizado:
0.1, 2.0 e 10.0
36
Resultados (II) taxa = 0.1
Taxa = 0,1Média MSE
TreinamentoMédia MSEValidação
Média MSETeste
Tempo total de execução
Aleatório(50) 21,7584 38,2040 42,9316 19 min
Aleatório(100) 22,7988 37,8256 42,7544 38 min
Aleatório(200) 23,7467 37,5871 40,9037 76 min
AG(5x10) 22,7350 36,4482 40,5466 12 min
AG(10x10) 22,3057 35,5361 40,8520 23 min
AG(10x20) 23,3401 35,2380 40,4153 45 min
37
Resultados (II)taxa = 2.0
Taxa = 2,0Média MSE
TreinamentoMédia MSEValidação
Média MSETeste
Tempo total de execução
Aleatório(50) 22,2724 37,3105 36,2031 23 min
Aleatório(100) 22,6491 36,7750 36,3558 47 min
Aleatório(200) 22,8958 36,5335 37,5623 94 min
AG(5x10) 24,1478 36,4207 39,0691 12 min
AG(10x10) 24,6531 35,3425 38,1270 23 min
AG(10x20) 22,6433 34,1983 40,6142 49 min
38
Resultados (II)taxa = 10.0
Taxa = 10,0Média MSE
TreinamentoMédia MSEValidação
Média MSETeste
Tempo total de execução
Aleatório(50) 22,7077 35,8479 34,9855 30 min
Aleatório(100) 21,9447 35,4148 34,4138 68 min
Aleatório(200) 22,7092 35,5149 35,6331 120 min
AG(5x10) 21,4619 35,6716 36,2181 13 min
AG(10x10) 21,9556 34,6803 36,1797 24 min
AG(10x20) 22,9866 34,0481 36,8073 47 min
39
Conclusões (II) Trabalho original
Integração dos AGs com o algoritmo de Levenberg-Marquadt
O algoritmo híbrido sempre encontrou redes com menor erro de validação em menor tempo de execução
O algoritmo híbrido obteve melhores resultados no conjunto de teste quando a taxa de aprendizado foi ruim
40
Trabalhos Futuros (II) Definir quando usar o algoritmo híbrido a partir do comportamento do algoritmo local.
Definir de maneira apropriada os parâmetros dos AGs
taxas de mutação desvio da mutação Gaussiana
41
Considerações Finais Estudo das diversas técnicas de IA que podem ser usadas no projeto de RNAs
Contribuições no campo de Sistemas Híbridos
Uma nova abordagem para o projeto automático de RNAs (RBC-AG)
Integração dos AGs com o algoritmo de Levenberg-Marquadt
42
Projeto Híbrido de Redes Neurais
Perguntas ???