Post on 16-Jan-2016
description
Aprendizagem de MáquinaAprendizagem de Máquina“Learning a Neural Tree”“Learning a Neural Tree”
Paulo Amorim - prfaPaulo Amorim - prfa
Roteiro
Introdução Proposta Descrição do Projeto Algoritmo de Construção – SGNT Aperfeiçoamento:
Otimização; Poda;
Resultados Resoluções Trabalhos Futuros...
Introdução
Treinamento pelo ajuste dos pesos das conexões . Estrutura para satisfazer a aprendizagem. Desvantajoso. Redes que apenas resolvem problemas específicos.
Proposta
Construção automática de uma estrutura neural através de dados de treinamento.
Algoritmo SGNT (Self-Generated Neural Tree). Estrutura de rede, membros dos neurônios,
conexões entre eles e seus pesos são atualizados.
Descrição do Projeto
Instância (vetor de atributos, com mesmo peso) Nó da árvore representa um neurônio:
poder de resposta; peso associado; um vetor contendo os neurônios “filhos”; instância associada;
Neurônio “vencedor” (Distância Euclidiana).
SGNT (1/2)
Neurônios, gerados automaticamente a partir das instâncias de treinamento.
Entradas: limiar θ; dados carregados do conjunto de treinamento;
Descrição do Algoritmo: Definição da raiz; Para cada elemento, distância mínima, neurônio
“vencedor”;
SGNT (2/2)
Menor distância comparada ao limiar. Caso seja maior:
um novo neurônio filho, representando o mesmo, caso seja folha;
um novo filho, representando o dado de entrada; Atualização dos pesos dos neurônios da árvore. Neurônio-folha, corresponde a um ou mais exemplos
de treinamento.
Aperfeiçoamento (1/3)
Otimização: Vertically Well Placed (VWP):
Distância entre o peso de um neurônio aos antecessores tem que ser crescente;
Se não: colocado numa camada acima, como “filho” do neurônio
“pai-antecessor” como o qual ele possui menor distância; neurônio “pai-anterior” terá seu peso e poder de decisão
atualizados;
Aperfeiçoamento (2/3)
Horizontally Well Placed (HWP): Distância do neurônio “pai” a um de seus neurônios filhos
tem que ser menor ou igual, que a diferença entre “irmãos”. Se não:
Movido uma camada abaixo, como “filho” do “irmão” mais próximo.
Novo filho é adicionado como cópia do mesmo de forma a não perder a informação.
O peso e poder de decisão desse neurônio é atualizado.
Aperfeiçoamento (3/3)
Poda (Prunning): Realização repetitiva do treinamento e eliminação dos
“galhos mortos”. Uma sub-árvore é um “galho morto” se o número de
exemplos alcançados pela raiz não aumentar a cada repetição do processo.
Não-implementado.
Resultados
Lenses - UCI Machine Learning Repository: K-nn, com k = 1: 87,5% de acertos K-nn, com k = 3: 62,5% de acertos K-nn, com k = 5: 62,5% de acertos Árvore sem otimização: 87,5% de acertos. Árvore com otimização: 73,4375% de acertos. (?)
Resoluções
Compreensão média. Exemplos simples, problemas mais complexos
poderiam ser apresentados. Pouca (quase nenhuma) ênfase ao processo de
busca.
Trabalhos Futuros...
Vários pontos: realização da poda; tamanho máximo ótimo da árvore; adaptação para utilização de dados compostos:
categóricos; reais;