Aprendizagem de MáquinaAprendizagem de Máquina“Learning a Neural Tree”“Learning a Neural Tree”

Paulo Amorim - prfaPaulo Amorim - prfa

Roteiro

Introdução Proposta Descrição do Projeto Algoritmo de Construção – SGNT Aperfeiçoamento:

Otimização; Poda;

Resultados Resoluções Trabalhos Futuros...

Introdução

Treinamento pelo ajuste dos pesos das conexões . Estrutura para satisfazer a aprendizagem. Desvantajoso. Redes que apenas resolvem problemas específicos.

Proposta

Construção automática de uma estrutura neural através de dados de treinamento.

Algoritmo SGNT (Self-Generated Neural Tree). Estrutura de rede, membros dos neurônios,

conexões entre eles e seus pesos são atualizados.

Descrição do Projeto

Instância (vetor de atributos, com mesmo peso) Nó da árvore representa um neurônio:

poder de resposta; peso associado; um vetor contendo os neurônios “filhos”; instância associada;

Neurônio “vencedor” (Distância Euclidiana).

SGNT (1/2)

Neurônios, gerados automaticamente a partir das instâncias de treinamento.

Entradas: limiar θ; dados carregados do conjunto de treinamento;

Descrição do Algoritmo: Definição da raiz; Para cada elemento, distância mínima, neurônio

“vencedor”;

SGNT (2/2)

Menor distância comparada ao limiar. Caso seja maior:

um novo neurônio filho, representando o mesmo, caso seja folha;

um novo filho, representando o dado de entrada; Atualização dos pesos dos neurônios da árvore. Neurônio-folha, corresponde a um ou mais exemplos

de treinamento.

Aperfeiçoamento (1/3)

Otimização: Vertically Well Placed (VWP):

Distância entre o peso de um neurônio aos antecessores tem que ser crescente;

Se não: colocado numa camada acima, como “filho” do neurônio

“pai-antecessor” como o qual ele possui menor distância; neurônio “pai-anterior” terá seu peso e poder de decisão

atualizados;

Aperfeiçoamento (2/3)

Horizontally Well Placed (HWP): Distância do neurônio “pai” a um de seus neurônios filhos

tem que ser menor ou igual, que a diferença entre “irmãos”. Se não:

Movido uma camada abaixo, como “filho” do “irmão” mais próximo.

Novo filho é adicionado como cópia do mesmo de forma a não perder a informação.

O peso e poder de decisão desse neurônio é atualizado.

Aperfeiçoamento (3/3)

Poda (Prunning): Realização repetitiva do treinamento e eliminação dos

“galhos mortos”. Uma sub-árvore é um “galho morto” se o número de

exemplos alcançados pela raiz não aumentar a cada repetição do processo.

Não-implementado.

Resultados

Lenses - UCI Machine Learning Repository: K-nn, com k = 1: 87,5% de acertos K-nn, com k = 3: 62,5% de acertos K-nn, com k = 5: 62,5% de acertos Árvore sem otimização: 87,5% de acertos. Árvore com otimização: 73,4375% de acertos. (?)

Resoluções

Compreensão média. Exemplos simples, problemas mais complexos

poderiam ser apresentados. Pouca (quase nenhuma) ênfase ao processo de

busca.

Trabalhos Futuros...

Vários pontos: realização da poda; tamanho máximo ótimo da árvore; adaptação para utilização de dados compostos:

categóricos; reais;