Redes Neurais Artificiais

Jonas Rocha Lima AmaroRicardo Solon Zalla

27-09-2016

Trabalho para a disciplina de Inteligência Artifical do 5º ano do curso de Engenharia da Computação do Instituto Militar de Engenharia

Agenda

1. As redes neurais vão mudar sua vida

2. Como funcionam

3. Exemplos

4. Aplicações

As redes neurais já mudam sua vida!

por exemplo...

Classificar gatinhos no Facebook!

Self-driving car: risco de atropelamento

MNIST - Com erro de 0.87%

Um pouco de contexto

Redes Neurais Artificais

- Inspiradas pelas redes neurais biológicas (sistema nervoso animal - cérebro)

- A abstração da topologia de rede neural geralmente é convertida com facilidade e produto de matrizes.

- Ultimamente tem apresentado bons resultados na resolução de problemas de alta complexidade como o CIFAR-10, MNIST e Detecção de Expressão Facial.

1. Topologiaa. Padrão de conexão entre as camadas de neurônios

2. Função de ativaçãoa. Conversão da entrada na camada com pesos das interconexões para

ativação no dado de saída da camada

3. Regra de aprendizadoa. Atualização dos pesos entre as interconexões

Tipicamente, são definidas por

Uma rede se parece com isso

Queremos reduzir o custo

- Função custo:

- Método Gradiente para corrigir os pesos

- Erro é propagado -> Retropropagação

Método gradiente

Retropropagação

- Entrada- Intermediário- Saída- Retropropagação

Recapitulando

- Exemplos!

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Nota na prova (Hsono, Hestudo)

Modelo final

Nota na prova (Hsono, Hestudo)

Treinar a rede neural=

Minimizar a função de custo

Nota na prova (Hsono, Hestudo)

Treinar a rede neural=

Minimizar a função de custo

Minimizando o custo

Minimizando o custo

Minimizando o custo

Treinar a rede neural=

Minimizar a função de custo

Minimizando o custo

Minimizando o custo

Propriedades

Toda rede neural tem as seguintes propriedades

- Poder computacional- Pesos racionais tem o mesmo poder computacional de uma MT universal

- Pesos irracionais podem prover outputs não computáveis à uma MT

- Capacidade- Quantidade de informação que a rede pode armazenar;- Capacidade de modelar uma função de complexidade qualquer

- Convergência- Capacidade de convergir de um mínimo local para o global;- Depende do modelo, função de custo, método de otimização

- Generalização e estatística- Problema de over-training -> cross validation x regularization

Tipos de redes neurais

Existem alguns tipos...

- Aplicações

Focaremos em aplicações

Statics: perceptronApenas input layer e output layer

Ex: w1I1 + w2I2 < t

OR perceptron: w1=1; w2=1; t=0.5

-> w1I1 + w2I2 = 0.5

Statics: perceptronApenas input layer e output layer

Ex: w1I1 + w2I2 < t

OR perceptron: w1=1; w2=1; t=0.5

-> w1I1 + w2I2 = 0.5

Resolve problemas binários;Não resolve o XOR

Statics: perceptron

2 layers

Acréscimo da hidden layer possibilita um novo plano

Dynamic feed-forward

Acréscimo da hidden layer possibilita um novo plano

Em ação

Tensonflow Playground

Problemas

Nem tudo é perfeito

- Training- Base de dados suficientemente diversificada e elevada

- Isso se torna problema para principalmente para algoritmos

supervisionados

- Theoretical- Não modelam problemas computacionalmente difíceis- Back propagation nega princípio forward das sinapses

- Definições dos princípios ainda não foram provadas

-> associação estatística é descrita como aprendizado

- Hardware- Requerem levado processamento e armazenamento

-> Cresceu devido ao aumento do poder computacional

Conclusão

O mais importante para construir a sua rede neural

Escolha do modelo - dependem da representação dos dados e da aplicação

Algoritmo de aprendizado - Existem grandes trade-offs e todos funcionam, mas é preciso selecionar o mais adequado para o treinamento de dados

Função de custo - deve ser selecionada apropriadamente para um resultado robusto

- https://www.youtube.com/watch?v=0qVOUD76JOg

- https://www.youtube.com/watch?v=bxe2T-V8XRs

- http://arxiv.org/pdf/1306.0239.pdf

- https://en.wikipedia.org/wiki/Artificial_neural_network

Referências

Backup

Work by Hava Siegelmann and Eduardo D. Sontag has provided a proof that a specific recurrent architecture with rational valued weights (as opposed to full precision real number-valued weights) has the full power of a Universal Turing Machine[55] using a finite number of neurons and standard linear connections. Further, it has been shown that the use of irrational values for weights results in a machine with super-Turing power.[56]

Hypercomputation or super-Turing computation refers to models of computation that can provide outputs that are not Turing computable. For example, a machine that could solve the halting problem would be a hypercomputer; so too would one that can correctly evaluate every statement in Peano arithmetic.

Computational Power

Theoretical problem

“A central claim of artificial neural networks is therefore that it embodies some new and powerful general principle for processing information. Unfortunately, these general principles are ill defined and it is often claimed that they are emergent from the neural network itself.”

->

This allows simple statistical association (the basic function of artificial neural networks) to be described as learning or recognition. As a result, artificial neural networks have a "something-for-nothing quality, one that imparts a peculiar aura of laziness and a distinct lack of curiosity about just how good these computing systems are. No human hand (or mind) intervenes; solutions are found as if by magic; and no one, it seems, has learned anything".[57]

Tipos de aplicações

Real-life applicationsThe tasks artificial neural networks are applied to tend to fall within

the following broad categories:●Function approximation, or regression analysis, including time series

prediction, fitness approximation and modeling●Classification, including pattern and sequence recognition, novelty

detection and sequential decision making●Data processing, including filtering, clustering, blind source

separation and compression●Robotics, including directing manipulators, prosthesis.●Control, including Computer numerical control

Minimizando o custo