RNAula02

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA Profa. Andrea Sell Dyminski

4

1.1 CREBRO / NEURNIO BIOLGICO Funcionamento do Sistema Nervoso: A rede neural biolgica formada por unidades de processamento: neurnios biolgicos Neurnio Biolgico

Estmulo Resposta Receptores Rede Neural Atuadores


5

1.2 NEURNIO ARTIFICIAL Unidade de processamento da rede neural artificial Elementos bsicos do neurnio artificial: a) Conjunto de Sinapses cada uma peso sinptico wkj

correspondente, onde k o nmero do neurnio e j o da sinapse.

b) Somador gerando Combinador linear das

entradas c) Funo de Ativao aplicada ao valor de vk, gerando a

sada yk Matematicamente:

=

=m

jjk jk xwu

1

Sinais de Entrada

x1

x2

xm

wk1

wkm

wk2

Bias bk

S vk

Funo de ativao

Sada yk

... ...

j(.)

Pesos Sinpticos


6

vk = uk + bk yk = j (uk + bk) Tipos de funo de ativao j(v):

a) Funo de Limiar (ou step):

1 se v 0 j(v) = 0 se v < 0

b) Funo Linear por partes:

1 se v 1/2 j(v) = v, se > v > -1/2 0 se v -1/2

c) Funo Sigmide: Grfico em forma de S. Exemplos:

Funo Logstica: )exp(11

)(av

v-+

=j (varia de 0 a 1)

onde: a parmetro de inclinao da funo sigmide Funo Tangente Hiperblica: j(v) = tanh (v)

(pode assumir valores negativos)


7

d) Se neurnio estocstico (s podendo fornecer como sadas os valores 0 ou 1 ligado ou desligado), pode-se fazer:

0 com probabilidade P(v)

x = 1 com probabilidade 1 P(v) onde: x representa o estado (ativo ou no ativo) do neurnio e P(v), probabilidade de liga-lo.


8

P(v) pode ser: )/exp(11

)(Tv

vP-+

= (forma sigmide)

onde: T a pseudotemperatura utilizada para controlar o nvel de rudo sinptico. 1.3 ARQUITETURAS DE REDE Redes Alimentadas Adiante (para frente) com camada nica:


9

Redes Alimentadas Adiante (para frente) com mltiplas camadas (Multi-Layer Feedforward NN) Redes Recorrentes (possuem laos de realimentao)


10

1.4 REPRESENTAO DO CONHECIMENTO Conhecimento se refere informao armazenada ou a modelos utilizados por uma pessoa ou mquina para interpretar, prever e responder apropriadamente ao mundo exterior. (Fischler e Firschein, 1987) Como representa-lo para a rede neural? Como saber se a mesma absorveu o conhecimento? Como escolher a arquitetura ideal? Inteligncia Artificial X Redes Neurais Artificiais... (Vide bibliografia Haykin, 2001).


11

2. PROCESSOS DE APRENDIZAGEM O processo de aprendizagem de uma RN compreende as seguintes etapas:

a) A RN estimulada por um ambiente;

b) A RN sofre modificaes em seus parmetros livres (pesos sinpticos e bias), devido a este processo de estimulao;

c) A RN responde de uma maneira nova ao ambiente, devido s

modificaes sofridas no passo b. 2.1 APRENDIZAGEM POR CORREO DE ERRO Ajuste dos pesos sinpticos ocorre atravs da avaliao do erro.


12

Antigo Novo

Clculo do erro: ek(n) = dk(n) yk(n) Minimizar a funo de custo ou ndice de desempenho e(n): e(n) = . ek

2(n) Minimizao da funo de custo e(n) resulta na regra delta (ou regra de Widrow-Hoff). Assim, o ajuste aplicado ao peso wkj, no passo de tempo n, : D wkj(n) = h . ek(n) . xj(n) onde h a taxa de aprendizado. Assim, tem-se: wkj(n+1) = wkj(n) + D wkj(n) 2.2 APRENDIZAGEM BASEADA EM MEMRIA Todas (ou a maioria das) experincias passadas so armazenadas explicitamente em uma grande memria de exemplos de entrada-sada classificados corretamente:

}{ Niii dx 1, )( = onde xi representa um vetor de entrada e di, a resposta desejada correspondente. Usado para a classificao de padres, baseada na vizinhana do vetor de teste xteste.


13

2.3 APRENDIZAGEM HEBBIANA Baseada nas seguintes regras:

a) Se dois neurnios em ambos os lados de uma sinapse so ativados simultaneamente, ento a fora desta sinapse seletivamente aumentada;

b) Se dois neurnios em ambos os lados de uma sinapse so

ativados assincronamente, ento esta sinapse seletivamente enfraquecida ou eliminada.

Este tipo de sinapse denominada de sinapse hebbiana. Matematicamente, o ajuste a ser realizado no peso sinptico wkj, no tempo n, : Dwkj(n) = F(yk(n), xj(n)) onde: xj sinal pr-sinptico yk sinal ps-sinptico Na hiptese de Hebb (forma mais simples Regra do produto das atividades): Dwkj(n) = h. yk(n) . xj(n) onde: h a taxa de aprendizado. Na hiptese da covarincia, a fim de se evitar uma possvel saturao da sinapse (que pode ocorrer na hiptese de Hebb), tem-se: Dwkj(n) = h. (xj(n) x) . ( yk(n) y) onde: x e y so os valores mdios no tempo dos sinais pr e ps sinpticos, respectivamente.


14

2.4 APRENDIZAGEM COMPETITIVA Os neurnios de sada de uma rede neural competem entre si para se tornar ativos (disparar). Muito adequada para descobrir caractersticas estatisticamente salientes, visando a classificao de um conjunto de padres de entrada.

RNAula02

Documents

Transcript of RNAula02