11
Prof. Dr. Helder Anibal Hermini
22
33
SumárioSumário
IntroduçãoIntrodução HistóricoHistórico Neurônio artificialNeurônio artificial Treinamento do neurônioTreinamento do neurônio Redes de neurôniosRedes de neurônios Treinamento da redeTreinamento da rede AplicaçõesAplicações Extração de regrasExtração de regras
44
55
Inteligência ComputacionalInteligência Computacional
A Inteligência Computacional A Inteligência Computacional busca, através de técnicas busca, através de técnicas inspiradas na Natureza, o inspiradas na Natureza, o desenvolvimento de sistemas desenvolvimento de sistemas inteligentes que imitem aspectos inteligentes que imitem aspectos do comportamento humano, tais do comportamento humano, tais como: aprendizado, percepção, como: aprendizado, percepção, raciocínio, evolução e adaptação.raciocínio, evolução e adaptação.
66
77
Definições:Definições:
1.1. Técnica inspirada no funcionamento Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, do cérebro, onde neurônios artificiais, conectados em rede, são capazes de conectados em rede, são capazes de aprender e de generalizar.aprender e de generalizar.
2.2. Técnica de aproximação de funções Técnica de aproximação de funções por regressão não linear.por regressão não linear.
Redes Neurais Artificiais (RNA)Redes Neurais Artificiais (RNA)
88
Capacidade de GeneralizaçãoCapacidade de Generalização
Isso significa que se a rede aprende a lidar Isso significa que se a rede aprende a lidar com um certo problema, e lhe é com um certo problema, e lhe é apresentado um similar, mas não apresentado um similar, mas não exatamente o mesmo, ela tende a exatamente o mesmo, ela tende a reconhecer esse novo problema, reconhecer esse novo problema, oferecendo a mesma solução.oferecendo a mesma solução.
99
A característica mais significante de A característica mais significante de redes neurais está em sua habilidade redes neurais está em sua habilidade de aproximar qualquer função de aproximar qualquer função contínua ou não contínua com um contínua ou não contínua com um grau de correção desejado. Esta grau de correção desejado. Esta habilidade das redes neurais as tem habilidade das redes neurais as tem tornado útil para modelar sistemas tornado útil para modelar sistemas não lineares. não lineares.
Aproximador de funçõesAproximador de funções
1010
Mapeamento Entrada-Saída Mapeamento Entrada-Saída para Aproximação de Funçõespara Aproximação de Funções
Objetivo da AprendizagemObjetivo da Aprendizagem: descobrir a : descobrir a função função ff(() dado um número finito (desejável ) dado um número finito (desejável pequeno) de pares entrada-saída (pequeno) de pares entrada-saída (xx,,dd).).
1111
Redes Neurais Artificiais (RNA)Redes Neurais Artificiais (RNA)
Devido à sua estrutura, as Redes Devido à sua estrutura, as Redes Neurais Artificiais são bastante efetivas Neurais Artificiais são bastante efetivas no aprendizado de padrões a partir de no aprendizado de padrões a partir de dados:dados:
não-lineares, não-lineares, incompletos, incompletos, com ruído e até com ruído e até compostos de exemplos contraditórios.compostos de exemplos contraditórios.
1212
1313
Técnica Computacional
Inspiração na Natureza
Redes Neurais Artificiais
Neurônios biológicos
Computação Evolucionária
Evolução biológica
Lógica “Fuzzy”Processamento lingüístico
Sistemas Especialistas Processo de Inferência
Técnica x NaturezaTécnica x Natureza
Os dentritos, que tem por função, receber os Os dentritos, que tem por função, receber os estímulos transmitidos pelos outros estímulos transmitidos pelos outros neurônios; neurônios;
O corpo de neurônio, também chamado de O corpo de neurônio, também chamado de soma, que é responsável por coletar e soma, que é responsável por coletar e combinar informações vindas de outros combinar informações vindas de outros neurônios; neurônios;
E finalmente o axônio, que é constituído de E finalmente o axônio, que é constituído de uma fibra tubular que pode alcançar até uma fibra tubular que pode alcançar até alguns metros, e é responsável por alguns metros, e é responsável por transmitir os estímulos para outras células. transmitir os estímulos para outras células.
Principais Componentes dos NeurôniosPrincipais Componentes dos Neurônios
1515
Em média, cada neurônio forma Em média, cada neurônio forma entre mil e dez mil sinapses.entre mil e dez mil sinapses.
O cérebro humano possui cerca O cérebro humano possui cerca de 10de 101111 neurônios, e o número neurônios, e o número de sinapses é de mais de 10de sinapses é de mais de 101414, , possibilitando a formação de possibilitando a formação de redes muito complexas.redes muito complexas.
Principais Componentes dos NeurôniosPrincipais Componentes dos Neurônios
1616
Parâmetro Cérebro Computador
Material Orgânico Metal e
plástico
Velocidade Milisegundos Nanosegundos
Tipo de Processamento Paralelo Seqüencial
Armazenamento Adaptativo Estático
Controle de Processos Distribuído Centralizado
Número de elementos processados
1011 à 1014 105 à 106
Eficiência energética 10-16 J/op./seg. 10-6 J/op./seg
Ligações entre elementos processados
10.000 <10
Quadro comparativo entre cérebro e o computador
1717
1818
Histórico (1943)Histórico (1943)
O neurofisiologista McCulloch e O neurofisiologista McCulloch e matemático Walter Pitts (1943), cujo matemático Walter Pitts (1943), cujo trabalho fazia uma analogia entre trabalho fazia uma analogia entre células vivas e o processo eletrônico, células vivas e o processo eletrônico, simulando o comportamento do simulando o comportamento do neurônio natural, onde o neurônio neurônio natural, onde o neurônio possuía apenas uma saída, que era uma possuía apenas uma saída, que era uma função do valor de suas diversas função do valor de suas diversas entradas. entradas.
1919
O neurônio de McCulloch e Pitts O neurônio de McCulloch e Pitts Consiste basicamente de Consiste basicamente de
um neurônio que executa um neurônio que executa uma função lógica. uma função lógica.
Os nós produzem somente Os nós produzem somente resultados binários e as resultados binários e as conexões transmitem conexões transmitem exclusivamente zeros e exclusivamente zeros e uns. uns.
As redes são compostas de As redes são compostas de conexões sem peso, de conexões sem peso, de tipos excitatórias e tipos excitatórias e inibitórias. inibitórias.
Cada unidade é Cada unidade é caracterizada por um certo caracterizada por um certo limiar (limiar (thresholdthreshold) q.) q.
x1
x2
y1
ym
xn
conexõesinibitórias
conexõesexcitatórias
2020
Histórico (1949)Histórico (1949)
O psicólogo Donald Hebb, demostrou que a O psicólogo Donald Hebb, demostrou que a capacidade da aprendizagem em redes capacidade da aprendizagem em redes neurais biológicas vem da alteração da neurais biológicas vem da alteração da eficiência sináptica, isto é, a conexão somente eficiência sináptica, isto é, a conexão somente é reforçada se tanto as células pré-sinápticas é reforçada se tanto as células pré-sinápticas quanto as pós-sinápticas estiverem excitadas;quanto as pós-sinápticas estiverem excitadas;
Hebb foi o primeiro a propor uma lei de Hebb foi o primeiro a propor uma lei de aprendizagem específica para as sinápses dos aprendizagem específica para as sinápses dos neurônios. neurônios.
2121
Histórico (1951)Histórico (1951)
Construção do primeiro neuro Construção do primeiro neuro computador, denominado Snark, por computador, denominado Snark, por Mavin Minsky. O Snark operava Mavin Minsky. O Snark operava ajustando seus pesos ajustando seus pesos automaticamente. automaticamente.
2222
Histórico (1956)Histórico (1956)
Surgimento dos dois paradigmas da Surgimento dos dois paradigmas da Inteligência Artificial:Inteligência Artificial:– Simbólica: tenta simular o comportamento Simbólica: tenta simular o comportamento
inteligente humano desconsiderando os inteligente humano desconsiderando os mecanismos responsáveis por tal. mecanismos responsáveis por tal.
– Conexionista: acredita que construindo-se Conexionista: acredita que construindo-se um sistema que simule a estrutura do um sistema que simule a estrutura do cérebro, este sistema apresentará cérebro, este sistema apresentará inteligência, ou seja, será capaz de inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com aprender, assimilar, errar e aprender com seus erros. seus erros.
2323
Rosemblatt (1958) mostrou em seu livro Rosemblatt (1958) mostrou em seu livro (Principles of Neurodynamics) o modelo (Principles of Neurodynamics) o modelo dos "Perceptrons". dos "Perceptrons".
Nele, os neurônios (Perceptrons) eram Nele, os neurônios (Perceptrons) eram organizados em camada de entrada e organizados em camada de entrada e saída, onde os pesos das conexões saída, onde os pesos das conexões eram adaptados a fim de se atingir a eram adaptados a fim de se atingir a eficiência sináptica usada no eficiência sináptica usada no reconhecimento de caracteres.reconhecimento de caracteres.
Histórico (1958)Histórico (1958)
2424
Perceptron Clássico – Rosenblatt (1958)Perceptron Clássico – Rosenblatt (1958)
retina
conexõeslocais
área deprojeção
área deassociação
conexõesaleatórias
respostas
2525
retina
associação
resposta
2626
Histórico (1960)Histórico (1960)
Em 1960 surgiu a rede ADALINE Em 1960 surgiu a rede ADALINE (ADAptative LInear NEtwork) e o (ADAptative LInear NEtwork) e o MADALINE (Many ADALINE), proposto MADALINE (Many ADALINE), proposto por Widrow e Hoff. por Widrow e Hoff.
O ADALINE/MADALINE utilizou saídas O ADALINE/MADALINE utilizou saídas analógicas em uma arquitetura de analógicas em uma arquitetura de três camadas.três camadas.
2727
Histórico (1969)Histórico (1969)
• Foi constatado por Minsky & Papert que um neurônio do tipo Perceptron só é capaz de resolver problemas com dados de classes linearmente separáveis.
2828
Histórico (1960-1970)Histórico (1960-1970)
Muitos historiadores desconsideram Muitos historiadores desconsideram a existência de pesquisa nessa área a existência de pesquisa nessa área nos anos 60 e 70.nos anos 60 e 70.
2929
Histórico (1982)Histórico (1982)
Retomada das pesquisas com a Retomada das pesquisas com a publicação dos trabalhos do físico e publicação dos trabalhos do físico e biólogo Hopfield relatando a biólogo Hopfield relatando a utilização de redes simétricas para utilização de redes simétricas para otimização, através de um algoritmo otimização, através de um algoritmo de aprendizagem que estabilizava de aprendizagem que estabilizava uma rede binária simétrica com uma rede binária simétrica com realimentação. realimentação.
3030
Histórico (1986)Histórico (1986)
Rumelhart, Hinton e Williams Rumelhart, Hinton e Williams introduziram o poderoso método de introduziram o poderoso método de treinamento denominado treinamento denominado “Backpropagation”. “Backpropagation”.
Rumelhart e McClelland escreveram o Rumelhart e McClelland escreveram o livro “Processamento Paralelo livro “Processamento Paralelo Distribuído: Explorações na Distribuído: Explorações na Microestrutura do Conhecimento”. Microestrutura do Conhecimento”.
3131
Histórico (1988)Histórico (1988)
Broomhead e Lowe descreveram um Broomhead e Lowe descreveram um procedimento para o projeto de uma procedimento para o projeto de uma rede neural (feedforward) usando rede neural (feedforward) usando funções de base radial (Rede de Base funções de base radial (Rede de Base Radial – RBF).Radial – RBF).
3232
3333
– As sinapses (entradas), com seus As sinapses (entradas), com seus pesos associadospesos associados
– A junção somadora; eA junção somadora; e
– A função de ativação.A função de ativação.
Componentes do primeiro neurônio Componentes do primeiro neurônio artificialartificial
3434
Primeiro Modelo Primeiro Modelo O neurônio de McCulloch e Pitts (1943)O neurônio de McCulloch e Pitts (1943)
Consiste basicamente de Consiste basicamente de um neurônio que executa um neurônio que executa uma uma função lógicafunção lógica. .
Os nós produzem somente Os nós produzem somente resultados resultados bináriosbinários e as e as conexões transmitem conexões transmitem exclusivamente exclusivamente zeroszeros e e unsuns. .
As redes são compostas de As redes são compostas de conexões sem pesoconexões sem peso, de , de tipos tipos excitatóriosexcitatórios e e inibitóriosinibitórios. .
Cada unidade é Cada unidade é caracterizada por um certo caracterizada por um certo limiar (limiar (thresholdthreshold) ) ..
x1
x2
y1
ym
xn
conexõesinibitórias
conexõesexcitatórias
3535
A regra para avaliação de um neurônio A regra para avaliação de um neurônio McCulloch-PittsMcCulloch-Pitts
Assume–se que a unidade recebe Assume–se que a unidade recebe entradas excitatóriasentradas excitatórias através de através de nn conexões de entrada e conexões de entrada e entradas entradas inibitóriasinibitórias através de através de mm conexões de conexões de entrada.entrada.
Se e Se e pelo menos um dos pelo menos um dos sinaissinais y y11, y, y22, ..., y, ..., ymm é 1, a unidade é é 1, a unidade é inibidainibida e a saída é 0. e a saída é 0.
Caso contrário, o Caso contrário, o total de entradastotal de entradas (x= x(x= x11 + x + x22 + ... x + ... xnn) ) excitatórias excitatórias é é computado e comparado com o computado e comparado com o threshold threshold . .
Se a saída é 1 (a unidade Se a saída é 1 (a unidade dispara). Se x < dispara). Se x < o resultado é 0. o resultado é 0.
1m
x
1
0
soma das entradas
saíd
a
x1
x2
y1
ym
xn
conexõesinibitórias
conexõesexcitatórias
3636
PerceptronPerceptron• Basicamente o perceptron consiste de uma única camada de neurônios com pesos sinápticos e bias ajustáveis.
• Se os padrões de entrada forem linearmente separáveis, o algoritmo de treinamento possui convergência garantida, i.é, tem capacidade para encontrar um conjunto de pesos que classifica corretamente os dados.
• Os neurônios do perceptron são similares ao de McCulloch-Pitts, por terem a função de ativação do tipo degrau, mas possuem pesos associados e bias.
wk1
wk2
wkm
f(uk)
x1
x2
xm
uk
wk0=bk
yksinais
deentrada
pesossinápticos
junçãoaditiva
(bias)
funçãode ativação
saída
wk0x0=+1
entrada fixa
Funçãodegrau
3737
Perceptron - O neurônio genérico de Redes Perceptron - O neurônio genérico de Redes Neurais Artificiais (RNAs)Neurais Artificiais (RNAs)
As As principais partes de um neurônioprincipais partes de um neurônio genérico de RNAs são: genérico de RNAs são:– As As sinapsessinapses (entradas), com seus (entradas), com seus pesospesos associados associados– A A junção somadorajunção somadora e e– A A função de ativaçãofunção de ativação..
wk1
wk2
wkm
f(uk)
x1
x2
xm
uk
bk
yksinais
deentrada
pesossinápticos
junçãosomadora
bias
funçãode ativação
saída
Princípio de funcionamentoPrincípio de funcionamento Sinais são apresentados à entrada Sinais são apresentados à entrada
(x(x11 à x à xmm); ); Cada sinal é multiplicado por um Cada sinal é multiplicado por um
peso que indica sua influência na peso que indica sua influência na saída da unidade (wsaída da unidade (wkk); );
É feita a soma ponderada dos É feita a soma ponderada dos sinais que produz um nível de sinais que produz um nível de atividade (uatividade (ukk); );
A função de ativação f(uA função de ativação f(ukk) tem a ) tem a função de limitar a saída e função de limitar a saída e introduzir não-linearidade ao introduzir não-linearidade ao modelo.modelo.
O bias O bias bbkk tem o papel de aumentar tem o papel de aumentar ou diminuir a influência do valor ou diminuir a influência do valor das entradas.das entradas.
É possível considerar o bias como É possível considerar o bias como uma entrada de valor constante 1, uma entrada de valor constante 1, multiplicado por um peso igual a multiplicado por um peso igual a bbkk..
wk1
wk2
wkm
f(uk)
x1
x2
xm
uk
wk0=bk
yksinais
deentrada
pesossinápticos
junçãoaditiva
(bias)
funçãode ativação
saída
wk0x0=+1
entrada fixa
Funçãodegrau
3939
Expressão matemática do neurônio Expressão matemática do neurônio artificialartificial
Matematicamente a saída pode ser expressa Matematicamente a saída pode ser expressa por:por:
ou considerando o bias como entrada de valor ou considerando o bias como entrada de valor xx00=1=1 e peso e peso wwk0k0=b=bkk,,
m
jkjkjkk bxwfufy
1
)(
m
jjkjkk xwfufy
0
)(
4040
4141
Arquitetura das RNAsArquitetura das RNAs Uma rede neural artificial é composta por Uma rede neural artificial é composta por
várias unidades de processamento várias unidades de processamento (neurônios), cujo funcionamento é bastante (neurônios), cujo funcionamento é bastante simples. simples.
Essas unidades, geralmente são conectadas Essas unidades, geralmente são conectadas por canais de comunicação que estão por canais de comunicação que estão associados a determinado peso. associados a determinado peso.
As unidades fazem operações apenas sobre As unidades fazem operações apenas sobre seus dados locais, que são entradas seus dados locais, que são entradas recebidas pelas suas conexões. recebidas pelas suas conexões.
O comportamento inteligente de uma Rede O comportamento inteligente de uma Rede Neural Artificial vem das interações entre as Neural Artificial vem das interações entre as unidades de processamento da rede.unidades de processamento da rede.
4242
Características Características Gerais das RNAsGerais das RNAs
São modelos adaptativos treináveisSão modelos adaptativos treináveis Podem representar domínios complexos Podem representar domínios complexos
(não lineares)(não lineares) São capazes de generalização diante de São capazes de generalização diante de
informação incompletainformação incompleta RobustosRobustos São capazes de fazer armazenamento São capazes de fazer armazenamento
associativo de informaçõesassociativo de informações Processam informações Processam informações
Espaço/temporaisEspaço/temporais Possuem grande paralelismo, o que lhe Possuem grande paralelismo, o que lhe
conferem rapidez de processamentoconferem rapidez de processamento
4343
Tipos de Redes Neurais ArtificiaisTipos de Redes Neurais Artificiais
Existem basicamente 3 tipos básicos de arquitetura Existem basicamente 3 tipos básicos de arquitetura de RNAs:de RNAs:
– Feedforward (alimentação de avanço) de uma Feedforward (alimentação de avanço) de uma única camadaúnica camada
– Feedforward (alimentação de avanço) de Feedforward (alimentação de avanço) de múltiplas camadas emúltiplas camadas e
– Redes recorrentes.Redes recorrentes.
Usualmente as camadas são classificadas Usualmente as camadas são classificadas em três grupos:em três grupos:– Camada de Entrada: onde os padrões são Camada de Entrada: onde os padrões são
apresentados à rede; apresentados à rede; – Camadas Intermediárias ou Ocultas: onde é Camadas Intermediárias ou Ocultas: onde é
feita a maior parte do processamento, através feita a maior parte do processamento, através das conexões ponderadas; podem ser das conexões ponderadas; podem ser consideradas como extratoras de consideradas como extratoras de características; características;
– Camada de Saída: onde o resultado final é Camada de Saída: onde o resultado final é concluído e apresentado. concluído e apresentado.
Classificação de CamadasClassificação de Camadas
4545
camadade entrada
camadade saídacamada
escondida
Classificação de CamadasClassificação de Camadas
4646
Rede Rede feedforward de feedforward de uma única camadauma única camada
Os neurônios da Os neurônios da camada de entrada camada de entrada correspondem aos correspondem aos neurônios sensoriais neurônios sensoriais que possibilitam a que possibilitam a entrada de sinais na entrada de sinais na rede (não fazem rede (não fazem processamento). processamento).
Os neurônios da Os neurônios da camada de saída camada de saída fazem processamento.fazem processamento. neurônio sensorial
neurônio deprocessamento
o
4747
Rede Rede feedforwardfeedforward de Múltiplas Camadas de Múltiplas Camadas (Multilayer Perceptron - MLP)(Multilayer Perceptron - MLP)
Essas redes tem uma ou mais camadas Essas redes tem uma ou mais camadas intermediárias ou escondidas. intermediárias ou escondidas.
4848
Redes recorrentesRedes recorrentes
Essas redes possuem pelo menos uma interconexão realimentando a saída de neurônios para outros neurônios da rede (conexão cíclica).
Exemplo: Rede de Hopfield
4949
Rede de KohonenRede de Kohonen
5050
Topologias das redes neuraisTopologias das redes neurais
5151
Rede de Elman &Rede de Elman &Rede de JordanRede de Jordan
5252
Redes de Base Radial (RBF)Redes de Base Radial (RBF)
5353
Treinamento da redeTreinamento da rede
5454
TreinamentoTreinamento A propriedade mais importante das redes A propriedade mais importante das redes
neurais é a habilidade de aprender de seu neurais é a habilidade de aprender de seu ambiente e com isso melhorar seu ambiente e com isso melhorar seu desempenho. Isso é feito através de um desempenho. Isso é feito através de um processo iterativo de ajustes aplicado a seus processo iterativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma solução quando a rede neural atinge uma solução generalizada para uma classe de problemas. generalizada para uma classe de problemas.
Denomina-se algoritmo de aprendizado a um Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a conjunto de regras bem definidas para a solução de um problema de aprendizado. solução de um problema de aprendizado. Existem muitos tipos de algoritmos de Existem muitos tipos de algoritmos de aprendizado específicos para determinados aprendizado específicos para determinados modelos de redes neurais. Estes algoritmos modelos de redes neurais. Estes algoritmos diferem entre si principalmente pelo modo diferem entre si principalmente pelo modo como os pesos são modificados.como os pesos são modificados.
5555
Modelos de AprendizagemModelos de Aprendizagem
Os principais modelos (paradigmas) de aprendizagem Os principais modelos (paradigmas) de aprendizagem são: são:
1)1)supervisionado; supervisionado;
2) não-supervisionado; e 2) não-supervisionado; e
3) com reforço.3) com reforço.
Top Related