AGA 0512- Análise de Dados em Astronomia II

1. Princípios Gerais de Aprendizado de Máquina

Laerte Sodré Jr.

2o. semestre, 2019

1 / 17

Introdução

aula de hoje:

1 inteligência artificial, machine learninge deep learning

2 dados3 aprendizado4 regressão e classificação5 modelos paramétricos e

não-paramétricos6 aprendizado supervisionado e

não-supervisionado7 generalização e overfitting

a medida da inteligência é a habilidade de mudar

Albert Einstein

2 / 17

Introdução

inteligência artificial

a base da IA é que “máquinas” (reais ou virtuais) podem “aprender” com os dados

3 / 17

Introdução

como resolver um problema específico no computador?

exemplo: estrela ou galáxia?programação clássica

escreve-se um programa com umconjunto de regrasmuitas vezes é difícil estabelecer asregras!

aprendizado de máquinasistemas que aprendem a partir deexemplosaprendizagem por tentativa e erro

4 / 17

Introdução

o que é aprendizagem?

exemplo: estrela ou galáxia?o que distingue a imagem de umaestrela da de uma galáxia?podemos desenvolver um sistema queaprende a partir de exemplos

o sistema (algoritmo) tem umconjunto de parâmetros que sãoajustados conforme novos exemplossão apresentadosos ajustes objetivam melhorar aaprendizagem (reduzir asclassificações erradas)em geral, quanto mais exemplosmelhor

aplicações:

classificação

regressão

sistemas de recomendação

recuperação de informações

robótica e visão computacional

jogos

detecção de anomalias/fraudes

...

5 / 17

Introdução

algoritmos de ML: a fauna

regressão e classificação:

regressão linear e logística

árvores

naive bayes

k-nn

support vector machines- SVM

random forest & bagging

boosting

redes neurais (NN)

...

6 / 17

Introdução

dados em ML

na grande maioria dos casos vamostrabalhar com tabelastabelas têm linhas, colunas e célulaslinhas correspondem a diferentesobjetos ou observaçõescada coluna contem um tipo depropriedade dos objetos (features)uma célula contém o valor de umadada linha e colunafrequentemente deseja-se prever ovalor de uma coluna a partir dosvalores das outras colunas

ML: divide-se os dados em conjuntosde treinamento, validação e teste

7 / 17

Introdução

aprendizado em ML

um problema comum: estimar umavariável y a partir de um conjunto devariáveis x

de outra maneira: y = f (x;w)o algoritmo que promove o mapeamentode x em y pode ser considerado umafunção, com parâmetros w

o procedimento de determinação dosparâmetros de um modelo em ML édenominado aprendizado

aprendizado = otimização de um modelo

diferentes algoritmos de ML implementamdiferentes funções e procedimentos deaprendizagem

em geral estamos interessados noresultado do mapeamento, não na funçãoutilizada

modelamento preditivo: queremos prever ydado x:

y = f (x;w) + ε

as predições têm erros: parte devida aosdados e parte devida ao modelo

convém usar diversos modelos de MLpara avaliar o desempenho relativo

8 / 17

Introdução

exemplos

regressão:

y é uma variável contínua

estimativa de uma quantidade

exemplos: regressão linear, não-linear,redes neurais...

classificação:y é uma variável discretaestimativa de classesexemplos: árvores de decisão, k-nn,redes neurais...classificação binária ou multiclasse

9 / 17

Introdução

modelos paramétricos e não-paramétricos

modelos paramétricos:assumem um conjunto finito deparâmetros wa predição de uma nova observação,x, depende apenas dos parâmetros,não dos dados:

P(x|w,D) = P(x|w)

a complexidade do modelo é limitada,mesmo que os dados sejam ilimitadosmodelos “pouco flexíveis”ex: regressão linear

modelos não-paramétricos:

não fazem suposições fortes sobre anatureza dos dados

não assumem nenhuma função paramapear os dados: o mapeamentodepende apenas dos próprios dados

nesse sentido são modelos “flexíveis

úteis quando se tem muitos dados epouco conhecimento sobre eles

ex: knn

10 / 17

Introdução

vantagens e desvantagens

modelos paramétricos:

vantagens:

simples: fáceis de entender e deinterpretar os resultados

aprendizado (ajuste dos parâmetros)rápido

funciona com poucos dados

desvantagem: o mapeamento élimitado pela forma funcional adotada

modelos não-paramétricos:vantagens:

flexíveis: adaptam-se aos dadosnão assumem nenhuma formafuncionalpodem ter excelente desempenho

desvantagens:em geral precisam de muitos dadossão mais lentos para aprenderrisco de overfittingresultados podem ser difíceis deinterpretar

11 / 17

Introdução

exemplos

modelos paramétricos:

regressão linear ou multilinear

classificação via regressão logística

modelos não-paramétricos:PCA- análise de componentesprincipaisanálise de agrupamento: k-means emétodos hierárquicosárvores de decisãoNaive BayesSVM: Support Vector Machinesredes neurais (NN)

note que modelos não-paramétricos podemter parâmetros!

12 / 17

Introdução

tipos de aprendizagem

aprendizado supervisionado:temos variáveis de entrada x e saída ye o algoritmo aprende a mapear x emy a partir de exemplos

classificação: quando y é umacategoria discreta, como ’estrela’,’galáxia’, ’quasar’ex: random forest, SVM, NN,regressão logística

regressão: quando y é um númeroreal, como redshift, massa estelarex: regressão linear, random forest

aprendizado não-supervisionado:temos apenas os dados x e o objetivoé aprender estruturas ou propriedadesinteressantes dos dados

análise de agrupamento: o objetivo éencontrar grupos (clusters) nos dadosex: k-means, knnanálise de associação: o objetivo édescobrir regras que descrevemgrande parte dos dados como’galáxias sem formação estelartendem a ser vermelhas’ex: algoritmo Apriori

13 / 17

Introdução

tipos de aprendizagem

aprendizado auto-supervisionadotipo de aprendizado supervisionadomas “sem intervenção humana”exemplo: autoencoders, onde oalgoritmo aprende os dados deentrada

aprendizado com reforço(reinforcement learning)

um agente aprende ações quemaximizam o “sucesso/recompensa”

exemplo: carros auto-dirigíveis

exemplo: jogo de Go

14 / 17

Introdução

generalização, overfitting e underfitting

generalização:quão bem um modelo se comportaface a dados que não viu notreinamentoum bom modelo deve ter boacapacidade de generalização

deve-se sempre usar um conjunto devalidação diferente do de treinamentopara se aferir o aprendizado doalgoritmo

conforme o algoritmo vai aprendendo,o erro nos conjuntos de treiamento evalidação diminui

a partir de um certo ponto, o erro noconjunto de treinamento continua acair mas o do conjunto de validaçãoaumentaeste ponto que minimiza o erro noconjunto de validação é o quemaximiza a generalização:parando o aprendizado antes oudepois desse ponto produz:

underfitting: o algoritmo ainda nãoaprendeu o suficienteoverfitting: o algoritmo estácomeçando a “aprender” o ruído doconjunto de treinamento

15 / 17

Introdução

overfitting

overfitting:está entre as piores causas de maudesempenho de algoritmosquanto maior a complexidade domodelo maior o risco de overfittingex: modelos não-paramétricos enão-linearesem consequência, muitos algoritmosimplementam técnicas para controlar ooverfitting

ex: podagem em árvores de decisão,treinamento em mini-batch de NN

técnicas gerais para avaliar o aprendizado:reamostragem dos dados emtreinamento e validação: permiteestimar a precisão das estimativasreamostragem por validação cruzadak-vezes (k-fold cross-validation): treinee teste o algoritmo k vezes emdiferentes subconjuntos dos dados

16 / 17

Introdução

17 / 17