Machine Learning com Python e Scikit-learn

Apresentação Introdução Classificação Regressão Dúvidas

Machine LearningCom Python e scikit-learn

Christian S. [email protected]

5 de junho de 2014


Parte I

[ Apresentação \


Apresentação

▸ Christian S. Perone

▸ Trabalha como desenvolvedor▸ Colaborador e mantenedor open-source▸ Blog

▸ http://pyevolve.sourceforge.net/wordpress

▸ Projetos▸ https://github.com/perone

▸ Twitter @tarantulae

http://pyevolve.sourceforge.net/wordpress

https://github.com/perone

http://www.twitter.com/tarantulae


RoteiroApresentaçãoApresentação

IntroduçãoO que é Machine Learning ?O problemaSupervisionado vs Não-supervisionadoAprendizado Supervisionado

ClassificaçãoIntroduçãoOCRSupport Vector MachinesClassi�cação no scikit-learn

RegressãoIntroduçãoImóveis de Porto AlegreRegressão Linear

DúvidasDúvidas


Parte II

[ Introdução \


O que éMachine Learning ?

Machine Learning (ou Aprendizado de Máquina) é uma sub-área daInteligência Arti�cial que estuda sistemas que podem aprender comdados. Alguns exemplos:

▸ Classi�cador de Emails▸ Reconhecedor de caracteres (OCR)▸ Sistemas de Recomendação▸ Retenção de clientes▸ Análise de Sentimento



Machine Learning (ou Aprendizado de Máquina) é uma sub-área daInteligência Arti�cial que estuda sistemas que podem aprender comdados. Alguns exemplos:▸ Classi�cador de Emails

▸ Reconhecedor de caracteres (OCR)▸ Sistemas de Recomendação▸ Retenção de clientes▸ Análise de Sentimento



Machine Learning (ou Aprendizado de Máquina) é uma sub-área daInteligência Arti�cial que estuda sistemas que podem aprender comdados. Alguns exemplos:▸ Classi�cador de Emails▸ Reconhecedor de caracteres (OCR)

▸ Sistemas de Recomendação▸ Retenção de clientes▸ Análise de Sentimento



Machine Learning (ou Aprendizado de Máquina) é uma sub-área daInteligência Arti�cial que estuda sistemas que podem aprender comdados. Alguns exemplos:▸ Classi�cador de Emails▸ Reconhecedor de caracteres (OCR)▸ Sistemas de Recomendação

▸ Retenção de clientes▸ Análise de Sentimento



Machine Learning (ou Aprendizado de Máquina) é uma sub-área daInteligência Arti�cial que estuda sistemas que podem aprender comdados. Alguns exemplos:▸ Classi�cador de Emails▸ Reconhecedor de caracteres (OCR)▸ Sistemas de Recomendação▸ Retenção de clientes

▸ Análise de Sentimento



Machine Learning (ou Aprendizado de Máquina) é uma sub-área daInteligência Arti�cial que estuda sistemas que podem aprender comdados. Alguns exemplos:▸ Classi�cador de Emails▸ Reconhecedor de caracteres (OCR)▸ Sistemas de Recomendação▸ Retenção de clientes▸ Análise de Sentimento


O problema

O problema de aprendizado geralmente considera um conjunto de namostras e tenta prever dados de uma amostra desconhecida. Aspropriedades de uma amostra são geralmente chamadas de features. Sãocategorizados em:

▸ Aprendizado Supervisionado (Supervised Learning)▸ Aprendizado Não-supervisionado (Unsupervised Learning)

NotaExistem também outras categorias (inclusive híbridas) que não serãoabordadas.


Supervisionado vs Não-supervisionado

No Aprendizado Supervisionado, os algoritmos são treinados comdados rotulados. Exemplo: Reconhecimento de Caracteres (OCR), ondeo treino é realizado com várias amostras de caracteres onde cadaimagem contém também um rótulo de qual caractere aquela imagemrepresenta.

No Aprendizado Não-supervisionado, os algoritmos operam emdados não rotulados. Um exemplo de algoritmo não-supervisionado é oclustering, em que amostras são agrupadas conforme o nível desimilaridade (ex: agrupar imagens semelhantes em um banco deimagens).


Aprendizado Supervisionado

No Aprendizado Supervisionado, temos dois tipos de problemas:

Classi�cação As amostras pertencem a duas ou mais classes (ex:spam/não-spam) e o objetivo é aprender através de dadosjá rotulados qual a classe de um dado novo não rotulado.A classi�cação pode também ser vista como umaprendizado de valores discretos.

Regressão Se a saída esperada do algoritmo é uma ou maisvariáveis contínuas, o problema é chamado de regressão.Um exemplo de regressão é prever o preço de um imóvellevando em consideração suas features (características)como o tamanho, número de quartos, número degaragens, etc.



No Aprendizado Supervisionado, temos dois tipos de problemas:Classi�cação As amostras pertencem a duas ou mais classes (ex:

spam/não-spam) e o objetivo é aprender através de dadosjá rotulados qual a classe de um dado novo não rotulado.A classi�cação pode também ser vista como umaprendizado de valores discretos.

Regressão Se a saída esperada do algoritmo é uma ou maisvariáveis contínuas, o problema é chamado de regressão.Um exemplo de regressão é prever o preço de um imóvellevando em consideração suas features (características)como o tamanho, número de quartos, número degaragens, etc.



Figura: Diagrama de aprendizado supervisionado (por Olivier Grisel)


Scikit-Learn

Scikit-learn (sklearn) é um framework open-source de MachineLearning escrito em Python utilizando as plataformas Numpy/Scipy eMatplotlib.

▸ Ótima documentação▸ Inúmeros exemplos▸ Licença permissiva (BSD)▸ Utilizado por grandes empresas▸ Grande comunidade e muitos workshops


Scikit-Learn


▸ Ótima documentação

▸ Inúmeros exemplos▸ Licença permissiva (BSD)▸ Utilizado por grandes empresas▸ Grande comunidade e muitos workshops


Scikit-Learn


▸ Ótima documentação▸ Inúmeros exemplos

▸ Licença permissiva (BSD)▸ Utilizado por grandes empresas▸ Grande comunidade e muitos workshops


Scikit-Learn


▸ Ótima documentação▸ Inúmeros exemplos▸ Licença permissiva (BSD)

▸ Utilizado por grandes empresas▸ Grande comunidade e muitos workshops


Scikit-Learn


▸ Ótima documentação▸ Inúmeros exemplos▸ Licença permissiva (BSD)▸ Utilizado por grandes empresas

▸ Grande comunidade e muitos workshops


Scikit-Learn


▸ Ótima documentação▸ Inúmeros exemplos▸ Licença permissiva (BSD)▸ Utilizado por grandes empresas▸ Grande comunidade e muitos workshops


Parte III

[ Classificação \


Classificação - Hiperplano


Classificação - Reconhecimento de Caracteres

Para demonstrar um problema de classi�cação, vamos utilizar umconjunto de dados de dígitos escritos à mão para treinar um modeloque irá posteriormente reconhecer imagens de caracteres escritos a mão.O conjunto de dados que vamos utilizar contém:▸ 1.797 imagens rotuladas de caracteres escritos a mão▸ Aproximadamente 180 caracteres por classe▸ Cada imagem tem o tamanho 8x8 (64 pixels)▸ Cada pixel tem a intensidade de 0 à 16 (tons de cinza)



O pacote scikit-learn (sklearn) já vem com o dataset de dígitos:

>>> from sklearn import datasets>>> digitos = datasets.load_digits()>>> digitos.data.shape(1797L, 64L)>>> digitos.target.shape(1797L,)

NotaComo pode-se notar pelo formato dos dados do atributo data, o datasetcontém 1.797 amostras de caracteres contendo 64 pixels em cada uma dasamostras. Além dos dados temos os rótulos dos dados no atributo target.



>> digitos.data[0]array([ 0., 0., 5., 13., 9., 1., 0., 0., 0., 0., 13.,

15., 10., 15., 5., 0., 0., 3., 15., 2., 0., 11.,8., 0., 0., 4., 12., 0., 0., 8., 8., 0., 0.,5., 8., 0., 0., 9., 8., 0., 0., 4., 11., 0.,1., 12., 7., 0., 0., 2., 14., 5., 10., 12., 0.,0., 0., 0., 6., 13., 10., 0., 0., 0.])

>>> digitos.target[0]0


Classificação - Support VectorMachines

Para classi�car as imagens de caracteres vamos utilizar um métodomuito conhecido emMachine Learning, este método é chamado deSupport Vector Machine. SVM é uma técnica de classi�cação (ouregressão) que procura encontrar um modelo onde a separação entre asclasses tenha a maior margem possível.


Classificação - Support VectorMachines

Figura: Support Vector Machines (wikipedia)


Classificação - scikit-learn

Figura: API para Aprendizado Supervisionado do sklearn (por Olivier Grisel)


Classificação - scikit-learn + SVM

from sklearn import svm, datasetsdigitos = datasets.load_digits()modelo = svm.SVC(gamma=0.001)num_amostras = len(digitos.data)

modelo.fit(digitos.data[:num_amostras / 2],digitos.target[:num_amostras / 2])

classe_esperada = digitos.target[num_amostras / 2:]classe_descoberta =

modelo.predict(digitos.data[num_amostras / 2:])


Classificação - scikit-learn + SVM

>>> classe_esperada[25:35]array([8, 9, 0, 1, 2, 3, 4, 9, 6, 7])

>>> classe_descoberta[25:35]array([8, 9, 0, 1, 2, 3, 4, 5, 6, 7])


Classificação - Matriz de ConfusãoUma das maneiras avaliar o quão bem ummodelo se comporta, éutilizando umaMatriz de Confusão:>>> from sklearn import metrics>>> metrics.confusion_matrix(classe_esperada,... classe_descoberta)[[87 0 0 0 1 0 0 0 0 0][ 0 88 1 0 0 0 0 0 1 1][ 0 0 85 1 0 0 0 0 0 0][ 0 0 0 79 0 3 0 4 5 0][ 0 0 0 0 88 0 0 0 0 4][ 0 0 0 0 0 88 1 0 0 2][ 0 1 0 0 0 0 90 0 0 0][ 0 0 0 0 0 1 0 88 0 0][ 0 0 0 0 0 0 0 0 88 0][ 0 0 0 1 0 1 0 0 0 90]]


Classificação - Matriz de Confusão


Parte IV

[ Regressão \


RegressãoPara ilustrar como uma regressão funciona, utilizaremos o método deRegressão Linear em um conjunto de dados reais. O método deRegressão Linear é um dos métodos mais simples para se realizar umaregressão. Ele funciona traçando uma reta sobre os dados de forma queesta reta tenha a soma de residuais com o menor valor possível.

Figura: Regressao Linear


Regressão Linear - Dados de ImóveisPara ilustrar como a Regressão Linear funciona, utilizaremos o métodoem um conjunto de dados reais de imóveis da cidade de Porto Alegre /RS. Este conjunto de dados foi extraído 1 em Março de 2014 do site deuma imobiliária e contém dados de aproximadamente 6.800 imóveis avenda.

Figura: Alguns imóveis do bairro Bela Vista.

1Utilizando BeautifulSoup


Regressão Linear - Dados de Imóveis

Figura: Scatter plot de imóveis do bairro Bela Vista.



Figura: Scatter plot de imóveis do bairro Centro.



Figura: Scatter plot de imóveis do Centro (vermelho) e Bela Vista (azul).


Regressão Linear

Para realizar a Regressao Linear, usaremos apenas 1 feature (parafacilitar a visualização da regressão).

Como entrada utilizaremos o dado da área do imóvel (em mtsquadrados) e como saída esperada (valor que queremos prever baseadona área) utilizaremos o valor do imóvel em reais.


Regressão Linear - Overfitting

Se em tudo o mais foremidênticas as várias explicaçõesde um fenômeno, a maissimples é a melhor.—Guilherme de Ockham

(1288-1347)


Regressão Linear - Overfitting


Regressão Linear

>>> from sklearn import linear_model>>> from sklearn.cross_validation import train_test_split>>> model = linear_model.LinearRegression()

>>> area, preco = imobiliaria.load_data("Bela Vista")>>> area_train, area_test, preco_train, preco_test = \

train_test_split(area, preco, test_size=0.20)>>> model.fit(area_train, preco_train)

>>> model.predict(56)247882.22260541

>>> model.score(area_test, preco_test)0.77655417131351878


Regressão Linearimport matplotlib.pyplot as pltplt.scatter(area, preco, alpha=0.5)plt.plot(area, model.predict(area), color="red")

Figura: Regressão Linear e dados de treino.


Regressão Linear - Múltiplas featuresNo modelo anterior, utilizamos apenas uma feature (área do imóvel)para criar um modelo, mas ainda temos um dado com um ótimo valorpreditivo.

Podemos incorporar este novo dado em uma nova feature do nossomodelo para reduzir o erro do nosso modelo.


Regressão Linear - Múltiplas features



features, preco = imobiliaria.load_data("Bela Vista")features_train, features_test, preco_train, preco_test = \

train_test_split(features, preco, test_size=0.20)

model.fit(features_train, preco_train)

model.score(features_test, preco_test)0.81960426250252283

Melhora no score de 0.77 para 0.81.



Utilizando o modelo de regressão que treinamos, podemos fazerperguntas como por exemplo, qual seria a estimativa de preço para umimóvel de 56 m2 com apenas 1 dormitório localizado no bairro BelaVista ?

linear_model.predict([56, 1])array([ 216157.98252844])

Ou seja: um imóvel de 1 dormitório com 56 m2 no bairro Bela Vistaem Porto Alegre custaria aproximadamente R$216.157,00.


Parte V

[ Dúvidas \


Dúvidas ?

Junte-se ao PyTchê ! Acesse http://pytche.org

Machine Learning com Python e Scikit-learn

Technology

Transcript of Machine Learning com Python e Scikit-learn