Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de...

40
Globalcode – Open4education Trilha – Machine Learning Fabíola S. F. Pereira

Transcript of Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de...

Page 1: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Trilha – Machine Learning Fabíola S. F. Pereira

Page 2: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

De pai pra filho! A Tarefa de Classificação

Hierárquica aplicada em um Case Real sobre Dados Textuais

Fabíola S. F. Pereira Data Scientist @ ZUP IT

Page 3: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Olá! Muito prazer!

  Uberlândia/MG   [Indústria] Cientista de Dados @ Zup IT

  [Pesquisa] Posdoc @ ICMC USP

Page 4: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Interação com o Cliente

Desenvolvimento com ML

Modelagem do problema

Resultados O CASE DE ML

Page 5: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

1o ATO

A CONVERSA COM O CLIENTE

Page 6: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Temos uma tabela Excel

Page 7: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Temos uma tabela Excel

nessa tabela tem textos

Page 8: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Temos uma tabela Excel

nessa tabela tem textos

atualmente categorizamos esses textos manualmente

Page 9: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Temos uma tabela Excel

nessa tabela tem textos

queremos categorizar automaticamente!

atualmente categorizamos esses textos manualmente

Page 10: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

“cliente reclama que a Internet não está funcionando”

“o modem está com as luzes piscando, mas não consegue conectar. Já tentou resetar e nada aconteceu”

“ontem a Internet estava normal e hoje não está funcionando mais. Cliente solicitou aumento da velocidade de conexão”

“Cliente relata que teve uma chuva forte ontem e depois da chuva teve queda de energia e tudo parou de funcionar”

Quais textos vocês têm?

Page 11: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

1.  Bug no sistema (TI) 2.  Bug no sistema (TI) - exceção 3.  Problema de Rede 4.  Cabeamento danificado 5.  Cabeamento danificado – vandalismo 6.  Cabeamento antigo 7.  Erro de configuração para o perfil do cliente 8.  Erro de configuração para clientes de um grupo 9.  Erro de configuração para clientes ADSL 10. Erro de configuração para clientes Fibra … 96. (são 96!)

Quais categorias vocês têm?

Page 12: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Então vocês já têm uma massa de dados categorizada para utilizarmos como exemplo?

Page 13: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Então vocês já têm uma massa de dados categorizada para utilizarmos como exemplo?

Quantos dados de exemplo vocês têm de cada categoria?

Page 14: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Então vocês já têm uma massa de dados categorizada para utilizarmos como exemplo?

Quantos dados de exemplo vocês têm de cada categoria?

Page 15: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

2o ATO

MODELAGEM DO PROBLEMA

Page 16: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Computação Tradicional Input

Programa

Machine Learning é…

Resposta

Page 17: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Computação Tradicional Input

Programa

Machine Learning Input

Resposta

Machine Learning é…

Resposta

Programa

Page 18: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

A tarefa de classificação

https://www.datanami.com/2018/09/05/how-to-build-a-better-machine-learning-pipeline/

Page 19: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

A tarefa de classificação hierárquica

https://descomplica.com.br/blog/biologia/por-que-e-importante-classificar-os-seres-vivos/

Page 20: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

A tarefa de classificação hierárquica

abordagem flat

abordagem por hierarquia

Page 21: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

A tarefa de classificação hierárquica

não existe uma hierarquia entre as categorias a

serem preditas

FLAT

Page 22: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

A tarefa de classificação hierárquica

HIERÁRQUICA cada categoria a ser predita deve

ser levada em consideração, sendo tais categorias organizadas

em uma hierarquia

Page 23: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Exemplificando… Ordem de Serviço (OS)

bug (TI) rede

setup regra de negócio cabeamento equipamento

vandalismo tempo de uso

cliente específico

grupo de clientes

por produto

Page 24: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Decisão de modelagem

Aprendizado supervisionado Classificação hierárquica Abordagem hierárquica

é importante obter todas as categorias

fornecerá uma hierarquia dessas categorias

fornecerá amostras de exemplo suficientes para cada categoria

Cliente

Page 25: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Decisão de modelagem

Aprendizado supervisionado Classificação hierárquica Abordagem hierárquica

é importante obter todas as categorias

fornecerá uma hierarquia dessas categorias

fornecerá amostras de exemplo suficientes para cada categoria

Cliente

Page 26: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

3o ATO

DESENVOLVIMENTO DA SOLUÇÃO

Page 27: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Pipeline de NLP

TF-IDF

10 classificadores

Escolha do melhor classificador

Para cada nó da árvore

Page 28: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Dados textuais

lower case

remoção de caracteres especiais

remoção de stop words

remoção de palavras redundantes (cliente, …)

Pipeline de NLP Pipeline de NLP

TF-IDF

10 classificadores

Escolha do melhor classificador

Page 29: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

TF-IDF

representando cada texto (ordem de serviço) em função das palavras que o formam

Pipeline de NLP

TF-IDF

10 classificadores

Escolha do melhor classificador

Page 30: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

10 Classificadores (binários ou multi-classes)

NaiveBayes básico

LinearSVC básico

RandomForest básico

MultiLayerPerceptron básico

KNN básico

Voting ensemble

Extratrees ensemble

Bagging ensemble

Adaboost ensemble

GradientBoosting ensemble

Pipeline de NLP

TF-IDF

10 classificadores

Escolha do melhor classificador

Page 31: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Escolha do melhor classificador (F1)

F1

model

Pipeline de NLP

TF-IDF

10 classificadores

Escolha do melhor classificador

Page 32: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Pipeline de NLP

TF-IDF

10 classificadores

Escolha do melhor classificador

Para cada nó da árvore

Page 33: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Ficha técnica

  Python – Scikit-learn, nltk, numpy   Construção de modelos: Jupyter Notebook   Automação das predições: PyCharm   Desenvolvimento de uma peça de front para dashboards: Dash (python)

Page 34: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Time de desenvolvedores

  1 cientista de dados   1 dev python senior   4 meses de projeto

Page 35: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

4o ATO

A ENTREGA

Page 36: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Conseguimos 100% de assertividade?

  Árvore final com 20 nós   Média entre todos os classificadores

  F1: 0.73   Acurácia: 75%

  Tempo de execução:   Antes era feito manualmente (400 registros/mês)   Com nossa abordagem: 4min (120000 registros/mês)

Page 37: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Percepção do Cliente

Foi bastante trabalhoso fornecer os dados de exemplo com amostras suficientes

Atingimos uma assertividade muito satisfatória!

Page 38: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

Percepção dos Desenvolvedores

Dá pra melhorar a assertividade, porém precisamos de mais tempo

Difícil gerenciar a expectativa do cliente em um

projeto como esse

Page 39: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Globalcode–Open4education

De pai pra filho! A Tarefa de Classificação

Hierárquica aplicada em um Case Real sobre Dados Textuais

Fabíola S. F. Pereira Data Scientist @ ZUP IT

sites.google.com/site/fabiolasfpereira

Page 40: Trilha – Machine Learning · Ficha técnica Python – Scikit-learn, nltk, numpy Construção de modelos: Jupyter Notebook Automação das predições: PyCharm Desenvolvimento de

Mãos à Obra: Aprendizado de Máquina com Scikit-Learn ...

Mãos à Obra: Aprendizado de Máquina com Scikit-Learn ...

Aprendizagem Computacional para Gestão de Incidentes em ... · Outras bibliotecas para linguagem Python como NLTK, Pandas e Numpy, foram utilizadas para as tarefas de pré processamento,

Aprendizagem Computacional para Gestão de Incidentes em ... · Outras bibliotecas para linguagem Python como NLTK, Pandas e Numpy, foram utilizadas para as tarefas de pré processamento,

Learning analytics en cursos sobre TICS utilizando Moodle ...openaccess.uoc.edu/webapps/o2/bitstream/10609/86905/3/iperezgaTFM0119memoria.pdfson Moodle, PostgreSQL, Spark, Jupyter

Learning analytics en cursos sobre TICS utilizando Moodle ...openaccess.uoc.edu/webapps/o2/bitstream/10609/86905/3/iperezgaTFM0119memoria.pdfson Moodle, PostgreSQL, Spark, Jupyter

Machine Learning com Python e Scikit-learn

Machine Learning com Python e Scikit-learn

파이썬을 이용한 이용해보자 풀려면 머신러닝pds21.egloos.com/.../Machine_Learning_with_Python.pdf · - 머신러닝 알고리즘 : Scikit-Learn - 머신 러닝 라이브러리

파이썬을 이용한 이용해보자 풀려면 머신러닝pds21.egloos.com/.../Machine_Learning_with_Python.pdf · - 머신러닝 알고리즘 : Scikit-Learn - 머신 러닝 라이브러리

Tutorial de Jupyter Notebook€¦ · Dicionário de termos Como funciona o Jupyter Notebook » Servidor Jupyter Notebook ou Servidor Jupyter, tanto faz. » Servidor Jupyter é um

Tutorial de Jupyter Notebook€¦ · Dicionário de termos Como funciona o Jupyter Notebook » Servidor Jupyter Notebook ou Servidor Jupyter, tanto faz. » Servidor Jupyter é um

UNIVERSIDADE DE EVORA - COnnecting REpositories · desenvolvido na linguagem Python e utiliza recursos da ferramenta NLTK, como o reco-nhecimento de entidades (NE Chunk), o classi

UNIVERSIDADE DE EVORA - COnnecting REpositories · desenvolvido na linguagem Python e utiliza recursos da ferramenta NLTK, como o reco-nhecimento de entidades (NE Chunk), o classi

NLTK através de exemplos: - Análise de sentimentos - …professor.ufabc.edu.br/~jesus.mena/courses/pln-2q-2019/PLN-aula16.pdf · NLTK através de exemplos: - Análise de sentimentos

NLTK através de exemplos: - Análise de sentimentos - …professor.ufabc.edu.br/~jesus.mena/courses/pln-2q-2019/PLN-aula16.pdf · NLTK através de exemplos: - Análise de sentimentos

DEVELOPING DATA-DRIVEN CULTURE · Como separo outliers automaticamente? SCORA Workflow genérico e robusto para deploy de modelos analíticos WEKA, Python, ... (Jupyter integrado,

DEVELOPING DATA-DRIVEN CULTURE · Como separo outliers automaticamente? SCORA Workflow genérico e robusto para deploy de modelos analíticos WEKA, Python, ... (Jupyter integrado,

TÉCNICA PARA MINERAÇÃO DE TEXTOS NA ANÁLISE DE …repositorio.roca.utfpr.edu.br/jspui/bitstream/1/... · NL - Natural Language NLTK - Natural Language Toolkit OPENNLP - The Apache

TÉCNICA PARA MINERAÇÃO DE TEXTOS NA ANÁLISE DE …repositorio.roca.utfpr.edu.br/jspui/bitstream/1/... · NL - Natural Language NLTK - Natural Language Toolkit OPENNLP - The Apache

Implementação de Kernel Customizado Aplicado à Análise de ...€¦ · Linguagem e Ferramentas Linguagem Python: Linguagem de alto nível ... NLTK para processamento de linguagem

Implementação de Kernel Customizado Aplicado à Análise de ...€¦ · Linguagem e Ferramentas Linguagem Python: Linguagem de alto nível ... NLTK para processamento de linguagem

Aula 3 - aprendizado de máquina com scikit-learn

Aula 3 - aprendizado de máquina com scikit-learn

DONaTuS: uma iNTERfaCE amiGáVEl PaRa O ESTuDO Da SiNTaxE fORmal uTiliZaNDO a BiBliOTECa Em PYTHON DO NlTK … · Alfa, São Paulo, 56 (2): 523-555, 2012 525 Atualmente, o pacote

DONaTuS: uma iNTERfaCE amiGáVEl PaRa O ESTuDO Da SiNTaxE fORmal uTiliZaNDO a BiBliOTECa Em PYTHON DO NlTK … · Alfa, São Paulo, 56 (2): 523-555, 2012 525 Atualmente, o pacote

Scikit-Learn para MLLib: Machine Learning em Larga Escala

Scikit-Learn para MLLib: Machine Learning em Larga Escala