TDC 2015 - Conceitos e Práticas no Desenvolvimento de Sistemas Preditivos

Globalcode – Open4education

Trilha BigData

Conceitos e Práticas no

Desenvolvimento de Sistemas

PreditivosRodrigo de Moraes e Wagner Luiz Cambruzzi

Mestres em Computação Aplicada


ConceitosSistemas Preditivos


Sistemas Preditivos

O que é:

Um sistema preditivo é um sistema capaz de analisar

dados e definir um modelo matemático da relação

existente entre os dados de fatos prévios a

determinados acontecimentos.

Como:

Através da aplicação de técnicas de Mineração de

Dados e de Aprendizado de Máquina.


Mineração de Dados

Processo de Descoberta do Conhecimento

Processo VS. Etapa

Objetivo: Extração de conhecimento não trivial através

da análise e processamento de dados referentes a fatos

ocorridos no passado



Tipos de aprendizado de máquina

Supervisionado

Não supervisionado



Tipos de aprendizado de máquina

Supervisionado

Aprendizado sobre dados históricos cujo o resultado de

interesse é conhecido

Não supervisionado

Identificação de padrões semelhantes existentes nos

dados, sem informação prévia de qualquer relação entre

eles



Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação




Dados


Objetivo: Estimar o valor de alguma variável baseado na

observação de outras variáveis

Exemplo: Estimar o valor de mercado de uma casa baseado em

sua metragem, número de quartos, número de banheiros e etc...




Dados


Agrupamento / Clustering




Dados



Objetivo: Encontrar agrupamentos de amostras de dados com

base na semelhança dos valores de variáveis

Exemplo: Identificação de diferentes perfis de consumidores,

Categorias de documentos textuais...




Dados



Regras de Associação




Dados




Objetivo: Identificação de concorrência de valores de variáveis

Exemplo: Correlação entre itens em compras, identificação de

padrões de escrita...




Dados




Detecção de anomalias




Dados





Objetivo: Identificação de situações/comportamentos fora do

padrão

Exemplo: Fraudes em movimentações bancárias / utilização de

cartões de créditos




Dados





Classificação/Predição




Dados





Classificação/Predição

Objetivo: Identificação de padrões nos dados capazes de

distinguir diferentes grupos de amostras

Exemplo: Classificação de documentos, Classificação de

polaridade de sentimentos, sucesso ou insucesso acadêmico


Classificadores

Naïve Bayes

Fonte: https://computersciencesource.wordpress.com/2010/01/28/year-2-machine-learning-naive-bayes-classifier/


Classificadores

Decision Trees (Árvores de Decisão)


Classificadores

Decision Trees

Fonte: http://web.tecnico.ulisboa.pt/ana.freitas/bioinformatics.ath.cx/bioinformatics.ath.cx/indexf23d.html?id=199


Support Vector Machines (SVM)

Classificadores



Classificadores

Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html



Fonte: https://www.youtube.com/watch?v=3liCbRZPrZA

Classificadores



Classificadores

Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html


Classificadores

Artificial Neural Networks (ANNs)


Séries temporais

Dados que variam “continuamente” no tempo e

que cada um dos valores apresenta certa

dependência em relação aos valores do passado

Exemplos:

Mercado Financeiro

Consumo de energia elétrica

Temperatura

Umidade


Séries temporais


Os problemas dos dados

Formato do dado / Armazenamento / Integridade

Compatibilidade de histórico

Alterações e migrações de sistemas

Metodologia de definição de variáveis

Existências de poucos dados (amostras) sobre o

problema

Existência de dados supervisionados

Critérios de definição de classes

Desbalanceamento entre classes


Estudo de caso de um

sistema preditivo


Contexto


Perfil da Empresa

• 28 anos de atuação;

• Especialista em Sistema de Gestão Educacional;

• Atuação exclusiva no segmento educacional;

• 700+ clientes no Brasil;

• 130+ colaboradores.


Como nasceu o projeto?

• Unidade de Novos Negócios;

• Problema da evasão em IES;

• Projeto RHAE do CNPQ;

• Grupo de Pesquisa e Mestrados;

• Validação da Ideia;

• Produto.


O que é o GVwise?

Uma solução que atua na gestão da

retenção de alunos.


Dados?

Eventos

Professores e

Tutores

AdministrativoCoordenações

2. Instituição de Ensino

Ambiente Virtual

de Aprendizagem

3. Dados

Atendimento

1. Estudantes


1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?






1 – Mapeamento de indicadores

AVEA, ERP, CRM, ...Indicadores

Exploração dos dados

Como funciona?






Como funciona?







Definição de perfis

Indicadores de estudantes (histórico)

Aprovados

Reprovados

Evadidos

Identificação dos grupos de interesse

Mineração de dados e identificação de padrões

Como funciona?






Como funciona?







Módulo de encaminhamentos

Estudantes classificados conforme o risco

Classificação ou prediçãoIndicadores de estudantes (atuais)

Central de AtendimentoAções automáticas

Equipe de Retenção

Como funciona?






Como funciona?







Analise dos estudantes em risco Realização de ações

Aumento da Permanência

Gerência do Processo

Como funciona?






Como funciona?


Como entregamos?

Interface de acompanhamento de uma turma


Interface de indicadores de um estudante

Como entregamos?


Interface de acompanhamento gráfico de indicadores do estudante

Como entregamos?


Cadastro de ações

Como entregamos?


Histórico de ações

Como entregamos?


Resultados de Predição

0,00%

20,00%

40,00%

60,00%

80,00%

100,00%

Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7

Geral

Evadidos

Não Evadidos


Aprovados: melhoria de 18%

Evadidos: melhoria de 25%

Resultados de Retenção


Obrigado!

Rodrigo de Moraes – [email protected]

Wagner Cambruzzi – [email protected]

TDC 2015 - Conceitos e Práticas no Desenvolvimento de Sistemas Preditivos

Data & Analytics

Transcript of TDC 2015 - Conceitos e Práticas no Desenvolvimento de Sistemas Preditivos