Globalcode – Open4education

Trilha BigData

Conceitos e Práticas no

Desenvolvimento de Sistemas

PreditivosRodrigo de Moraes e Wagner Luiz Cambruzzi

Mestres em Computação Aplicada

Globalcode – Open4education

ConceitosSistemas Preditivos

Globalcode – Open4education

Sistemas Preditivos

O que é:

Um sistema preditivo é um sistema capaz de analisar

dados e definir um modelo matemático da relação

existente entre os dados de fatos prévios a

determinados acontecimentos.

Como:

Através da aplicação de técnicas de Mineração de

Dados e de Aprendizado de Máquina.

Globalcode – Open4education

Mineração de Dados

Processo de Descoberta do Conhecimento

Processo VS. Etapa

Objetivo: Extração de conhecimento não trivial através

da análise e processamento de dados referentes a fatos

ocorridos no passado

Globalcode – Open4education

Mineração de Dados

Tipos de aprendizado de máquina

Supervisionado

Não supervisionado

Globalcode – Open4education

Mineração de Dados

Tipos de aprendizado de máquina

Supervisionado

Aprendizado sobre dados históricos cujo o resultado de

interesse é conhecido

Não supervisionado

Identificação de padrões semelhantes existentes nos

dados, sem informação prévia de qualquer relação entre

eles

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Objetivo: Estimar o valor de alguma variável baseado na

observação de outras variáveis

Exemplo: Estimar o valor de mercado de uma casa baseado em

sua metragem, número de quartos, número de banheiros e etc...

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Objetivo: Encontrar agrupamentos de amostras de dados com

base na semelhança dos valores de variáveis

Exemplo: Identificação de diferentes perfis de consumidores,

Categorias de documentos textuais...

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Regras de Associação

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Regras de Associação

Objetivo: Identificação de concorrência de valores de variáveis

Exemplo: Correlação entre itens em compras, identificação de

padrões de escrita...

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Regras de Associação

Detecção de anomalias

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Regras de Associação

Detecção de anomalias

Objetivo: Identificação de situações/comportamentos fora do

padrão

Exemplo: Fraudes em movimentações bancárias / utilização de

cartões de créditos

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Regras de Associação

Detecção de anomalias

Classificação / Predição

Globalcode – Open4education

Mineração de Dados

Principais objetivos de técnicas de Mineração de

Dados

Regressão / Estimação

Agrupamento / Clustering

Regras de Associação

Detecção de anomalias

Classificação/Predição

Objetivo: Identificação de padrões nos dados capazes de

distinguir diferentes grupos de amostras

Exemplo: Classificação de documentos, Classificação de

polaridade de sentimentos, sucesso ou insucesso acadêmico

Globalcode – Open4education

Classificadores

Naïve Bayes

Fonte: https://computersciencesource.wordpress.com/2010/01/28/year-2-machine-learning-naive-bayes-classifier/

Globalcode – Open4education

Classificadores

Decision Trees (Árvores de Decisão)

Globalcode – Open4education

Classificadores

Decision Trees

Fonte: http://web.tecnico.ulisboa.pt/ana.freitas/bioinformatics.ath.cx/bioinformatics.ath.cx/indexf23d.html?id=199

Globalcode – Open4education

Support Vector Machines (SVM)

Classificadores

Globalcode – Open4education

Support Vector Machines (SVM)

Classificadores

Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html

Globalcode – Open4education

Support Vector Machines (SVM)

Fonte: https://www.youtube.com/watch?v=3liCbRZPrZA

Classificadores

Globalcode – Open4education

Support Vector Machines (SVM)

Classificadores

Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html

Globalcode – Open4education

Classificadores

Artificial Neural Networks (ANNs)

Globalcode – Open4education

Classificadores

Artificial Neural Networks (ANNs)

Globalcode – Open4education

Séries temporais

Dados que variam “continuamente” no tempo e

que cada um dos valores apresenta certa

dependência em relação aos valores do passado

Exemplos:

Mercado Financeiro

Consumo de energia elétrica

Temperatura

Umidade

Globalcode – Open4education

Séries temporais

Globalcode – Open4education

Os problemas dos dados

Formato do dado / Armazenamento / Integridade

Compatibilidade de histórico

Alterações e migrações de sistemas

Metodologia de definição de variáveis

Existências de poucos dados (amostras) sobre o

problema

Existência de dados supervisionados

Critérios de definição de classes

Desbalanceamento entre classes

Globalcode – Open4education

Estudo de caso de um

sistema preditivo

Globalcode – Open4education

Contexto

Globalcode – Open4education

Perfil da Empresa

• 28 anos de atuação;

• Especialista em Sistema de Gestão Educacional;

• Atuação exclusiva no segmento educacional;

• 700+ clientes no Brasil;

• 130+ colaboradores.

Globalcode – Open4education

Como nasceu o projeto?

• Unidade de Novos Negócios;

• Problema da evasão em IES;

• Projeto RHAE do CNPQ;

• Grupo de Pesquisa e Mestrados;

• Validação da Ideia;

• Produto.

Globalcode – Open4education

O que é o GVwise?

Uma solução que atua na gestão da

retenção de alunos.

Globalcode – Open4education

Dados?

Eventos

Professores e

Tutores

AdministrativoCoordenações

2. Instituição de Ensino

Ambiente Virtual

de Aprendizagem

3. Dados

Atendimento

1. Estudantes

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

1 – Mapeamento de indicadores

AVEA, ERP, CRM, ...Indicadores

Exploração dos dados

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

2 - Geração e validação de padrões

Definição de perfis

Indicadores de estudantes (histórico)

Aprovados

Reprovados

Evadidos

Identificação dos grupos de interesse

Mineração de dados e identificação de padrões

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

3 - Predição e emissão de alertas

Módulo de encaminhamentos

Estudantes classificados conforme o risco

Classificação ou prediçãoIndicadores de estudantes (atuais)

Central de AtendimentoAções automáticas

Equipe de Retenção

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

4 - Avaliação e realização de ações

Analise dos estudantes em risco Realização de ações

Aumento da Permanência

Gerência do Processo

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

1 - Mapeamento de indicadores

2 - Geração e validação de padrões

3 - Predição e emissão de alertas

4 - Avaliação e realização de ações

Como funciona?

Globalcode – Open4education

Como entregamos?

Interface de acompanhamento de uma turma

Globalcode – Open4education

Como entregamos?

Interface de acompanhamento de uma turma

Globalcode – Open4education

Interface de indicadores de um estudante

Como entregamos?

Globalcode – Open4education

Interface de acompanhamento gráfico de indicadores do estudante

Como entregamos?

Globalcode – Open4education

Cadastro de ações

Como entregamos?

Globalcode – Open4education

Histórico de ações

Como entregamos?

Globalcode – Open4education

Resultados de Predição

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7

Geral

Evadidos

Não Evadidos

Globalcode – Open4education

Aprovados: melhoria de 18%

Evadidos: melhoria de 25%

Resultados de Retenção

Globalcode – Open4education

Obrigado!

Rodrigo de Moraes – rmoraes@gvwise.com.br

Wagner Cambruzzi – wcambruzzi@gvwise.com.br