Pré-processamento em Big Data
-
Upload
joao-gabriel-lima -
Category
Technology
-
view
234 -
download
0
description
Transcript of Pré-processamento em Big Data
João Gabriel [email protected]
Pré-processamento: ferramentas e aplicações
Importância do Pré-Processamento
● Seleção de atributos
● Limpeza dos Dados
● Transformação
● Construção de atributos
● Discretização
Big Data 6 Vs
• Volume• Variedade• Velocidade
• Valor• Variabilidade• Veracidade
5 29/09/14
V
Pré-Processamento
Vs
Big Data
Open-Source
Desenvolvimento Acadêmico
Inovação
Novos Paradigmas
Critérios
Critérios
Batch X Real-time Processing
Batch Processing
Hadoop (MapReduce)
Hadoop (MapReduce)
Hadoop
HPCC SystemHPCC System
HPCC SystemAPACHE DRILL
HPCC SystemAPACHE DRILL
HPCC SystemAPACHE DRILL
HPCC SystemEcosystems
APACHE SPARK
APACHE SPARK
APACHE SPARK
Yahoo S4
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Apache Storm
Considerações Finais
● Hot Topic
● Muitas ferramentas e frameworks disponíveis
● Importante conhecer o domínio
● Cuidado! Não existe chave mestra!
● Potencial em aprendizagem de máquina
João Gabriel [email protected]
Pré-processamento: ferramentas e aplicações