Explorando os principais implementadores Hadoop

José Renato Pequeno

Faculdade de Engenharia de Sorocaba - Facens

José Renato Pequeno

O Momento Big Data

Fonte:http://www.gartner.com/

Hadoop

• Projeto Open Source

• Criado pela Yahoo em 2005

• Licenciado pela Apache

• É a combinação de dois projetos :

Hadoop MapReduce (HMR)

Hadoop Distributed File System (HDFS)

Hadoop

Apache Hadoop é um framework que permite o processamento de grandes volumes de dados através de clusters. É um sistema distribuído usando uma arquitetura Master-Slave armazenando informações através do Hadoop Distributed File System (HDFS) e implementa algoritmos de MapReduce.

Eco Sistema Hadoop

O que é Big Data?Segundo a Wikipedia:

“Big Data consiste em datasets que crescem em uma escala tão grande e complexa que fica difícil de processar utilizando as ferramentas de gerenciamento de banco de dados tradicionais. As dificuldades incluem captura, armazenamento, busca, compartilhamento, analise e visualização.”

Profissões

Mercado de trabalho

Fonte : http://classificados.folha.uol.com.br/empregos/2013/06/1291482-empresas-tem-de-reduzir-exigencias-para-ocupar-vagas.shtml

Mercado de trabalho

Fonte : http://classificados.folha.uol.com.br/empregos/2013/06/1291482-empresas-tem-de-reduzir-exigencias-para-ocupar-vagas.shtml

Implementadores Hadoop

Hortonworks

Hortonworks

Hortonworks

Hortonworks

Hortonworks

Hortonworks

Fonte : https://github.com/hortonworks/hadoop-tutorials

Hortonworks

Fonte : https://github.com/hortonworks/hadoop-tutorials

Hortonworks

Hortonworks

Hortonworks

Cloudera

Cloudera

Cloudera

Cloudera

Cloudera

Cloudera

Cloudera

MapR

MapR

MapR

MapR

MapR

MapR

MapR

Principais Players

OracleMicrosoft

IBMEMC

Oracle

Utiliza como base a Cloudera

Possui um empacotamento próprio

VM Oracle Big Data Lite

Oracle

Oracle

Microsoft

Utiliza como base a Hortonworks

Possui um empacotamento próprio

HDInsight

Microsoft

Microsoft

IBM

Possui um empacotamento próprio

Infosphere Big Insight

IBM

EMC

Utiliza tanto a Cloudera como a Hortonworks.

Empacotamento via PivotalHD.

EMC

FIM

José Renato Pequeno@javalittle