Arquitetura do Framework Apache Hadoop 2.6

Arquitetura do Framework

Apache Hadoop

Universidade Estadual do Rio de Janeiro - UERJ

Instituto de Matemática e Estatística- IME

FELIPE SCHIMITH BATISTA

Aluno de Mestrado

Framework

TÍTULO DO SEU SEMINÁRIO

Subtítulo

Arquitetura do framework Apache Hadoop

Existem várias definições de framework.

Segundo Darren Govoni

Livro: Java application frameworks (1999)

“Um framework é uma coleção abstrata de classes, interfaces e padrões

dedicado a resolver um conjunto de problemas através de uma arquitetura

flexível e extensível”

Agenda

Subtítulo

I. História

II. Introdução

III. Ecossistema Hadoop

IV. Conceito Map-Reduce

V. Arquitetura Hadoop

VI. Processamento

VII. Áreas de Aplicação

VIII. Exemplo de Aplicação

História

Subtítulo

Out 2003 : Google publicou o primeiro paper GFS (Google File System)

Jul 2005 : Nutch NDFS (projeto open source de Web Search Engine baseado em Lucene) começa a usar MapReduce

Fev 2006 : Torna-se um subprojeto Lucene, e é renomeado Hadoop

Abr 2007 : Yahoo! Cria um cluster de mais de 1000-nodes

Jan 2008 : A Apache torna o Hadoop um projeto Top Level

Abr 2009 : Ganhou o “Minute Sort” processando 500 GB em 59 segundos(com 1406 nodes)

Out 2013 : Ganhou o “Gray Sort” (100 TBs / minutos) processando 102 TB em 4 segundos(com 2100 nodes)

Fontes: http://sortbenchmark.org/http://static.googleusercontent.com/media/research.google.com/pt-BR//archive/gfs-sosp2003.pdfhttp://www.ordinal.com/gensort.html

Introdução

Com o avanço tecnológico, as formas de computação que visam a melhoria no

desempenho dos algoritmos vêm sendo aprimoradas, um dos objetivos é a melhor

utilização dos recursos de hardware cada vez mais acessíveis, obtendo ganho de

tempo de processamento.

Subtítulo

Introdução

Algumas dessas soluções são baseadas em arquiteturas com memória compartilhada ou

arquiteturas com computação distribuída. Isso possibilita novos métodos de paralelismo e

clusterização, o que viabiliza a análise de uma quantidade de dados cada vez maior em

menos tempo.

Subtítulo

Memória

Tradicional

Execução

Memória

Memória centralizada (SMP)

CPUCPU

Memória

Computação Distribuída (Cluster)

CPUCPU

Memória Memória

FS FS FS

SMP- Symmetric MultiProcessors

Ecossistema Hadoop

O Hadoop é um projeto open-source da Apache utilizado para computação distribuída.

Subtítulo

Fonte: http://hortonworks.com

Subtítulo

• Princípio da Divisão e Conquista

• Alto desempenho

• Processamento em paralelo

Map-Reduce

• Gerenciador de Recursos do Cluster

• Negociador de Recusos

• Organizador de Tarefas

• Armazenamento distribuído

• Storage system tolerante a falhas

• Altamente escalável

Hadoop Distributed File System (HDFS)

Ecossistema Hadoop

Subtítulo

Carro Moto ÔnibusÔnibus Barco NavioBarco Carro Barco

Carro Moto Ônibus

Ônibus Barco Navio

EntradaDivisão

Map-Reduce Conceito Map-Reduce

Subtítulo

Carro Moto Ônibus

Ônibus Barco Navio

Carro 1Moto 1Ônibus 1

Ônibus 1 Barco 1Navio 1

EntradaDivisão

Subtítulo

Carro Moto Ônibus

Ônibus Barco Navio

Carro 1

Ônibus 1 Ônibus 1Ônibus 1

Barco 1Barco 1

Moto 1

Navio 1Navio 1

EntradaDivisão

MapRearranja*Ordena*

Subtítulo

Carro Moto Ônibus

Ônibus Barco Navio

Carro 1

Barco 1Barco 1

Moto 1

Navio 1Navio 1

EntradaDivisão

Carro 1

Ônibus 3

Barco 2

Moto 1

Navio 2

Reduce

Subtítulo

Carro Moto Ônibus

Ônibus Barco Navio

Carro 1

Barco 1Barco 1

Moto 1

Navio 1Navio 1

EntradaDivisão

Carro 1

Ônibus 3

Barco 2

Moto 1

Navio 2

Reduce

Barco 2Carro 1Moto 1Navio 2

Ônibus 3

Resultado Final

Subtítulo

Carro Moto Ônibus

Ônibus Barco Navio

Carro 1

Barco 1Barco 1

Moto 1

Navio 1Navio 1

EntradaDivisão

Carro 1

Ônibus 3

Barco 2

Moto 1

Navio 2

Reduce

Barco 2Carro 1Moto 1Navio 2

Ônibus 3

Resultado Final

Arquitetura do Hadoop

Subtítulo

ResourceManager

Node Manager

NameNode

Data Node

Data node

MapReduce

Camadas:

master slave

Node Manager

YARN Engine : Processa grandenúmero de dados em paralelocom clusters de forma confiável e tolerante a falhas.

HDFS : Armazena e gerencia os arquivos em nodes do cluster Hadoop

Subtítulo

ResourceManager

Node Manager

master slave

Node Manager

Resource Manager

• Aceita tarefas de Map-Reduce ou YARN Apps

• Atribui tarefas ao Node Manager

• Monitora o estado do NM

• Gerencia concorrência entre aplicações

Node Manager

• Executa tarefas de Aplicação

• Envia seu status para o Resource Manager

• Recupera recursos do HDFS

Camada: Map Reduce

Subtítulo

Containers

• Criado pelo Resource Manger

• Aloca recursos

• Aplicação pode rodar em um ou mais containers

Application Master

• Um por aplicação

• Roda em um Container

• Requisita mais containers para rodar as tarefas

Node Manager

Application Master

Container

Camada: YARN

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Node Manager 1Cliente

Aplicação:MinhaApp

Subtítulo

Node Manager 4

ResourceManager

Node Manager 3

Node Manager 2

Application MasterInstancia

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Application Master

Solicita Recursos

• Nome (do Recurso, ou Rack)• Número de Containers• Recursos necessários

Subtítulo

Node Manager 4

ResourceManager

Node Manager 3

Node Manager 2

Application Master

Cria Containers necessários

Subtítulo

Node Manager 4

ResourceManager

Node Manager 3

Node Manager 2

Application MasterRetorna os ID dos Containers

Container• ID• Node

Subtítulo

Node Manager 4

ResourceManager

Node Manager 3

Node Manager 2

Application Master

MinhaApp

Executa

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Application Master

MinhaApp

Cliente

Aplicação:OutraApp

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Application Master

MinhaApp

ClienteApplication Master

OutraApp

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Application Master

MinhaApp

OutraApp

Retorna os Resultados

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Application Master

MinhaApp

OutraApp

Encerra os Containers e App Masters

Finaliza as aplicações

Subtítulo

Node Manager 4

Requisita o Recurso

ResourceManager

Node Manager 3

Node Manager 2

Node Manager 1

Fica Disponível

Subtítulo

Name Node

• Mapeia os blocos nos Data Nodes

• Controla Leitura/Escrita dos dados

• Gerencia a replicação de Blocos

Data Node

• Responsável pelo atendimento de

solicitações de leitura e gravação (criação do

bloco, exclusão e replicação)

NameNode

Data Node

Data node

master slave

Camada: HDFS

Subtítulo

Data Node 4

Requisita o Recurso

NameNode

Data Node 3

Data Node 2

Data Node 1• Projetado para suportar arquivos muito grandes > TB.

Subtítulo

Data Node 4NameNode

Data Node 3

Data Node 2

Data Node 1

Ex: TIFF 500MB

• Melhor aplicado em situações write once read many.

• Otimizado para Streaming reads.

Subtítulo

Data Node 4

Requisita o Recurso

NameNode

Data Node 3

Data Node 2

Data Node 1

Ex: TIFF 500MB

128 MB

116 MB

• Tamanho default de um bloco: 64 MB ou 128 MB. (FS 4KB a 8KB)

Bloco1

Bloco2

Bloco3

Bloco4

Subtítulo

Data Node 4NameNode

Data Node 3

Data Node 2

Data Node 1

Ex: TIFF 500MB

Referência do Dado

• Cada bloco irá residir se possível em um DataNode diferente.Bloco1

Bloco2

Bloco3

Bloco4

HDFS Arquitetura do Hadoop

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos: 1, 5, 3,2, 8, 6

Subtítulo

Nome do Arquivo Fator de Replicação Block ID

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos:

Replicação do HDFS

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos: 1, 5, 3,2, 8, 6

Subtítulo

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos:

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos: 1, 5, 3,2, 8, 6

Subtítulo

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos:

Subtítulo

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos: 1, 5, 3,2, 8, 6

Blocos:

Subtítulo

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos: 1, 5, 3,2, 8, 6

Blocos:

Subtítulo

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos:

Subtítulo

Arquivo A 3 [1, 2, 3]

Arquivo B 2 [4, 5, 6]

Arquivo C 1 [7,8]

Name Node

Data Nodes

Blocos: 1, 4, 3,2, 6

Blocos: 1, 2, 5, 7,4, 3

Blocos: 1, 5, 3,2, 6

Subtítulo

Node Manager 3 Data Node 3

ResourceManager

NameNode

Processamento

Ex: PDF

Subtítulo

Bloco1

Bloco2Node Manager 2 Data Node 2

ResourceManager

Bloco3

NameNode

Divide o dado em blocos

Processamento

Subtítulo

ResourceManager

NameNode

Guarda a referência dos Blocos

Bloco1

Bloco2

Bloco3

Processamento

Subtítulo

Bloco1

Bloco2

NameNode

ResourceManager

Bloco3

Cliente

App Master

Aplicação:ContaPalavras

Instancia AppMaster

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

App Master

NameNode

Instancia Containers

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

App Master

ContaPal. Map

NameNode

Executa Fase Map

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

App Master

ContaPal. Map

NameNode

Requisita 3 Containers

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

App Master

NameNode

Instancia Containers

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

App Master

ContaPal.Reducer

NameNode

Executa Fase Reduce

ContaPal.Reducer

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

App Master

ContaPal.Reducer

NameNode

Retorna Resultado

Processamento

Subtítulo

Bloco1

ResourceManager

Bloco3

Cliente

NameNode

Exibe Resultado

Processamento

Áreas de aplicação

Subtítulo

Financeiro Duminuição de risco de financimento

Governo Diminuição de custos e melhor distribuição de efetivo e orçamento

Saúde Análise de dados de sensores, monitoramento, genoma

Indústria Sensores de monitoramento para manutenção de peças

Óleo & Gas Análise de dados de sensores na Exploração

eComerce Recomendação de produtos e venda online

Comunicação Propaganda baseada na localização

Empresas que adotam o Hadoop

Subtítulo

Exemplo de Aplicação: Saúde

Subtítulo

O pesquisador Michael Schatz e sua equipe da Universidade de Maryland construíram o Crossbow usando o Hadoop em cloud que proporciona o custo de analisar um genoma humano abaixo de US $ 85 em 3 horas (40 nodes com 320-cores).

http://bowtie-bio.sourceforge.net/crossbow/index.shtml

Custo do GenomaLei de Gordon E. Moore

História

Subtítulo

Out 2003 : Google publicou o primeiro paper GFS (Google File System)

Jul 2005 : Nutch NDFS (projeto open source de Web Search Engine baseado em Lucene) começa a usar MapReduce

Fev 2006 : Torna-se um subprojeto Lucene, e é renomeado Hadoop

Abr 2007 : Yahoo! Cria um cluster de mais de 1000-nodes

Jan 2008 : A Apache torna o Hadoop um projeto Top Level

Abr 2009 : Ganhou o “Minute Sort” processando 500 GB em 59 segundos(com 1406 nodes)

Out 2013 : Ganhou o “Gray Sort” (100 TBs / minutos) processando 102 TB em 4 segundos(com 2100 nodes)

Fontes: http://sortbenchmark.org/http://static.googleusercontent.com/media/research.google.com/pt-BR//archive/gfs-sosp2003.pdfhttp://www.ordinal.com/gensort.html

Exemplo de Aplicação: Logística

Subtítulo

US Xpress uma das maiores companhias de caminhão nos EUA está usando o Hadoop para armazenar dados de sensores de seus caminhões. Com resultado das análises eles economizam 6 milhões de dólares/ano em custos de combustível.

http://www.computerweekly.com/news/2240146943/Case-Study-US-Xpress-deploys-hybrid-big-data-with-Informatica

Exemplo de Aplicação: Telecom

Subtítulo

Nokia -Nokia recolhe e analisa grandes quantidades de dados de telefones móveisProblema:(1) Lidar com 100TB de dados estruturados e 500TB de dados + semi-estruturado(2) Média de novos dados : 1TB / dia

Solução: HDFS que oferece o processamento de dados em escala de peta bytes.

http://strataconf.com/stratany2012/public/schedule/detail/26880

Visitem

Subtítulo

Sort Benchmark Home Page

http://sortbenchmark.org/

Paper do Google

http://static.googleusercontent.com/media/research.google.com/pt-BR//archive/gfs-sosp2003.pdf

Aplicação baseada em Hadoop para análise do Genoma

http://bowtie-bio.sourceforge.net/crossbow/index.shtml

Obrigado!!!

Subtítulo

Arquitetura do Framework Apache Hadoop 2.6

Software

Transcript of Arquitetura do Framework Apache Hadoop 2.6

Para José Martins Matos · 2019-08-26 · embedded cluster in the Raspberry PI platform, using the Apache Hadoop framework and an OpenMPI library.The low performance of Apache Hadoop

Apache CDTC

Hadoop - TDC FLN 2013

Hadoop MapReduce and Apache Spark on EMR: comparing performance for distributed workloads (1)

· 2016. 9. 21. · SAP Azure SAP HANA Azure SQL SQL VMS SQL Oil AzureS gg CH6H StorSimpleg o (IOT) Azure Suite* es Azure 10T HubÈ 10T Azure HDlnsightS Apache Hadoop Dlr-IQ, -S21

Tudo sobre Big Data - Intel | Soluções para o Data ... · para gestão e análise de Big Data, com foco em começar a utilizar a estrutura do software de código aberto Apache Hadoop*,

CLOUDERA: UMA ABORDAGEM PARA ANÁLISE DE LOGS DO … · Palavras-chaves: Big Data; Apache Hadoop; Apache Flume; Cloudera. Log. Abstract Our goal is to demonstrate an approach in the

Prof. Dr. Alfredo Goldman - Instituto de Matemática e Estatística | …ipolato/JAI2012-Hadoop-Slides.pdf · 2012-10-05 · •Origens do Hadoop e Apache Hadoop •Vantagens e Desvantagens

Apache mahout

Apache OpenOffice - O renascimento do OOo sob as penas da Apache Foundation

XXXI JAI - Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades.

Apache Hadoop

BIG DATA: Uma Visão Geral · Apache Hadoop •Hadoop é um framework que permite o ... Google lança Map Reduce e GFS ... mineração de dados e Big Data.

Estudo Hadoop

Hadoop - Mãos à massa! Qcon2014

Extraia valiosos BIG DATA · do Apache™ Hadoop® e do Apache™ Spark® com Cloudera®, Hortonworks®, IMB® e MapR®. L Conﬁguração testada Acesso instantâneo aos dados Plataforma

Linux Apache

Apache Hadoop - Introdução

Índios Apache

FundaçãO Apache