© Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 · – 12.000 funcionários em...


A INFRAESTRUTURA DO FUTURO, HOJEIntegrando Greenplum DCA e SAS para permitir estudos analíticos embig data

Rafael AieloTechnology Consultant


O que é Greenplum? Adquirida pela EMC em julho de 2010

– Parte do quadrante de líderes do Gartner DW Magic Quadrant, Jan/2011 e Fev/2012

– Líder Forrester Wave em Hadoop, fevereiro de 2012

Missão: Fornecer produtos e serviços que ajudem as empresase provedores de serviços a obter os benefícios de negócios com análises em big data

Mais de 400 clientes globais em todos os setores

Oferece a única plataforma analítica integrada do setor


SAS: Software líder em análise de negócios

Desempenho– N° 1 em análise de negócios– Mais de 50.000 clientes– 12.000 funcionários em todo

o mundo

Cultura– Empresa n° 1 para trabalhar

nos EUA (2010, 2011)– Parceiro confiável de grandes

empresas e governos

Experiência– 50.000 locais com SAS em

127 países– Implementado em 93 das

100 maiores empresas– 35 anos, líder em soluções

analíticas

Líder inovador– Laboratório de análises

avançada da SAS– Cultura de inovação: 24%

de reinvestimento em P&D

Uma parceria estratégica para computaçãode alto desempenho em ambientes

analíticos

QUE PROBLEMAS LEVARÃO SEUS

CLIENTES A REPENSAR A SUA

PLATAFORMA ANALÍTICA?

• Não têm capacidade de expansão para os volumes de big data

• Não conseguem dar suportecompleto ao processo de modelagem de análisesestatísticas

• O carregamento de dados émuito lento

• A plataforma atual só é compatívelcom OLAP e eles precisam de análises avançadas

- Relatório TDWI sobre práticas recomendadas para lógica de big data, quarto semestre 2011


A Plataforma Analítica Integrada GREENPLUM

Dispositivos físicos ou infraestrutura em nuvem privada/híbrida

Camada de acesso e consulta aos dados

Ferramentas e serviços de terceiros/parceiros

Greenplum Chorus – camada de produtividade analítica

Greenplum Hadoop

Cientista de dados

Engenheiro de dados

Analista de dados

Analista de BI

Usuário de LOB

Greenplum DatabaseAdmin. da plataforma de dadosE

QU

IPE D

E C

IÊN

CIA

DE D

AD

OS


Greenplum DatabaseDesempenho por meio do paralelismo• Arquitetura Scale-Out em hardware “commodity”

• Paralelização automática

– Carregue e consulte como qualquer banco de dados

– Distribua tabelas por todos os nós automaticamente

– Sem necessidade de particionamento nemde ajuste manual

• Arquitetura MPP sem compartilhamentoe extremamente escalável

– Todos os nós executam as rotinas paralelamente

– Capacidade de expansão linear por meio da adição de nós

– Expansão on-line ao adicionar novos nós de processamento

Carregamento

Interconexão

http://www.greenplum.com/�


Greenplum HD Solução Hadoop pronta para uso corporativo

Apache Hadoop– Baseado na versão estável mais recente

Suporte corporativo

– Suporte mundial da EMC, 24h x 7d

Comprovação em escala– Certificado em escala pela EMC

Opção de armazenamento Isilon– Aproveite o que há de melhor sem alterações

nos aplicativos


GPDB compartilhamento de dados do GPHD

GPDBExternal Tables

GPHDArquivo no

HDFS

Entrada/saídade dados do GPHDem consultas do GPDB


Greenplum Chorus Agilidade em Big Data

Primeira Plataforma de Produtividade Analítica do Mundo

– Busque, explore, visualize e importe dados de toda a corporação

– Provisionamento self-service de áreas de trabalho para estudos analíticos

– Crie, compartilhe e publique descobertaspara Estudos Analíticos mais ágeis


Soluções de Software Greenplum

Greenplum Database, Hadoop, & Chorus emseu hardware x86

Flexibilidade paraqualquer ambiente

Licenças de usopermanente

EMC GreenplumPermite a escolha de formas de implementação

Greenplum Data Computing Appliance

Escolha a composiçãodos módulos emincrementos de ¼ de rack

Cresça adicionandonovos módulos

Uso imediato dos rescursos


GreenplumData Computing Appliance

Arquitetura Totalmente Modular


Greenplum Data Computing ApplianceArquitetura Modular Única

Módulo GreenplumDatabase Standard

9TB capacidade (semcompressão)/36TB (com compressão)

Cada servidor contém:• 2 sockets/12 cores• 48GB de memória• 12 discos x 600GB

Módulo GreenplumDatabase High Capacity

31TB capacidade (semcompressão)/124TB (com compressão)

Cada servidor contém:• 2 sockets/12 cores• 48GB de memória• 12 discos x 2TB

Módulo Greenplum HD 28TB capacidade (3 cópias, sem compressão)

Cada servidor contém:• 2 sockets/12 cores• 48GB de memória• 12 discos x 2TB

Módulo Greenplum DataIntegration Accelerator

(DIA)

70TB capacidadeCada servidor contém:• 2 sockets/12 cores• 48GB de memória• 12 discos x 2TB

HD

DIA

GPDB

GPDB


Inicie com uma interconexão de alta velocidade...

2 servidores master do GPDB

2 switches 10 GE

Switch administrativo

Módulofuncional

Módulofuncional

Módulofuncional

Módulofuncional


Adicione módulos de 1/4 de rack e expanda até doze racks

1º rack

+

Rack de Agregação e Expansão

+ …Módulo

funcional

Módulofuncional

Módulofuncional

DIA

GP DB

ou

ou

GP HD

DIA

GP DB

ou

ou

GP HD

Módulofuncional

Módulofuncional

Módulofuncional

MódulofuncionalGP DB


Especificações do Greenplum Database Module

Tipo de módulo Greenplum DB Módulo padrão

Greenplum DB Módulo de alta capacidade

Número de servidores 4

Número total de núcleos 48 núcleos

Memória total 192 GB

Tipo de armazenamento 600 GB 2 TB

Número total de drives de armazenamento 48

Capacidade utilizável (sem compactação) 9 TB 31 TB

Capacidade utilizável (com compactação) 36 TB 124 TB

Taxa de varredura (Full Rack) 24 GB/s 14 GB/s

Taxa de carregamento de dados (Full Rack) 10 TB/hora 10 TB/hora


Greenplum DIA Data Integration Accelerator Module

Desenvolvido especificamente para fornecer integraçãorápida com o Greenplum DB e hospedar aplicativos de parceiros


Alta disponibilidade – em todas as camadas

Redundância em todos os componentes de hardware

Espelhamento no banco de dados Greenplum

Redistribuição automática do workload

Failover automático dos nodes Greenplum DB

Opções de implementeção de Disaster Recovery


Detalhes de configuração do servidor GPDB


Configuração de espelhamento do GPDB

P1 P2 P3 M6 M8 M10

P4 P5 P6 M1 M9 M11

P7 P8 P9 M2 M4 M12

P10 P11 P12 M3 M5 M7

Servidor de segmento 1




Conjunto de instânciasde segmentos ativos

Os números de serviços primários e de espelhos são apenas exemplos.

GP DB

GP DB

GP DB

GP DB


O DCA pode sustentar até quatro falhas de servidor por rack, uma por módulo

P1 P2 P3 M6 M8 M10

P4 P5 P6 M1 M9 M11

P7 P8 P9 M2 M4 M12

P10 P11 P12 M3 M5 M7

Conjunto de instânciasde segmentos ativos

GP DB

GP DB

GP DB

GP DB






Failover automático do Master Node - DCA

Servidormaster

Servidor master em standby

Interconexãode redes

Replicação das transações

Endereço IP virtual

http://www.dell.com/us/business/p/poweredge-r610/pd?oc=bedwcrd&model_id=poweredge-r610&�

http://www.dell.com/us/business/p/poweredge-r610/pd?oc=bedwcrd&model_id=poweredge-r610&�


Greenplum Data Computing AppliancePlataforma unificada de análise de dados Trabalhe com dados estruturados e não estruturados Perfeito fluxo de dados entre o GPDB e o GPHD Execute SAS e outras soluções no DIALiderança em desempenho e capacidade Execução rápida de consulta de dados Carregamento de dados de alta capacidade Capacidade de vários petabytes em um único cluster Gerenciamento e suporte integrados Suporte e serviço 100% EMC Integração fácil com datacenters corporativos O Command Center fornece uma visão eficiente

sobre todo o ambiente do DCA


Arquitetura integrada UAP Greenplum e SASCientista de dados

Engenheiro de dados

Analista de dados

Analista de BI

Usuário de LOB

Admin. da

plataforma de dados

EQ

UIP

E D

E C

IÊN

CIA

DE

DA

DO

S

Greenplum Chorus – camada de produtividade analítica

Análise Estatística SAS

Infraestrutura Física de Servidores ou em nuvem privada/híbrida

Business Intelligence SAS

Gerenciamento de informações da SAS

Greenplum Database Greenplum Hadoop

Camada de acesso e consulta aos dados (SAS Access, SQL, MapReduce)


ANÁLISE LÓGICA DE ALTO

DESEMPENHO DA SAS®

COMPONENTES-CHAVE SAS HPA



DESEMPENHO DA SAS®

COMPUTAÇÃO EM GRID SAS®



DESEMPENHO DA SAS®

IN-DATABASE SAS®



DESEMPENHO DA SAS®

ANÁLISE ESTATÍSTICA IN-MEMORY DA SAS®


Ponto inicial central Integração Visualizações baseadas em função

BI MÓVELGERENCIADOR DE AMBIENTES

EXPLORADOR VISUAL DE ANÁLISES

DESIGNER VISUAL

• Relatórios nativos interativos

• iOS, Android

• Plataforma In-Memory de análises

• Segurança• Monitoramento

• Análise específica• Detecção de dados

• Relatórios para a Web ou celular

Visualização de negócios: SAS Visual Analytics


Melhorando o desempenho e a facilidade de gerenciamento do ambiente SAS


Componentes básicos da solução integrada

Etapa 1: Nova visão da arquitetura analítica

EMC Greenplum UAP

Análise estatística corporativa da SAS

Sol

uçõe

sS

AS

BI S

AS

• Solução totalmente integrada

• MPP em todo repositório

• Resultados analíticos maisrápidos e mais precisos sobretodos os dados

• Flexibilidade com balanceamento dinâmico de cargas de trabalho

• Continuidade dos aplicativosatuais SAS

Ger

enci

amen

to d

ein

form

açõe

s

In-m

emor

y S

AS

In-D

atab

ase

SA

S

Com

puta

ção

emG

RID

SA

S


Soluções SASGerenciador de grid

SAS (x86/Linux)In-Memory SAS In-Database SAS BI SAS

Gerenciamento de informações da SAS

SAS

Soft

war

e

SAS Fraud Framework

SAS Grid Manager for Linux

SAS HPA (High Performance

Analytics) SAS Access for Greenplum

(Processos básicos)

SAS Visual Analytics (SA VA)

SAS Data Integration Studio

SAS Metadata Manager

SAS HPMO (High Performance

Marketing Optimization)

SAS EDI (Enterprise Data Integration) SAS HP Risk (High

Performance Risk)

SAS SA (Scoring Accelerator) for

GreenplumSAS Dataflux

SAS Model Manager

Foco no problema de negócios

Etapa 2: Seleção dos componentes de produtos da SAS


Etapa 3: A Greenplum entrega a infraestrutura do ambiente analítico

Ger. de grid da SAS no GP DIA




192 núcleos de CPU Grid SAS

SAS HPA no GP DCA

SAS HPA no GP DCA

SAS HPAno GP DCA

SAS HPA no GP DCA

Rack completo para HPA – des. de modelo

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Armazenamento NAS

Isilon

Isilon de 300 TB para conjuntos de dados SAS e Greenplum HD

Nós GPHadoop

Nós GPHadoop

SAS VA noGP DIA

SAS VA no GP DIA

Nós do GP Hadoop c/ SAS VA


SAS Grid e outras soluções no GP DIA

Isilon para programas SAS

Isilon para Greenplum HD


Resumo

A SAS e a EMC Greenplum têm estratégias de soluções altamente alinhadas e complementares

A integração atual dos produtos permite que as empresas comecem sua jornada rumo à análises de big data hoje

A integração futura dos produtos aumentará o valor que pode ser extraído da Plataforma AnalíticaIntegrada


Twite por uma chance de ganhar um Iomega Desktop Hard Drive 1TB!

As respostas corretas participarão do sorteio acima.O ganhador será anunciado no fim do evento.

É preciso estar presente para receber o prêmio.


OBRIGADO

© Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 · – 12.000 funcionários em...

Documents

Transcript of © Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 · – 12.000 funcionários em...