© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

João Paulo (JP) Santana, Arquiteto de Soluções AWS

23 de agosto de 2016

Migração de Dados para a Nuvem: Seis estratégias para migrar seus dados para a AWS

Quando devemos migrar os dados?

• Migrar aplicativos para a AWS• Desenvolver modelo híbrido• Implementar site de

recuperação de desastres em uma região da AWS

• Fazer backup arquivar no Amazon S3, Glacier

• Carregar dados em serviços de análise da AWS, como EMR e Redshift.

Para onde migrar?

Amazon S3Armazenamento de objetos durável para

todos os tipos de dados

Amazon EBSArmazenamento no nível de bloco para uso com o Amazon

EC2

Amazon GlacierArmazenamento de

arquivo para dados acessados com pouca frequência

Benefícios de custos

Fácil de usar Risco reduzido Agilidade, escala

Pagar conforme o uso

Sem investimento inicialSem compromisso

Sem planejamento de capacidade arriscada

Administração do próprio serviço

SDKs para integrações simples

Durável e seguro

Evitar os riscos de manuseio da mídia física

Reduzir o tempo de entrada no mercado

Foco nos seus negócios, não na sua infraestrutura

Amazon EFSArmazenamento de

arquivo para uso com o Amazon EC2

Roteiro deste webinar: Transportar e incluir serviços

AWS Direct Connect

O que é o AWS Direct Connect…

Dedicado, conexões de 1 ou 10 Gbps privados para a AWSCriar interfaces virtuais públicas ou privadas (VPC) para a AWSTaxas de saída de dados reduzidas (Entrada de dados continua gratuita)Desempenho de rede consistente2 pontos de conexão na região São Paulo da AWS Opção para conexões redundantes Usa BGP para trocar informações de roteamento através de uma VLAN

Conexão física

• Cross Connect no local

• Fibra Single Mode - 1000Base-LX ou 10GBASE-LR

• Entrega potencial através do parceiro Direct Connect em diante

• Roteador do cliente

No local do Direct Connect

CORP

AWS DirectConectar

roteadores

Roteador do cliente

Compartilhada

Local do DX

ClienteRede`

AWS BackboneRede

Várias Conexões

Roteador do cliente

Rede do cliente

Demarcação

Porta dedicada do parceiro Direct Connect

CORP

AWS DirectConectar

roteadores

Compartilhada

Local do DX

Rede de parceiros

AWS BackboneRede

Cross Connect

Roteador do cliente

ParceiroRede

Controle deCircuito

Demarcação

ParceiroEquipame

nto

Direct Connect - LocaisRegião da AWS Local do AWS Direct ConnectÁsia-Pacífico (Cingapura) Equinix SG2, GPX, MumbaiÁsia-Pacífico (Seul) KINX, SeulÁsia-Pacífico (Sydney) Equinix SY3, Global SwitchÁsia-Pacífico (Tóquio) Equinix OS1, Equinix TY2China (Pequim) Sinnet JiuXianqiao IDC, CIDS Jiachuang IDCUE (Frankfurt) Equinix FR5, Interxion FrankfurtUE (Irlanda) TelecityGroup, Docklands de Londres, Eircom

ClonshaughEquinix LD4 - LD6, Londres

América do Sul (São Paulo) Terremark NAP do Brasil, TivitLeste dos EUA (Virgínia) CoreSite NY1 & NY2, Equinix DC1 - DC6 & DC10Oeste dos EUA (Norte da Califórnia)

CoreSite One Wilshire & 900 North Alameda, CA, Equinix SV1 & SV5

Oeste dos EUA (Oregon) Equinix SE2 & SE3, Switch SUPERNAP, Las VegasAWS GovCloud (EUA) Equinix SV1 e SV5

Detalhes – AWS Direct Connect

Re:Invent 2015 - Detalhes: AWS Direct Connect e VPNs (NET406)

Youtube - https://www.youtube.com/watch?v=SMvom9QjkPk

SlideShare - http://www.slideshare.net/AmazonWebServices/net406-deep-dive-aws-direct-connect-and-vpns

Detalhes do serviço e preço - https://aws.amazon.com/directconnect/details/

Serviços de importação/exportação da AWS

Importar/Exportar disco da AWS

• Acelera a movimentação de grandes volumes de dados de e para Amazon S3, Glacier e EBS

• Transfere seus dados diretamente de e para os dispositivos de armazenamento do cliente

• Usa rede interna de alta velocidade da Amazon para concluir a transferência

• Suporta unidades com conexão eSATA e USB 2.3 de até 6 TBs ou 16 TB

AWS Import/Export

O que é Snowball? Transporte de dados em escala de petabytes

Etiqueta de transporte E-ink

Robusto“Impacto de 8.5G”

Todos os dados criptografados de

ponta a ponta

Resistente a água e poeira

Caixa e componentes resistentes à

violação

80 TBConexão 10Gb

Como elas funcionam

O quão rápido é o Snowball?• Menos de 1 dia para transferir 250 TB através de conexões 10Gbps

com 5 Snowballs, menos de 1 semana, incluindo transporte• Número de dias para transferir 250 TB através da internet com uma

utilização típica Velocidade da conexão com a internet

Utilização 1 Gbps 500 Mbps 300 Mbps 150 Mbps25% 95 190 316 63250% 47 95 158 31675% 32 63 105 211

Quando utilizar o AWS Import/Export Snowball

Nuvem Migração

Desastre Recuperação

Descomissionamento de

Datacenter

ConteúdoDistribuição

AWS SnowballImportar/Exportar disco da AWS

Quando utilizar o Disk e quando utilizar o Snowball?

• Somente importação, exportação disponível em breve

• Estará disponível em todas as regiões até final do ano (2016).

• Importa somente para o S3• Suporta transferência de

dados grandes, desde TBs até PBs

Suporta importação e exportação para buckets S3 e instantâneo EBS na importação:

• Leste dos EUA (Norte da Virgínia)• Oeste dos EUA (Oregon)• Oeste dos EUA (Norte da Califórnia)• UE (Irlanda)• Ásia-Pacífico (Cingapura)

Suporta importação para o Glacier:• Leste dos EUA (Norte da Virgínia)• Oeste dos EUA (Oregon)• Oeste dos EUA (Norte da Califórnia)• Regiões UE (Irlanda)

Detalhes – AWS Import/Export

Reinventar a sessão 2015 - AWS Import/Export Snowball: Incluir dados em grande escala na AWS (STG202)

Youtube - https://www.youtube.com/watch?v=86ogJHFSJRo

SlideShare - http://www.slideshare.net/AmazonWebServices/stg202-aws-importexport-snowball-largescale-data-ingest-into-aws

Detalhes do serviço e preço - https://aws.amazon.com/importexport/

AWS Storage Gateway

O que é o Storage Gateway da AWS?

Funciona com seus aplicativos existentes

Armazenamento durável e seguro na AWS

Baixa latência para dados usados com frequência

Armazenamento no local escalável e de baixo custo - US$ 125 por gateway por mês + taxas de armazenamento do S3/Glacier

Serviço conectando um dispositivo de software no local ao armazenamento com base na nuvem

Usos comuns do AWS Storage Gateway

Backup e arquivamento

Recuperação de desastres

Migração de dados

Como o AWS Storage Gateway funciona?

Snapshots do Amazon EBS

Amazon S3Amazon Glacier

AWSStorage Gateway

dispositivo

Servidor de Aplicação

AWSBack-end do

Storage Gateway

AWSDirect

Connect

Internet

Local do cliente

Configurações do AWS Storage Gateway

Armazenamento em bloco iSCSI

Gateway-stored volumes

Armazenamento de fitas virtuais iSCSI

Baixa latência para todos os seus dados com backups de point-in-time para AWS

Substituto para infraestrutura de fita física no local para backup e arquivamento

Gateway-cached volumes

Virtual Tape Library (VTL, Biblioteca de fitas virtuais)

Baixa latência para os dados usados com frequência em todos os dados armazenados na AWS

Virtual Tape Library (VTL, Biblioteca de fitas virtuais) do Gateway• Substituir ou aumentar a sua infraestrutura de fita antiga com

armazenamento de objetos duráveis• Fitas virtuais armazenadas na AWS. Os dados frequentemente acessados

são armazenados em cache no local• Até 1.500 fitas, até 2,5 TB cada e até 150 TB por gateway-VTL• Número ilimitado de fitas na prateleira de fitas virtuais (VTS)

Datacenter do cliente

Armazenamento de backup do

VTS pelo Amazon Glacier

AWS Storage Gateway VM

BackupServidor IN

ICIA

DOR

AWSServiço do Storage

Gateway

DISP

OSIT

IVO

DE

TROC

A DE

M

ÍDIA

Carregar

Buffer

Armaze-namentoem cache

Gateway-VTLarmazenamento

de backuppor Amazon S3

VTS

UNID

ADE

DE

FITA

Detalhes – AWS Storage Gateway

Reinventar a sessão 2015 - Detalhes do AWS Storage Gateway (STG311)

Youtube - https://www.youtube.com/watch?v=VmjDfz-MIZE

SlideShare - http://www.slideshare.net/AmazonWebServices/stg311-aws-storage-gateway-secure-costeffective-backup-archive

Detalhes do serviço e preço - https://aws.amazon.com/storagegateway/

Parceiros de tecnologia da AWS

Ecossistema de parceiros de armazenamento da Amazon

Backup das abordagem AWS

Amazon S3

Amazon GlacierAWS

DirectConnect

InternetAmazon S3-IA

Aplicativoservidores

Cloud Gateway

Disco local

MídiaServidor

Cloud Gateway

HTTPS/API

Servidores

Backup do conector de nuvem do SW

Disco local

Servidor de BKP com conector de

nuvem

HTTPS/API

CommVault junto no local e estratégias de dados na nuvemCommvault organiza a empresa

• Fazer backup na nuvem: Mantenha cópias de segurança de cargas de trabalho na nuvem

• Fazer backup para a nuvem: Permitir às cargas de trabalho no local a capacidade de alavancar a AWS

• Recuperação de desastres para a nuvem: recuperação de desastres automatizada para a nuvem de forma programada

• Portabilidade de cargas de trabalho: Tenha certeza de que os servidores virtuais podem ser movidos de local para a nuvem e vice-versa; mantenha os dados disponíveis sempre que você precisar

• Arquivar na nuvem: Mover dados legados para armazenamento de nível 2 na nuvem para arquivamento de longo prazo

Gerenciamento centralizado e simples

Datacenter AWS VPC

AWS e Commvault se combinam para minimizar os custos de rede, armazenamento e infraestrutura,

oferecendo ao negócio uma boa estratégia de proteção de dados e recuperação de desastres.

Amazon S3Amazon Glacier

Backup das abordagem AWS

Amazon S3

Amazon GlacierAWS

DirectConnect

InternetAmazon S3-IA

Aplicativoservidores

Cloud Gateway

Disco local

MídiaServidor

Cloud Gateway

HTTPS/API

Aplicativoservidores

Backup do conector de nuvem do SW

Disco local

MídiaServidor com conector de

nuvem

HTTPS/API

NetApp AltaVault Backup de locais para o S3/Glacier

Aplicativos de backup comuns integrados com o AltaVaultResolver problemas com backup e arquivamento com o armazenamento integrado em nuvem Redução de 90% no tempo, custo e volumes de dados Escolhe os tempos de recuperação de dias para

minutos Suporta cerca de 85% dos fornecedores de backup e

software

Glacier

Local

AWS

Dispositivo de armazenamento integrado a nuvem

NetApp AltaVault

FAS

E-SeriesArmazenamento

Não NetApp

Integra perfeitamente ao armazenamento existente e

ambiente de software de backup

Deduplica, compacta e criptografa

Armazena em cache backups recentes localmente e

armazena as cópias antigas na nuvem

Armazena dados em nuvem pública ou privada a sua

escolha

NetApp SnapProtect Arcserve CommVault Simpana EMC NetWorker HP Data Protector IBM Tivoli

Storage Mgr

Symantec Backup Exec

Symantec NetBackup

Veeam Microsoft SQL

Server Oracle RMAN

S3

AltaVault também está disponível no mercado para proteger cargas de

trabalho nativas em nuvem

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

serviços de arquivos unificados que se estendem

desde endpoints até escritórios remotos e para a

nuvem.

snapshots, versões de arquivos e sincronização

de arquivos são executados em todos os

pontos de acesso através da nuvem

os dados estão seguros e

otimizados na fonte

tudo é armazenado na AWS VPC, os

dados são armazenados na

AWS S3-IA

Integrado à segurança verificada da empresa e

ferramentas de gerenciamento

ROBO NAS Gateways

Aplicativos ponto final

Servidor da nuvem

Agentes

Proteção de dadosMecanismo

Sincronização de arquivosMecanismo

com automação centralizada, gerenciamento e locação múltipla

Identidadegerenciamento

dadosgovernança

nuvemorganização

S3 Infrequent Access

CTERA GlobalDeduplicação

Ctera: Plataforma de serviços de arquivos empresariais

AWS Kinesis Firehose

Plataforma do Amazon KinesisStreaming de dados do Amazon Kinesis na nuvem da AWS• Processos de streaming do Amazon Kinesis• Amazon Kinesis Firehose • Amazon Kinesis Analytics

Amazon Kinesis FirehoseCarregar grandes volumes de streaming de dados para o Amazon S3 e Amazon Redshift

Administração zero: Capturar e entregar streaming de dados ao S3, Redshift e outros destinos sem desenvolver um aplicativo ou gerenciar uma infraestrutura.

Integração de armazenamento direto aos dados: Agrupar, compactar e criptografar streaming de dados para entrega em seus destinos em menos de 60 segundos usando configurações simples.

Elasticidade perfeita: Dimensiona perfeitamente para coincidir com a transferência de dados w/o

Capturar e enviar streaming de dados

para o Firehose

Firehose carrega streaming de dados continuamente no

S3 e Redshift

Analisar streaming de dados usando suas ferramentas de BI favoritas

Vertical/Caso de uso Inclusão acelerada-Carregar até o destino final para o Analytics

Tecnologia de anúncios/ Análise de marketing

Agregação de dados de anúncios

Cliente on-line/Jogos Agregação de dados de engajamento do cliente on-line

Serviços financeiros Coleta de dados para o Mercado/Transações financeiras

IoT / Dados do Sensor Dispositivos esportivos, sensor de veículos e ingestão de dados de telemetria

Amazon Kinesis FirehoseCasos de uso do Amazon Kinesis Firehose

Detalhes – AWS Kinesis Firehose

Reinventar a sessão 2015 - Streaming de fluxos de dados com o Amazon Kinesis Firehose (BDT320)

Youtube - https://www.youtube.com/watch?v=lkRoQlhWDXA

SlideShare - http://www.slideshare.net/AmazonWebServices/bdt320-new-streaming-data-flows-with-amazon-kinesis-firehose

Detalhes do serviço e preço - https://aws.amazon.com/kinesis/firehose/

Resumo – Quando usar cada serviçoSE PRECISAR: CONSIDERAR:

Uma conexão com a Internet otimizada ou substituta:  

conecte-se diretamente em um datacenter regional da AWS Direct Connect

migrar TBs ou PBs de dados para a nuvem Import/Export Snowballmigrar GBs de dados em uma rede com velocidade inferior a 10Mbps

Importar/Exportar disco

Uma interface amigável do S3 para:  cache de dados localmente em um modelo híbrido (por motivos de desempenho)

Gateways (AWS ou parceiro)

redirecionar backups ou arquivos com o mínimo de interrupção

Parceiros de tecnologia

agregar fluxos de dados a vários dispositivos Kinesis Firehose

Obrigado!