O storage está encolhendo: Desduplicação e Compressão para otimizar a eficiência
Dave Withers
Diretor Executivo, Intelligent Data Management
Dell Enterprise Solutions Organization
Public and LE Marketing
Notas e Avisos
Essas características são referentes a produtos emdesenvolvimento. Nada nessa apresentação
constitui um compromisso de que esses recursosestarão disponíveis em produtos futuros.
Compromissos com esses recursos não devem serincluídos em contratos, ordens de compras ou
contratos de venda de qualquer tipo. Viabilidadetécnica e demanda do mercado afetarão a
disponibilidade dos recurso.
Essa apresentação não pode ser fornecidaeletronicamente ou em cópia para clientes ou
parceiros.
2
Public and LE Marketing
Maximizando eficiência: Princípio básico da arquitetura Fluid Data
Missão: Entregar tecnologia que maximize a utilização e o ROI dos investimentos de TI dos clientes
‒ Redução de dados líder da indústria, fim-a-fim
‒ Movimentação dos dados otimizada
‒ Thin provisioning para bloco e arquivo
‒ Eficácia em custos: Dell é líder da indústria em economia
de escala
Public and LE Marketing
É sobre economizar dinheiro, certo?
• Se você encolhe seus dados em 50%– Capex efetivo ($/GB) diminui 50%
– Além do espaço em rack, BTUs e watts por GB
– E ainda há potencialmente menos a ser gerenciado
• Redução dos dados implica em melhoria da utilização– Benefícios = Capex + Opex + custos administrativos
• E se eu também mover 50% menos dados no meudatacenter?– Storage-para-host e host-para-storage
– Replicação, tiering, migração, backup, restore
6
Public and LE Marketing7
Entregando e Destruindo Eficiência
Backup/restore otimizados(RPO, RTO)
Movimentação e tiering otimizados
Aceleradores de EficiênciaInibidores de Eficiência
GB
órfãos
App super
provisionadas
Public and LE Marketing8
Desduplicação
Dell Confidential
Public and LE Marketing9
Dicionário
Objeto Referências
Azul 72
Amarelo 43
Laranja 22
Verde 81
Dell Confidential
Desduplicação
Public and LE Marketing
Algoritmos de Desduplicação
10
Sistemaselecionapedaço do
dado
Impressão digital é tirada
Procura no dicionário
Pedaço do dado é salvo
Não, é um dado novo Já foi visto
antes?Sim, já
cadastrado
Mapa de objetosé atualizado
Referências+1Pedaço é
coletado para o lixo
Public and LE Marketing
A Arte de Partilhar
11
4KB 4KB 4KB 4KB 4KB 4KB
Janela seqüêncial, blocos estáticos
4KB 6KB 11KB 7KB
Janela seqüêncial, blocos variáveis
Janela deslizante, blocos fixos
4KB
4KB
4KB
Public and LE Marketing
A arte da Dell
12
1. Temporizador
2. Janela deslizante
3. Bloco variável
4. Baseado em objeto
4KB
6KB
11KB
2.3MB
Public and LE Marketing
Desduplicação: Ineficiências e Otimizações
• Procura no dicionário deve utilizar eficientemente a RAM ou a performance será degradada– Solução Dell: Políticas de gerenciamento de tamanho do dicionário (ex:
FIFO), Rabin filter e outras alternativas lógicas
• Um zilhão de pedaços de 4KB transformam um streaming em acessoaleatório– Solução Dell: Desduplicação de objeto, escrita unida, leitura adiante,
caching
• Desduplicação quebra snapshots
• Procurando pedaços desduplicados mais eficientemente– Pequenos pedaços é melhor (mas dicionários grandes requerem mais RAM)– Janela deslizante é melhor (mas mais cálculos são necessários)– Partilhar estruturas monolíticas é perda de tempo (JPEG comprimidos)– Solução Dell: desduplicação de objetos, designs “resource-aware”
13
Public and LE Marketing14
Dell Confidential
Compressão
Public and LE Marketing15
Usa a matemática
para descrever um
padrão ou prever o
futuro
Dell Confidential
Compressão
Public and LE Marketing
Compressão: Ineficiências e Otimizações
• Compressão pode ser um problema para CPU– Solução Dell: algoritmos mais rápidos, algoritmos assimétricos,
agendamentos, reguladores
• A compressão errada para um determinado tipo de dado
– Solução Dell: ciência do conteúdo, temporizador, algoritmo de seleção
• Encolher dados ativos é problemático (VMDK!)– Solução Dell: Heat index mapping
16
Public and LE Marketing
Redução de Dados “Content-Aware”:Desduplicação e Compressão concorrentes
Temporizador Empacotamento
Decodificar compressão
existente e identificar
objetos de dados
fundamentais
Atualização do
metadado, pedaços
comprimidos
empacotados no
disco
PPT
WORD
Desduplicação de
bloco e objeto dentro
e entre arquivos
Escolha do
algoritmo correto
e compressão
CMP1
CMP2
Desduplicação
17
Compressão
Public and LE Marketing18
Resultados reais em um ambiente NAS
0% 20% 40% 60% 80% 100%
zip
jpg
pst
ppt
vmdk
pps
mdb
xls
doc
rtf
xml
csv
html
Dedupe
Compression
YMMV
Public and LE Marketing
Vantagens maiores para workflows verticais
Conjunto de
dados
% economia
NTAP
% economia
Dell
Vantagens
Dell
Life Sciences 6% 46% 7.7x
Film Prod. 21% 49% 2.3x
Imaging 2% 51% 25x
Oil / Gas 0% 48% 100x
Home Shares 27% 54% 2x
Testes reais de conjuntos de dados (tamanho nativo do conjunto de dados de 20 a 30GB)
Public and LE Marketing
Por que a Dell consegue “encolher” mais?
• Temporizador recursivo, mesmo em arquivos pré-comprimidos– Encontra objetos dentro de containers
– Cada objeto é tratado diferentemente, usando diferentes algoritmos
• Algoritmos melhores– Mais de 2.000 tipos de arquivos processados
– Algoritmos genéricos e especializados
– Habilidade para usar desduplicação com compressão
– PhDs mais inteligentes
• Seleção inteligente de algoritmo durante execução– Rede neural (modelagem de contexto)
– Permite uma economia nos dados nunca vista antes
20
Public and LE Marketing
Fluxo de Redução de Dados Lógica
21
“In-Line”
• Ênfase no throughput
de escrita
cmp
DD
“Híbrido”
• Alto throughput de
escrita
• Processo background
para encolher ainda mais
“Post Process”
• Consistente com
arquivamento
• Ênfase na eficiência
• “Virtual tiering”
DD,cmp
Public and LE Marketing
O futuro da redução dos dados
• 40% de I/O dos datacenters é de workflows de storage, onde os arquivos não estão realmente abertos– Migração
– Replicação
– Tiering
– Backup e restore
• As soluções atuais de desduplicação pontual agravam o problema
22
Public and LE Marketing
Otimização fim-a-fim:
Mantém o dado comprimido através do fluxo de dados, a
menos que ele seja aberto por um usuário ou por uma
aplicação.
23
Public and LE Marketing
Otimização fim-a-fim:Alguns requisitos para fazer acontecer
• Estruturas de dados consistentes e mecanismos de decodificação
• Qualquer nó pode re-hidratar qualquer arquivo (semmetadado central)
• Protocolo entre camadas minimiza transferência de dados– Reconhecimento negativo…”Eu já possuo aquele dado”
• Integração entre produtos de storage e servidores Dell– Arquitetura flexível projetada no código base
24
Public and LE Marketing25
Plano Master da Dell
In-band, post-process e híbrido
Os melhoresalgoritmos de desduplicação
Os melhoresalgoritmos de compressão
Blo
ck
I/O
File
I/O
Cross platform policy engine
Inte
gra
çã
oa
plic
açã
o
Outras apl.
Hypervisors
Database
Snapshot, clone, tier, backup, restore e migração
otimizados
Replicação
WAN
SaaS
tier 3
Local tier2
Mo
vim
en
taçã
oo
tim
iza
da
dos d
ados
Public and LE Marketing
Roadmap de Redução de Dados da DellPlataformas Otimizadas
29
Dell NAS
DX Object
Backup
Dell Cloud
Compellent
EqualLogic
Servidor
Tempo
Public and LE Marketing
Roadmap de Redução de Dados da DellWorkflows Otimizados
30
Dell NAS
DX Object
Backup
Dell Cloud
Compellent
EqualLogic
Servidor
Tempo
Backup otimizado
Transporte
WAN
otimizado
Tiering otimizado
Replicação
otimizada
Restore otimizado
Public and LE Marketing
Resumo
• Redução de dados é um pilar chave para a ArquiteturaFluid Data
• Nosso IP inclui tanto desduplicação como compressãopara melhores resultados de redução de dados
• Estamos implementando tecnologia fim-a-fim do servidorao storage e à nuvem
• Workflows otimizados de dados prometem entregar valor adicional
• A primeira plataforma de armazenamento otimizada seráembarcada esse ano
32
Obrigado
Top Related