ZFS: O sistema de arquivos do futuro - Por Fernando Massen

1 / 34

ZFS: O Sistema de Arquivos do Futuro

Fernando Massen

30 de novembro de 2007

Historico dos sistemas de arquivo

❖ Historico dossistemas de arquivo

Meu cenario

Caracterısticas

Coisas que ele naotem

Y Otras Cositas Mas

Niet alles zijn rozen

2 / 34

● Sistema de arquivo comecaram armazenando arquivosnum unico diretorio.

● Sem garantias de armazenagens.● Em alguns sistemas de arquivos, com 6 caracteres de

nome. Outros mais sofisticados, 8.3. O luxo era ter 34caracteres.

● Depois nao tinha sistema que nao possuısse as arvoresde diretorios.

● 2 Gigabytes devem ser suficientes para todo mundo.

Meu cenario

❖ HDs vao e vem❖ Meu problema: “x”arquivos

❖ Ja tentei UFS(OpenBSD)

❖ Ja tentei HFS+(Mac OS X)

❖ Ja tentei ReiserFS

❖ Ja tentei XFS❖ Nunca tentaria:Ext2, FAT e NTFS

❖ Minhasnecessidades

❖ Encontrei o ZFS.

Caracterısticas

Y Otras Cositas Mas

3 / 34

HDs vao e vem

Meu cenario

Caracterısticas

Y Otras Cositas Mas

4 / 34

Figura 1: ... e deveriam ficar os dados.

Meu problema: “x” arquivos

Meu cenario

Caracterısticas

Y Otras Cositas Mas

5 / 34

● Eu tenho um problema: armazeno alguns milhoes dearquivos em HDs.

● Em casa, primariamente, HTMLs e JPGs; No trabalho,.docs e .xmls, dumps de bancos de dados diversos.

● Dispositivos diferentes: de pen-drives a HDs de 300+gigabytes.

● Falhas de energia podem ocorrer, de forma aleatoria. Oscomputadores tambem nao sao confiaveis.

● Imagine um mini-“internet archive”.

Ja tentei UFS (OpenBSD)

Meu cenario

Caracterısticas

Y Otras Cositas Mas

6 / 34

● O UFS e bom. Relativamente rapido, conta com aseguranca de operacao do OpenBSD.

● O problema e que ele tem algumas limitacoes de espaco;como FFS2 eu ja nao as atingirei dentro de 3 anos.

● Ele e relativamente seguro contra perda de arquivos.Nunca perdi um filesystem com ele.

● So que o fsck demora muito por HD. Quando eu tinha umHD de 120 Gbytes, demorava 15 minutos para fazer ofsck.

● Eliminar o fsck nao faz parte do plano do OpenBSD (porenquanto).

Ja tentei HFS+ (Mac OS X)

Meu cenario

Caracterısticas

Y Otras Cositas Mas

7 / 34

● O HFS+ e incrivelmente maduro, um dos sistemas maisantigos em uso.

● Rapido.● Funciona bem com infinidades de arquivos.● Ainda nao perdi nenhuma particao com ele.● Tem as facilidades de uso do MacOS X. Isso garante que

nao ha administracao de filesystem com ele.● Spotlight ajuda horrores.● O problema e que so funciona bem no MacOS X.

Ja tentei ReiserFS

Meu cenario

Caracterısticas

Y Otras Cositas Mas

8 / 34

● Ja perdi mais de 7 sistemas de arquivos com ReiserFS.● Nuff said.

Ja tentei XFS

Meu cenario

Caracterısticas

Y Otras Cositas Mas

9 / 34

● O XFS e bom demais.● Administracao praticamente zero.● Se eu tenho que usar Linux, uso XFS.

Nunca tentaria: Ext2, FAT e NTFS

Meu cenario

Caracterısticas

Y Otras Cositas Mas

10 / 34

Na verdade, ja tentei e ja me dei muito mal com essessistemas de arquivo de brinquedo.

Minhas necessidades

Meu cenario

Caracterısticas

Y Otras Cositas Mas

11 / 34

Alem de um bom sistema de arquivos, preciso que o host mede:

● Administracao zero.● Rapidez para arquivos pequenos. Nao precisa ser tao

rapido assim em transferencias absurdas.● NFS.● SMB (para o legado, sabe?).● Pesquisa via ht.dig, pelo menos.● Tem que garantir que, depois duma falha eletrica, as

coisas estejam la.

Encontrei o ZFS.

Meu cenario

Caracterısticas

Y Otras Cositas Mas

12 / 34

● Um dia eu resolvi instalar o OpenSolaris, depois dealguns anos sem usar Solaris em casa (apesar de ter deusar no trabalho).

● Incrıvel como o Solaris 10 mudou em relacao ao 9. Epraticamente outro sistema operacional.

● Li as duas manpages que compreendem 99● Como o sistema ja instalou um “pool” ZFS por padrao,

resolvi criar novos sistemas de arquivo com ele.● Que barbada.

Caracterısticas

Meu cenario

Caracterısticas

❖ Onde o ZFS roda?❖ Caracterısticas doZFS❖ Curiosidades doZFS❖ Manutencaorevoltantementesimples

❖ O que e um“pool”?

❖ Criando sistemasde arquivo

❖ Buscandoinformacoes

Y Otras Cositas Mas

13 / 34

Onde o ZFS roda?

Meu cenario

Caracterısticas

Y Otras Cositas Mas

14 / 34

Atualmente, o ZFS roda nos seguintes sistemasoperacionais:

● Linux, via FUSE (dizem que e lento, mas e divertido usar)● FreeBSD 7 (primeiro porte extra-Sun que funcionaria

100%)● OpenSolaris● Solaris 10● MacOS X (read-only)

Caracterısticas do ZFS

Meu cenario

Caracterısticas

Y Otras Cositas Mas

15 / 34

● Vem com gerenciamento de volumes embutido.● Vem com gerenciamento de particoes embutido.● Gerencia sozinho quase todos os aspectos.● E um filesystem de 128 bits.● Portavel.● Versionado manualmente (bom para automacoes!)● Tenta garantir o maximo possıvel contra a corrupcao dos

dados.● Compressao automatica.● Encriptacao em andamento.● Pode armazenar outros filesystems, mas daı perde-se

algumas vantagens.

Curiosidades do ZFS

Meu cenario

Caracterısticas

Y Otras Cositas Mas

16 / 34

● Suporta tantos dados que seria impossıvel reunir materialfısico para representa-los (com as tecnologias atuais).

● O nome inicial era “ZettaByte Filesystem”.● As ideias do ZFS nao sao novas, apenas nao foram

implementadas num produto so, duma so vez, querodasse sobre Unix e custasse $0.

Manutencao revoltantemente simples

Meu cenario

Caracterısticas

Y Otras Cositas Mas

17 / 34

● A manutencao pode ser feita atraves de dois comandos:zpool (gerencia dispositivos) e zfs (gerencia os sistemasde arquivo).

● Nao precisa desfragmentar (doh!).● Nao precisa particionar / formatar / etc.● Gerencia automaticamente espaco disponıvel.● Na verdade foi desenhado para nao precisar de

manutencao.

O que e um “pool”?

Meu cenario

Caracterısticas

Y Otras Cositas Mas

18 / 34

● E uma unidade de armazenamento em massa.● Pode ser um HD, um dispositivo iSCSI, uma unidade

flash (pendrive, por exemplo).● Pode ser um Drive Zip, ate.● E adicionado via comando zpool (zpool add ...).● Passa a fazer parte do conjunto de ”memorias em disco”,

tal qual fosse memoria RAM.● Os dispositivos dentro dum pool podem ser adicionados

como “RAM” adicional ou como “estepes” dum conjuntoRAID.

● Os dados sao parelhados logo que o dispositivo entra noar.

● Um pool por controladora, pelo menos, e no maximo umpor particao ”DOS”(quatro ao total) por disco, se for emx86.

Criando sistemas de arquivo

Meu cenario

Caracterısticas

Y Otras Cositas Mas

19 / 34

● Ao adicionar um novo dispositivo no pool, o filesystem jaesta criado.

● Depois de criado, basta digitar

zpool create -m <mountpoint> pool/<nome_do_fs>

● E so isso. Alias, o -m e opcional.● Sim, da para criar quantos quiser. Ha limitacoes praticas

no numero de sistemas de arquivos, mas da para ter uns5000 sistemas de arquivos tranquilamente em discoscomuns.

● Recomenda-se criar um filesystem por usuario, porexemplo.

Buscando informacoes

Meu cenario

Caracterısticas

Y Otras Cositas Mas

20 / 34

Os comandos zpool e zfs tambem informam as condicoesatuais dos discos.(hora de mostrar os resultados)

Coisas que ele nao tem

Meu cenario

Caracterısticas

Coisas que ele naotem❖ Nao haparticionamento

❖ Nao haformatacao

❖ Nao hadesfragmentacao

❖ Nao ha fsck /chkdsk❖ Nao ha corrupcaode dados

Y Otras Cositas Mas

21 / 34

Nao ha particionamento

Meu cenario

Caracterısticas

Y Otras Cositas Mas

22 / 34

Voce particiona RAM?

Nao ha formatacao

Meu cenario

Caracterısticas

Y Otras Cositas Mas

23 / 34

● A criacao de novos sistemas de arquivo e instantanea.Ocorre ao digitar o comando zpool.

● Alias, como o sistema de arquivos possui copy-on-write(COW), ele so copia os dados quando sao modificados.Entao, copias de arquivos para o mesmo filesystem saoinstantaneas e nao ocupam dois “inodes” diferentes.

Nao ha desfragmentacao

Meu cenario

Caracterısticas

Y Otras Cositas Mas

24 / 34

Todo FS fragmenta; vale a pena lembrar que quase todos osFSs de Unix se auto desfragmentam ou nao sofrem dessemal.

Nao ha fsck / chkdsk

Meu cenario

Caracterısticas

Y Otras Cositas Mas

25 / 34

Como todo o dado e gravado e posteriormente gravadoatraves de mecanismos de checksum (que podem serconfigurados ou, em casos de loucura, desligados), nao haporque executar fsck depois de uma queda de energia.Mas isso acontece porque...

Nao ha corrupcao de dados

Meu cenario

Caracterısticas

Y Otras Cositas Mas

26 / 34

● ... o sistema de arquivos sempre esta ıntegro. Essatalvez seja a maior proeza do ZFS.

● A prioridade do sistema de arquivos e manter asestruturas de disco intactas.

● Se voce construir um RAID-Z, com redundancias eestepes suficientes, da para dizer (na teoria) que vocenunca vai ter um sistema de arquivos corrompido.

● Pessoalmente acho impossıvel fora de laboratorios, masate agora nao ocorreu.

● A Sun tinha um ambiente de testes onde um sistema dearquivo sofria milhoes de desligamentos e reinıcios, enao houve nenhuma falha nos builds pre-release.

● De qualquer forma...

Y Otras Cositas Mas

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Backups

❖ Snapshots

❖ Compatıvel

27 / 34

Backups

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Backups

❖ Snapshots

❖ Compatıvel

28 / 34

● Fazer backups e tao facil quanto um zfs send.● As ferramentas de backup continuam funcionando. Uso

tar e rsync, e estou feliz com eles.● Por mais que eu goste do ZFS, eu continuo fazendo

backups fanaticamente.

Snapshots

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Backups

❖ Snapshots

❖ Compatıvel

29 / 34

● Ja devem ter ouvido falar do “Time Machine”, do Mac OSX novo. E praticamente isso, so que o proprio sistema dearquivos ja o tem.

● O comando, como era de se esperar, e zfs snapshot.● Esses “snapshots” sao read-only, e podem ser

becapeados / restaurados / deletados / clonados com ocomando zfs.

● Como tem o conceito COW, so ocupam espaco se saomodificados.

Compatıvel

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Backups

❖ Snapshots

❖ Compatıvel

30 / 34

● Quase nenhuma (aquele 0,1%) aplicacao precisa sermodificada para rodar sob ZFS. Ate agora, ja rodeipraticamente tudo em cima.

● Ha quedas de performance em certos problemas. Ja hatambem certas praticas a se remediar essas questoes; acada build do OpenSolaris o ZFS tambem esta ficandomais robusto.

● NFS, SMB e outros protocolos funcionam identicamente;porem o ZFS tem seu proprio mecanismo paracompartilhar FSs via NFS (que e muito bom por sinal).

● Certas aplicacoes precisam ter um tamanho de clusterespecıfico para obter melhor performance (Postgres vema cabeca, embora eu nao tenha mudado nada). Isso sefaz ao digitar um zfs create.

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Problemas quetive

❖ Utopias

❖ So...

31 / 34

Problemas que tive

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Utopias

❖ So...

32 / 34

● Supomos que voce tenha criado um FS chamado/mnt/datum, e outro para um diretorio-filho, chamado/mnt/datum/html. Ao montar via NFSv3, so o pai emontado. O filho requer um mount adicional. Issoenfurece.

● Em drives USB, a minha versao de OpenSolaris travava acada 8 horas (ja que ela “reseta” as portas USB, e ele daum “kernel panic” se nao ha spares em pools comdefeitos desse tipo). Espero que ja tenha sido corrigido oproblema; minha versao de OS e 62, e atualmente o buildesta em 70+.

● Um dia um HD apresentou defeito. Era um HD novo.Descobri que nao havia defeito nenhum: era oOpenSolaris que nao gostava de drives em “cable select”para meu chipset. Foi mal, aı. Nenhum animal ou FS saiuferido do experimento.

Utopias

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Utopias

❖ So...

33 / 34

● Que o Linux e o OpenBSD tenham nativo esse FS.● Que o problema que reportei do kernel panic tenha sido

resolvido.● Que o OpenSolaris seja portado para PowerPC, para eu

poder aproveitar 50● Que alguem o porte para SPARC32, ja que o

OpenSolaris so funciona em SPARC64 (UltraSPARC).

Meu cenario

Caracterısticas

Y Otras Cositas Mas

❖ Utopias

❖ So...

34 / 34

That’s all folks!plan9ner@gmail.comhttp://slowhome.org/ferhr/tchelinux/http://juliobiason.net/ferhr/tchelinux/

ZFS: O sistema de arquivos do futuro - Por Fernando Massen

Technology

Transcript of ZFS: O sistema de arquivos do futuro - Por Fernando Massen

Ao futuro!!

eBook Futuro

André Massen eo Tiag o Barros - Revista Sofós · APRESENTAÇÃO O ciclo de palestras Filosofia e Cultura Brasileira tem ... 1 0 segundo foi desenvolvido posteriormente, depois de

Manual de Serviço Service Manual ... - interativa.zf.com.brinterativa.zf.com.br/EMPRESAS/ZFS/documentos/313.pdf · M.S.D.H. - 05/05 - IAT ZF Nacam Sistemas de Direção Ltda Av.

Futuro Médico

Futuro Sustentável

EL FUTURO DEL TRABAJO - EL TRABAJO DEL FUTURO

Backup com ferramentas livres: De Amanda a ZFS - Jerônimo Medina Madruga

Profissões do futuro [ou o futuro das Profissões?]

XML-RPC + Python + Banco de Dados - Fernando Massen

património com futuro ou futuro sem património

Educación 5.0? Futuro del Aprendizaje – Futuro de la Escuela€¦ · Futuro del Aprendizaje – Futuro de la Escuela ¿Qué se espera de los procesos de enseñanza? ¿Cómo es

Agricultor futuro

AS CARACTERÍSTICAS DOS MECANISMOS E …revista.oswaldocruz.br/Content/pdf/Edicao_10_Listik_Eduardo.pdf · associação de séries de ZFs C2H2 com a endonuclease de ... consistem

Futuro das organizacoes - Sessão de Futuro

FreeBSD 7 GEOM + ZFS · O FreeBSD suporta tanto RAID por Hardware como por Software. RAID por Hardware é gerenciado por uma controladora SCSI, e por adaptadores que provêem RAID

Futuro de RH - RH do Futuro

Freud Futuro

André Massen eo Tiag o Barros - Revista Sofós | Revista ... · um vento de ampla liberdade; a própria dor não aparece como objeção.1 ... que se arrasta, se esfrega, grita, corre

Futuro Verde