ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla...
-
Upload
tchelinux-slides -
Category
Technology
-
view
725 -
download
7
Transcript of ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla...
![Page 1: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/1.jpg)
ChironFSNível: Intermediário
Escopo: Apresentação de sistema de arquivos tolerante a falhas com replicação de dados
![Page 2: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/2.jpg)
ChironFSSistema de Arquivos Tolerante a Falhas
com Replicação de Dados
http://www.furquim.org/chironfs/
Luis Otávio de Colla Furquim
![Page 3: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/3.jpg)
diamante.dummy.netWWW
safira.dummy.netArquivos
Serviços:
Web
Arquivos
Backups:
todas as noites
em fita
Exemplo de Rede Típica
![Page 4: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/4.jpg)
safira.dummy.netArquivosdiamante.dummy.net
WWW
Falha em uma Rede Típica
Serviço inoperante:
Compartilhamento de arquivos
Contingência:
Servidor web acumulará os serviços
Será restaurado o último backup
![Page 5: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/5.jpg)
safira.dummy.netArquivos
?diamante.dummy.net
WWW
Previsão de Reoperacionalização
backup:
tempo do restore
Disco rígido:
tempo de manutenção do servidor
OU
nunca (perda dos dados)
![Page 6: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/6.jpg)
netuno.dummy.neturano.dummy.net
safira.dummy.netArquivos
diamante.dummy.netWWW
Rede com Redundância de Dados
Serviços:
Web
Arquivos
Storage:
redundante
fisicamente separada dos serviços
![Page 7: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/7.jpg)
netuno.dummy.neturano.dummy.net
diamante.dummy.netWWW safira.dummy.net
Arquivos
Falha de um Serviço
Serviço inoperante:
Compartilhamento de arquivos
Contingência:
Servidor web acumulará os serviços
Dados estão imediatamente disponíveis em qualquer dos nodos do storage
![Page 8: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/8.jpg)
safira.dummy.netArquivos
diamante.dummy.netWWW
urano.dummy.net netuno.dummy.net
Falha de um Nodo do Storage
Serviços operantes
Contingência:
Dados disponíveis no nodo operante
![Page 9: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/9.jpg)
safira.dummy.netArquivos
diamante.dummy.netWWW
netuno.dummy.neturano.dummy.net
☺Previsão de Reoperacionalização
Usuários:
não percebem a falha
Gerentes de rede:
reoperacionalização do hardware
sincronia dos dados
![Page 10: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/10.jpg)
ArquiteturaFilesystem virtual:
replica filesystems
sem limite de réplicas
réplicas em filesystems diferentes
leitura balanceada
tolerante a falhas
protocolo: qualquer um
autenticação: qualquer uma
simplicidade de uso
simplicidade de código
Filesystem auxiliar para tarefas administrativas
Aplicação
ChironFS
NFS SSHFS EXT3
ADM
Chirctl
![Page 11: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/11.jpg)
netuno.dummy.neturano.dummy.net
safira.dummy.netArquivos
diamante.dummy.netWWW
Rede com Redundância de Dados
mkdir /real1 /real2 /virtual /ctl
/etc/fstab:
urano:/data /real1 nfs auto 0 0
netuno:/data /real2 nfs auto 0 0
chironfs#/real1=/real2 /virtual fuse allow_other,log=/var/log/chironfs.log,ctl=/ctl 0 0
![Page 12: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/12.jpg)
diamante.dummy.netWWW
safira.dummy.netArquivos
Redundância sem Storage
cópia local
cópia remota em outro servidor de aplicação
mkdir /real1 /real2 /virtual /ctl
Safira:/etc/fstab
diamante:/real1 /real1 nfs auto 0 0
chironfs#/real2=:/real1 /virtual fuse allow_other,log=/var/log/chironfs.log,ctl=/ctl 0 0
Diamante:/etc/fstab
safira:/real2 /real2 nfs auto 0 0
chironfs#/real1=:/real2 /virtual fuse allow_other,log=/var/log/chironfs.log,ctl=/ctl 0 0
![Page 13: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/13.jpg)
diamante.dummy.netWWW safira.dummy.net
Arquivos
netuno.dummy.neturano.dummy.net
Redundância Mista: Storage e Local
cópia local
cópias nos nodos do storage
mkdir /real1 /real2 /real3 /virtual /ctl
/etc/fstab:urano:/data /real1 nfs auto 0 0
netuno:/data /real2 nfs auto 0 0
chironfs#/real3=:/real2=:/real1 /virtual fuse allow_other,log=/var/log/chironfs.log,ctl=/ctl 0 0
![Page 14: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/14.jpg)
safira.dummy.netWWW mirror
diamante.dummy.netWWW
Download Balanceado
Estação distribui a carga entre os mirrors
Combinação com sistemas de arquivos de FTP e HTTP
mkdir /real1 /real2 /virtual /ctl
/etc/fstab:curlftpfs#ftp://ftp1.dummy.net/ /real1 fuse auto 0 0
curlftpfs#ftp://ftp2.dummy.net/ /real2 fuse auto 0 0
chironfs#/real1=/real2 /virtual fuse log=/var/log/chironfs.log,ctl=/ctl 0 0
![Page 15: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/15.jpg)
safira.dummy.netArquivos
diamante.dummy.netWWW
Backup de Desktop em Rede
cópia local
cópia em servidores de arquivo (LAN/WAN)
cache local (v1.2)
mkdir /real1 /real2 /real3 /virtual /ctl
/etc/fstab:nfs1:/data /real1 nfs auto 0 0
curlftpfs#ftp://ftp2.dummy.net/ /real2 fuse auto 0 0
/dev/sdc1 /real3 ext3 defaults 0 1
chironfs#:/real1=:/real2=/real3 /virtual fuse log=/var/log/chironfs.log,ctl=/ctl 0 0
![Page 16: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/16.jpg)
Deficiências
Ressincronia das réplicas falhas a cargo do administrador
Reintegração da réplica falha via remontagem do filesystem
Gravação síncrona das réplicas:
Tempo 1 2 3 4 5 6 7 8 9 10 11
/real1
/real2
/real3
/real1
/real2
/real3
![Page 17: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/17.jpg)
Solução: versão 1.2
Interface de controle semelhante a /proc:
Maior flexibilidade na ressincronia de réplicas falhas Acesso concorrente Reintegração de réplicas sem remontagem do filesystem Realização de consultas
Gravação assíncrona das réplicas:
Tempo 1 2 3 4 5 6 7 8 9 10 11/real1
/real2
/real3
/real1
/real2
/real3
![Page 18: ChironFS: Sistema de Arquivos Tolerante a Falhas com Replicação de Dados - Luis Otávio de Colla Furquim](https://reader033.fdocumentos.com/reader033/viewer/2022052622/558e1b061a28abbd5b8b45d4/html5/thumbnails/18.jpg)
Outras versões
Suporte a atributos extendidos
Sistema de plugins para algoritmo de baleceamento de leitura
Estatísticas de acesso disponíveis ao plugin de balanceamento
Tamanho/espaço livre com réplicas de diferentes tamanhos
Reportar o menor tamanho: evita desabilitar réplica menor Reportar o maior tamanho: réplica menor = canário