Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula...
Transcript of Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula...
![Page 2: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/2.jpg)
2
*Exemplos de Tipos Clusters
*O Cluster do CBPF
*Estudos futuros
![Page 3: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/3.jpg)
3
*Cluster do CBPF
-Hardware-Sistema e ferramentas-Formas de acesso-Submissão de programas
e monitoramento...
![Page 4: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/4.jpg)
4
*Estudos futuros
-Estudo de hardware-Compatibilidade com OS-Compatibilidade com “Gerente de
Filas”-Testes (desempenho e adequação
às necessidades do CBPF)
![Page 5: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/5.jpg)
5
*Cluster de alta disponibilidade (99,999%...)
-Arranjos que implantan alguma espécie de redundância no sistema para manter um serviço rodando
-Heartbeat (dual), drdb (sinc), OpenHA, UltraMonkey
![Page 6: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/6.jpg)
6
*Aplicações
-Pesquisa científica
-Servidores de email empresarial
-Servidores de administradores de cartão de crédito
-Servidores da Receita Federal...
![Page 7: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/7.jpg)
7
*Cluster de migração
-A idéia é fazer uma avaliação do desempenho dos nós e migrar os processos que requerem mais recurso de máquina para os nós mais poderosos de forma transparente ao usuário
-Os nós mais poderosos estarão sempre em produção
![Page 8: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/8.jpg)
8
-OpenMosix => vertente free do projeto “Mosix”
-Ferramenta de monitoramento
![Page 9: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/9.jpg)
9
*Cluster de alta performance
-Beowulf =>Basicamente segue o esquema “Master”/“nós”
- O principal objetivo de um cluster beowulf é aumentar o podercomputacional e diminuir o tempo de execução de programas
![Page 10: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/10.jpg)
10
*O Cluster do CBPF
-SSolar => Arranjo de computadores dedicado à computação científica
(mesonpi.cat.cbpf.br/ssolar)
-69 CPUs, mais de 60GB men, 3 bastidores
![Page 11: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/11.jpg)
11
*O.S.
-RedHat e Scientific Linux, estavel, boa compatibilidade com pacotes prontos, maduro com SMP.
-Hardware-32bits e O.S. 32bits
![Page 12: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/12.jpg)
12
*Sistemas (Ferramentas)
-Quota por usuário-Acesso aos nós “negado”-Acesso ao Master somente pela
rede do CBPF-Acesso externo via portal (positron)-Monitoramento pela web(http://ssolar.cat.cbpf.br)
![Page 13: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/13.jpg)
13
*Disposição geográfica
Master
CATcaverna
Nós exclusivo do grupo de
Física Estatística
![Page 14: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/14.jpg)
14
*Disposição de hardware
Master
Athlon MP 1800+
2 NúcleosAthlon MP 2800+
2 Núcleos
Xeon HT 3GH
2 Núcleos
4”CPUs
![Page 15: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/15.jpg)
15
*Softwares
- gcc (compilador C)- g++ (compilador C++)- g77 / f77 (compiladores fortran)- MatLab- MPI (Lib para paralelismo)- Mathematica- Charm++
![Page 16: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/16.jpg)
16
*Gerenciador de filas
-OpenPBS (Portable Batch System)Gerencia onde, quando e a prioridade de um “processo” de usuário que seráexecutado. Possui ferramentas para monitoramento dos “processos” e do cluster.
![Page 17: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/17.jpg)
17
-Capaz de criar e gerenciar grupos distintos de usuários e máquinas
-Capaz de limitar o número de processos enviado por um usuário ou grupo.
-Capaz de limitar o número de CPUspor usuário, processo ou grupo.
![Page 18: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/18.jpg)
18
*Funções básicas
-qstat => status dos jobs-qsub => submete um job-qdel => remove um job submetido-pbsnodes –a => lista os nós com
seus status e respectivos jobs
![Page 19: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/19.jpg)
19
mgm@ssolar:~$ qstatJob id Name User Time Use S Queue---------------- ---------------- ---------------- -------- - -----29538.ssolar script.pbs hduser 383:45:4 R workq33695.ssolar matlab1 user4 383:41:1 R workq33696.ssolar matlab1 user4 383:30:5 R workq33709.ssolar matlab1 cara3 383:27:3 R workq35164.ssolar RsC_N cara 380:42:1 R workq36351.ssolar soff carol 195:00:1 R workq36352.ssolar sing fed 187:32:4 R stat36423.ssolar MyJob nelp 67:14:51 R workq36424.ssolar Stat_People nelp 67:13:51 R workq36425.ssolar Stat_People nelp 67:13:50 R workq36426.ssolar DesvP_People nelp 67:14:46 R workq36426.ssolar DesvP_People2 nelp 67:14:46 Q workq
![Page 20: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/20.jpg)
20
*Script de submissão-No site e em /tmp
# Copie para sua área de trabalho e troque o nome se quiser # nome do job
#PBS -N nome_identificacao# numero de nos e cpus (sendo um programa serial: 1 1).....# nome do arquivo de saida
#PBS -o nome_saida#posiciona o ponteiro na area do usuario.....echo "Job started at `date`"
./nome_executávelecho "Job ended at `date`"
![Page 21: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/21.jpg)
21
*Monitoramento-Acompanhamento online e em
RealTime pela página do ssolar(ssolar.cat.cbpf.br)
-Histórico geral do cluster e/ou dos grupos separadamente e de cada nós também online
![Page 22: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/22.jpg)
22
![Page 23: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/23.jpg)
23
*Próximo SSolar
-Com a popularização da arquitetura de 64bits surge anecessidade em um 1°momento de características mista em clusters.
-Possibilitar o envio de jobs 32/64bits para os nós corretos
![Page 24: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/24.jpg)
24
*O.S. multiplos
-Mais estaveis em um hardware e/ou completo com pacotes e libs.
-O.S. diferentes podem facilitar a instalação em arquiteturas mistas
![Page 25: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/25.jpg)
25
*Condor
-Distingui O.S., arquitetura, número de CPUs e outras características dos nós.
-Capaz de operar também em máquinas de usuários distinguindo momentos ociosos automaticamente
![Page 26: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/26.jpg)
26
-Suporte a criação de grupos, suporta priorizar grupos, permite que o usuário priorize seus jobs, suporte a agendamento.
-Permite integrar multiplos operacionais e arquitetura
-Limitado à versões portadas pelo desenvolvedor
![Page 27: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/27.jpg)
27
*Casamento Hardware/O.S.
-O O.S. deve ser robusto e estável o suficiente para permitir o trabalho do hardware ininterruptamente por meses e anos
-Bom suporte no kernel a SMP
![Page 28: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/28.jpg)
28
*Casamento O.S./Gerenciados de filas
-O.S. deve permitir o trabalho correto e ininterrupto do gerenciador de filas
-Suportar desde seus recursos mais básicos de gerenciados de filas ao mais complexo
![Page 29: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/29.jpg)
29
* 1° momento
Cluster 32bits
Cluster 64bits
Master32
Master64
![Page 30: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/30.jpg)
30Cluster 32bits
Master64Gerenciando
todos os arranjos
(32/64bits)
* 2° momento
Cluster 64bits
Cluster 32bits
![Page 31: Computação Distribuída de Alto Desempenhomesonpi.cat.cbpf.br/e2006/graduacao/pdf_g5/Aula 02b... · -Servidores de administradores de cartão de crédito-Servidores da Receita Federal...](https://reader035.fdocumentos.com/reader035/viewer/2022071023/5fd7fde94efe8063f863b586/html5/thumbnails/31.jpg)
31
Agradecimentos a
Todos os participantes do curso de Computação Distribuída de Alto
Desempenho
Nilto Alves Jr.Marcelo Portes Albuquerque