Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)
description
Transcript of Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 1
Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia
(INGRID, IBERGRID, e EGI)
Jorge Gomes
Laboratório de Instrumentação e Física Experimental de Partículas
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 2
Computação grid conceito• Um paradigma de computação distribuída• Permite: interconexão de recursos
– Heterogéneos (sensores, instrumentos, meios de cálculo, diferentes configurações e S.O., etc)
– Distribuídos geograficamente– Pertencentes/geridos por múltiplas entidades
• Para: Criação de uma fonte universal de recursos computacionais– Disponível em todo o lado– Consistente– Fiável
• Permitir:– Partilha de recursos– Optimização da sua utilização– Permitir a criação de novas aplicações
Motivação
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 3
• É cada vez mais difícil que uma única instituição de investigação consiga disponibilizar os meios computacionais necessários para a investigação cientifica moderna
• Optimização dos recursos computacionais disponíveis
• Alguns domínios de utilização:
o Física/Astronomia: processamento de dados de diferentes tipos de instrumentos
o Medicina: imagiologia, diagnostico e tratamentoo Bioinformática: estudo do genoma e proteoma
compreender as doenças genéticaso Nanotecnologia: concepção de novos materiais à
escala molecularo Engenharia: desenho, concepção, simulação,
analise de falhas, instrumentação remota e controloo Ambiente e recursos naturais: meteorologia,
observação da terra, modelação de sistemas complexos: rios, inundações, tremores de terra
Visão
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 4
GRID: centros de GRID: centros de processamento de dados processamento de dados distribuidos e software distribuidos e software
para integrar os recursos para integrar os recursos “middleware” “middleware”
Os investigadores querem realizar as suas actividades independentemente da sua localização.Para isso precisam de interagir com os seus colegas e partilhar dados e informação distribuidos por todo o mundo
Instrumentos científicos e experiências produzem gigantescas quantidades de dados armazenados em diferentes locais e que apenas podem ser processados através da combinação e recursos computacionais.
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 5
EvoluçãoInt.Eu.Grid
2007
2006
2005
2008
2004
2003
2002
2001
EGEE-IIIEGEE-IIEELAEGEE-ILCGCrossGridDataGrid Int.Eu.Grid
2007
2006
2005
2008
2004
2003
2002
2001
EGEE-IIIEGEE-IIEELAEGEE-ILCGCrossGridDataGrid
Projectos grid no domínio das infra-estruturas com participação Portuguesa
~ 290 centros~ 55 países~ 150,000 CPUs~ 38 PetaBytes~ 17,000 utilizadores~ 200 VOs~ 330K trabalhos/dia
ArqueologiaAstronomiaAstrofísicaProtecção civilQuímicaCiências da terraFinançaFusãoGeofísicaFísica de altas energiasCiências da vidaMultimédiaCiência dos materiais…
Maior grid multidisciplinar
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 6
• EGEE está organizado em federações
• Federação do Sudoeste Europeu
• Portugal– 8 centros
• Espanha– 13 centros
EGEE na Península Ibérica
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 7
– Operações regionais distribuídas– LIP coordena recursos Portugueses– LIP apoia as operações na federação e contribui para tarefas globais
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 8
Iniciativa Grid Europeia (EGI)• Está a ser criada uma iniciativa grid a nível Europeu
– Garantir sustentabilidade a longo prazo da computação grid na Europa• As infra-estruturas grid são uma necessidade real é necessário garantir o seu funcionamento• Abandonar o modelo baseado em instituições e projectos Europeus de 2 ou 3 anos
– Novo modelo organizacional com duas camadas:• Iniciativas Nacionais Grid independentes em cada país (suportadas e geridas pelos governos)• Iniciativa Grid Europeia para integrar recursos a nível Europeu
• A sede do EGI está a ser estabelecida em Amesterdão• A transição terá inicio ainda durante o EGEE-III• EGI assumirá a coordenação da grid Europeia em 2010
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 9
Iniciativa Grid Europeia (EGI)
• LoI foram assinadas pelas Iniciativas Nacionais Grid
• MoU está a ser assinado pelas iniciativas nacionais grid
• Um projecto Europeu para suporte de EGI encontra-se em fase de preparação
Países que expressaram apoio ao EGI
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 10
Iniciativa Nacional Grid Portuguesa (INGRID)
• Iniciativa do Ministério da Ciência– Lançada em Abril de 2006– Gerida pelas Agências governamentais UMIC e FCT– Coordenação técnica a cargo da UMIC em colaboração com o LIP
• Objectivos principais– Suporte ao desenvolvimento da computação grid para a resolução
de problemas complexos– Desenvolvimento de competências no domínio da computação grid– Integrar Portugal em infra-estruturas grid internacionais
• Actividades– Financiamento de 13 projectos piloto 1.500.000€ 2006 - ...– Redes de comunicação para computação grid 2007 - ...– Criação de uma infra-estrutura nacional grid 2008 - ....
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 11
INGRID projectos
• G-Cast: Application of GRID-computing in a coastal morphodynamics nowcast-forecast system
• GridClass - Learning Classifiers Systems for Grid Data Mining
• PoliGrid - distributed policies for resource management in Grids
• Collaborative Resources Online to Support Simulations on Forest Fires (CROSS-Fire): a Grid Platform to Integrate Geo-referenced Web Services for Real-Time Management
• GRID for ATLAS/LHC data simulation and analysis
• GERES-med: Grid-Enabled REpositorieS for medical applications
• BING –Brain Imaging Network Grid • GRITO – A Grid for preservation• PM#GRID - GRID Platform
Development for European Scale Satellite Based Air Pollution Mapping
• AspectGrid: Pluggable Grid Aspects for Scientific Applications
• P-found: GRID computing and distributed data warehousing of protein folding and unfolding simulations
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 13
Infra-estruturase projectos
INGRIDEGI
IBERGRIDLCG...
INGRID+
Utilizadores:– Projectos INGRID– Organizações virtuais
(nacionais e internacionais)– Outros utilizadores com
elevados requisitos
Recursos CentraisNó central etc
Recursos Existentes(EGEE, int.eu.grid, EELA,
projectos INGRID ...)
Outros recursos
Utilizadores
Criação de uma infra-estrutura grid nacional autónomaRequisito para participação no EGI
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 15
Nó Central Grid (NCG)• Datacenter construído por um consorcio
de instituições no contexto da iniciativa nacional grid:– LIP, FCCN, LNEC
• Localização:– Campus do LNEC em Lisboa– Junto ao NOC da FCCN
• Objectivo:– Albergar serviços grid centrais para a iniciativa nacional grid– Fornecer recursos de cálculo e armazenamento para partilhar– Alojamento de recursos de outras instituições
• Projecto iniciado em 2007.• Ficará totalmente operacional este verão.
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 16
Nó Central Grid (NCG)
Projecto da iniciativa nacional grid consorcio:LIP, FCCN and LNEC
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 17
Nó Central Grid (NCG)
• Sala de informática:– Área 370m2
– Sala de apoio, sala de baterias, sala de sistemas
– Chão técnico elevado de 85cm• Potência eléctrica:
– Dimensionado para até 2000 kVA• Alimentação protegida:
– 4x UPS 200kVA– Correção de factor de potência– Gerador diesel
• Arrefecimento com água gelada:– Chillers com free-cooling (2x 375kW)– Close-control units (3x150kW+47kW)
• Alarme e extinção de incêndios– Very Early Warning Smoke Detection– Extinção por INERGEN
• Meios:– Tape library LTO-4
• Repositórios de dados• Armazenamento hierárquico
– Serviços grid centrais• Blades• 192 CPU cores
– Grid cluster• Blades HTC e HPC• ~ 1250 CPU cores para processamento
– Armazenamento grid• ~ 620TB raw + 70TB raw SAN
– Rede local• 10gigabit Ethernet• Non-blocking, wire-speed, low latency
– Recursos de outras organizações:• Cluster do LNEC
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 20
Nó Central Grid (NCG) - recursos
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 23
Nó Central Grid (NCG) - Topologia
Core10gigabitEthernetswitch
...
...Laminas de cálculo
SGE cluster
Armazenamento = Lustre + StoRM
Ser
viço
s de
apo
ioLa
min
as
net
1ª fase:~1250 CPU cores~ 620 TB raw
HPC HTC HTC HTC HTC
APOIO
APOIO
• Infra-estruturas de suportes– Operacionais– Alguns melhoramentos em curso
• Computação– Plataforma de virtualização operacional– Serviços de apoio operacionais– Serviços centrais operacionais (NGI, IBERGRID)– Farm operacional– Armazenamento Lustre operacional– Integração no EGEE e IBERGRID concretizada– Testes conjuntos com VOs seleccionadas
Nó Central Grid (NCG) - Estado
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 25
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 26
INGRID expansão• Suporte à integração de recursos nacionais:
1. Foco inicial nos centros de recursos que já possuem gLite• Garantir uma transição suave do modelo de projectos para o modelo NGI/EGI
2. Expandir a outros centros com dimensão e características interessantes • Diversos pedidos
• Sugestão: Apoiar os centros que pretendam aderir com recursos:– Recursos humanos para operar os centros de recursos– Disponibilizar equipamento para integrar centros de recursos existentes– Reforço da capacidade de alguns clusters com meios que ficariam parcialmente ou
totalmente reservados para utilização INGRID– Suporte para os custos de operação na medida da sua utilização por utilizadores no
âmbito do INGRID
• Sugestões: Estratégia para as infra-estruturas de computação cientifica– É necessária uma mudança sociológica/comportamento – Redireccionar os utilizadores para estas infra-estruturas em vez de financiar a compra de
novos meios de cálculo– Quando financiados exigir a integração dos recursos na iniciativa nacional grid
independentemente da natureza do recurso ser HTC ou HPC
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 27
INGRID serviços / organização• Operação da infra-estrutura
– Coordenação actualmente a cargo do LIP– Envolver outras instituições (suporte, middleware, segurança, etc)
• Helpdesk / Suporte– Curto prazo partilhar o serviço com Espanha na sequência do EGEE– Primeira linha de suporte em Portugal– Segunda linha de suporte com especialistas Portugueses e Espanhóis
• Accounting / Monitorização– Curto prazo partilhar com Espanha (CESGA)– Serviços de monitorização básicos em Portugal
• Segurança– Continuar o serviço existente com uma equipa de segurança grid no LIP– Colaboração com a FCCN e com a RediRIS
• Organizações virtuais nacionais e IBERGRID– Serviços técnicos operacionais– Estabelecer selecção de novas VOs– Estabelecer alocação de recursos
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 28
INGRID serviços / organização• Autenticação
– Autoridade de certificação do LIP– Acreditada pelo IGTF– Estudar novos modelos e possibilidade de utilização de outros perfis IGTF– Certificados para treino e formação (worthless CA)
• Treino e apoio aos utilizadores e administradores– Produzir/melhorar documentação– Organizar sessões de treino
• Suporte a aplicações– É necessário envolver outras organizações– Colaboração com Espanha e com os centros de suporte especializados para
comunidades especificas no contexto do EGI
• Serviços de rede avançados– Suporte especializado pela FCCN– Serviços, monitorização, acesso aos TTs, informação Geant e RediRIS, etc
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 32
IBERGRID• Uma iniciativa Ibérica para e-science:
– Estabelecida no contexto dos acordos de cooperação cientifica e tecnologia entre os governos de Portugal e Espanha
– Para partilha de recursos comuns
• Quatro áreas:– Redes, computação grid, super-computação e aplicações
• Beneficiando das colaborações já estabelecidas no contexto de projectos internacionais com participação comum:– int.eu.grid, EELA, EGEE, …
• IBERGRID e a computação grid:– Federação das infra-estruturas das Iniciativas Nacionais Grid
Portuguesa e Espanhola– O IBERGRID será o sucessor da federação do Sudoeste
Europeu estabelecida no âmbito do EGEE– O IBERGRID permitirá uma participação comum no EGI– Avançar para um modelo sustentável (EGI/NGIs) sem perder as
sinergias já existentes
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 36
Infra-estrutura IBERGRID hoje
Xbroker ES NGI / IBERGRID
ifca.es
WMSINGRID / IBERGRID
ncg.ingrid.pt
TOPBDII ES NGIifca.es
TOPBDII INGRID / IBERGRID
ncg.ingrid.pt
VOMSINGRID / IBERGRID
ncg.ingrid.pt
LFCINGRID / IBERGRID
ncg.ingrid.pt
MyProxyINGRID / IBERGRID
ncg.ingrid.pt
UIINGRID / IBERGRID
ncg.ingrid.pt
ifca.es
cesga.es
ESuser
PTuser
ncg.ingrid.pt
bifi.es lip.pt
Obrigado !
Futuro
Encontro Nacional de Ciência - Gulbenkian Julho de 2009 37
Iniciativa Grid Europeia (EGI)
NGI NGI NGI NGI NGI NGI NGIPT
NGIES
Grid Regional Grid Regional IBERGRID