Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

24
Encontro Nacional de Ciência – Gulbenkian Julho de 2009 1 Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI) Jorge Gomes Laboratório de Instrumentação e Física Experimental de Partíc

description

Laboratório de Instrumentação e Física Experimental de Partículas. Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI). Jorge Gomes. Computação grid conceito. Um paradigma de computação distribuída Permite: interconexão de recursos - PowerPoint PPT Presentation

Transcript of Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Page 1: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência – Gulbenkian Julho de 2009 1

Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia

(INGRID, IBERGRID, e EGI)

Jorge Gomes

Laboratório de Instrumentação e Física Experimental de Partículas

Page 2: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 2

Computação grid conceito• Um paradigma de computação distribuída• Permite: interconexão de recursos

– Heterogéneos (sensores, instrumentos, meios de cálculo, diferentes configurações e S.O., etc)

– Distribuídos geograficamente– Pertencentes/geridos por múltiplas entidades

• Para: Criação de uma fonte universal de recursos computacionais– Disponível em todo o lado– Consistente– Fiável

• Permitir:– Partilha de recursos– Optimização da sua utilização– Permitir a criação de novas aplicações

Page 3: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Motivação

Encontro Nacional de Ciência – Gulbenkian Julho de 2009 3

• É cada vez mais difícil que uma única instituição de investigação consiga disponibilizar os meios computacionais necessários para a investigação cientifica moderna

• Optimização dos recursos computacionais disponíveis

• Alguns domínios de utilização:

o Física/Astronomia: processamento de dados de diferentes tipos de instrumentos

o Medicina: imagiologia, diagnostico e tratamentoo Bioinformática: estudo do genoma e proteoma

compreender as doenças genéticaso Nanotecnologia: concepção de novos materiais à

escala molecularo Engenharia: desenho, concepção, simulação,

analise de falhas, instrumentação remota e controloo Ambiente e recursos naturais: meteorologia,

observação da terra, modelação de sistemas complexos: rios, inundações, tremores de terra

Page 4: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Visão

Encontro Nacional de Ciência – Gulbenkian Julho de 2009 4

GRID: centros de GRID: centros de processamento de dados processamento de dados distribuidos e software distribuidos e software

para integrar os recursos para integrar os recursos “middleware” “middleware”

Os investigadores querem realizar as suas actividades independentemente da sua localização.Para isso precisam de interagir com os seus colegas e partilhar dados e informação distribuidos por todo o mundo

Instrumentos científicos e experiências produzem gigantescas quantidades de dados armazenados em diferentes locais e que apenas podem ser processados através da combinação e recursos computacionais.

Page 5: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência – Gulbenkian Julho de 2009 5

EvoluçãoInt.Eu.Grid

2007

2006

2005

2008

2004

2003

2002

2001

EGEE-IIIEGEE-IIEELAEGEE-ILCGCrossGridDataGrid Int.Eu.Grid

2007

2006

2005

2008

2004

2003

2002

2001

EGEE-IIIEGEE-IIEELAEGEE-ILCGCrossGridDataGrid

Projectos grid no domínio das infra-estruturas com participação Portuguesa

Page 6: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

~ 290 centros~ 55 países~ 150,000 CPUs~ 38 PetaBytes~ 17,000 utilizadores~ 200 VOs~ 330K trabalhos/dia

ArqueologiaAstronomiaAstrofísicaProtecção civilQuímicaCiências da terraFinançaFusãoGeofísicaFísica de altas energiasCiências da vidaMultimédiaCiência dos materiais…

Maior grid multidisciplinar

Encontro Nacional de Ciência – Gulbenkian Julho de 2009 6

Page 7: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

• EGEE está organizado em federações

• Federação do Sudoeste Europeu

• Portugal– 8 centros

• Espanha– 13 centros

EGEE na Península Ibérica

Encontro Nacional de Ciência – Gulbenkian Julho de 2009 7

– Operações regionais distribuídas– LIP coordena recursos Portugueses– LIP apoia as operações na federação e contribui para tarefas globais

Page 8: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 8

Iniciativa Grid Europeia (EGI)• Está a ser criada uma iniciativa grid a nível Europeu

– Garantir sustentabilidade a longo prazo da computação grid na Europa• As infra-estruturas grid são uma necessidade real é necessário garantir o seu funcionamento• Abandonar o modelo baseado em instituições e projectos Europeus de 2 ou 3 anos

– Novo modelo organizacional com duas camadas:• Iniciativas Nacionais Grid independentes em cada país (suportadas e geridas pelos governos)• Iniciativa Grid Europeia para integrar recursos a nível Europeu

• A sede do EGI está a ser estabelecida em Amesterdão• A transição terá inicio ainda durante o EGEE-III• EGI assumirá a coordenação da grid Europeia em 2010

Page 9: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 9

Iniciativa Grid Europeia (EGI)

• LoI foram assinadas pelas Iniciativas Nacionais Grid

• MoU está a ser assinado pelas iniciativas nacionais grid

• Um projecto Europeu para suporte de EGI encontra-se em fase de preparação

Países que expressaram apoio ao EGI

Page 10: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 10

Iniciativa Nacional Grid Portuguesa (INGRID)

• Iniciativa do Ministério da Ciência– Lançada em Abril de 2006– Gerida pelas Agências governamentais UMIC e FCT– Coordenação técnica a cargo da UMIC em colaboração com o LIP

• Objectivos principais– Suporte ao desenvolvimento da computação grid para a resolução

de problemas complexos– Desenvolvimento de competências no domínio da computação grid– Integrar Portugal em infra-estruturas grid internacionais

• Actividades– Financiamento de 13 projectos piloto 1.500.000€ 2006 - ...– Redes de comunicação para computação grid 2007 - ...– Criação de uma infra-estrutura nacional grid 2008 - ....

Page 11: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 11

INGRID projectos

• G-Cast: Application of GRID-computing in a coastal morphodynamics nowcast-forecast system

• GridClass - Learning Classifiers Systems for Grid Data Mining

• PoliGrid - distributed policies for resource management in Grids

• Collaborative Resources Online to Support Simulations on Forest Fires (CROSS-Fire): a Grid Platform to Integrate Geo-referenced Web Services for Real-Time Management

• GRID for ATLAS/LHC data simulation and analysis

• GERES-med: Grid-Enabled REpositorieS for medical applications

• BING –Brain Imaging Network Grid • GRITO – A Grid for preservation• PM#GRID - GRID Platform

Development for European Scale Satellite Based Air Pollution Mapping

• AspectGrid: Pluggable Grid Aspects for Scientific Applications

• P-found: GRID computing and distributed data warehousing of protein folding and unfolding simulations

Page 12: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 13

Infra-estruturase projectos

INGRIDEGI

IBERGRIDLCG...

INGRID+

Utilizadores:– Projectos INGRID– Organizações virtuais

(nacionais e internacionais)– Outros utilizadores com

elevados requisitos

Recursos CentraisNó central etc

Recursos Existentes(EGEE, int.eu.grid, EELA,

projectos INGRID ...)

Outros recursos

Utilizadores

Criação de uma infra-estrutura grid nacional autónomaRequisito para participação no EGI

Page 13: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 15

Nó Central Grid (NCG)• Datacenter construído por um consorcio

de instituições no contexto da iniciativa nacional grid:– LIP, FCCN, LNEC

• Localização:– Campus do LNEC em Lisboa– Junto ao NOC da FCCN

• Objectivo:– Albergar serviços grid centrais para a iniciativa nacional grid– Fornecer recursos de cálculo e armazenamento para partilhar– Alojamento de recursos de outras instituições

• Projecto iniciado em 2007.• Ficará totalmente operacional este verão.

Page 14: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 16

Nó Central Grid (NCG)

Projecto da iniciativa nacional grid consorcio:LIP, FCCN and LNEC

Page 15: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 17

Nó Central Grid (NCG)

• Sala de informática:– Área 370m2

– Sala de apoio, sala de baterias, sala de sistemas

– Chão técnico elevado de 85cm• Potência eléctrica:

– Dimensionado para até 2000 kVA• Alimentação protegida:

– 4x UPS 200kVA– Correção de factor de potência– Gerador diesel

• Arrefecimento com água gelada:– Chillers com free-cooling (2x 375kW)– Close-control units (3x150kW+47kW)

• Alarme e extinção de incêndios– Very Early Warning Smoke Detection– Extinção por INERGEN

Page 16: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

• Meios:– Tape library LTO-4

• Repositórios de dados• Armazenamento hierárquico

– Serviços grid centrais• Blades• 192 CPU cores

– Grid cluster• Blades HTC e HPC• ~ 1250 CPU cores para processamento

– Armazenamento grid• ~ 620TB raw + 70TB raw SAN

– Rede local• 10gigabit Ethernet• Non-blocking, wire-speed, low latency

– Recursos de outras organizações:• Cluster do LNEC

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 20

Nó Central Grid (NCG) - recursos

Page 17: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 23

Nó Central Grid (NCG) - Topologia

Core10gigabitEthernetswitch

...

...Laminas de cálculo

SGE cluster

Armazenamento = Lustre + StoRM

Ser

viço

s de

apo

ioLa

min

as

net

1ª fase:~1250 CPU cores~ 620 TB raw

HPC HTC HTC HTC HTC

APOIO

APOIO

Page 18: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

• Infra-estruturas de suportes– Operacionais– Alguns melhoramentos em curso

• Computação– Plataforma de virtualização operacional– Serviços de apoio operacionais– Serviços centrais operacionais (NGI, IBERGRID)– Farm operacional– Armazenamento Lustre operacional– Integração no EGEE e IBERGRID concretizada– Testes conjuntos com VOs seleccionadas

Nó Central Grid (NCG) - Estado

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 25

Page 19: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 26

INGRID expansão• Suporte à integração de recursos nacionais:

1. Foco inicial nos centros de recursos que já possuem gLite• Garantir uma transição suave do modelo de projectos para o modelo NGI/EGI

2. Expandir a outros centros com dimensão e características interessantes • Diversos pedidos

• Sugestão: Apoiar os centros que pretendam aderir com recursos:– Recursos humanos para operar os centros de recursos– Disponibilizar equipamento para integrar centros de recursos existentes– Reforço da capacidade de alguns clusters com meios que ficariam parcialmente ou

totalmente reservados para utilização INGRID– Suporte para os custos de operação na medida da sua utilização por utilizadores no

âmbito do INGRID

• Sugestões: Estratégia para as infra-estruturas de computação cientifica– É necessária uma mudança sociológica/comportamento – Redireccionar os utilizadores para estas infra-estruturas em vez de financiar a compra de

novos meios de cálculo– Quando financiados exigir a integração dos recursos na iniciativa nacional grid

independentemente da natureza do recurso ser HTC ou HPC

Page 20: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 27

INGRID serviços / organização• Operação da infra-estrutura

– Coordenação actualmente a cargo do LIP– Envolver outras instituições (suporte, middleware, segurança, etc)

• Helpdesk / Suporte– Curto prazo partilhar o serviço com Espanha na sequência do EGEE– Primeira linha de suporte em Portugal– Segunda linha de suporte com especialistas Portugueses e Espanhóis

• Accounting / Monitorização– Curto prazo partilhar com Espanha (CESGA)– Serviços de monitorização básicos em Portugal

• Segurança– Continuar o serviço existente com uma equipa de segurança grid no LIP– Colaboração com a FCCN e com a RediRIS

• Organizações virtuais nacionais e IBERGRID– Serviços técnicos operacionais– Estabelecer selecção de novas VOs– Estabelecer alocação de recursos

Page 21: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 28

INGRID serviços / organização• Autenticação

– Autoridade de certificação do LIP– Acreditada pelo IGTF– Estudar novos modelos e possibilidade de utilização de outros perfis IGTF– Certificados para treino e formação (worthless CA)

• Treino e apoio aos utilizadores e administradores– Produzir/melhorar documentação– Organizar sessões de treino

• Suporte a aplicações– É necessário envolver outras organizações– Colaboração com Espanha e com os centros de suporte especializados para

comunidades especificas no contexto do EGI

• Serviços de rede avançados– Suporte especializado pela FCCN– Serviços, monitorização, acesso aos TTs, informação Geant e RediRIS, etc

Page 22: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 32

IBERGRID• Uma iniciativa Ibérica para e-science:

– Estabelecida no contexto dos acordos de cooperação cientifica e tecnologia entre os governos de Portugal e Espanha

– Para partilha de recursos comuns

• Quatro áreas:– Redes, computação grid, super-computação e aplicações

• Beneficiando das colaborações já estabelecidas no contexto de projectos internacionais com participação comum:– int.eu.grid, EELA, EGEE, …

• IBERGRID e a computação grid:– Federação das infra-estruturas das Iniciativas Nacionais Grid

Portuguesa e Espanhola– O IBERGRID será o sucessor da federação do Sudoeste

Europeu estabelecida no âmbito do EGEE– O IBERGRID permitirá uma participação comum no EGI– Avançar para um modelo sustentável (EGI/NGIs) sem perder as

sinergias já existentes

Page 23: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 36

Infra-estrutura IBERGRID hoje

Xbroker ES NGI / IBERGRID

ifca.es

WMSINGRID / IBERGRID

ncg.ingrid.pt

TOPBDII ES NGIifca.es

TOPBDII INGRID / IBERGRID

ncg.ingrid.pt

VOMSINGRID / IBERGRID

ncg.ingrid.pt

LFCINGRID / IBERGRID

ncg.ingrid.pt

MyProxyINGRID / IBERGRID

ncg.ingrid.pt

UIINGRID / IBERGRID

ncg.ingrid.pt

ifca.es

cesga.es

ESuser

PTuser

ncg.ingrid.pt

bifi.es lip.pt

Page 24: Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Obrigado !

Futuro

Encontro Nacional de Ciência - Gulbenkian Julho de 2009 37

Iniciativa Grid Europeia (EGI)

NGI NGI NGI NGI NGI NGI NGIPT

NGIES

Grid Regional Grid Regional IBERGRID