GridUNESP: A Integração da Capacidade Computacional da UNESP

Sérgio F. NovaesIFT/UNESP

Processadores X Conexão

Processador Ano Transistores

4004 1971 2.250

8008 1972 2.500

8080 1974 5.000

8086 1978 29.000

286 1982 120.000

386™ 1985 275.000

486™ DX 1989 1.180.000

Pentium® 1993 3.100.000

Pentium II 1997 7.500.000

Pentium III 1999 24.000.000

Pentium 4 2000 42.000.000

Tecnologia Ano Conexão (bps)

Analógica 1985 9.600

Digital 1989-1994 256.000

Shared 1990-1993 1.500.000

1996-1998 4.000.000

1999-2000 20.000.000

2001-2002 310.000.000

2002-2003 622.000.000

Lambda 2003-2004 2.500.000.000

2005 10.000.000.000

Poder Computacional X NetworkCapacidade dos Transistores dobra a cada 18 mesesCapacidade de armazenamento de dados dobra a cada 12 mesesBanda de transmissão de dados dobra a cada 9 meses

1

10

100

1000

10000

100000

1 2 3 4 5 6 7 8 9 10

Significa que as redes evoluem 100 vezes mais em 10 anos E tornam-se cada vez mais

baratas...

Física de Altas Energias

Investigação dos constituintes da matérias e suas interações

Grandes colaborações internacionais. CMS:

39 Países182 Instituições2972 Pesquisadores

Enorme complexidade dos experimentos: detector, eletrônica e software

Trabalho colaborativo: Físicos, Engenheiros e Cientistas da Computação

Benefícios secundários: o WWW foi proposto no CERN para:

Permitir o acesso à informação dos experimentos de Altas Energias.Disponibilizar facilmente novas informações. Incorporar vários servidores de armazenamento de informação, permitindo acesso à informação dos vários experimentos.

O Nano do Nano

Pequenas distâncias são exploradasNovas partículas são produzidas

CERNLarge Hadron ColliderLarge Hadron Collider

14 TeV14 TeV27 km27 km

Atlas, CMS, Alice, LHCbDetectoresDetectores

AtlasAtlas42 m 42 m alturaaltura

CMSCMS12.500 12.500 toneladastoneladas

Compact Muon Solenoid (CMS)

Detectando as Partículas

Uma avalanche de dados

Eventos são extremamente complexos Enorme quantidade de dados produzidos

H Z( ) Z( )+ − + −→ → µ µ + → µ µ

All charged tracks with pt > 2 GeV

Reconstructed tracks with pt > 25 GeV

(+30 minimum bias events)LHC

Dados10 PB / ano

Usuários> 5.000

LHC: A Era do Exabyte1 Caráter (letra, número, etc) 1 byte

1/2 Página de Texto 1 KB (Kilobyte) = 103 bytes

1 Livro 1 MB (Megabyte) = 106 bytes

1 Sinfonia em Alta Fidelidade 1 GB (Gigabyte) = 109 bytes

1/20 da Biblioteca do Congresso Americano 1 TB (Terabytes) = 1012 bytes

1/10 Toda Informação Existente na Web 1 PB (Petabyte) =1015 bytes

1/5 Toda Informação Gerada em 2002 1 EB (Exabyte) =1018 bytes

1 Exabyte de dados in 5–8 anosEquivalente a 1.43 bilhões de CD’s

Pilha de 1.857 km4.700 Pães de Açúcar210 Montes Everest

OnlineSystem

Tier 0CERN

Tier 1Spain

Tier 1Taipei

Tier 1NDGF

Tier 1UK

Tier 1Italy

Tier 1US-Fermi

Tier 1Germany

Tier 1France

Tier 2IN2P3

Tier 2Finland

Tier 2Federation

Tier 2Federation

Tier 2Federation

Tier 2Federation

Tier 2London

Tier 2NorthGrid

Tier 2ScotGrid

Tier 2SouthGrid

Tier 2Caltech

Tier 2Florida

Tier 2MIT

Tier 2Nebrasca

Tier 2BRAZIL

Tier 2GRIF

Tier 2Purdue

Tier 2UCSD

Tier 2Wisconsin

Tier 2Portugal

Tier 2Poland

Tier 2Romania

1 PByte/sec

100 MBytes/sec

10 Gbps

Tier 2India

Tier 2Pakistan

Tier 2Russia

Tier 2Ukarine

Estrutura Hierárquica

LHC Computing Grid (LCG)177 sites177 sites31 31 papaíísesses

27.500 CPU27.500 CPU’’ss44.300 TB disco44.300 TB disco

Open Science Grid (OSG)

66 sites66 sites5 5 papaíísesses

24.000 CPU24.000 CPU’’ss83.500 TB disco83.500 TB disco

Centro Regional de Análise de São Paulo

Cluster90 servidores Xeon duais (> 240 CPU’s)1.5 TFlops de poder computacional 20 TB de capacidade de armazenamento (12.8 TB RAID + 7.1 TB disco)

Conexão de redeConexão Gigabit direta com o link internacional WHREN-LILA (Internet 2) Conexão Gigabit com Projeto GigaConexão ao test bed do Projeto KyaTera (Tidia, Fapesp) Conexão ao projeto Ultralight (NSF)

Integração à estruturas internacionais de Grid Membro da Distributed Organization for Scientific Analysis and Research

Geração de Monte Carlo através do SAMGrid desde março de 2004Re-processamento de dados

Membro do Open Science GridOperando como uma Tier2 associado à Tier1 do US-CMS no Fermilab

Cluster do SPRACE

Fase 1Fase 1Fase 2Fase 2

Monitoramento

UNESPUNESP

SPRACESPRACE

SC2004 Bandwidth ChallengeTroca de tráfego entre São Paulo e Pittsburg

2.93 (2.93 (1.951.95 + + 0.980.98) Gbps) Gbpssustentado por uma hora

Recorde de transmissão de dados entre os Hemisférios Sul e Norte

SETI@home

UC Berkeley, 1999: usa um protetor de tela para rodar em PC’s Usa dados do Radiotelescópio de AreciboHoje: 5 milhões de usuários e 2 milhões de anos de tempo de CPUInspirou outros projetos: Folding@home, cura do Antraz, WCG

Search for Extraterrestrial Intelligence at

Home

Tenta identificar padrões que possam sugerir a existência de outras formas de vida no

Universo.

Genômica e Proteômica

ProteinasResponsáveis pelas funções vitaisFunção biológica é determinada pela estrutura 3D (enovelamento)Estrutura é estabelecida por comparação das cadeias disponíveis nos bancos de dados.

Protein Data Bank25,000 estruturas 3D300 PC’s/um ano

Encyclopedia of LifeCatálogo do proteoma completo de todas as espécies vivas.

Química CombinatóriaMétodo rápido e barato de

sintetizar um grande número de moléculas com propriedades

desejadas:Fármacos

CatalisadoresPolímeros

Novos materiaisPigmentos

Defensivos agrícolas.

Split & Mix:

3 X n reações 3n compostos Triagem de desempenho

Identificação do componente ativo

Primeiro sinal de câncerDepósitos de Cálcio

Algumas dezenas de mícrons120 MB / exame

Poucos especialistasImagens Heterogêneas

Grandes bancos de dados

Mamografia

Enovelamento de Proteínas Humanas (Nov/04) :identificando as proteínas que compõe o ProteomaHumano pode-se buscar tratamento para doenças como o câncer, HIV/AIDS, SARS e malaria.

Varíola: busca de drogas para controle da varíola é acelerado pelo uso do grid.

FightAIDS@Home (Nov/05) : uso de métodos computacionais para identificar drogas com as características necessárias para bloquear protease do HIV ("Structure-Based Drug Design“).

Enovelamento de Proteínas Humanas – Fase 2(Jun/06) : Objetivos: obter estruturas com maior resolução para proteínas específicas; explorar a capacidade de predição dos softwares .

Help Defeat Cancer(Jul/06) : exame de

tecidos para melhorar o tratamento do câncer

através do diagnostico correto e precoce.

- World Community Grid - Cancer Institute of NJ

- Rutgers University - Robert Wood Johnson

Medical School

(ESP: 08/Ago/06)

National Virtual Observatory

Raio X

Mudança de Escala

Mudança de Tema

Óptico

Ferramentas para localizar,acessar e analisar dados astronômicos de um

catálogo universal e comparar modelos teóricos com as observações dos telescópios.

2008: 10 PB/ano

Biomedical Informatics Research Network

Imagens cerebrais fornecem informação que possibilitam desenvolver terapias

para desordens neurológicas:Esclerose múltipla

EsquizofreniaAlzheimerParkinson

Colaboração de dezenas de laboratórios Amostragem de grandes populações 400 TB de dados: mais imagens com

maior resolução

E Muito Mais... Simulação de Terremotos e da

Dinâmica Geológica Pesquisas de Clima

Desenho de Superfícies Aerodinâmicas e AeronavesRastreamento de asteróides

GridUNESP: Proposta InicialA UNESP

Estrutura multicampi Perfil ideal para implementação da arquitetura Grid de processamento distribuído:

Distribuição eqüitativa dos recursos Acesso de todos à infra-estrutura computacional compartilhadaAcompanhamento dos avanços mais modernos em tecnologia da informação

Março 2004: Identificação dos grupos com demanda de recursos computacionais de alto desempenho:

PROPP: Programa de Integração da Capacidade Computacional da UNESPProjetos de PesquisaLevantamento da Infra-estrutura de Rede e das Necessidades de Processamento e Armazenamento de Dados

Maio 2004: Reunião de Trabalho Apresentação dos projetosDiscussão sobre programaPreparação do projeto científico global

Algumas Iniciativas Americanas

Harvard (Crimson Grid)http://www.harvard.edu/Terremotos, Tumores cancerígenos, Partículas subatômicas, Modelos oceanográficos

Wisconsin (GLOW)http://www.cs.wisc.edu/condor/glow/Engenharia, Genômica, Nanotecnologia, Altas Energias, Ciência da Computação

Texas (UTGrid)http://www.utgrid.utexas.edu/Pesquisa acadêmica e educação

Michigan (MGRID)http://www.mgrid.umich.eduBio-informática, Física e HPC

Buffalo (ACDC)https://grid.ccr.buffalo.edu/Biomedicina, Engenharia de Terremotos, Química, Ciências da Terra, Hidrodinâmica, Estrutura molecular

Iowa (HawkGrid)http://grow.its.uiowa.edu/Física, Astronomia, Geografia, Radiologia, Estatística e Engenharia.

Projeto ApresentadosSão Paulo

Simulacoes Numéricas de Larga Escala em Física, IFTSPRACE e HEP Grid-Brazil, IFT

AraraquaraCaracterização de Novos Materiais e Desenvolvimento de Ligas Especiais de Titânio, IQBioprospecção Químico-Farmacológica para Obtenção de Bioprodutos, IQ

Rio ClaroUNESP-Gridgene, DEMACAspectos Termodinâmicos no Processo de Enovelamento de Proteínas, IGCE –FísicaModelagem Tridimensional de Dados Geológicos, Fisiográficos, Hidrográficos e Geoambientais, IGCE – Petrologia e Metalogenia

BotucatuDefinição de Regiões GenômicasCríticas Envolvidas na Progressão, Resposta a Tratamento e Metástase em Tumores Humanos, Medicina

BauruDinâmica de Vórtices em Supercondutores de Alta TemperaturaCrítica do Tipo II, FísicaEstudo Mecânico Quântico de Processos Não Radiativos em Moléculas de Interesse Biológico, QuímicaEstudo Numérico de Sistemas de Elétrons Fortemente Correlacionados em Baixa Dimensionalidade, FísicaModelagem das Propriedades Elétricas de Cerâmicas Semicondutoras, MatemáticaCaracterização Teórica das Propriedades Elétricas e Canalizadoras de Óxidos, Matemática

São José do Rio PretoGenoma Estrutural - Rede de Biologia Molecular Estrutural, IBILCE – FísicaImplementação Otimizada de Algoritmos Estocásticos para Alinhamento Múltiplo de Seqüências em Clusters Beowulf, IBILCE – Computação Estatística

Ilha SolteiraMétodos Analíticos e Numéricos em Engenharia Mecânica, Eng. Mecânica

Tier 0 e Tier 1 SitesProInfra (MCT/FINEP)

Submetido pela PROPe (Prof. Varela)

Maior projeto individual aprovado

no Brasil (R$ 4.415.477,00)

HardwareTier 0

1 Servidor de Gerenciamento 3 Servidores de Armazenamento128 Unidades de Processamento6 RAID’s = 24 TB19 Nobreaks5 Switches

Tier 11 Servidor16 Unidades de Processamento1 RAID = 4 TB 2 Nobreaks1 Switch

Servidor RAID

Unidades

Switch

deProcessamento

Nobreak Nobreak

Núcleo da ANSP (NAP do Brasil)

unespNET

Integra:40 campi 23 cidades

Conexão:WAN: 34 Mb/s: LAN: > 100 Mb/s:

Topologia: estrela Nó central: NAP do Brasil.

MetroSampa - RedeComepANSP

Academic Network at Sao Paulo BIREME

Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde

CEFETCentro Federal de Educação Tecnológica

IButantanInstituto Butantan

InCORFundação Zerbini/Instituto do Coração

IPENInstituto de Pesquisas Energéticas e

NúclearesIPT

Instituto de Pesquisas Tecnológicas do Estado de São Paulo

MackenzieUniversidade Presbiteriana Mackenzie

PUCPontifícia Universidade Católica

RNPRede Nacional de Ensino e Pesquisa

UNESPUniversidade Estadual Paulista

UNIFESPUniversidade Federal de São Paulo

Escola Paulista de MedicinaUSP

Universidade de São Paulo CIENTEC

CCECCE

Registro BR

PUC

IPENHU

IPT

Inst.Butantan USP-FM

FAPESPFAPESP

EstaçãoCiência

PUC

PUC

CEFET

USP-MP

USP-MZ

UNESP-INST.ARTESPUC -DERDIC

Inst. Dante Pazzanese

USP-MAC

UNESP - IFT

USP-D.IAIÁ

UNESP-CEDEM

USP-FD

Pina

cote

caSP

FUN

ART

-SP

USP-FAUCEUMA

USP-FM Reabilitação

BIREME

Cin

emat

eca

Museu

Lase

r Seg

all

USP LSI

Hosp.SP

PUCPUC

MackenzieMackenzie

Terremark

Terremark

Mackenzie

PUC

USP Leste

INCORINCORUNESPUNESP--ReitoriaReitoria

UNIFESPUNIFESPCIENTEC

CCECCE

Registro BR

PUC

IPENHU

IPT

Inst.Butantan USP-FM

FAPESPFAPESP

EstaçãoCiência

PUC

PUC

CEFET

USP-MP

USP-MZ

UNESP-INST.ARTESPUC -DERDIC

Inst. Dante Pazzanese

USP-MAC

UNESP - IFT

USP-D.IAIÁ

UNESP-CEDEM

USP-FD

Pina

cote

caSP

FUN

ART

-SP

USP-FAUCEUMA

USP-FM Reabilitação

BIREME

Cin

emat

eca

Museu

Lase

r Seg

all

USP LSI

Hosp.SP

PUCPUC

MackenzieMackenzie

Terremark

Terremark

Mackenzie

PUC

USP Leste

INCORINCORUNESPUNESP--ReitoriaReitoria

UNIFESPUNIFESP

Cronograma de Execução1 2 3 4 5 6 7 8 9 1

011

12

13

14

15

16

17

18

19

20

21

22

23

24

Levantamento dos fornecedores, realização da concorrência pública e compra do equipamento

Entrega do equipamento, instalação, configuração básica e teste de funcionamento.

Integração em cluster dos componentes locais (NIS, NFS, Condor)

Habilitação para integração em Grid dos clusters locais (certificação e autenticação Tier 0 e 1)

Instalação serviços de clientes de Grid nos clusters locais e testes de submissão e monitoramento

Instalação dos serviços de gerenciamento da VO GridUNESP no cluster central (Tier 0)

Inclusão dos clusters locais (Tiers 1) na VO GridUnesp e registro de usuários certificados.

Desenvolvimento de interface (Portal) para submissão dos jobs de grupos de pesquisa.

Organograma

Sérgio F. NovaesCoordenação GridUNESP

J. Roberto GimenezCoordenação de

Tecnologia da Informação

Cláudio de FrançaCoordenaçãoAdministrativa

Eduardo GregoresCoordenação

Técnica

Vanderlan BolzaniCoordenação

Científica

Contato com os grupos de

pesquisadores das unidades

Organização de reuniões e workshops

Configuração do hardware

Implantação e integração dos

clusters

Contato com os pólos de

informática

Planejamento de rede

Treinamento aos pesquisadores na

utilização do cluster

Contatos com a Fundunesp

e Finep

José Arana VarelaExecutor ProINFRA - UNESP

Luiz Antônio VaneProponente ProINFRA - Fundunesp

Desafios

Implementar a estrutura física em todo Estado de São Paulo: apenas primeiro passo

Desafio: Tornar o GridUNESP uma estrutura realmente útil para todos os grupos de pesquisa

Construção de uma Portal para submissão de jobsFornecer treinamento adequado ao pesquisadores Implantar conexão de rede compatível com GridDar manutenção para o sistemaFornecer suporte permanente aos usuáriosIncorporar demais recursos computacionais da universidade