Sparsi parallel computing

23
Conceito e Aplicações

Transcript of Sparsi parallel computing

Page 1: Sparsi parallel computing

Conceito e Aplicações

Page 2: Sparsi parallel computing

O DESAFIO

cenário

• Corrida por desempenho:• aumentar receita e market share,• reduzir custos (gestão, TCO...),• lidar eficientemente com volumes crescentes,• adaptar-se rapidamente às demandas de mercado,• criar produtos inovadores,• superar a concorrência.

• Implicações em TI:• crescente volume de dados,• crescente throughput das aplicações,• flexibilidade e agilidade dos sistemas.

Page 3: Sparsi parallel computing

O DESAFIO

mudança de paradigma

• Soluções tradicionais podem não satisfazer:• Otimização de aplicações:

• Melhoria de algoritmos• Tratamento de pontos de gargalo• Reestruturação de consultas ao BD• Indexação de tabelas

• Aquisição de novos equipamentos:• atende apenas temporariamente às demandas,• aumenta TCO,• aumenta complexidade e custo de gestão,• diminui confiabilidade do sistema.

Page 4: Sparsi parallel computing

A SOLUÇÃO

o que é grid computing?

Page 5: Sparsi parallel computing

O CONCEITO

o que é grid computing?

“Tecnologia de Software que permite o uso coordenado de um número ilimitado de unidades de processamento heterogênas de maneira a criar uma infra-estrutura única de computação de alto desempenho”

Page 6: Sparsi parallel computing

A SOLUÇÃO

o que é grid computing?

• Poder computacional de 1 Teraflop:

• 1 servidor Sun SPARC Enterprise M9000 Full

• 2 servidores IBM p5 595 (64 x POWER5 de 1.9GHz)

• 20 servidores com Intel Itanium 2 de 1.6 Ghz

• 294 PCs com Pentium IV de 2,5 Ghz

Page 7: Sparsi parallel computing

A SOLUÇÃO

como funciona?

DU

LO

CL

IEN

TE

DULO

SER

VID

OR

PÓS

PRINCIPAL

PRÉ

BD

Page 8: Sparsi parallel computing

A SOLUÇÃO

como funciona?

PRINCIPAL

PÓS

PRINCIPAL

PRÉ

Page 9: Sparsi parallel computing

Sparsi MaestroPRINCIPAL

A SOLUÇÃO

PR

INCIP

AL

PR

INC

IPA

L

PR

INC

IPA

L

PR

INCIP

AL

PÓS

PRÉ

como funciona?

Page 10: Sparsi parallel computing

A SOLUÇÃO

Sparsi Maestro

• O que faz?• Coordena a execução de processos remotos• Monitora o desempenho, equilibrando a carga• Reloca tarefas em caso de falha• Cancela e reloca tarefas em caso de “timeout”• Gerencia arquivos e aplicações

• Como faz?• Sistema totalmente distribuído• Sistema altamente portável (100% Java)

Page 11: Sparsi parallel computing

A SOLUÇÃO

beneficios

• Fazer igual em muito menos tempo:• redução drástica nos tempos de processamento,• execução paralela automatizada e eficiente,

• Fazer muito mais no mesmo tempo:• capacidade de tratar volumes muito maiores,• capacidade de testar soluções antes inviáveis,

• Maior flexibilidade e confiabilidade:• poder é tão grande quando o do próprio parque,• tolerância à falhas no nível peer-to-peer

Page 12: Sparsi parallel computing

A SOLUÇÃO

quem usa?

• Principais aplicações

• Instituições financeiras

• Indústria farmacêutica

• Companhias de seguro

• Indústria petroquímica

• Institutos de pesquisa

Page 13: Sparsi parallel computing

A EMPRESA

fundadores

•Fabiano• 1998: Engenharia de Computação: Unicamp/ECL• 2000-2002: Mestrado em computação distribuida:

FEEC/Unicamp• 2001: submete pedido de financiamento à FAPESP• 2003: Fundação da Sparsi• 2003 a 2006: convites para edição de Redbooks em GC• 2006: participação em Venture Forum FINEP

Page 14: Sparsi parallel computing

A EMPRESA

fundadores

• Eduardo:• 1994: Ciência da Computação: Universidade de Havana,

onde passa a lecionar• 1996- 1998: Mestrado em computação distribuida:

FEEC/Unicamp• 1999-2003: Doutorado em computação distribuida:

FEEC/Unicamp• 2003: Fundação da Sparsi• 2006: participa do Venture Forum FINEP

Page 15: Sparsi parallel computing

A EMPRESA

nossa trajetória

• Participação no Venture Forum FINEP• Apresentação no Instituto Endeavor• Apresentação na Solvo S/A• Apresentação na YMF• Realização de POC no primeiro trimestre de 2007• Gridificação e teste de aplicações da YMF

Page 16: Sparsi parallel computing

A EMPRESA

parceria com a YMF

“Apesar de ter trabalhado com clusters de super-computação por vários anos e de estar acompanhando computação em grid desde 2004, fiquei positivamente surpreso com a facilidade de implementação e uso, robustez, portabilidade, escalabilidade e o rico conjunto de funcionalidades do Sparsi Maestro, mesmo comparado com os líderes mundiais de mercado”

Agostinho VillelaDiretor de Tecnologia – Solvo S/A

Page 17: Sparsi parallel computing

A EMPRESA

parceria com a YMF

“Com o Sparsi Maestro, simulações de compliance que anteriormente demoravam mais de 3 horas para executar agora demoram menos de 10 minutos. Assim, nossos clientes podem pensar em verificação de compliance em tempo real”

Fernando BertazzaGerente de Desenvolvimento de Mercado - YMF

Page 18: Sparsi parallel computing

A EMPRESA

parceria com a YMF

“Com o software Sparsi Maestro, um job que demorava até 5 horas para processar 2 milhões de cotistas de fundos agora só demora 20 minutos. Estamos executando mais rápido que algumas aplicações de computador de grande porte”

Luis FioreDiretor de Engenharia - YMF

Page 19: Sparsi parallel computing

A EMPRESA

parceria com a YMF

“Com o software Sparsi Maestro, um job do SAC que demorava 1 hora agora demora apenas 6 minutos”

Alexandre ReisEngenheiro Financeiro - YMF

Page 20: Sparsi parallel computing

A EMPRESA

Resultados - SRC

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49

Número de Máquinas

Te

mp

o (

s)

Page 21: Sparsi parallel computing

A EMPRESA

Resultados - COT

0

10000

20000

30000

40000

50000

60000

70000

1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49

Número de Máquinas

Te

mp

o (

s)

Page 22: Sparsi parallel computing

A EMPRESA

Resultados - SAC

0

20000

40000

60000

80000

100000

120000

140000

1 3 5 7 9 11 13 15 17 19 21 23 25

Número de Máquinas

Te

mp

o (

s)

CLRVFUFDSWFIRF

Page 23: Sparsi parallel computing

FIM

[email protected]