Minicurso 4 – Uma Plataforma de Federa ção de Nuvens para...

AletAlet ééia P. F. Araia P. F. Ara úújo, Maria Emilia Walter, Maristela Holanda, jo, Maria Emilia Walter, Maristela Holanda, Hugo Vasconcelos Saldanha e Edward RibeiroHugo Vasconcelos Saldanha e Edward Ribeiro

Minicurso 4 Minicurso 4 ––

Uma Plataforma de FederaUma Plataforma de Federa çção de ão de Nuvens para AplicaNuvens para Aplica çções de ões de

BioinformBioinform ááticatica

OrganizaOrganiza ççãoão do do MinicursoMinicurso

1.1. Cloud ComputingCloud Computing2.2. Cloud Cloud FederadaFederada3.3. PlataformasPlataformas parapara CloudCloud FederadaFederada4.4. ArquiteturaArquitetura BioNimbusBioNimbus5.5. AplicaAplica ççãoão de de BioinformBioinform ááticatica6.6. ResultadosResultados

Cloud ComputingCloud Computing para revolucionar a para revolucionar a

infraestrutura de TIinfraestrutura de TI

3

Cloud ComputingCloud Computing

85 %85 % do do parqueparqueinstaladoinstalado no no mundomundo éésubutilizadosubutilizado [IBM Forum 2010].[IBM Forum 2010].

4


O O queque a a Cloud Cloud ComputingComputing tem tem haverhaver

com com issoisso ??

5


•• Era Era AtualAtual dada ComputaComputa ççãoão::

6

Cloud ComputingCloud Computing•• DefiniDefini ççãoão de de Cloud ComputingCloud Computing ::

Modelo computacional para acesso conveniente, sob demanda e de qualquer localização , a umarede compartilhada de recursos computacionais (redes, servidores, aplicativos, armazenamento e serviços) que possam ser prontamente disponibilizados como serviços e acessados com um esforço mínimo de gestão ou de interação com o provedor de serviços.

P. Mell and T. Grance (2011) The NIST Definition of Cloud Computing. NIST, EUA.

7

Cloud ComputingCloud Computing•• DefiniDefini ççãoão de de Cloud ComputingCloud Computing ::

A nuvem é um grande reservatório de recursos facilmente utilizáveis e acessíveis (como hardware, plataformas de desenvolvimento e/ou serviços). Esses recursos podem ser dinamicamente reconfigurados para ajustar a carga (escala) variável do sistema. Tal reservatório é geralmente explorado por um modelo pay-per-use no qual as garantias são oferecidas por um Provedor de Infraestrutura por meio de SLAs (Service Level Agreement).

L.M. Vaquero et al., “A break in the clouds: towards a cloud definition”,ACM SIGCOMM Computer Communication Review, 2008.

8


PorPor queque Cloud Cloud ComputingComputing ??


•• As As novidadesnovidades sãosão ::– Modelo de aquisição

• Baseado na aquisição de serviços

– Modelo de negócios• Pay-per-use

– Modelo de acesso• Por meio da Internet

– Modelo técnico• Escalabilidade, elasticidade, dinamicidade, ...

9


•• SuasSuas principaisprincipais caractercaracter íísticassticas (NIST):(NIST):– Serviço sob demanda

• Consumidor deve provisionar os recursos de computação automaticamente e de acordo com a necessidade.

– Amplo acesso à rede• Recursos disponíveis por meio da rede,

proporciona uso a partir de diferentes dispositivos(PC, tablets, smartphone, etc.).

10


•• SuasSuas principaisprincipais caractercaracter íísticassticas (NIST):(NIST):– Agrupamento de recursos

• Recursos agrupados e dinamicamente atribuídospara atender múltiplos consumidores.

– Serviço mensurado• Modelo pay-as-you-go ou pay-per-use• Recursos controlados.

– Elasticidade• Recursos podem ser provisionados e liberados

elasticamente, de acordo com a demanda.

11

Cloud ComputingCloud Computing•• ElasticidadeElasticidade (NIST):(NIST):

– Evita super/sub dimensionamento– Otimiza custos com infraestrutura de TI

12


Fonte: http://www.zdnet.com/blog/btl/the-future-of-cloud-computing-9-trends-for-2012/80511

Cloud ComputingCloud Computing•• ReduRedu ççãoão de de custoscustos

– Redução do investimento inicial– Menos custos com hardware, software, técnicos e

manutenção

•• PayPay--perper --useuse– Cliente paga pelo que usa, semelhante às nossas

contas de água, luz e telefone– Nenhum compromisso antecipado por parte dos

usuários

•• MeioMeio ambienteambiente– Menor consumo de energia– Menos hardware subutilizado

15


ILUSÃO de recursos computacionais INFINITOS e SOB DEMANDA.

Zona de Conforto


EntãoEntão devemosdevemos migrarmigrartodostodos e e tudotudo parapara

Cloud ComputingCloud Computing ??

EntãoEntão nãonão existemexistemriscosriscos ??


•• RiscosRiscos ::– Segurança

– “If the Cloud Loses Your Data, You’re Screwed”

– Falta de transparência – ou, em computação, transparência demais

– Preocupações com o desempenho e a disponibilidade

– Requer constante conexão com a internet.


19


Fonte: http://www.zdnet.com/blog/btl/the-future-of-cloud-computing-9-trends-for-2012/80511


Benefícios Riscos


QuaisQuais sãosão ososModelosModelos de de ServiServi ççosos ??

•• ModelosModelos de de ServiServi ççosos ::– IaaS: Infrastructure as a Service– PaaS: Platform as a Service– SaaS: Software as a Service


Serviços

Infraestrutura como serviço (servidores, armazenamento, rede, etc.)

Plataforma como serviço (ferramentas de desenvolvimento, ferramentas de implantação, etc.)

Software como serviço (aplicações, processos e informações como serviço)

Fonte: Ibm.com 23

Fonte: http://www.ampsoft.com.br/Tecnologia/Pages/P lataformaAzure.aspx


QuaisQuais sãosão ososTiposTipos de de NuvemNuvem ??


•• TiposTipos de de ModelosModelos de de EntregaEntrega ::– Nuvem privada

– Nuvem pública

– Nuvem híbrida

Cloud ComputingCloud Computing•• NuvemNuvem PrivadaPrivada ::

– Propriedade de uma organização que fornece serviçoshospedados para um número limitado de pessoas.

– Uso exclusivo de uma organização.•• NuvemNuvem PPúúblicablica ::

– Modelo padrão de computação em nuvem, no qual um prestador de serviço fornece (vende) recursos ao públicoem geral por meio da Internet.

– Disponibilizada livremente e acessada por qualquercliente.

•• NuvemNuvem HHííbridabrida ::– Composição de duas ou mais nuvens: públicas e/ou

privadas.– Organizações que utilizam esse modelo podem hospedar

aplicações críticas em nuvens privadas e aplicaçõesmenos crítica de segurança na nuvem pública.

27


TendênciaTendência ––CloudCloud FederadaFederada

CloudCloud FederadaFederada

Fonte: Google Trends, 18 de Outubro de 2012


Conjunto de provedores de nuvens computacionais, publicos e privados, conectados por meio da Internet.

Fonte: R. Buyya et al., “Intercloud: Utility-oriented federation of cloud computing Environments for scaling of application services”, ICA3PP, 2010, pp. 21–23.

Também chamada de intercloud, cross-cloud, cloud-of-clouds.

30


As nuvens federadas objetivam dar suporte aos usuários que necessitam de maior poder computacional, provendo uma única interface na qual eles podem transparentemente manipular diferentes provedores de nuvens como eles fariam com um único provedor.

Fonte: A. Kertesz at al., “Integrated Monitoring Approach for Seamless ServiceProvisioning in Federated Clouds”, 20th Euromicro International ConferenceOn Parallel, Distributed and Network-based Processing, 2012, pp.567-574.

31


•• ObjetivosObjetivos ::– Materializar a ilusão de recursos

“ilimitados”;

– Eliminar a dependência de um únicoprovedor;

– Otimizar o uso de recursos dos provedoresfederados;

– Promover uma melhor relaçãocusto/benéficio.

32

CloudCloud FederadaFederada• Provedores executando serviços que têm

requisições de recursos adicionais, durante a execução, podem mutuamente colaborarempara compartilharem seus recursos e completarem cada uma de suas demandas(outsourcing resources ).

• Similarmente, um provedor que está com seus recursos ociosos pode alugar parte deles para outros provedores (insourcingresources ).– É claro que o lucro de alugar os recursos deve ser

maior do que manté-los desligado.33


Como Como atingiratingirCloudCloud FederadaFederada ??

Cloud Cloud FederadaFederada

•• RequisitosRequisitos ::– Automatismo :

• identicar outras nuvens e seus recursos de maneira automatica e transparente;

– Previsão de carga : • prever demandas e comportamentos dos

serviços oferecidos para escalonamento;

– Mapeamento de serviços a recursos : • Estabelecer melhor combinação hardware-

software para melhor eficiência e custo;

35


•• RequisitosRequisitos ::– Segurança interoperável :

• integrar diferentes modelos de segurançaexistentes nos diversos provedores;

– Escalabilidade : • ser capaz de lidar com um grande número de

provedores, recursos, serviços e requisições, sem perder desempenho.

36


•• TTéécnicascnicas de de MonitoramentoMonitoramento ::– Monitoramento Direto :

• Inserção dos serviços de monitoramento dentro dos serviços das nuvens;

• O código de monitoramento fica junto aosprocessos de execução.

– Monitoramento Indireto :• É usado um proxy para interceptar as mensagens,

e adicionar a capacidade de monitoramento dentrodos sistemas sem a necessidade de ser inserido no serviço.

• Ele é independente da tecnologia escolhida naimplementação dos serviços.

37

CloudCloud FederadaFederada•• PassoPasso --aa--passopasso parapara a a FederaFedera ççãoão::

– Fase 1: Descoberta• Pesquisar dinamicamente nuvens candidatas. Esta

fase deve ser rápida e eficiente.

– Fase 2: Negociação• Escolher dentre as nuvens disponíveis a mais

conveniente, avaliando os parâmetros de acordocom a QoS, disponibilidade dos recursos, etc.

– Fase 3: Autenticação• Esta fase firma o acordo estabelecido, e cria a

segurança necessária para que as nuvens possaminteragir.

38


PlataformasPlataformas paraparaFederaFedera ççãoão de de CloudsClouds

CloudCloud FederadaFederada•• ArquiteturaArquitetura porpor CelestiCelesti et al. (2010):et al. (2010):

– Nesta proposta há dois tipos de nuvens: nuvemlocal e nuvem estrangeira.

– Em cada uma das infraestruturas disponibilizadasna federação há um gerenciador, chamado de Cross-Cloud Federation Manager (CCFM).

– O CCFM é o responsável por realizar as operações necessárias para que o estabelecimento da federação seja possível, e poratender os chamados entre as nuvens dafederação.

40

CloudCloud FederadaFederada•• ArquiteturaArquitetura porpor CelestiCelesti et al. (2010):et al. (2010):

– O Discovery Agent é responsável por identificarquais nuvens fazem parte da federação e quaissão seus recursos.

– O Match-Making Agent faz a escolha de quaisnuvens seriam as melhores para atender umadeterminada requisição do usuário.

– O Authentication Agent cria o canal de segurança entre a nuvem local e a nuvemestrangeira, de forma que a primeira seja capazde usar os recursos da última de acordo com as políticas de segurança desta.

41


•• ArquiteturaArquitetura porpor CelestiCelesti et al. (2010):et al. (2010):

Fonte: A. Celesti et al., “How to enhance cloud architectures to enable cross-federation”, IEEE CLOUD, 2010, pp. 337–345.

CloudCloud FederadaFederada•• ArquiteturaArquitetura porpor BuyyaBuyya et al. (2010):et al. (2010):

– Nesta proposta, diferente da anterior, o usuárionão interage diretamente com um componente daarquitetura, mas utiliza um componente externo, chamado Cloud Broker (CB).

– Ele é responsável por criar a comunicação entre o usuário e a federação, e por identificar quaisprovedores possuem recursos disponíveis paraatender os requisitos de QoS exigidos.

– Além disso, ele também é responsável por fazer a submissão da tarefa desejada.

43

CloudCloud FederadaFederada•• ArquiteturaArquitetura porpor BuyyaBuyya et al. (2010):et al. (2010):

– O Cloud Exchange (CEx) funciona como um registro a ser consultado pelos CBs, com informações sobre as infraestruturas, tais comocustos de utilização, recursos disponíveis e padrões de execução.

– Além disso, o CEx oferece serviços paramapeamento de requisições dos usuários a provedores que melhor atenderiam.

– Por fim, em cada nuvem há um Cloud Coordinator (CC) responsável por incluir a infraestrutura na federação e expor os recursosdisponíveis aos usuários da federação.

44

Cloud Cloud FederadaFederada•• ArquiteturaArquitetura porpor BuyyaBuyya et al. (2010):et al. (2010):

Fonte: R. Buyya et al., “Intercloud: Utility-oriented federation of cloud computing environmentsfor scaling of application services”, ICA3PP, 2010, pp. 21-23.


•• ArquiteturaArquitetura porpor Kertesz et al.Kertesz et al. (2012):(2012):– Esta arquitetura oferece acesso para uma nuvem

federada por meio da interface do componente Meta Broker .

– Esse componente é capaz de decidir o uso de váriosCloud brokers baseado em métricas reunidas a partirdo Service monitoring .

– Também é usado o componente Deployment paradisparar ou descontinuar os serviços requisitadoscomo máquina virtual em um sistema IaaS específico.

46


•• ArquiteturaArquitetura porpor Kertesz et al.Kertesz et al. (2012):(2012):– O GSR (Generic Service Registry) é um repositório que

contém as informações sobre os serviços.– Quando um serviço é empregado sobre uma nova

máquina, o Deployment registra seus novos acessosna GSR.

– Durante a operação, o subsistema de monitoramentoSALMon realiza testes de acordo com métricas pre-definidas baseada na disponibilidade dos dados a partir do registro.

47

CloudCloud FederadaFederada•• ArquiteturaArquitetura porpor Kertesz et al.Kertesz et al. (2012):(2012):

Fonte: A. Kertesz et al., “Integrated Monitoring Approach for Seamless Service Provisioning in Federated Clouds”, 20th Euromicro International Conference on Parallel, Distributed and Network-based Processing, 2012, pp.567-574.


ArquiteturaArquitetura BioNimbusBioNimbus

CloudCloud FederadaFederada•• ArquiteturaArquitetura BioNimbusBioNimbus (2012):(2012):

– Permite a integração e o controle de diferentesprovedores de infraestrutura, de maneira transparente, flexível e tolerante a falhas.

– A comunicação entre os seus componentes é realizadapor meio de uma rede Peer-to-Peer (P2P).

– Arquitetura toda definida em camadas, permitindosimplicidade na inserção de uma nova nuvem.

•• CamadasCamadas dada ArquiteturaArquitetura ::– Camada de Aplicação– Camada de Núcleo– Camada Provedor de Nuvem

50


•• ArquiteturaArquitetura BioNimbusBioNimbus (2012):(2012):


•• CamadaCamada ProvedorProvedor de de NuvemNuvem ::– Para que seja possível a integração de um provedor de

nuvem computacional na federação, de maneiratransparente, um plug-in de integração é utilizado pararealizar a comunicação entre o provedor e os serviçoscontroladores da federação.

– Esses plug-ins mapeiam as requisições feitas no padrão da federação para o formato de requisiçãoespecífico daquele provedor, e vice-versa.

– A utilização desses plug-ins torna a arquitetura flexívelpara a integração dos mais diferentes tipos de infraestruturas de nuvem computacional.

52


•• CamadaCamada de de NNúúcleocleo ::–– Discovery ServiceDiscovery Service

• Coleta dados sobre as diferentes nuvens computacionais quepodem fazer parte da federação, tais como recursosdisponíveis e ferramentas oferecidas como serviço.

–– Scheduling ServiceScheduling Service• Escalona, inicializa, acompanha e finaliza as tarefas entre os

provedores de serviço que fazem parte da federação.• As políticas de escalonamento devem levar em conta os

parâmetros de SLA negociados com o usuário que solicitou a execução.

–– Storage ServiceStorage Service• Coordena a estratégia de armazenamento de arquivos

consumidos e produzidos pelas ferramentas executadas. Eletambém decide sobre a distribuição e replicação dos arquivosentre os diferentes provedores.

53

CloudCloud FederadaFederada•• CamadaCamada de de NNúúcleocleo ::

–– Fault Tolerance ServiceFault Tolerance Service• Reponsável por garantir que todos os serviços do

núcleo fiquem sempre disponíveis. Para isso, ématindo um registro dos peers da rede P2P nosquais cada um dos serviços é executado.

–– Monitoring ServiceMonitoring Service• Registra, monitora e armazena dados sobre os

serviços da nuvem e sobre o histórico de execuçãodas aplicações.

–– Security ServiceSecurity Service• Gerencia a política de acesso à federação e as

credenciais de acesso dos usuários a cada uma das nuvens.

54


–– Job ControllerJob Controller• Faz a ligação entre o núcleo da arquitetura e a

camada de interação com o usuário.• Uma de suas atribuições é realizar o controle de

acesso dos usuários que tentam acessar a federação para realizar pedidos de execução.

• Para fazer a verificação de credenciais, o Job Controller acessa o Security Service.

• Ele também é responsável por gerenciar os pedidosdos vários usuários, de forma a fazer o controle porusuário, e manter os resultados para posterior consulta.

55


–– SLA ControllerSLA Controller• É responsável por implementar o ciclo de vida de um

SLA, o qual envolve: definição de SLA, estabelecimento do acordo, monitoramento de violação do acordo, encerramento do acordo e aplicação de penalidades por violação (se for o caso).

• Assim, o SLA Controller tem a responsabilidade de investigar se os requisitos especificados no templatepreenchido pelo usuário podem ser suportados pelafederação naquele momento.

• Se for, é gerado um ID permitindo a execução do job, se não for, é investigado a possibilidade de inseriruma nova infraestrutura na federação.

56

CloudCloud FederadaFederada•• CamadaCamada de de AplicaAplica ççãoão::

– Nesta camada estão as funcionalidades de interação com os usuários.

– Os serviços de interação com o usuário são osresponsáveis por coletar as ações as quais osusuários desejam fazer, e repassá-las em formatode mensagens para o núcleo da arquitetura.

– Para executar aplicações isoladas ou montarworkflows, a arquitetura prevê:

• Interfaces web• Linhas de comando• Sistemas gerenciadores de workflows

57

Cloud Cloud FederadaFederada•• ExecuExecu ççãoão de de TarefasTarefas no no BioNimbusBioNimbus ::

CloudCloud FederadaFederada•• RequisitosRequisitos AtendidosAtendidos ::

– Automatismo:• Discovery Service e rede P2P permitem detectar

automaticamente a entrada e a saída de provedores da federação.

• Novos serviços podem ser oferecidos sem a necessidade de reconfiguração da federação.

– Previsão de carga e mapeamento de serviços a recursos:

• Monitoring, Scheduling e Storage possibilitamcumprir os requisitos de previsão de carga de aplicações e mapeamento de serviços a recursos.

59


•• RequisitosRequisitos AtendidosAtendidos ::– Seguranca interoperável:

• Security Service e plug-ins de integraçãoimplementam um modelo de segurançainteroperável, já que o serviço cria uma políticageral para a federação, mas que respeita as diversas políticas particulares de cada uma das nuvens.

– Escalabilidade:• Rede P2P distribui as estruturas de dados para

consulta de maneira eficiente.

60


BioinformBioinform ááticatica e e CloudCloud FederadaFederada


•• ProjetoProjeto GenomaGenoma ::– Os avanços técnicos da Biologia Molecular têm

facilitado o estudo das células e de suasmacromoléculas, provendo novas ferramentas sejapara determinar a função de proteínas ou paraidentificar genes.

– De maneira geral, tais ferramentas envolvem o isolamento, a clonagem e o sequenciamento de DNA.

– O sequenciamento é a tarefa de obter os nucleotídeosque compõem fragmentos (SRS) de sequênciaspertencentes ao DNA ou ao RNA de um ou maisorganimos em um projeto Genoma.

62

BioinformBioinform ááticatica•• ProjetoProjeto GenomaGenoma ::

– O sequenciamento pode ser realizado por meio de máquinas, chamadas de sequenciadoresautomáticos.

– Os sequenciadores automáticos de alto desempenho têm gerado um grande volume de dados:

• Sequenciador 454 - 1 a 1,5 milhões de fragmentos com 100bp.

• Sequenciador Illumina - 10 a 15 milhões de fragmentos com 600bp.

– Assim, os projetos genoma são exemplos queproduzem, facilmente, dados na escala de terabytes .

63

BioinformBioinform ááticatica•• Workflows Workflows emem BioinformBioinform ááticatica ::

– Um workflow é uma sequência de passos a seremseguidos para atingir um determinado objetivo.

– Um workflow em Bioinformática é formado por um subconjunto das fases:

• Filtragem : é a fase na qual os arquivos de saída dos sequenciadores são traduzidos para um formato aceitopelos BDs públicos de SRS produzidas durante os projetosgenoma.

• Mapeamento : é a fase na qual as SRS produzidas, já emformato padronizado, são mapeadas a um genoma de referência.

• Montagem : é a fase na qual as SRS produzidas pelossequenciadores automáticos são montadas de forma a produzir a sequência genética original.

• Análise : é feito o tratamento das informações obtidas nasfases anteriores, o qual depende do objetivo do projetosendo executado.

64


•• ExemploExemplo de de WorkflowWorkflow ::


EstudoEstudo de de CasoCaso


•• UnBUnB ::– Cloud Hadoop com três máquinas– Processadores Intel Core 2 Duo com 2.66GHz (6

cores); Memória RAM de 4GB; Ubuntu 11.10– HDFS: 565 GB de armazenamento

•• Amazon EC2:Amazon EC2:– Cloud Hadoop com cinco máquinas virtualizadas (1

controladora e 4 trabalhadoras)– Processador Intel Xeon com 2.27GHz (8 cores);

Memória RAM de 8GB; Fedora 8– HDFS: 1,6 TB de armazenamento

67

EstudoEstudo de de CasoCaso•• Workflow Workflow testadotestado ::

– Identicar genes diferencialmente expressos em célulashumanas cancerosas do rim e do fígado, com fragmentos sequenciados por sequenciadores Illumina.

Ferramentas oferecidas como serviço pelas nuvens.

68


•• ResultadosResultados ::– Tempo de execução do workflow em cada

nuvem e na federação.

69

EstudoEstudo de de CasoCaso•• ResultadosResultados ::

– Comparação entre tempo total de execução e tempo de transferência de arquivos de entrada.

70

EstudoEstudo de de CasoCaso•• ResultadosResultados ::

– Comparação entre tempo total de execução e tempo de transferência de arquivos de entrada.

71

BioinformBioinform ááticatica•• ConsideraConsidera ççõesões FinaisFinais ::

– A maioria das ferramentas de workflows de bioinformática (Ex., Crossbow e Myrna) paracomputação em nuvem executa em uma únicanuvem.

– Grande parte executa em apenas um tipo de nuvem.

– As que executam em mais de um tipo (Ex., CloVR) não fazem federação. Replicam a si mesmas emvárias nuvens.

– Executam somente os workflows previamentedefinidos.

72


•• ConsideraConsidera ççõesões FinaisFinais ::– Nas propostas estudadas, serviços controladores

estão centralizados.– O BioNimbus possui camada de interação própria

com o usuário. Padroniza a interface, facilitando a utilização e a integração.

– Os serviços são distribuídos e definidos emcamadas, proporcionando melhor escalabilidade.

– Em federação, a política de armazenamento écrítica, e deve trabalhar diretamente com o escalonador.

73

DDúúvidasvidas ??

ContatosContatos ::

[email protected] Ribeiro

[email protected] Saldanha

[email protected] Terto de Holanda

[email protected] Emília Walter

[email protected]éia P. F. Araújo

Minicurso 4 – Uma Plataforma de Federa ção de Nuvens para...

Documents

Transcript of Minicurso 4 – Uma Plataforma de Federa ção de Nuvens para...