Planejando Data Centres de Alto Desempenho. - Engenharia …cspi.com.br/cspi/Infraestrutura para...

Engenharia Gerencial

Projetos, Consultoria e Gestão de Instalações Elétricas

Power Premium Solutions

Eng. José Luiz De Martini

HTTP://WWW.cspi.com.br

[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 1

Infra-estrutura para Data Centres

Planejando Data Centres de Alto Desempenho.

Eng. Eletricista José Luiz De Martini

Consultor especializado no planejamento e desenvolvimento de soluções de infra-estrutura de alta

eficiência, disponibilidade e confiabilidade para aplicações de missão critica.

Engenheiro Eletricista, titular da Engenharia Gerencial SS Ltda e consultor na área de Instalações

Elétricas consumidoras de energia, com atuação em grandes centros comerciais e infra-estrutura de suprimento de energia para sistemas de missão critica, processamento e armazenamento de dados e

telecomunicações.

Colaboradores:

Eng. Mecânico Eduardo P. Teixeira Grecco

Consultor e projetista especializado em sistemas de ar condicionado, ventilação e exaustão, com

grande atuação no segmento de planejamento e desenvolvimento de soluções de infra-estrutura de

alta eficiência, disponibilidade e confiabilidade para aplicações de missão critica, telecomunicações e processamento e armazenamento de dados. Engenheiro Mecânico, sócio-diretor da Contractors

Engenheiros Associados.

Arquiteta Rosely Botti Projetista especializada em projeto e desenvolvimento de soluções arquitetônicas para aplicações de

missão critica. Arquiteta Diretora da Orbi Projetos e Soluções.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 2

Apresentação.

Este trabalho, dividido em quatro partes, destina-se aos profissionais da Tecnologia de

Informação e de Facilities e a todos que tem como objetivo estabelecer formas de

implantação e operação de Infra-estrutura destinada ao suporte de operações de missão

critica, em especial centros de dados.

Na primeira parte apresentamos de forma introdutória os elementos que devem ser

considerados no planejamento de data Centres, desde as boas praticas na área da Tecnologia

da Informação, planejamento de espaços e meios de refrigeração, com os impactos

provocados na demanda e consumo de energia. De forma inédita são consideradas

exigências para data centres verdes “Green IT” e que devam seguir Códigos de Conduta

como o definido pela União Européia.

Na segunda são apresentados os conceitos e soluções que garantam as tradicionais

exigências quanto à disponibilidade e confiabilidade e implantadas soluções de elevada

eficiência energética, incluindo demandas de alta densidade de energia.

Na terceira, trabalho elaborado pelo Eng. Eduardo Grecco, apresentando novas tecnologias e

soluções para climatização, e na seqüência aspectos arquitetônicos para que os projetos

possam comportar não só as áreas especificas de produção, mas sim o conjunto total das

instalações e sistemas, com a colaboração da Arqta Rosely Botti






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 3

Parte 1: Planejando Data Centres de Alto Desempenho.

Nos últimos dois anos houve uma significativa mudança nas preocupações dos responsáveis

pelas áreas de TI em infra-estrutura onde a eficiência energética passou a fazer parte dos

fatores preponderantes no planejamento e implantação de estruturas físicas.

De fato, se em maio de 2005 o Data Center Users’ Group® identificava as seguintes

preocupações em pesquisa perante profissionais da área de TI:

- Aquecimento e densidade de energia: 78%

- Disponibilidade: 57%

- Limitações de espaço: 39%

Em 2007 a mesma pesquisa aponta como preocupações principais:

- Aquecimento: 64%

- Densidade de energia: 55%

- Eficiência energética: 39%

- Disponibilidade: 33%

- Limitações de espaço: 29%

Esta nova visão é plenamente explicável por uma serie de fatores:

- O volume de processamento cresce e assim a participação dos equipamentos de TI no

perfil de consumo de energia das empresas idem, tornando-o significativo.

- As soluções de alta densidade, como blades e pizza-box (1 U) estão cada vez mais

presentes.

- A relação entre o investimento inicial e o custo operacional (Capex / Opex) fica muito

próxima ao longo de 5 a 10 anos.

- As empresas estão engajadas em ações de sustentabilidade e eficiência energética.

No Brasil a ComputerWorld avaliou que menos de 1% dos profissionais da área identificam

espontaneamente esta necessidade.

Na Europa o Centro de Pesquisa Conjunta da Comissão Européia publicou em novembro de

2008 a primeira versão do Código de Conduta para Eficiência Energética para Data Center.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 4

Atender a estes requisitos em projetos de infra-estrutura significa que um DC:

- Deve ser confiável com disponibilidade adequada ao tipo de operação (24x7 ou 8x5).

- Deve possuir capacidade (elétrica e climatização) de forma escalável, permitindo

crescimento gradual, sem ociosidade que acarrete em prejuízo financeiro e baixa

eficiência energética.

- As soluções devem ser determinadas com foco na eficiência energética.

Mas o que é um Data Center eficiente ?

Esta resposta não é fácil de ser colocada como um índice ou referencia matemática, mas

resultado da combinação de aplicação de um conjunto de medidas que partem do

planejamento da produção em si.

O ponto inicial deveria ser a consolidação das aplicações e planejamento operacional de TI,

que não será objeto deste nosso estudo.

Podemos enumerar algumas boas praticas que conduzem a uma significativa redução de

investimentos e custos operacionais. Como são aplicados em cascata resultam ao final da

cadeia em reduções que são absorvidas com efetivo retorno dos recursos aplicados.

O importante é termos a consciência que estas medidas representam a médio e longo prazo

redução de custos e, portanto são sempre viáveis. Ou seja, a diferença não esta em gastar

mais ou menos, mas sim em fazer certo ou errado.

Os responsáveis por TI podem adotar as seguintes providencias com redução de custos com

energia:

Procedimento Red. %

Especificar e adquirir processadores de baixo consumo 10

Especificar e adquirir servidores com fontes de alta eficiência 11

Ativar os recursos de “Power Management” dos computadores 8

Virtualização de servidores. Estudos mostram que 20% de virtualização

pode resultar em 8% de redução de consumo de energia

8

Utilizar soluções de menor espaço, como blade servers 1

Planejar o arranjo em corredores quentes e frios evitando a mistura de ar

quente/frio

1

Utilizar condicionadores de capacidade e vazão variável 4

Adotar alimentação 220 V~ 240 V, com UPS em 380~400 V, sem

transformador

2

Agindo em cascata, estas ações podem resultar em praticamente 50% de redução de

consumo de energia na área de produção, quando comparado a um Data Center padrão.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 5

Se estivermos planejando um novo Data Center ou mesmo uma ampliação e pudermos

considerar estas providencias isto resultará nos seguintes benefícios:

- Redução do espaço de produção em até 65%.

- Redução da demanda de refrigeração em até 34%

- Redução da demanda de energia (UPS) em até 33%

- Redução da capacidade elétrica total (entrada e geradores) em até 47%

Estes números referem-se exclusivamente as necessidades finais de produção. Na seleção da

configuração da infra-estrutura são aplicáveis outras providencias quanto ao projeto, opção

de equipamentos e insumos energéticos.

Observem que sistemas redundantes são consumidores de energia, função da baixa

eficiência dos equipamentos a meia carga. As soluções neste caso são:

- Avaliar a disponibilidade exigida (24 x 7 ou 8 x 5).

- Considerar a contratação de serviços de hosting para aplicações sazonais ou que não

sejam parte fundamental do core business.

- Questionar a configuração do modelo de redundância, por exemplo, 2 N, redundante

centralizado ou 1,5N, redundante distribuído, pois este utiliza menos equipamento,

operando com maior eficiência e menores custos de manutenção.

- Selecionar os equipamentos (UPS e ar condicionado) com elevada eficiência a meia

carga.

Existe um índice de referencia de eficiência energética, conhecido como PUE, ou Power

Utilization Effectiveness. Este relaciona a energia efetivamente consumida nos processos de

TI com a energia total consumida. Definido pelo The Uptime Institute tem como envoltória

o valor 2, ou seja para cada W usado no produção outro W é agregado na entrada de energia.

Bons projetos, desde o inicio da década, já atingem aqui no Brasil, valores da ordem de 1.6,

porém melhorando as soluções, principalmente climatização é possível obter melhor índice.

Notem que a redução de espaço e o maior adensamento de equipamentos (blades, por

exemplo) é o ponto de partida, porém a alta densidade enseja soluções de extrema eficiência

e inovadoras de refrigeração.

Na America do Norte mais de 11% dos novos servidores são blades, na Europa 9% e na

América Latina menos que 6%. Para um universo de 300.000 servidores (AL) ao ano apenas

20.000 seriam blades.

Podemos reduzir com projeto adequado e criteriosa escolha quanto à configuração e seleção

de componentes em cerca de 10% o consumo de energia, evitando perdas de transformação

e conversão de energia, a ser visto na segunda parte deste trabalho.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 6

Parte 2: Instalações Elétricas - Data Centres de Alto Desempenho.

Vimos anteriormente que a preocupação com eficiência energética começa ser objeto de

decisão nos projetos, porém haveria certa contraposição entre eficiência energética e

disponibilidade ou confiabilidade ?

Se de fato a demanda por serviços com continuidade assegurada é básica, portanto compor

soluções que sem reduzir a disponibilidade signifiquem menores perdas com energia é o

alvo obrigatório de novos projetos.

Praticando soluções deste tipo podemos reduzir o CAPEX e OPEX em pelo menos 30%.

Vejam neste gráfico o resultado obtido pelo Google em seus mais recentes Data Centres.

O uso de servidores

adequados permite

reduzir o consumo de energia nos

equipamentos de TI

(cor laranja). Soluções

gerais de projeto reduzem o consumo

total de energia do

Data Center, sobre um data Center padrão.

Estimam em mais de

30% por ano por

servidor o ganho com estas medidas.

Podemos atingir este objetivo com a adoção de praticas de planejamento de ações da área de

TI e seguir com os projetos de construção e instalações sempre analisando eficiência

energética em cada decisão.

A tabela a seguir resume as exigências referenciadas pelo The Uptime Institute® e EIA/TIA

942 – Anexo G e deve ser avaliada quanto a real necessidade de suporte a missão critica.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 7

Nível Condição Exigência ou Solução

1 - Podemos programar paradas de

manutenção.

- Não há prejuízos reais em paradas

intempestivas

- Fontes singelas.

- Vias simples de alimentação

2 - Podemos programar parada de manutenção

anualmente.

- Os custos são ponderáveis em caso de

parada intempestiva

- Fontes singelas redundantes.

- Vias simples de alimentação

3 - Não podemos programar paradas para

manutenção.

- Os prejuízos em caso de interrupções são

imponderáveis

- Fontes redundantes (uma ativa e

uma alternativa) ou (duas ativas –

Tier IV).

- Vias alternativas de alimentação.

Portanto quando as condições permitem paradas para manutenção e custo ponderável no

caso de paradas intempestivas um projeto nível 2, pode ser adequado.

Lembrando que se a Disponibilidade é definida pelo desenho do projeto a Confiabilidade

leva em conta muito outros aspectos, que vão da seleção dos componentes, testes e

comissionamento, manutenção e operação.

Os DC que se apresentem com PUE abaixo de 1,3 são de Nível 2, porém garantidos por

conta de projeto, execução, comissionamento e operação de alta qualidade.

O índice PUE é a relação entre a Energia Consumida Total (Refrigeração, Serviços Prediais

e Equipamentos de TI) / Energia Útil (equipamentos de TI).

A energia total inclui as perdas com transporte de energia (condutores), transformação e

rendimento dos UPS, incluindo a correspondente refrigeração.

Se um determinado UPS operando próximo a 80% de sua capacidade possuir rendimento em

torno de 95%, terá em torno de 92% quando com 40% de carregamento.

O mesmo ocorre com transformadores, assim o resultado para um sistema de tipo 3 terá

computo de 7% a 9% com perdas no sistema elétrico.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 8

Em termos de custo tabelando em valores presentes esta condição e adotando um Data

Center com demanda de energia ininterrupta de 900 kW e solução adequada de climatização,

com demanda total de ~ 1500 kW, teremos, para um Tier 3, redundante centralizado:

Tier 3 Base Investimento / Opex

Sistema elétrico R$ 14,3 mil / kW R$ 21.450.000,00

Energia (10 anos) 90 000 MWh R$ 28.500,000,00

Custo total (10 anos) R$ 49.950.000,00

Custo mensal por rack 10 kW/rack – 90 racks R$ 4.625,00

Se em uma condição melhorada em relação ao desenho da solução de disponibilidade e

adequada escolha dos componentes reduzirmos em 30% as perdas teríamos uma redução de

até 2,5% neste montante, ou seja, R$ 712 mil, sem perda quanto à disponibilidade desejada.

Considerando, portanto apenas o ganho em relação a perdas de transformação,

condicionamento e transporte de energia teríamos para um Tier 3, redundante distribuído:

Tier 3 Base Investimento / Opex

Sistema elétrico R$ 11.5 mil / kW R$ 17.250.000,00

Energia (10 anos) Redução de 2,5% R$ 27.788.000,00



- Crescimento modular.

Se as tecnologias de TI evoluem rapidamente, um prédio para Data Center deve ser

projetado para pelo menos 20 anos de vida útil.

A solução é crescimento modular, seja em área construída e equipada quanto na filosofia dos

sistemas, pois as exigências mudam. Na virada do século tínhamos racks com servidores

tipo torre (2~3 kW/rack), depois os 1U (6~8 kW/rack, agora blades (15~18 kW/rack) e

supermaquinas com até 60~80 kW/Rack.

O projeto ideal deve considerar implantação passo a passo, como por exemplo, data centres

segmentados permitindo economia inicial e operacional.

- Configuração 2N Redundante centralizado ou 1,5 N, redundante distribuído.

O modelo convencional para exigências de Tier III ou IV preconiza que todos os sistemas

devem ser alimentados por duas fontes ativas. Para demandas até 1.000 kW, a solução com

dois sistemas independentes e fontes duplas é a solução padrão. Esta solução é conhecida

como 2N, e exige a duplicação de todos os elementos que compõe o sistema elétrico

exigindo investimento e custeio das perdas por baixa eficiência e meia carga.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 9

Na condição dos circuitos terminais os servidores teriam seus dois cordões de alimentação

ligados as fontes A e B, e para cargas singelas, o uso de chaves de comutação estática.

Hoje são comuns projetos de Data Centres com demanda acima de 10.000 kW e para

projetos acima de 1.000 kW este modelo tem dois agravantes:

- Investimento inicial muito alto.

- Perdas significativas de energia com cada ramo carregado na faixa entre 40 a 45%

da potencia nominal.

Uma solução praticada para reduzir este impacto esta no modelo 1,5 N, conhecido por

alguns como tri-bus, ou seja, três barramentos ou sistemas, com redundância distribuída.

Cada barramento é projetado para operar e regime com até 2/3 da capacidade e com a

adequada distribuição das cargas. Quais os benefícios:

- Menor investimento sendo instalada 1,5 vezes a demanda requerida contra 2 vezes

no modelo convencional.

- Melhor rendimento, com equipamentos trabalhando entre 60 a 65% da capacidade

nominal.

- Mesmo índice de disponibilidade, obtido no modelo redundante centralizado.

As restrições e os cuidados a serem tomados são:

- Exige gerenciamento do carregamento de cada sistema.

- Apresenta pequena perda quanto à confiabilidade facilmente compensada com um

adequado projeto, seleção, testes e comissionamento dos sistemas.

- Tipo de UPS a ser usado.

Este componente é chave para a capacidade, confiabilidade e disponibilidade do sistema

elétrico e hoje há um bom leque de opções. principalmente para grandes sistemas:

- Estáticos (com baterias) ou dinâmicos (inerciais) ou fly-wheel.

- Dupla conversação ou de regulação paralela (p.ex. delta conversion®).

Os estáticos de dupla conversão apresentam bom custo inicial e são mais comuns, porém

tem menor rendimento. Os de regulação paralela apresentam elevada eficiência e autonomia

nas mesmas condições dos estáticos de dupla conversão.

Os dinâmicos (com fly-wheel) com custo inicial mais elevado exigem projeto especifico em

função do reduzido tempo de operação sem rede (15 a 20 segundos), porém são muito

eficientes e confiáveis intrinsecamente, por não dependerem de baterias.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 10

Os dinâmicos (fly-wheel) de grande capacidade, com módulos a partir de 1000 kW muito

usados em instalações de maior porte, podem ser ligados nas redes de média tensão,

simplificando enormemente o projeto oferecendo altos índices de disponibilidade sem perda

da confiabilidade e custos.

Independente da tecnologia os principais fabricantes tem apostado em soluções modulares,

contradizendo modelos mais antigos de calculo de confiabilidade que os classificaria como

de baixo índice em função do grande numero de módulos

- Tensão a ser adotada.

Seguindo padrão Norte Americano, muitos Data Centres tem sido projetados em 480 V, com

a necessidade de transformadores acoplando os UPS a carga, normalmente servidores

ligados de 120 a 208 V.

Estes transformadores são aptos a operar com significativo conteúdo harmônico na carga,

tem, no entanto, três inconvenientes:

- Corrente de magnetização a jusante dos UPS.

- Perdas de energia.

- Espaço ocupado.

Com a melhor qualidade das fontes de alimentação, com menor conteúdo harmônico e sendo

os UPS aptos a manipular esta condição, o conjunto das boas praticas de eficiência

energética aponta para adoção de sistemas em 380~400 V, e servidores ligados diretamente

em 220~240 V.

- Adaptabilidade dos sistemas de climatização.

Para diferentes densidades de carga, existem diferentes soluções de climatização, que

exigem diferentes demandas de espaços físicos. Se para densidades de até 2 ~3 kW/m²

podemos pensar em condicionadores tipo down-flow, insuflamento pelo piso e retorno

ambiente, esta solução pode não ser adequada acima destes montantes.

O projeto de arquitetura e a capacidade de energia devem considerar soluções combinadas

usando desde refrigeração localizada nos equipamentos e racks, sistemas como Rear Door

Heat Exchanger®, IN-Row®, XDV®, além de condições ideais para insuflamento e retorno

de ar ambiente, como visto na parte 3, deste trabalho.

Podemos ainda ajustar os projeto de climatização as reais condições locais, usando recursos

de free-cooling, energia geothermal, cursos d’água existentes.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 11

Vejamos a mesma tabela de custos com energia e sistema elétrico quando podemos reduzir a

demanda e consumo elétricos com climatização, em pelo menos 30%.

Sistema Base Investimento / Opex

Sistema elétrico(1.340 kW) R$ 11.5 mil / kW R$ 15.540.000,00

Energia (10 anos) Redução de 15% R$ 23.620.000,00



Chegamos a 22% de redução de custo total de propriedade (Opex + Capex) por

servidor em dez anos de operação, apenas com ações de projeto de construção e instalações.

- Confiabilidade, Comissionamento, Manutenção e Controle.

Um adequado sistema de gerenciamento e controle das utilidades, controlando energia e

climatização deve ser parte natural de qualquer projeto, pois associado a um bom

procedimento de comissionamento, coordenação e seletividade da proteção elétrica e

manutenção são os verdadeiros indicadores da Confiabilidade, muito mais sólido do que

modelos estatísticos padronizados.

Grande parte do desperdício de energia com climatização vem da operação em contraponto

dos condicionadores, onde algumas unidades umidificam e outras desumidificam e

reaquecem ao mesmo tempo. Um adequado sistema de controle descarta este problema.

A solução de redundância distribuída, modelo 1,5N, também exige um monitoramente

constante das demandas.

Enfim se o desenho dos sistemas define a disponibilidade do projeto, estas medidas acabam

por eleger o índice de confiabilidade resultante para uma operação de longa duração,

normalmente superior a 10 anos.

Ou seja, um projeto reduzido como propomos pode aparentemente ser menos confiável,

porém com estas medidas pode não só recuperar como incrementar a confiabilidade, até em

função do menor numero de componentes necessários.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 12

Parte 3: Instalações de Climatização.

No início dos estudos para implantação de um Data Center (DC), independentemente do

porte, a questão mais comum que se apresenta é qual a carga dissipada que deverá ser

considerada já que, dependendo da densidade do DC), as melhores soluções serão distintas.

Esta questão é extremamente crítica devido ao impacto financeiro que cada solução terá no

custo final de implantação, além da vida útil, possibilidade de aumento de capacidade,

custos operacionais, entre outros.

Normalmente, os sistemas de ar condicionado e de eletricidade podem atingir a até 2/3 do

total do investimento previsto para a construção de um DC.

Existem muitos fatores que devem ser levados em conta por ocasião das definições de

potência elétrica e de climatização tais como:

- tipo dos equipamentos utilizados,

- taxa de migração dos equipamentos de processamento para novas tecnologias,

- variações de densidade de cargas de acordo com o efetivo lay out,

- tipo do DC (Corporativo, Financeiro, Governamental, Co-Location, etc)

- Variações de projeto para áreas com baixa carga ou densidade.

Como exemplo os atuais Blade Servers, 1U Servers e as Storage Areas Networks

apresentam densidades superiores a 5000 W/m2. Por outro lado, na grande maioria dos DC,

existe uma combinação de equipamentos de tecnologia “antiga” com “novas”, que resultam

em densidades da ordem de 400 a 500 W/m2, mesclando áreas de altíssima densidade com

outras de densidade extremamente baixa. Ou seja, é intuitivo que as soluções para ambas as

situações devem ser diferentes e específicas a cada realidade.

O Data Center é um ambiente que oferece serviços de alto valor agregado pelas garantias

intrínsecas de confiabilidade, redundância e performance necessárias para o armazenamento

de dados, back up de informações, gerenciamento de aplicações, monitoramento, emissão de

relatórios on line, suporte técnico, enfim, quaisquer aplicações em que seja imprescindível a

operação ininterrupta durante 24 horas, 365 dias por ano, aplicações estas classificadas como

de “missão crítica”.

Os prédios que abrigam ambientes com essa classificação devem ser concebidos com base

tecnológica redundante, ou seja, possuir toda a infra-estrutura necessária ao perfeito

funcionamento destes ambientes de maneira plenamente segura.

Uma infra-estrutura segura não significa apenas instalar uma quantidade maior de

equipamentos, Condicionadores, Chillers, UPS, Geradores, pois, se a concepção dos

respectivos sistemas não for adequada, a confiabilidade dos mesmos estará

irremediavelmente comprometida, ainda que existam equipamentos redundantes.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 13

Uma Visão Geral

A potência consumida pelos equipamentos instalados em um único rack pode ser

extremamente variável dentro de um mesmo DC, ou seja, podemos ter tanto racks com potências

inferiores a 500 W como outros com potência superior a 20 kW, como no caso dos Blade Servers.

Por outro lado, em grande parte dos atuais DC brasileiros, a carga média é da ordem de 2

kW/m2, ou seja, não podemos nos preocupar apenas e tão somente com a “carga total dissipada” no

dimensionamento do sistema de ar condicionado e sim como essa carga está efetivamente

distribuída, ou melhor, “concentrada”, de maneira a permitir a adoção de medidas específicas para o

atendimento destes pontos que, com certeza, deverão possuir uma atenção diferenciada.

A princípio, a solução mais simples seria dimensionarmos todo o DC para uma carga de

20kW / rack, com refrigeração redundante. Todavia, se assim procedermos, o resultado será um

enorme e extremamente ineficiente DC e, além disso, inviável tanto técnica como economicamente

para a grande maioria das situações. Ou seja, se adotarmos premissas incorretas no momento em

que estivermos projetando um DC de alta densidade, iremos aumentar desnecessariamente todos os

custos inerentes, quer sejam de implantação, quer sejam de operação e também de infra-estrutura

“super-dimensionada” e do desperdício de áreas construídas a maior.

Assim sendo, o primeiro passo a tomar é rever o conceito de “densidade de carga” pois

podemos cometer erros críticos quando nos limitarmos apenas ao significado original da mesma, ou

seja, W/m2 ou até mesmo W/ambiente. Se a potência consumida em todos os racks fosse

aproximadamente a mesma, tal informação seria suficiente para projetarmos o DC. Todavia, na

prática, não é isso que observamos, pois a variação de potência entre os diversos racks varia

enormemente em função das características e aplicações de cada um deles.

A partir disso precisamos entender que a densidade de carga pode (e deve) estar relacionada

ao rack (carga máxima por rack), às filas (carga máxima por fila) e, finalmente, pelo ambiente

(carga máxima por área de piso). Tais diferenças conceituais são fundamentais para permitir a

escolha mais adequada do sistema a ser utilizado visando atender as necessidades específicas de

cada equipamento e/ou conjunto de equipamentos.

Atualmente é cada vez mais freqüente a utilização de servidores Blade, tanto nos DC

existentes como naqueles em planejamento. Exatamente em função da alta carga dissipada, tais

equipamentos requerem soluções específicas que devem ser rigorosamente observadas de modo a

otimizar ao máximo todos os recursos disponibilizados. É preciso inclusive avaliar a possibilidade

de instalarmos todos os Blade Servers numa área independente com tratamento diferenciado das

demais já que as exigências de resfriamento são elevadas. Caso não seja possível isolar os Blade

e/ou tratar-se de um DC existente, deve-se, na medida do possível, distribuir-se os Blades

uniformemente pelo ambiente.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 14

Estratégias para Atendimento.

a) Instalar os Condicionadores em Linha com os “Corredores Quentes”

Ao contrário do que possa parecer num primeiro momento, os condicionadores (CRAC) devem

estar posicionados, na medida do possível, de frente para os corredores “quentes”, isto porque

nessa configuração o ar quente proveniente dos racks seguirá preferencialmente em direção aos

mesmos, não se misturando com o fluxo de ar nos corredores “frios”.

CRAC

CRAC

Co

rred

or

Fri

o

Co

rred

or

Quen

te

Co

rred

or

Fri

o

Co

rred

or

Quen

te

Co

rred

or

Fri

o

CRAC

CRAC






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 15

b) Implantar Corredores “Quentes” e “Frios”

Com raras exceções, todos os servidores montados em racks possuem fluxo de ar horizontal

no sentido frontal / traseiro. A figura abaixo mostra essa configuração onde todos os

servidores estão com a frente voltada para o mesmo corredor (“corredor frio’), provido de

placas perfuradas de insuflamento, da mesma forma que as partes traseiras (“corredor

quente”) onde as placas de piso são cegas.

Podemos otimizar ainda mais essa configuração mediante a utilização de um forro falso

provido de grelhas posicionadas nos “corredores quentes”, com o ar seguindo até o

condicionador de ar cujo retorno deverá ser dutado até o pleno formado entre o forro e a laje.

Nessa situação, todo o ar quente é imediatamente removido e não influencia em nada os

demais racks.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 16

c) Não deixar espaços vagos no rack entre os servidores

Caso seja necessário deixarem-se espaços vagos entre servidores instalados num mesmo

rack, os mesmos deverão ser fechados com tampas apropriadas de maneira e evitar o curto-

circuito de ar quente.

O mesmo procedimento deve ser adotado com relação aos espaços abertos no piso elevado

para passagens de cabos.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 17

d) Distribuir igualmente os Racks com Maior Densidade pelo DC

Quando instalamos conjuntos de vários Racks de Alta Densidade, a maior parte dos sistemas

de climatização usualmente utilizados se mostram deficientes, isso porque a vazão de ar por

setor é relativamente limitada e não terá condições de atender as exigências dos mesmos.

Por outro lado, caso os Racks estejam distribuídos pelo DC, tal problema pode ser

facilmente contornado uma vez que é intuitivo que a capacidade total do sistema também é

praticamente distribuída.

Situação 1: DC com racks de alta densidade em conjunto

Situação 2: DC com racks de alta densidade distribuídos pelo DC

Rack com 10 kW

Rack com 2,5 kW






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 18

Atendimento de Racks com Alta Densidade e/ou Blade Servers

Quando a quantidade de Racks com Alta Densidade e/ou de Blade Servers for considerável,

ou ainda quando os mesmos forem instalados em DC existentes onde o sistema de

climatização já esteja operando próximo do limite máximo, devemos adotar estratégias

diferenciadas de maneira a atender as necessidades destes equipamentos da maneira mais

exclusiva quanto possível de maneira a preservar o funcionamento normal do restante do

DC.

a) Sistemas Suplementares de Condicionamento

Para este tipo de solução normalmente é exigido um planejamento prévio de maneira a

permitir a implantação destes sistemas adicionais sem interferência com os equipamentos

existentes.

As principais técnicas para esta alternativa são as seguintes:

Sistemas complementares localizados de acordo com a demanda de refrigeração. Utilizam refrigeração liquida bombeada evitando condensação de umidade.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 19

Instalação de dutos de exaustão e/ou

ventiladores diretamente nos racks interligando

a descarga de ar diretamente para o retorno geral do sistema

Instalação de placas de piso especiais providas de ventiladores booster insuflando o ar no

corredor “frio” e/ou diretamente sob o rack

Instalação de Racks especiais providos de

sistema autônomo de refrigeração

Condicionadores para instalação em linha formando

conjunto ao lado dos racks.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 20

b) Áreas Dedicadas de Alta Densidade

Definir ambientes totalmente independentes dos demais especialmente concebidos para

atender as altas cargas dissipadas. Estes ambientes podem ser substituídos por soluções

específicas desenvolvidas por alguns fabricantes reunindo num mesmo conjunto os racks, o

sistema de condicionamento e o sistema de força completo (incluindo UPS), viabilizando a

instalação de racks de alta densidade até mesmo em locais providos apenas de sistemas de ar

condicionado para conforto uma vez que o sistema de ar condicionado dos racks é

totalmente independente.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 21

Soluções com energia limpa – baixo consumo.

Tradicionalmente são empregados condicionadores de ar com expansão direta ou indireta,

estes ligados usualmente em centrais de água gelada, com sistema de condensação a ar ou

água.

Até pouco tempo até mesmo condicionadores destinados a sistemas de conforto (com baixa

capacidade para calor sensível) eram usados em prol de um menor investimento inicial.

O resultado acabava sendo um péssimo PUE, ultrapassando a barreira de 2, ou seja o

consumo de energia nos servidores acaba resultando em pelo menos o dobro no consumo

total do Data Center.

Hoje devemos procurar condicionadores de alto rendimento, com alta taxa de calor sensível,

capacidade variável e eficientes sistemas de controle.

Também já são realidade soluções como Free Cooling e aplicações Geotermais, pois todos

os modelos de distribuição de ar citados permitem a eliminação de Hot Spots no Data

Center, tornando possível elevar a temperatura de ar frio para 24°C, reduzindo drasticamente

a carga térmica e viabilizando estas opções.

Diretriz para projeto.

Pelo exposto, fica evidente a necessidade da elaboração de um projeto perfeitamente

desenvolvido para as efetivas necessidades de cada Cliente em particular, levando em

consideração tanto a situação atual como a perspectiva de futuras ampliações.

Dessa maneira é de extrema importância que o sistema de ar condicionado seja modular

contemplando reservas operacionais estratégicas que possam vir a suprir eventuais

alterações de tecnologia nos equipamentos de processamento.

Apenas como exemplo, muitos ainda se lembram dos imensos computadores instalados no

interior dos CPD que necessitavam de resfriamento direto por meio de água gelada. Estes

computadores foram gradativamente substituídos por outros com maior capacidade de

processamento, menor área ocupada e maior facilidade de refrigeração, eliminando a

necessidade da utilização da água gelada. Todavia, nos dias de hoje já é bastante comum a

utilização de racks refrigerados diretamente por trocadores acoplados aos mesmos, ou seja,

retornamos a uma condição que todos nós julgávamos ultrapassada.

Assim sendo, entendemos que o correto planejamento do DC deva considerar o crescimento

escalonado, tanto dos sistemas de processamento como das utilidades, e a curva teórica de

adensamento prevista para, no mínimo, os próximos 10 anos para somente então determinar

as efetivas necessidades de espaço físico, padrão construtivo, soluções de climatização e

também de energia.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 22

Parte 4: Requerimentos de arquitetura.

Como visto nas partes anteriores, o projeto de arquitetura deve considerar a avaliação das

necessidades presentes e futuras e assim iniciando com a viabilização e escolha da

localização e seleção do imóvel e chegando as características físicas da edificação e

condições específicas de capacidade e segurança, sob o viés da certificação através das

normas específicas e das boas práticas de sustentabilidade.

O que deve ser um Data Center?

Um Data Center é um conjunto integrado de componentes de alta tecnologia que permitem

fornecer serviços de infra-estrutura- processamento e armazenamento de dados, em larga

escala - de alto valor agregado, para que organizações de qualquer porte possam ter ao seu

alcance uma estrutura de grande capacidade e flexibilidade, alta segurança para processar e

armazenar informações.

Como categorizar os Data Centres?

Uma maneira ampla de classificar um Data Center é categorizá-lo pelo porte, e podem ser:

1 - Server CLOSET – Unidades instaladas em gabinetes, típico de pequenos escritórios,

lojas e estabelecimentos isolados.

2 - Server ROOM – Salas dedicadas a instalações de equipamentos de TI, porém como parte

integrada de uma instalação comum.

3 - Localized DATACENTER – Conjunto destinado a receber os equipamentos de TI

destinado a suportar as atividades de uma mesmo campus ou sitio.

4 – Mid-tier DATACENTER – Data Center destinado a aplicações complexas e variadas de

TI, cobrindo necessidades corporativas em âmbito global.

5 - Enterprise DATACENTER – Data Center com objetivos estabelecidos no próprio

modelo de negocio em si.

E, como se estabeleceram os padrões de projeto?

Um pouco de história: até a TIA-942

Nos últimos 20 anos, padrões para instalações de cabeamento tem sido a base para garantir

design, instalações e performance adequados para redes de telecomunicações.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 23

A TIA (Telecommunications Industry Association) revolucionou a indústria, quando

publicou a primeira TIA-568 “Commercial Building Telecommunications Wiring Standard’,

que descreveu os requisitos de design, instalações e performance para sistemas de

cabeamento em edifícios comerciais.

No conjunto, os padrões capacitaram a indústria para efetivamente avançar de forma mais

rápida e com maior alcance.

Porém de inicio os Data Centres, foram projetados sem nenhum padrão pré estabelecido,

muitas vezes referenciados por soluções internas como as da IBM® e de instituições como o

The Uptime Institute®.

Em Abril de 2005, a TIA respondeu a essa necessidade com a TIA-942

“Telecommunications Infraestructure Standards for Data Centres”, o primeiro padrão

específico para infra-estrutura de Data Centres.

Proposto para ser usado por projetistas de Data Centres, antes do processo de

desenvolvimento da edificação, a TIA-942 envolve as premissas e requerimentos para:

Terreno e layout

Infra-estrutura de cabeamento

Graus de confiabilidade (Tiers)

Considerações sobre entorno

Essas normas são constantemente atualizadas, de forma a contemplar as modificações, novas

técnicas e evolução de todos os componente do processo.

O que são os “Níveis de Confiabilidade (TIERs)?

A performance do Data Center pode ser descrita por uma série de termos como

confiabilidade, disponibilidade, nem sempre fáceis de serem calculados.

- Disponibilidade relaciona o tempo médio entre falhas (MTBF) e o tempo de

recuperação, MTTR, e pode ser diretamente as condições de permissão para

manutenção previstas em projeto.

- Confiabilidade por sua vez expressa a possibilidade de falha de um componente e

sua conseqüência para a operação para um determinado tempo de missão.

A caracterização dos níveis ou camadas (TIER) oferece um guia pratico para orientar o

projeto de um Data Center sem que complexos cálculos precisem ser obrigatoriamente

aplicados.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 24

Existe sempre um compromisso entre o custo total de propriedade (TCO) e a escolha de uma

camada. Ou seja, quanto mais elevado o Tier do Data Center (menor downtime) maior será

seu custo de implantação e operação.

No projeto do Data Center a parte do planejamento requer muito cuidado pois é aqui que

normalmente se encontram os maiores erros. Deve-se construir uma especificação resultante

das preferências e limitações do projeto.

Os métodos de classificação mais conhecidos são o The Uptime Institute's Tier Performance

Standards, TIA 942 e Syska Henessy Group's Criticality Levels.

Uptime Performance Standard foi criado em 1995 é o guia preferencial em projetos de Data

Centres, mas não especifica detalhes de projeto, embora esta entidade possua inúmeros

trabalhos de referencia publicados.

O anexo G da TIA 942 que trata da construção e instalações para Data Center é baseado nos

princípios do The Uptime Institute.

A escolha da camada de criticidade considerando qualquer um dos métodos deve vir de um

balanço entre o custo do downtime (ou prejuízos por paradas) e o equivalente custo total de

propriedade (TCO).

Devemos considerar se estamos falando de um novo projeto (greenfield) ou de um Data

Center já existente (retrofit).

Para cada um dos 4 TIERs, estão descritas as recomendações para arquitetura, segurança,

sistemas elétricos, sistemas mecânicos e de telecomunicações. O mais importante é que os

projetistas saibam transpor para o projeto estes conceitos, preservando a viabilidade do

negócio e os custos, pensando sempre na eficiência energética.

Fundamental: O custo inicial e a eficiência energética é fortemente influenciado pelo

projeto de arquitetura, que deve oferecer suporte para todos os aspectos descritos nas

etapas anteriores deste trabalho.

E, qual impacto nos projetos de Arquitetura?

Primeiramente, a arquitetura é o meio pelo qual se promovem soluções e instalações que

refletem a imagem de uma empresa de alta tecnologia sendo a forma de externar

competência, confiabilidade e posicionamento no mercado.

É através das soluções de Arquitetura, que se obtém um Data Center confiável, com alta

disponibilidade respeitando-se os custos e o meio ambiente, maximizando o investimento.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 25

Devem ser feitas, na etapa inicial do projeto, as considerações referentes à expansão e

crescimento gradual, de forma a evitar custos iniciais desnecessários e perda de eficiência

energética.

O custo da edificação, em si, representa menos de 10% do valor total do Data Center, mas

esse custo tem impacto na etapa inicial, e principalmente nos custos de operação e

manutenção. Um projeto de arquitetura que não responda adequadamente as condições

ideais de instalações poderá resultar em custos irreparáveis.

O projeto deve considerar, antecipadamente, o processo de desenvolvimento da edificação,

incluindo a coordenação efetiva, que atravesse as diversas áreas de expertise, incluindo

telecomunicações, geração de energia e sistemas mecânicos.

Muito se fala em requerimentos para instalações, porém as referencias citadas trazem todas

as premissas a serem atendidas pela Arquitetura e Construção.

Além das Certificações, o que há? As inovações!

O foco em Sustentabilidade deve permear todo o projeto, acompanhando as novas

tecnologias que se fazem presente, como as soluções de maior eficiência energética e a alta

densidade.

O projeto de arquitetura deve adequar a edificação, usando novos materiais e aplicar as

práticas de um projeto sustentável.

Um exemplo de resposta ao crescente adensamento de cargas, é suprir a nova demanda dos

Data Center com soluções adequadas de refrigeração como visto na terceira parte deste

trabalho.

O custo do sistema de refrigeração dependerá e muito do projeto Arquitetônico, incluindo ai

a escolha quanto a localização e seleção do imóvel.

O emprego de soluções com utilização dos sistemas modulares de climatização pode

prescindir da utilização de pisos elevados em determinadas condições, reduzindo custos.

Há ainda a Norma de desempenho de Projetos, que entrará em vigor em Maio de 2010, e que

de forma mais incisiva, responsabiliza o autor do projeto pelo desempenho da edificação.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 26

Conteudo e programa para projeto arquitetônico.

O projeto de arquitetura e construção civil para um Data Center deve considerar o seguinte

programa mínimo:

- Implantação geral no terreno prevendo:

- Estacionamentos.

- Areas para equipamentos técnicos.

- Portaria e dependências de recepção e controle.

- Paisagismo.

- Edificação (ou edificações) contendo:

- Data Center Room com os equipamentos de produção.

- Salas para telecomunicações.

- Áreas para Command Center (NOC), reuniões e equipe de operação.

- Áreas auxiliares, depósitos, manutenção, desembalagem e recebimento.

- Áreas de infra-estrutura elétrica e de climatização.

- Áreas para conforto humano.

A concepção do projeto deve atender aos requisitos das referencias citadas, como a TIA 942,

quanto a segurança do complexo e oferecer todos os meios para que os equipamentos de

produção, controle e telecomunicações e infra estrutura de energia e climatização sejam

instalados e operados com a máxima eficiência e adaptabilidade.






[email protected]

tel (11) 4192 2935 fax (11) 4192 3241

cel.(11) 8445 5453

________________________________________________________________________________________________

Página 27

Conclusão.

Resumindo todas as ações, com o efeito em cascata e partindo do modelo Data Center que

não seja tomado pelas praticas apresentadas, podemos ter uma diferença de até 2,8 vezes

menos consumo de energia para a mesma capacidade ou volume de processamento, com os

respectivos ganhos em termos financeiros.

Iniciar com o adequado planejamento das ações de TI e dimensionamento correto do data

Center considerando o crescimento escalonado das necessidades e a curva de adensamento

prevista para os próximos 10 a 15 anos e então modelar as necessidades de espaço

(arquitetura e construção civil) e então implantar soluções de climatização e energia

atendendo a estes princípios.

Devemos evitar um dos erros mais comuns. O custo do edifício (imóvel e obras civis) é

muito pequeno em relação ao custo total do Data Center, 10% talvez, e um edifício

inadequado pode significar elevado custo de implantação das instalações e respectivo

consumo de energia.

Referencias para consulta.

Este trabalho conta com as informações pessoais do autor e as referencias, que

recomendamos conhecer, incluindo os links associados.

- A Roadmap for Reducing Energy Consumption In The Data Center Raphael Garcia / Emerson Networking Power

- Google Efficiente Computing http://www.google.com/corporate/green/datacenters

- Sun’s Energy Efficiente DataCenter Tour http://www.sun.com/aboutsun/environment/media/datacenter_tour.xml http://blogs.sun.com/geekism/entry/i_ll_show_you_mine

- U.S. Department of Energy http://www.lbl.gov/

- The Uptime Institute http://www.uptimeinstitute.org/

- Upsite Technologies http://upsitetechnologies.com/

- European Commission – Directorate General – JRC- Joint Research Centre

- Institute for Energy Renewable Energies Unit

- Code of Conduct on Data Centres Energy Efficiency - Version 1.0, 30 October 2008

http://www.sun.com/aboutsun/environment/media/datacenter_tour.xml

http://blogs.sun.com/geekism/entry/i_ll_show_you_mine

http://www.uptimeinstitute.org/

Planejando Data Centres de Alto Desempenho. - Engenharia …cspi.com.br/cspi/Infraestrutura para...

Documents

Transcript of Planejando Data Centres de Alto Desempenho. - Engenharia …cspi.com.br/cspi/Infraestrutura para...