DB2 PureScale

DB2 PureScale

Ana Carolina Melo ([email protected])Ana Carolina Melo ([email protected])Eduardo Akisue ([email protected])

DB2 PureScale

Agenda Informaes Tcnicas

O que PureScale Benchmark Viso geral da Arquitetura Viso geral da Arquitetura Escalabilidade Cenrios de Disponibilidade

Caractersticas com SAP

Novas Tecnologias do PureScale em 2011 Ampliando as nossas capacidades Ampliando as nossas capacidades

Novas Tecnologias do PureScale em 2011Ampliando as nossas capacidadesAmpliando as nossas capacidades

DB2 PureScale Desenhado para Sistemas OLTPCapacidade Ilimitada Compre apenas o que voc precisa, e adicione

recursos com o aumento da sua demanda.

Administre picos de demanda com preo por dia Administre picos de demanda com preo por dia utilizado.

Transparente para as aplicaes Fcil de implementar e fcil de ampliar

Disponibilidade Continua Disponibilidade 24 x 7, sistemas chaves no Disponibilidade 24 x 7, sistemas chaves no

caem, mesmo com falha de multiplos servidores

DB2 se auto-recupera de crashes

Desenhado para Sistemas OLTP

Compre apenas o que voc precisa, e adicione recursos com o aumento da sua demanda.

preo por dia preo por dia

Disponibilidade 24 x 7, sistemas chaves no Disponibilidade 24 x 7, sistemas chaves no caem, mesmo com falha de multiplos servidores

Arquitetura do DB2 PureScale

Dados Compartilhados

Arquitetura do DB2 PureScaleBalanceamento de Workload

Automtico

Cluster de membros do DB2

Tecnologia CF do z/OS

Cluster de membros do DB2 rodando em servidores diferentes

Tivoli System Automation (TSA)

Dados Compartilhados

Rede InfiniBand

Tivoli System Automation (TSA) integrado

Restries de Hardware e Software

Restries especficas de Sistema Operacional DB2 pureScale suportado somente em AIX e Linux (SuSe e

RedHat)RedHat) DB2 pureScale no pode ser executado entre parties

workload do AIX (WPARs).

Hardware Certificados AIX

IBM Power 6 (550, 595)IBM Power 7 (710, 720, 730, 740, 750, 770, 780, 795)

LinuxIBM System X (3650 M3, 3690 X5, 3850 X5)

Restries de Hardware e Software

Restries especficas de Sistema OperacionalDB2 pureScale suportado somente em AIX e Linux (SuSe e

DB2 pureScale no pode ser executado entre parties

IBM Power 7 (710, 720, 730, 740, 750, 770, 780, 795)

IBM System X (3650 M3, 3690 X5, 3850 X5)

Amplie seu sistema facilmente

Sem mudanas na aplicao Protocolos Eficientes de coerncia

foram desenhados para escalar sem precisar de mudanas na aplicaoprecisar de mudanas na aplicao

Aplicaes so balanceadas automaticamente e transparentemente entre todos os membros

Sem administrao complexa Sem necessidade de redistribuio

de dadosde dados

Capacidade para at 128 membros

Amplie seu sistema facilmente

Protocolos Eficientes de coerncia foram desenhados para escalar sem precisar de mudanas na aplicaoprecisar de mudanas na aplicao

transparentemente entre todos os

Sem necessidade de redistribuio

Capacidade para at 128 membros

Teste com Cluster PureScale de 12 membros Testado com uma carga de trabalho complexa, contendo nmero

significativo de updates 1 transao de update para cada 4 transaes de leitura 1 transao de update para cada 4 transaes de leitura Taxa de leitura/escrita tpica (80/20) de vrias cargas de trabalho OLTP

Nenhuma programao para cluster feita na aplicao Sem roteamento de transaes a membros Demonstrao de escalabilidade de aplicao de forma transparente

Sistema Redundante 14 8-core p550s incluindo PowerHA pureScale duplexado

Escalabilidade se mantm acima de 90%

Teste com Cluster PureScale de 12 membrosTestado com uma carga de trabalho complexa, contendo nmero

1 transao de update para cada 4 transaes de leitura1 transao de update para cada 4 transaes de leituraTaxa de leitura/escrita tpica (80/20) de vrias cargas de trabalho OLTP

Nenhuma programao para cluster feita na aplicaoSem roteamento de transaes a membrosDemonstrao de escalabilidade de aplicao de forma transparente

core p550s incluindo PowerHA pureScale duplexado

Escalabilidade se mantm acima de 90%

Escalabilidade para aplicaes OLTPE

s

c

a

l

a

b

i

l

i

d

a

d

e

R

e

l

a

t

i

v

a

Nmero de Membros no Cluster

Escalabilidade para aplicaes OLTP

Nmero de Membros no Cluster

Viso geral da arquitetura DB2 pureScaleClientes conectamnica instncia

Servidor DB2 executando em vrios computadores

Cluster services integrado

Baixa latncia, interconexo de alta velocidade

Cluster Caching Facility (CF)Cluster Caching Facility (CF)

Arquitetura de compartilhamento de disco (data sharing)

Viso geral da arquitetura DB2 pureScaleClientes conectam-se em qualquer membro...enxergam uma nica instncia

Clientes se conectam a qualquer membroBalanceamento de carga automtico e redirecionamento de cliente podem mudar o membro fsico no qual o cliente est conectadoconectado

Servidor DB2 executando em vrios computadoresColaborao entre eles para proporcionar um acesso coerente

ao banco de dados a partir de qualquer membro

Cluster services integradoDeteco de falhas, recuperao automtica, file system clusterEm parceria com STG e Tivoli

Baixa latncia, interconexo de alta velocidadeOtimizaes especiais proporcionam vantagens significativas em

interconexes que suportam RDMA (Ex: InfiniBand)

Cluster Caching Facility (CF)Cluster Caching Facility (CF)Gerenciamento eficiente de locks e buffers globaisDuplex sncrono a secundrio garante disponibilidade

Arquitetura de compartilhamento de disco (data sharing)Acesso compartilhado ao banco de dadosMembros escrevem em seu prprios logs no disco

compartilhadoLogs acessveis a partir de outra mquina (usados durante

recovery)

O que um membro? Espao de endereamento para um

servidor DB2 Isto , um processo db2sysc e suas threads

Membros compartilham dados Membros compartilham dados Todos os membros acessam o mesmo

banco de dados compartilhado Tambm conhecido como Data Sharing

Cada membro tem os prprios... Bufferpools Regies de memria Arquivos de Log Arquivos de Log

Membros so entidades lgicas possvel ter... 1 membro por mquina (recomendado) Mais de um membro por mquina (no

recomendado)

Espao de endereamento para um

Isto , um processo db2sysc e suas threads

Todos os membros acessam o mesmo

Tambm conhecido como Data Sharing

1 membro por mquina (recomendado)Mais de um membro por mquina (no

O que cluster caching facility (CF)? Software que gerencia buffers e locks

globais Tecnologia comparada com Parallel Sysplex

de System zde System z Baseada em software

Servios administrados nos CFs incluem Global Buffer Pool (GBP) Global Lock Management (GLM) Shared Communication Area (SCA)

CFs redundantes (Recomendado) CFs redundantes (Recomendado) Elimina ponto nico de falha

Membros automaticamente atualizam os dois CFs

Configurado automaticamente

O que cluster caching facility (CF)?Software que gerencia buffers e locks

Tecnologia comparada com Parallel Sysplex

Servios administrados nos CFs incluem

Shared Communication Area (SCA)

Membros automaticamente atualizam os dois

Interconexo de Cluster

Requisitos Baixa latncia, interconexo de alta

velocidade entre membros, e entre CFs primrio e secundrioCFs primrio e secundrio

Conexo que suporte RDMA Para atualizaes diretas em

memria, sem necessidade de interrupo de CPU

Soluo InfiniBand (IB) e uDAPL para

performanceperformance InfiniBand suporta RDMA e tem baixa

latncia, interconexo de alta velocidade

UDAPL utilizado para reduzir tempo de kernel no AIX

Baixa latncia, interconexo de alta velocidade entre membros, e entre

InfiniBand suporta RDMA e tem baixa

UDAPL utilizado para reduzir tempo

File System Cluster

Requisitos Dados compartilhados, requerem discos

compartilhados e file system do tipo cluster Isolamento de qualquer membro em falha do Isolamento de qualquer membro em falha do

file system

Soluo General Parallel File System (GPFS)

Disponvel, instalado e configurado como parte do DB2

Ns tambm suportamos file systems GPFS pr-existentes, gerenciados por usurio

Permite que GPFS seja gerenciado do Permite que GPFS seja gerenciado do mesmo nvel em toda a empresa

DB2 no gerenciar estes file systems pr-existentes, e no aplicar atualizaes a esses GPFS

SCSI 3 Persistent Reserve recomendado para rpido isolamento (Somente AIX)

Dados compartilhados, requerem discos compartilhados e file system do tipo clusterIsolamento de qualquer membro em falha do Isolamento de qualquer membro em falha do

Disponvel, instalado e configurado como

Ns tambm suportamos file systems GPFS existentes, gerenciados por usurioPermite que GPFS seja gerenciado do Permite que GPFS seja gerenciado do

DB2 no gerenciar estes file systems

SCSI 3 Persistent Reserve recomendado

DB2 Cluster Services

Orquestrar Notificaes de eventos no planejados

para garantir recuperao e disponibilidade transparentetransparente

Membro, CF, AIX, hardware, etc Eventos planejados

Manuteno 'Stealth' (HW & SW)

Integrado com: Gerenciador do Cluster

TSA (Tivoli System Automation) File System Cluster

GPFS (General Parellel File System) GPFS (General Parellel File System) TSA e GPFS so enviados, instalados e

configurados como uma funcionalidade do DB2 pureScale

Notificaes de eventos no planejados para garantir recuperao e disponibilidade

TSA e GPFS so enviados, instalados e configurados como uma funcionalidade do

Fcil Escalabilidade

Escalabilidade sem alterar aplicao ou particionar o banco Lock centralizado e Buffer Pool Global juntamente com o acesso RDMA,

resulta na capacidade de escalar sem alterar a aplicao (adaptar para cluster).cluster). As pginas so compartilhadas atravs de RDMA atravs de compartilhamento

de cache. No h necessidade de particionar a aplicao ou dados para conseguir

escalabilidade.

Resultados Escalabilidade quase linear para muitos servidores Conhecimento constante do que cada membro esta realizando Conhecimento constante do que cada membro esta realizando

Se um membro falha, no precisamos bloquear os outros membros de realizar I/O

Recovery realizado em tempo de memria

Escalabilidade sem alterar aplicao ou particionar o bancoLock centralizado e Buffer Pool Global juntamente com o acesso RDMA, resulta na capacidade de escalar sem alterar a aplicao (adaptar para

As pginas so compartilhadas atravs de RDMA atravs de compartilhamento

No h necessidade de particionar a aplicao ou dados para conseguir

Escalabilidade quase linear para muitos servidoresConhecimento constante do que cada membro esta realizandoConhecimento constante do que cada membro esta realizando

Se um membro falha, no precisamos bloquear os outros membros de realizar

Recovery realizado em tempo de memria

Vantagens do RDMA ExemplosUso abragente do RDMA atravs de fibras com baixa latncia Acesso direto a memoria Habilita tempo de resposta round-trip

~10 15 micro-segundos~10 15 micro-segundos

Invalidao Silenciosa Informar aos membros que pgina esta

sendo atualizada no requer ciclos de CPUnos mesmos.

Sem interrupo, sem chamada de ip sockets, sem alterao de contexto, ou outro tipo de messagem necessrio.

Sua importancia aumenta, conforme aumentamos o cluster.aumentamos o cluster.

Pginas mais utilizadas disponveis sem I/O atravs da memria GBP RDMA e threads dedicados possibilitam

leitura de paginas~ 10 micro-segundos

ExemplosUso abragente do RDMA atravs de fibras

ciclos de CPU

Pginas mais utilizadas disponveis sem I/O

RDMA e threads dedicados possibilitam

Falha de SW em Membro: kill -9 realizado por engano no membro

DB2 Cluster Services detecta automaticamento a falha do membro

Informa aos demais membros & aos CFs Informa aos demais membros & aos CFs Inicia automaticamente o re-start do membro no

mesmo host Membro reinicializa como crash recovery de um

nico banco, mas muito mais rpido Redo limitado as transaes inflight Se beneficia das pginas de cache (GBP)

Ao mesmo tempo, as conexes dos clients so transparentemente re-direcionadas para outros membros

Baseado no menor load (default) ou, Membro pre-determinado para failover

Outros membros permanecem completamente disponveis atravs Online Failover

Automtico;

Super Rpido;

disponveis atravs Online Failover CF primrio mantm os locks de update que o

membro possuia no momento da falha Outros membros podem continuar a ler e atualizar

dados que no esto com lock do membro que falhou

Membro reinicializado com sucesso Locks liberados e todos os dados ficam disponveis Transaes podem ser submetidas ao membro

reinicializado

Falha de SW em Membro: Membro Re-incia no prprio HostClients

DB2 Cluster Services detecta automaticamento a

CSDB2

Single Database View

CSDB2

CSDB2

CSDB2

Log Records Pages

kill -9 Automtico;

Super Rpido;

Online

Log

CS

Shared Data

Outros membros podem continuar a ler e atualizar

Locks liberados e todos os dados ficam disponveis

CSUpdated Pages Global Locks

LogLogLog

Records

PrimarySecondary

Updated Pages Global Locks

Falha HW no Membro: Membro Re Cabo de energia desconectado acidentalmente

DB2 Cluster Services perde heartbeat e determina que membro caiu

Informa ao demais membros & aos CFs Impede membro de acessar logs e dados Impede membro de acessar logs e dados Inicia automaticamente re-start do membro em

outro host (guest) Utiliza modelo rpido de memria pr alocada

Membro re-inicializa como crash recovery de um nico banco, mas muito mais rpido

Redo limitado as transaes infligh Se beneficia das pginas de cache (GBP)

In the mean-time, client connections are automatically re-routed to healthy members

Based on least load (by default), or, Pre-designated failover member

Outros membros permanecem completamente disponveis atravs Online Failover

Automtico;

Super Rpido;

Online Outros membros permanecem completamente

disponveis atravs Online Failover CF primrio mantm os locks de update que o

membro possuia no momento da falha Outros membros podem continuar a ler e atualizar

dados que no esto com lock do membro que falhou

Membro reinicializado com sucesso Locks liberados e todos os dados ficam

disponveis

Membro Re-inicializa em Guest (Restart Light)

ClientsCabo de energia desconectado acidentalmente

CSDB2

inicializa como crash recovery de um

Outros membros permanecem completamente

CSDB2

CSDB2

CSDB2

DB2


Automtico;

Super Rpido;

Online

Log

CS

Shared Data

Outros membros permanecem completamente

Outros membros podem continuar a ler e atualizar CSUpdated Pages Global Locks

LogLogLog

PrimarySecondary


Failback de Membro

Energia restaurada e sistema reinicializado

DB2 Cluster Services automaticamente detecta a disponibilidade do membro Informa aos demais membros & aos

CFs Permite acesso do membro aos logs

e dados Retorna processos do membro aos

host original

Transaes so submetidas ao host reinicializado

Clients

CSDB2

Informa aos demais membros & aos

Permite acesso do membro aos logs

CSDB2

CSCSDB2

DB2


DB2

Log

CS

Shared Data

Transaes so submetidas ao host CS


LogLogLog

PrimarySecondary


Falha de CF Primrio Cabo de energia desconectado

acidentalmente

DB2 Cluster Services perde heartbeat e determina que CF heartbeat e determina que CF primrio caiu

Informa aos membros e secondrio Processos do CF bloqueados

momentaneamente Demais processos do banco continuam

normalmente Ex. Acesso a pginas do buffer pool,

locks existentes, ordenaes, agregar valores, etc

Membros enviam infomaes necessrias ao secudrio

Ex informao de locks

Automtico;

Super Rpido;

Online

Ex informao de locks

Secundrio assume papel de primrio

CF continua do ponto de parada Nenhum error retornado aos membros

Clients

CSDB2

CSDB2

CSDB2

CSDB2

Single Database ViewAutomtico;

Super Rpido;

Online

Log

CS

Shared Data


LogLogLog

PrimarySecondary


Primary

Reintegrao do CF Energia restaurada e sistema

reinicializado

DB2 Cluster Services automaticamente detecta a

DB2 Cluster Services automaticamente detecta a disponibilidade do host

O host inicializado como Secundrio Membros & Primrio so informados

Host assume papel de Secundrio em estado de catchup

Membros voltam a fazer duplexing Membros enviam locks e outras

informaes de status de forma assincrona ao secundrio

Membros enviam assincronamente pginas do primrio para disco

Catchup Completo Secundrio em peer state (possue

mesmos locks e pginas que o primrio)

Clients

CSDB2

CSDB2

CSDB2

CSDB2


Log

CS

Shared Data


LogLogLog

Secondary


Primary

(Catchup state)(Peer state)

Failure Mode

Group Crash Recovery (GCR)

DB2 DB2 DB2 DB2

Ocorre quando ambos CFs, primrio e secundrio, falham simultaneamente

Ou quando o primrio falha e o secundrio no esta em peer state

DB2 Cluster Services automaticamente elege um membro para realizar o GCR

CF CF

membro para realizar o GCR GCR similar ao crash recovery de

um banco de dados nico Realiza operaes de Redo e Undo de

updates que ainda no foram escritos em disco

Faz essa operao unindo todos os logs dos membros do pureScale

Group Crash Recovery (GCR)Clients

CSDB2

CS CSDB2

CSDB2


DB2

Log Log LogLog

Log

CS

Shared Data


LogLogLog

Primary Secondary


Pages

LogRecords

LogRecords

LogRecords

LogRecords

ConectividadeSetup de Conectividade Centralizado Todo Application Server do SAP tem um

membro do DB2 primrio (favorito) e uma lista de alternativas para fail

Garantia de Client Affinity: Todas as conexes de um Application Server do SAP ir de um Application Server do SAP ir igualmente e automaticamente:

Conectividade configurada centralmente: $(DIR_GLOBAL)/db6/db2dsdriver.cfg

Utilizado para AS ABAP & AS Java

Dois tipos de Setup de Conectividade Configurao Simples, out

distribuir por round

Setup realizado pelo DBA

Setup de Conectividade CentralizadoTodo Application Server do SAP tem um membro do DB2 primrio (favorito) e uma lista de alternativas para fail-over

Garantia de Client Affinity: Todas as conexes de um Application Server do SAP ir de um Application Server do SAP ir igualmente e automaticamente:

Realizar fail-over se membro no estiver disponvel

Realizar fail-back quando membro voltar a operao

Conectividade configurada centralmente: $(DIR_GLOBAL)/db6/db2dsdriver.cfgUtilizado para AS ABAP & AS Java

Dois tipos de Setup de ConectividadeConfigurao Simples, out-of-the-box: DB2 ir distribuir por round-robin

Setup realizado pelo DBA

Setup ConectividadeSetup da Conectividade atravs do DBA cockpit Viso geral da configurao atual das conexes

dos Applications Servers do SAP e dos membros do DB2

Visualizao do arquivo de configurao centralizado $(DIR_GLOBAL)/db6/db2dsdriver.cfg *

Realiza RELOAD automtico e redistribui conexes depois de alteraes na configurao

Setup da Conectividade atravs do DBA cockpit

Viso geral da configurao atual das conexes dos Applications Servers do SAP e dos membros do DB2

Visualizao do arquivo de configurao centralizado $(DIR_GLOBAL)/db6/db2dsdriver.cfg *Realiza RELOAD automtico e redistribui conexes depois de alteraes na configurao

DBA CockpitDB2 PureScale no DBA cockpit Os membros do PureScale podem ser

visualizados em todas as telas do DBA cockpit, como parties do DPF

Aplicar a nota SAP 1409540 para Aplicar a nota SAP 1409540 para disponibilizar a extenso do DBA cockpit para PureScale

Extenses do DB2 PureScale Status do Cluster

Performance do Cluster

Mtricas dos Buffer Pools Globais e locais

Extenses para Package Cache

Cluster Caching Facility

Anlise de conteno de Pginas

Visualizao e Alterao do Client Affinity

Requerimentos de Code Level da SAP Aplicaes OLTP baseadas no AS ABAP 7.0 e/ou AS Java 7.0 ou superior. Nvel mnimo de BASIS support package para AS ABAP:

Programa Piloto da SAP para DB2 9.8 PureScale

Extenso do DBA Cockpit disponvel na Nota SAP 1409540 Nvel de SAP kernel de acordo com a Nota SAP 1414616

AS ABAP Release 7.00 7.01

Required BASIS SP SP 16 SP 5

Seu caminho para o DB2 pureScale: DB2 9.8 pureScale ser disponibilizado atravs do programa piloto da SAP Contacte a SAP para se tornar um cliente do DB2 9.8 PureScale

Os clientes interessados no Programa Piloto do DB2 9.8 pureScale devem: Preencher questionrio e se registrar no programa piloto Ler a Nota SAP 1419433 para mais informaes

Requerimentos de Code Level da SAPAplicaes OLTP baseadas no AS ABAP 7.0 e/ou AS Java 7.0 ou superior. Nvel mnimo de BASIS support package para AS ABAP:

Programa Piloto da SAP para DB2 9.8 PureScale

Extenso do DBA Cockpit disponvel na Nota SAP 1409540Nvel de SAP kernel de acordo com a Nota SAP 1414616

7.02 7.10 7.11 7.20

SP 2 SP 8 SP 4 SP 2

DB2 9.8 pureScale ser disponibilizado atravs do programa piloto da SAPContacte a SAP para se tornar um cliente do DB2 9.8 PureScale

Os clientes interessados no Programa Piloto do DB2 9.8 pureScale devem:Preencher questionrio e se registrar no programa piloto

Novidade em 2011 - Geographically Dispersed PureScale Cluster (GDPC) nica instance do PureScale cluster distribuida em vrios sites.

Similar ao Z Geographically Dispersed Parallel Sysplex

Requere extensores Longbow InfiniBand da Obsidian Requere extensores Longbow InfiniBand da Obsidian Requere ligao de fibra entre os dois sites.

Mbr1

Mbr3

CFprim N km

Dark Fiber or WANInfiniband + IPoIB

Configurao proposta do PureScale 'Stretch Cluster:

Database

Log Log GPFS Shared Storage (logical view)

Physical Storage site 'A'GPFS replication between sites

(3rd site tie-breaker disk not shown)

Geographically Dispersed PureScale

nica instance do PureScale cluster distribuida em vrios sites.Similar ao Z Geographically Dispersed Parallel Sysplex

Requere extensores Longbow InfiniBand da ObsidianRequere extensores Longbow InfiniBand da ObsidianRequere ligao de fibra entre os dois sites.

Mbr2

Mbr4

CFsec

km

Dark Fiber or WANInfiniband range extender

Fiber Channel

Configurao proposta do PureScale 'Stretch Cluster:

Database

Log LogFiber ChannelGPFS Shared Storage (logical view)

Physical Storage site 'B'GPFS replication between sites

breaker disk not shown)

Links Interessantes

Pgina Oficial PureScalehttp://www-01.ibm.com/software/data/purescale/

PureScale no SDN: PureScale no SDN:http://www.sdn.sap.com/irj/sdn/db6?rid=/webcontent/uuid/e05976e1http://www.sdn.sap.com/irj/sdn/db6?rid=/webcontent/uuid/e05976e1-6593-2e10-f38b-bd3d98b337ed

Obrigado! ibm.com/smartersystems

Em suma, a IBM est tornando os sistemas mais inteligentes.Em suma, a IBM est tornando os sistemas mais inteligentes.

DB2 PureScale

Documents

Transcript of DB2 PureScale