TradeTech Brazil 2011 - O Desafio Da Latencia

O DESAFIO DA LATÊNCIA ALCANCE BAIXA LATÊNCIA NO ELECTRONIC TRADING BRASILEIRO PARA OBTER VANTAGENS COMPETITIVAS

Dr. Christian J. Zimmer - Head of Quantitative Portfolio Management and ResearchItaú Asset Management

José Ricardo Maia Moraes - Diretor de Desenvolvimento de NegóciosMultirede Informática S.A.

AGENDA

Overview Componentes de latência Padrões brasileiros x internacionais de latência Software, rede, interface e hardware: o que será

preciso para ser suficientemente rápido? Por que ser rápido: justificando à sua empresa os

investimentos em tecnologia para diminuir a latência

Latência & DMA: como medir e assegurar-se de que a latência será mantida baixa?

Discussão sobre cenários

PERCEPÇÃO DE LATÊNCIA

Olho humano: 300 milissegundos Tempo aproximado da BM&FBOVESPA: 15

milissegundos Meta para os próximos 18 meses: 400

microssegundos Percepção da dor: 100 milissegundos

“Ao ser ferido por faca, você levará 100 milissegundos para gritar. Nesse mesmo período

um sistema de negociação algorítmica terá processado cerca de 250 ofertas de compra ou

venda”Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011

OVERVIEW - BRASIL

Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011

BRASIL x USA


CONECTIVIDADE BM&FBOVESPA


VOLUME - BRASIL


EVOLUÇÃO DE LATÊNCIA - USA

EVOLUÇÃO VOLUME - USA

LSE ENVIRONMENT

www.londonstockexchange.com/hosting

LSE HOSTING SERVICE


LSE ENVIRONMENT


CME

CME CLIENT MANAGED ROUTER GUIDANCE

NASDAQ OMX

Thomas Fay, VP Engineering NASDAQ OMX - April 4, 2011

VOLUMES - NYSE

CICLO

Source: TowerGroup 2007

Inabilidade humanaAlgo Trading

ResultaRápida recepção,

tradução,e distribuição do

market data

Requ

eren

do

Negóciose

Market Data

Cria mais

ElectronicTrading

Criando m

ais

ORDEM DE GRANDEZA

Framing

Store-ForwardCodificaçãoSwitching

Procura de endereçosEncaminhamento

Roteamento

Janelamento TCPControle de Fluxo

Retransmissão

AplicaçãoApresentação

Sessão

Menos Latência

Mais Latência

Bits

Frames

Pacotes

Segmentos

Dado

1

2

3

4

5

6

7

Cam

ada O

SI

Unid

ade

COMPONENTES DA LATÊNCIA

Propagação - em função da distância e velocidade da luz (limitada pelas leis da física)

Serialização – em função do tamanho do pacote e velocidade da conexão

Enfileiramento – em função do tráfego, velocidade e enfileiramento

Fiber Length1 m1 km10 km100 km1,000 km10,000 km

Packet Size 512 Kb/s 2 Mb/s 10 Mb/s 100 Mb/s 1 Gb/s64 byte 1 ms 0.25 ms 51.2 µs 5.1 µs 0.51 µs512 byte 8 ms 2 ms 0.41 ms 41 µs 4.1 µs1500 byte 23.4 ms 6 ms 1.2 ms 0.12 ms 12 µs9000 byte 141 ms 36 ms 7.2 ms 0.72 ms 72 µs

Queue Size 512 Kb/s 2 Mb/s 10 Mb/s 100 Mb/s 1 Gb/s9 KB 141 ms 36 ms 7.2 ms 0.7 ms 0.07 ms32 KB 500 ms 128 ms 25.6 ms 2.56 ms 0.25 ms64 KB 1000 ms 256 ms 51.2 ms 5.12 ms 0.51 ms128 KB 2000 ms 512 ms 102 ms 10.2 ms 1 ms

Propagation Delay (fixed)

Serialization Delay (variable)

Queuing Delay (variable)

One-Way Delay

100 ms

Round Trip Delay10 ns10 µs

100 µs1 ms10 ms

50 ms5 ms

5 ns5 µs50 µs500 µs

LATÊNCIA FIM A FIM

AplicaçãoServidores/

OS Segurança Rede (LAN)Rede

(MAN/WAN)

Latência Fim a Fim

Microsegundos

Milisegundos

Segundos

Muitas variáveis envolvidas - a chave é endereçar o processo fim a fim

NANOSEGUNDOS

ENDEREÇANDO VARIÁVEISS

ER

VER

SER

VER

NIC

NIC

SWITCHING

CABLING

SERVIDORES

•VISÃO GERAL• Arquitetura de computação paralela da NVIDIA que possibilita aumentos significativos na performance de computação pelo aproveitamento da potência da GPU (unidade de processamento gráfico).

• Com milhões de GPUs habilitadas para CUDA vendidas até o momento, desenvolvedores de software, cientistas e pesquisadores continuam achando os mais diversos usos para a essa tecnologia

SERVIDORES - FPGA

FPGA (Field Programmable Gate Arrays)

Usar o poder de chips programáveis FPGA para entregar poder de computação dez vezes maior do que a utilização de CPUs convencionais

CPU FPGAMais flexível Mais rápido

Investimento e despesa superiores

Investimento e despesa inferiores

Menor despesa de

desenvolvimento

Maior despesa de desenvolvimento

SERVIDORES - ALTERNATIVAS

•RDMA•iWARP•Infiniband

Sources of Overhead in Server Networking

CPU Overhead

Transport Processing

40%

Intermediate Buffer Copying

20%

Application Context Switches

40%

1G x 10G

CABLING

CableTransceiver

Latency (link)Power

(each side)DistanceTechnology

Twinax ~0.25ms~0.1W10mSFP+ CUCopper

MM 62.5mmMM 50mm ~0.1ms1W82m

300mSFP+ SRshort reach

MM OM2MM OM3 ~0.1ms1W10m

100mSFP+ USR

ultra short reach

Cat6Cat6a/7Cat6a/7

2.5ms2.5ms1.5ms

~8W~8W~4W

55m100m30m

10GBASE-T

SFP+ CuSFP+ CuSFP+ to SFP+SFP+ to SFP+

STORAGE

150 IOPS HDD 15,000 IOPS SSD

SWITCHING

•Non Blocking (No oversubscription)•Ultra Low Latency (atualmente em 500ns)

2000 2002 2004 2006 2008 20100

102030405060

5040

205 4 0.6000000

00000001

Ethernet Latency Over Time

Time

Late

ncy

(mic

rose

cond

s)

24 x 10G

Access Layer

Aggregation Layer

24 x 10G

ARQUITETURA

Arquiteturas virtualizadas transformando diversas unidades físicas em uma única unidade

lógica

ARQUITETURA TOTALMENTE REDUDANTE

(FÍSICA E LÓGICA) LIVRE DE LOOPINGS

FÍS

ICO

VIR

TU

AL

ARQUITETURA

Arquitetura em camada 3 a partir do acesso de desktops e servidores não possuem tempo de

convergência

ROTEAMENTO SIMPLIFICADO

VIR

TU

AL

ARQUITETURA

FÍSICO VIRTUAL LÓGICO

Conexão de servidores em alta disponibilidade

ARQUITETURA

Canais de comunicação dedicados

Acesso

A IMPORTÂNCIA DA LOCALIZAÇÃO

Quanto mais próximos da Bolsa, menor será a latência

LATÊ

NCI

A-5µs

/Km

CONEXÕES INTERNACIONAIS

SP – NYTípico 104-

110ms

Fonte: GlobeNet

CONEXÕES INTERNACIONAIS

110

Fonte: GlobeNet

PROBLEMAS REAIS

AMBIENTE 1

AMBIENTE 2 AMBIENTE 3 AMBIENTE 4 AMBIENTE 5

AMBIENTE 6AMBIENTE 7

SYST RPS

STRT DUPLXSPEEDUTIL

MODE

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 A B100Base-FX

Catalyst 2950 SERIES10Base-T/100Base-TX

Catalyst 2970 SERIES

MODE

SYSTRPS STATDUPLXSPEED

16X

19 20 21 22 23 2413 14 15 16 17 18

13X

14X

23X

24X16X

7 8 9 10 11 121 2 3 4 5 6

1X

2X

11X

12X


MODE


16X

19 20 21 22 23 2413 14 15 16 17 18

13X

14X

23X

24X16X

7 8 9 10 11 121 2 3 4 5 6

1X

2X

11X

12X


MODE


16X

19 20 21 22 23 2413 14 15 16 17 18

13X

14X

23X

24X16X

7 8 9 10 11 121 2 3 4 5 6

1X

2X

11X

12X

SYST RPS

STRT DUPLXSPEEDUTIL

MODE

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 A B100Base-FX

Catalyst 2950 SERIES10Base-T/100Base-TX

AMBIENTE 8WANDESTINO

Componentes das aplicações são distribuídos pelo

ambiente sem observar o fluxo entre eles

Pacotes atravessam elementos de rede 32

vezes

APLICAÇÕES

Linguagens: C++, Java, C#

Linguagens funcionais: F#, Scala, Erlang

Sistemas operacionais: Linux, CentOS

Banco de dados: KDB+, Berkeley, DB, RED

Modelagem: R, Mathematica, Matlab

Script languages: Python, Ruby on rails,

LUA

Protocolos: FIX/FAST, TCP/IP, UDP,

proprietários

Middleware: QuickFIX, AMQP, TIBCO


APLICAÇÕES

Arquitetura que possa escalar verticalmente e horizontalmente

Uso de memória – além de permitir escalabilidade vertical, dá alto desempenho

Uso de threads, múltiplas instâncias de serviço – escala verticalmente (máquinas multiprocessadas ou com múltiplos cores). Atenção para afinidades de processamento

Processos de distribuição de carga (Balanceamento de carga) permitem a implementação da escalabilidade horizontal

Atenção com banco de dados na arquitetura

distribuída.


APLICAÇÕES

Comunicação entre processos Memória compartilhada – bom desempenho, mas limita

escalabilidade horizontal Webservices (SOA) – excelente arquitetura, mas com

performance limitada – ideal para produtividade em sistemas específicos que não requeiram alto desempenho

Nada mais rápido que comunicação TCP/IP (sockets) ou Multicast para difusão

Para comunicação TCP/IP considerar middleware como MS-MQ, WebSphere MQ. Idealmente um middleware de alto desempenho como TIBCO ou IBM WebSphere MQ Low Latency Messaging

Comunicação pura TCP/IP por socket, com protocolo binário, é o que apresenta melhor desempenho, mas há que se considerar (i) o padrão da mensageria e (ii) o protocolo de sessão

Utilização de padrões, como o FIX, para produtividade. Para aplicações que necessitam alto desempenho, evitar o XML

Considerar FIX FAST para performance na difusão


PROTOCOLOS - TCP

Tempo (RTT)Slow startCongestion avoidance

Perda de pacotes Perda de pacotes Perda de pacotes

cwnd

Perda de pacotes TCP

O retorno ao máximo pode levar bastante tempo!

PORQUE MONITORAR NO ΜS?

Visão de 1 segundoVisão de 5 minutos

Visão legada

Velocidade do Link

Rede ok?Rede ok?

Necessário AjusteNecessário Ajuste

Congestionamento Dinâmico – Perda de pacotes e delay intermitentes

AplicaçãoImpactada

Visão de 5 milissegundos

Data Center

AplicaçãoImpactada

Data Center

Velocidade do Link

Um microburst de 50 µS no Data Center pode introduzir

picos de latência maiores que 50 ms mesmo que a

utilização seja menor que 2%

MICROBURST

Microbursts são os picos de tráfego de menos de 1 segundo

Microbursts podem perturbar seriamente o fluxo de streaming de aplicações críticas como IP Multicast, e porque eles acontecem em um curto espaço de tempo, são muitas vezes difíceis de isolar

MICROBURST

Granularidade de sub-segundo

Microburst Event

MONITORAÇÃO

A necessidade por informações precisas de monitoração exige que sejam instalados sensores

em todos os segmentos de rede por onde trafegam as aplicações

WAN VLAN VLAN VLAN

PROBES 1G/10GAPLICAÇÃO

MONITORAÇÃO

MONITORAÇÃO SEM ADIÇÃO DE LATÊNCIA

MONITORAÇÃO

Situação 1 : Dispositivo copia o pacote para uma outra porta

Pontos de Atenção:•Introduz latência•Limitações no hardware fazem com que a solução não escale

MONITORAÇÃO

Situação 2: Monitoração fica em linha

Pontos de Atenção:•Introduz latência•Limitações fazem com que a solução não escale•Indisponibilidade da monitoração também indisponibiliza conectividade

TAPSituação 3: Dispositivo (TAP) coleta e envia os dados para a monitoração

Pontos de Atenção:•Não Introduz latência•Em caso de falha não há indisponibilidade de conectividade•Opção de cobre e ópticoMONITORA

ÇÃO

MONITORAÇÃO

10.25.12.0/24FIX

Protocol

192.168.1.0/24

29West / LBM

Protocol

Trader FIX Gateway Smart Order Router

xxx.xxx.xxx.0/24

xxx.xxx.xxx.0/24

xxx.xxx.xxx.0/24

FIX Protocol

Exchange 1

Exchange 2

Exchange 3

0.2 msec 12.3 msec

1.2 msec

0.1 msec

3.8 msec

Latency Breakout

Differe

nt applic

ation

pro

toco

ls

Total Latency 22.6 msec

Buy

NTCT !

ONDE FOCAR ESFORÇOS?

AQUI?

OUAQUI?

QUANTO CUSTA CADA MICROSSEGUNDO?

•Depende dos objetivos e estratégias

•Faz mais sentido atacar o problema maior primeiro (aplicação), contudo pode ser muito mais caro e demorado

•Microssegundos reduzidos com arquitetura e dispositivos de rede podem ser mais baratos e rápido de implementar

•Não há uma receita, cada caso é um caso e merece uma análise cuidadosa

NO FREE LUNCH

•Eletronificação do mercado é baseado em tecnologia de ponta•Altos volumes e redução de latência exigem soluções cada vez mais sofisticadas•Gerenciamento e monitoração não é uma opção – você só controla o que você conhece!•Nos próximos anos haverá uma forte onda de investimentos no mercado (Bolsa, participantes, vendors, software houses, etc.)

DESAFIOAlinhar as demandas de

negócios com os investimentos em tecnologia

SUCESSO = Σ DE VARIÁVEIS

PERGUNTAS?

OBRIGADO

TradeTech Brazil 2011 - O Desafio Da Latencia

Documents

Transcript of TradeTech Brazil 2011 - O Desafio Da Latencia