Monitorando Ecommerce no UOL com Splunk
-
Upload
marcio-ghiraldelli -
Category
Technology
-
view
143 -
download
0
description
Transcript of Monitorando Ecommerce no UOL com Splunk
![Page 1: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/1.jpg)
Copyright © 2014 Splunk Inc.
Monitorando ecommercecom Splunk
![Page 2: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/2.jpg)
2
Marcio Ghiraldelli
6 anos como arquiteto de TI no Universo OnlineArquitetura de sistemas de alta disponibilidade (PagSeguro e ShoppingUOL)Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI
![Page 3: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/3.jpg)
3
Agenda
Monitorando transações de cartão de créditoTomada de decisões de negócio
Monitorando operação do sistemaMedindo ROI de mídia online em tempo real
![Page 4: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/4.jpg)
4
Maior portfolio de produtos e serviços de Internet do BrasilMaior portal de conteúdo em língua portuguesa do mundoInfraestrutura de TI e Datacenter
![Page 5: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/5.jpg)
![Page 6: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/6.jpg)
6
Splunk @ PagSeguro
• Monitoração antes:• Baseada em banco relacional, sem escala horizontal
• Limitado às 3 ultimas horas de eventos
• Acesso a dados históricos depende de DBA
• Necessário instalar aplicação cliente em todos os computadores da equipe de monitoração
![Page 7: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/7.jpg)
7
Descobrindo e escolhendo Splunk
Novo serviço backend
Adquirentes cartão de crédito, bancos, etc
Ferramenta de monitoração
PCI-DSS securitycompliance
![Page 8: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/8.jpg)
8
Descobrindo e escolhendo Splunk
• Necessidades da monitoração:• Big Data centralizado
• Flexível
• Fácil de usar
• Realtime
![Page 9: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/9.jpg)
9
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO[br.com.uol.ps.gw.core.aspect.CommandExecuteLogger](qtp564660841-420:) datetime=2013-03-12 08:18:44,528
command=CreditCardSaleCommand msecs=555{creditCardResponse=null,creditCardRequestModel={
creditCardTransaction={id=9999993513, merchantCode=99999999,fiDetails={nsu=999998,authorizationCode=59999999841,time=Tue Mar 12 08:18:44 BRT 2013,rawMessage=Transacao capturada com sucesso,rawCode=0, fi=locie, integratorCode=1016999999999999991},numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e,isWallet=false, softDescriptor=CortaCortaco,
maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO
Exemplo de informação de transações
![Page 10: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/10.jpg)
10
Dashboards em tempo real
![Page 11: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/11.jpg)
11
Dashboards em tempo real
Tempo médio de comunicação com parceiros
![Page 12: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/12.jpg)
12
Dashboards em tempo real
Comparativo de volume de transações com semana anterior
![Page 13: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/13.jpg)
13
Dashboards em tempo real
Tempo médio de comunicação por transação
![Page 14: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/14.jpg)
14
Dashboards em tempo real
Desativando integrações legadas
![Page 15: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/15.jpg)
15
Splunk @ PagSeguro• Agora:• Monitoração web com gráficos, treinamento para novos N1s diminui
de semanas para dias;
• Acesso à dados históricos com um clique
• Nivelamento de informações entre monitoração, P&D e área de negócios
![Page 16: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/16.jpg)
![Page 17: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/17.jpg)
17
Splunk @ ShoppingUOL
• Antes:• Time de P&D sem relatórios gráficos centralizados da saúde da
operação
• Dados de ROI de mídia online não eram em tempo real
![Page 18: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/18.jpg)
18
Splunk Universal Forwarder
• Componente light de fácil configuração para coletar logs existentes de aplicações legadas
• Expansão da licença atual e infra (+ indexers) do Splunk para atender novo produto ShoppingUOL
• Instalação automatizada em +20 máquinas virtuais via puppet
![Page 19: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/19.jpg)
19
Splunk Proccess Language
• Extração de dados de logs em diversos formatos legados
• rex, transaction, dedup
![Page 20: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/20.jpg)
20
DashboardsQuantidade de ofertas coletadas por lojas
![Page 21: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/21.jpg)
21
DashboardsVolume de documentos indexados e replicados no índice Solr
![Page 22: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/22.jpg)
22
DashboardsPerformance de aplicações Java com Perf4J
![Page 23: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/23.jpg)
23
DashboardsROI de Mídia Online em tempo real
![Page 24: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/24.jpg)
24
Splunk @ ShoppingUOL
• Depois:• Time de P&D e operação com a mesma visibilidade
• Acompanhamento de campanhas de mídia online em tempo real + velocidade em tomadas de decisões de investimentos
![Page 25: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/25.jpg)
Upgrade de arquitetura“on the fly”
![Page 26: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/26.jpg)
26
Upgrade de arquitetura “on the fly”
Antes: 2 servidores com uma instância de Splunk
NFS Mount
Index cold buckets
Search Head and IndexerIncoming TCP data
Splunk Search User Access
![Page 27: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/27.jpg)
27
Upgrade de arquitetura “on the fly”
Depois: 4 servidores com 4 instâncias Splunk
Search Head
Incoming TCP data
Search Head
Indexer
Indexer
TCP Load Balancer TCP Load BalancerSplunk Search User Access
![Page 28: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/28.jpg)
Próximos passos
![Page 29: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/29.jpg)
29
Próximos passos
• Todas as novas aplicações sendo criadas com logs no formato chave/valor, prevendo uma futura convergência no Splunk
• Instalando uma televisão no andar da área de negócios para acompanhamento em tempo real dos dashboards
• Evoluindo a arquitetura do Splunk “corporativo” para atender todos os produtos do UOL em uma infra centralizada
• Integrar Splunk com os eventos de processos ITIL/CMDB
![Page 30: Monitorando Ecommerce no UOL com Splunk](https://reader036.fdocumentos.com/reader036/viewer/2022081413/547f869fb4af9fa94d8b4719/html5/thumbnails/30.jpg)
Obrigado!
linkedin.com/in/mghiraldellitwitter.com/marciogh