Vtex - SplunkLive! São Paulo 2015

30
Copyright © 2014 Splun Inc. The answer is always 42 VTEX & Splunk Detalhes do case de uso Fábio Caldas – Senior Software Engineer na VTEX

Transcript of Vtex - SplunkLive! São Paulo 2015

Page 1: Vtex - SplunkLive! São Paulo 2015

Copyright © 2014 Splunk Inc.

The answer is always 42

VTEX & SplunkDetalhes do case de uso

Fábio Caldas – Senior Software Engineer na VTEX

Page 2: Vtex - SplunkLive! São Paulo 2015

2

AgendaSobre a VTEXDesafios e IniciativasVTEX e seu uso inicial do SplunkGerenciamento do clusterSplunk Apps da VTEXPresente/Futuro: VTEX Analytics

Page 3: Vtex - SplunkLive! São Paulo 2015

3

• A VTEX é líder em tecnologia para e-commerce e pioneira na comercialização de software como serviço (SaaS) no Brasil. Suas soluções atendem lojas virtuais independente do volume de clientes e do segmento de negócio, tudo com selo PCI CertifiedMais de 1000 clientes ativos, 15 países, 150 funcionários,80 desenvolvedores300 milhões de requests/dia entre sistemas (95% < 200ms)2.0k de métricas por segundo / 300 logs por segundo

Page 4: Vtex - SplunkLive! São Paulo 2015

4

Fábio Caldas

Formado em Ciências da Computação – Turma 2005 UCPProgramador .Net C# apaixonado

Splunk Administrator / User

Page 5: Vtex - SplunkLive! São Paulo 2015

5

Hardware Dados de negócios

Logs

Realidade vs Necessidade

Métricas

Aumento deConversão

Identificação deanormalidades

Uma mãozinhacom os futuros

indicadores

AnálisesDepartamentais

Page 6: Vtex - SplunkLive! São Paulo 2015

6

Como começouGerenciamento de LOGS

Como poderiamos logar e ver nossos logs?

Como criar um ambiente central para todos os logs da empresa de fácil manutenção?

Page 7: Vtex - SplunkLive! São Paulo 2015

7

VTEXInício (2 Gb)– Apenas logs de erros– Quase sem métricas– Necessidade: Otimização das mensagens

Meio (65 Gb)– Logs de erro, warn, info, audit– Métricas de +90% dos sistemas– Necessidade: Uso do Data Model

Atualmente (65 Gb):– Dados auxiliando tomada de decisão do gestor do eCommerce

Page 8: Vtex - SplunkLive! São Paulo 2015

8

Splunk – Controle sobre indexaçãoUso dos arquivos conf: props / transforms– Props

– Transforms

Page 9: Vtex - SplunkLive! São Paulo 2015

9

Splunk 6.0 - Log e MétricaLog - VTEX Logger

Métrica – VTEX Logger

Page 10: Vtex - SplunkLive! São Paulo 2015

10

Splunk 6.2 – Redução do eventoLog - VTEX Diagnostics

Métrica – VTEX Logger

Page 11: Vtex - SplunkLive! São Paulo 2015

11

Splunk 6.2 - Field Extraction

Page 12: Vtex - SplunkLive! São Paulo 2015

12

Splunk 6.0 - Master

Page 13: Vtex - SplunkLive! São Paulo 2015

13

Splunk 6.2 - Master

• Aumento na replicação e cópias buscáveis

Page 14: Vtex - SplunkLive! São Paulo 2015

14

Splunk 6.2 – Master (DMC)

• Visões gerais• Built-in

Page 15: Vtex - SplunkLive! São Paulo 2015

15

Splunk 6.2 – Master (SOS)

• Mais completa app• Inúmeros tipos de monitoramento• App Store

Page 16: Vtex - SplunkLive! São Paulo 2015

16

Splunk 6.2 – Master (SUM)

• Excelente o dash “Storage Requirement Calculator”• App Store

Page 17: Vtex - SplunkLive! São Paulo 2015

17

Splunk - AWS Opsworks

Page 18: Vtex - SplunkLive! São Paulo 2015

18

Splunk - AWS TipsIndexação – Máquinas R3.xlarge

Master – C3.xlarge

Viewer – C3.2xlarge

EBS:

Page 19: Vtex - SplunkLive! São Paulo 2015

19

Splunk - Controle de Acesso no ViewerSplunk 6.0 – Usuários criados na máquina de pesquisa

Em progresso – Integração full com Okta (SAML v2)

Page 20: Vtex - SplunkLive! São Paulo 2015

20

Splunk Apps

Page 21: Vtex - SplunkLive! São Paulo 2015

21

Splunk Apps

• +60 Apps

• 1 por serviço/aplicação

• Dashboards/reports/alarmes feitos pelo próprio time

Page 22: Vtex - SplunkLive! São Paulo 2015

22

VTEX – Dashboards

GatewayAcompanha todo o processo de pagamento e define melhores gateways

Page 23: Vtex - SplunkLive! São Paulo 2015

23

VTEX – Dashboards

Loja IntegradaAcompanha uso da plataforma pelos parceiros Whitelabel

Page 24: Vtex - SplunkLive! São Paulo 2015

24

VTEX – Dashboards

CheckoutAcompanha vendas

Page 25: Vtex - SplunkLive! São Paulo 2015

25

VTEX – Dashboards

CheckoutAcompanha erros nas vendas

Page 26: Vtex - SplunkLive! São Paulo 2015

26

VTEX – Dashboards

IntegraçãoAcompanha erros nas integração

Page 27: Vtex - SplunkLive! São Paulo 2015

27

And NOW?• Splunk App criada com foco no cliente

• Funções:• Dar visibilidade near-realtime• Fornecer dados para suporte de decisões

Atualmente possui:

• Acompanhamento de estoque• Acompanhamento de usuários e load de páginas

Page 28: Vtex - SplunkLive! São Paulo 2015

28

VTEX Analytics

EstoqieAcompanha indexação de produtos em estoque

Page 29: Vtex - SplunkLive! São Paulo 2015

29

VTEX Analytics

SessãoAcompanha análise das sessões dos usuários

Page 30: Vtex - SplunkLive! São Paulo 2015

That's all folks

30