Case: Extraindo informações de negócio a partir de logs de aplicações com o ELK

2016

Agenda

1. O problema2. Construindo a solução3. Superando desafios de segurança4. Modelando a solução5. Primeiros resultados6. Extraindo informações de negócio7. Números8. Próximos passos9. Contato

Total de slides: 10Duração aproximada: 20 min.

O problema

• Operação crítica da companhia;

• Aplicação fechada (sem acesso ao código-fonte);

• Processo burocrático e lento para acesso aos logs de produção;

• Aprox. 4GB de dados gerados por dia;

• Análise manual, imprecisa, lenta e difícil.

Construindo a solução

• LogForwarder ©: Solução desenvolvida in-house para interpretação, serialização em json e envio das mensagens de log para o logstash;

• Logstash: Solução para coleta, processamento e transporte de dados;

• Elasticsearch: Solução para indexação, pesquisa e análise de grande quantidade de dados em tempo real;

• Kibana: Front-end para pesquisa, análise e visualização de dados no Elasticsearch;

ELK

8 núcleos32 GB RAM1.5 TB Storage

Superando desafios de segurança

O Microsoft IIS foi colocado na frente do Kibana como proxy reverso para atender aos requisitos de Segurança da Informação:

• Autenticação – HTTP Basic Authentication integrado ao MS Active Directory;

• Canal seguro (https) – Configuração de certificado de segurança no site do IIS;

• Rastreabilidade – Através dos logs de autenticação no AD e dos logs de acesso do IIS.

Primeiros resultadosAcesso aos dados dos logs em tempo real;Tempo médio de throubleshooting caiu de 2 dias para poucos minutos;Análise proativa de erros.

Extraindo informações de negócioDashboard transacional

Tempo médio de processamentoTempo máximo de processamentoNúmero de transações simultâneas por segundo

Acompanhamento de picos de tempo de processamentoNúmero de transações por servidor

Extraindo informações de negócioDashboard transacional

Códigos de resposta de autorização/cancelamento por servidorCancelamentos negados por bandeira/servidor

Números

>1 bilhão de

documentos

1TB de storage

Diversas áreas

de negóci

o

3 meses de

histórico

Próximos passos

Cluster únicoAlertas automáticos

Correlação de eventos

ContatoMarcus Leandro

Desenvolvedor na Stone

E-mail Stone: mleandro@stone.com.brE-mail: mvleandro@gmail.comLinkedIn: https://linkedin.com/in/mvleandro

Obrigado!