TDC2016SP - Escalando de 0 à 1 bilhão de requests

Post on 10-Jan-2017

67 views 2 download

Transcript of TDC2016SP - Escalando de 0 à 1 bilhão de requests

Escalando de 0 a 1 bilhão de requests

Roger Mattos - Co-fundador e CTO

Quem são os seus consumidores e quais são seus interesses?

E-Commerce database

1

1

1

Automação de campanhas personalizadas

Oi, Regina. Olha só que demais este produto.

Mindset Lean

Arquitetura de Infraestrutura

1 - Approach

2 - Approach

3 - Approach

4 - Approach

5 - Approach

6 - Approach

Arquitetura de Software

Arquitetura API Rest

Arquitetura API Rest

REST Resources

Command

Data

Domain

Infrastructure

Injection (DI)

Service

Core

Read Write

Mongo MySQL

Frameworks usados

● ServiceStack● Funq● AutoMapper● Dapper● NLog● EnyimMemcached● Elmah

Arquitetura Batch Processing

Data

Domain

Infrastructure

Service

Core

Read Write

Mongo MySQL

Frameworks usados

● AutoMapper● AutoFac● Dapper● NLog● Json.NET● NEST● Elasticsearch.Net

FB Notification Push Mail

Messaging

Producers Consumers

Logs Index Consolidate

Jobs

Consumers

Arquitetura Batch Processing

Social Miner Nuget Server

Gerenciamento de Pacotes

Applications Jobs

JFrog Artifactory

Nuget.org

Jarvis 1.0Dapper 1.4

Jarvis 1.2Dapper 1.5

Nosso volume atual

~1bi Reqs por mês na API

~25k Usuários simultâneos por minuto

~360mi Pageviews mês

~70k Reqs por minuto no cluster de cache

~1.2bi Reqs por mês na CDN

~7k Logs de comportamento por minuto

~340mi Logs de comportamento total

~140mi Mensagens trafegadas por mês

Automatização e Monitoramento

Integração Continua

Deploy Automático

Testes (Unitários, Integrados e Aceitação)

Shame Build

Automatização e Monitoramento

Dashboards (ES + Logstash + Grafana)

Logs (Errors e Aplicação)

Microservices Apache Spark Lambda architecture

Compliance

Ainda estamos aprendendo (Visão de futuro)

ASP.NET Core.NET Core

Lean Thinking (Build - Measure - Learn)

Say NOT to BDUF (Big Design Up Front)

Conclusões finais

Make it Work then Make it Better

Cloud Services programs for Startups

Roger MattosCo-fundador e CTO

Obrigado!

roger@socialminer.com

@roger_mattos

linkedin.com/in/rmattos

github.com/rmattos

Seja um Miner

99jobs.com/social-miner/jobs