Confiabilidade e Operações em Larga Escala no … e Operações em Larga Escala no LinkedIn...

Confiabilidade e Operações em Larga Escala no LinkedIn

Eduardo Saito esaito@linkedin.com Site Reliability Engineering

LinkedIn - Larga Escala

500 Milhões de membros (27M+ BR) +100’s K QPS

+2.000 Desenvolvedores +100’s serviços +100’s releases/dia em produção

+300 SREs (Site Reliability Engineers)4

Agenda

Organização de Equipes

Arquitetura / Frameworks

Ferramentas Processos

Agenda

LinkedIn - Organização de Equipes

PEO (DCOps, NetOps, SysOps)

Infrastructure SRE (monitoring, security, traffic, edge)

Data SRE (Espresso, Oracle, Kafka, Couchbase, ...)

Central SRE (tools, platform, LPS, capacity)

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Reliability Engineers)

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Product SRE

Dev Time 1

Dev Time 2

Dev Time 3

Dev Time 4

Product SRE

Dev Time n

{SREs (Site

Agenda

Arquitetura - Datacenters e PoPs

DatacenterDatacenter

Arquitetura

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Datacenter

Arquitetura - Frontend

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Datacenter

Arquitetura - Mid-tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

D2 - Dynamic Discovery R2 - Request and Response

>2000 Rest.li resources >70% service-to-service calls

Datacenter

Arquitetura - Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

Frontend

Mid-tier

Data tier

ESPRESSO

Agenda

Qual a principal causa de incidentes em produção no LinkedIn?

R.: Mudanças (deployments / ativação de features)

Gerenciamento de mudanças

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

Dev Laptop

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

Dev Laptop

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

StagingDev Laptop

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

StagingDev Laptop

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

ProduçãoStagingDev Laptop

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

git subversion

LID - prod

canários

companhia

git subversion

review board

LID - EI

QEIXLNT

(A/B test)

Gerenciamento de Incidentes - parte 1/4 - alerta

on-call tool

- equipes de SRE e devs em plantão - alertas vão para equipe mais preparada a resolver - escalação automática dos alertas - diferentes níveis de SLA, notificação apropriada:

• telefonema • SMS • e-mail

Gerenciamento de Incidentes - parte 2/4 - investigação

Auto-alert

Explicação detalhada do que está falhando e o que pode ser

possível causa

Screenshot do gráfico da métrica afetada, e link para aquele gráfico

Serviço e Datacenter afetado

inFormed

Lista das mudanças que ocorreram naquele horário, com detalhes de quem fez a mudança

em quais serviços e servidores.

inVisualize

Gerenciamento de Incidentes - parte 3/4 - escalação

NOCGCN ticket

Outra equipe (DBA, Redes, etc…)

Slack channel

Investigação

plantonista

Gerenciamento de Incidentes - parte 4/4 - remediação

traffic-shift

disabilita LiX roll-back release

traffic-shift

plantonista

traffic-shift

plantonista

disabilita LiX de outro serviço

roll-back release de outro serviço

traffic-shift

plantonista

disabilita LiX de outro serviço

roll-back release de outro serviço Dev

push fix

Outras Ferramentas Auto-remediação: Nurse

Outras Ferramentas Teste de carga automatizado: Redliner

Gerenciamento de Problemas

- Post-mortem - Template contendo:

- Sumario, causa-raiz, time-line, impacto - O que fazer para: - 1) evitar - 2) detectar mais rapidamente (MTTD) - 3) resolver mais rapidamente (MTTR)

- Tracking dos items de remediacao

- Code Yellow

Conclusão - Operações em Larga Escala

Eduardo Saito esaito@linkedin.com

http://www.saito.com.br

Confiabilidade e Operações em Larga Escala no … e Operações em Larga Escala no LinkedIn...

Documents

Transcript of Confiabilidade e Operações em Larga Escala no … e Operações em Larga Escala no LinkedIn...

Sistemas Armazenamento Larga Escala

Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos.

Políticas de avaliação em larga escala na educação básica: do ...

Gerencialismo e avaliação em larga escala: novos modos de ...

A AVALIAÇÃO DIAGNÓSTICA EM LARGA ESCALA E OS ALUNOS …

Elaboração de itens para avaliações em larga escala Edson …€¦ · larga escala de maior abrangência, em nível federal, desde 2009. Os capítulos seguintes revelam a importância

Avaliação educacional em larga escala Contribuições e possibilidades Contribuições e possibilidades.

Conceito e utilidade da avaliação em larga escala

OS DESAFIOS DA ESCOLA PÚBLICA PARANAENSE NA … · Críticos das avaliações em larga escala, como Freitas (2011), salientam que as avaliações em larga escala podem direcionar,

A PRODUÇÃO DE ENERGIA ELÉTRICA EM LARGA ESCALA NO …

2.14 a Estrutura Em Larga Escala Do Universo

Scikit-Learn para MLLib: Machine Learning em Larga Escala

VISUALIZAÇÃO DE ALTO DESEMPENHO DE DADOS OCEÂNICOS EM LARGA ESCALA …rfarias/dissertations/Andrei... · 2011. 6. 17. · EM LARGA ESCALA Andrei Gomes Lopes ... o uso de um cluster

Coreografando em Larga Escala: corpo social, corpo dançante

Redalyc.EFEITOS LOCAIS E DE LARGA ESCALA NA … · Efeitos locais e de larga escala na dinâmica climática do município de Viçosa – Minas Gerais Jackson Martins Rodrigues, Rafael

AVALIAÇÃO EM LARGA ESCALA E QUALIDADE DE ENSINO: … · em larga escala, avaliação externa, Prova Brasil, Saeb, Ideb, qualidade de educação e qualidade de ensino. Do levantamento

AS POLÍTICAS DE AVALIAÇÃO EM LARGA ESCALA … · JOSIANE APARECIDA PEIXOTO AS POLÍTICAS DE AVALIAÇÃO EM LARGA ESCALA NO BRASIL: DESAFIOS PARA A GESTÃO ESCOLAR Artigo apresentado

POLÍTICAS DE AVALIAÇÃO EM LARGA ESCALA ...A avaliação educacional em larga escala se apresenta enquanto um instrumento de monitoramento, controle e indução de políticas, programas

Sequenciamento paralelo em larga escala de genes alvo é ...

AVALIAÇÃO EM LARGA ESCALA: UM ESTUDO DO ... - uel.br DE AGUIAR... · Avaliação em Larga Escala: um estudo do rendimento escolar de matemática. 54f. Trabalho de Conclusão de