Democratização de dados

Objetivo da apresentação● Objetivo

○ Explicar como foi a implantada a democratização de dados sob um viés de gestão:■ Qual o problema? Gargalo de acesso a dados, multiplas fontes, times dependentes■ Como CTO, como perceber qual o momento certo? Presença, intuição, impassibilidade■ Qual a configuração do time?■ Como fazer a mudança de cultura, como promover a adoção?■ Qual foi o resultado?

● Resultado esperado○ Entender como implementar democratização de dados usando um centralizador de dados (Streaming,

Queue, Definição de uma língua franca e afins);○ Entender como executar projetos “cross-company” (SRE) e qual o perfil necessário para compor esse

time;○ Entender como a democratização do acesso aos dados tornou os times mais produtivos e como foi a

gestão de mudança de mindset dos integrantes dos times.

Um pouco sobre mim...

InLoco

InLoco

• 150+ Pessoas

• 600+ Apps

• 15TB/Dia

• 1.000.000 Requests/minuto

• 70.000.000+ de usuários

Equipe de dados!

Equipe de dados (ou Analytics)

Extrair Analisar Criar Soluções

Processamento de dados

Mas não foi bem assim...

“Tu te tornas eternamente responsável por aquilo que cativas!”SAINT EXUPÉRY

Atender pedidos

Como aconteceu?

O monolito (e o devir)

*Direitos da imagem pertencem a Hal Hefner

O monolito (e o devir)

Blitzscaling ou crescendo adoidado

Blitzscaling ou crescendo adoidado

Micro-serviços: escalabilidade e flexibilidade

Criação da equipe de dados

Babel: línguas diferentes

Decisões estratégicas

No papel de gestão

No papel de gestão

Resumo do problema

• Equipes não falavam a mesma língua

• Dependência da equipe de dados

Quais os requisitos?

• Tornar análise de dados uma competência de todas as equipes

• Dados acessíveis em tempo real (decisões tomadas em tempo real)

Minha primeira ação: agenda de mudança

Decisões de gestão

Como formar o time?

Competência Perfil Tamanho

Competências

• Infra-estrutura

• Engenharia de dados

• Comunicação

Perfil: super-heróis

Fonte: http://firstround.com/review/how-to-spot-and-magnify-the-powers-of-your-engineering-superheroes/

Tamanho

2 pessoas: velocidade

até 6 pessoas:robustez

até 8 pessoas:multidisciplina

Tamanho: complexidade

• 2 => 1

• 6 => 15

• 8 => 28

• 150 => 11.175

Fonte: https://blog.gojekengineering.com/the-dynamics-of-scaling-an-organisation-cb96dbe8aecd

A equipe!

Soluções e resultados!

Centralizador

Babel: línguas diferentes

Língua franca

Arquitetura

Fonte: https://medium.com/inlocotech/data-infrastructure-at-in-loco-5d954cb69b98

Propagar a palavra

• Re-priorizar o roadmap dos times

• Treinar os times○ Mentorias○ Workshops

Autonomia

Autonomia

Produtividade

Produtividade

SELECT COUNT(*) FROM visits_tableWHERE DAY = '2017-08-09'

Produtividade

2 dias 2 minutos

“A estratégia de tecnologia tem um impacto direto na cultura, comunicação e forma de organização das pessoas.”

ALAN@INLOCOMEDIA.COM