Democratização de dados · Entender como a democratização do acesso aos dados tornou os times...
Transcript of Democratização de dados · Entender como a democratização do acesso aos dados tornou os times...
Democratização de dados
Objetivo da apresentação● Objetivo
○ Explicar como foi a implantada a democratização de dados sob um viés de gestão:■ Qual o problema? Gargalo de acesso a dados, multiplas fontes, times dependentes■ Como CTO, como perceber qual o momento certo? Presença, intuição, impassibilidade■ Qual a configuração do time?■ Como fazer a mudança de cultura, como promover a adoção?■ Qual foi o resultado?
● Resultado esperado○ Entender como implementar democratização de dados usando um centralizador de dados (Streaming,
Queue, Definição de uma língua franca e afins);○ Entender como executar projetos “cross-company” (SRE) e qual o perfil necessário para compor esse
time;○ Entender como a democratização do acesso aos dados tornou os times mais produtivos e como foi a
gestão de mudança de mindset dos integrantes dos times.
Um pouco sobre mim...
InLoco
InLoco
• 150+ Pessoas
• 600+ Apps
• 15TB/Dia
• 1.000.000 Requests/minuto
• 70.000.000+ de usuários
Equipe de dados!
Equipe de dados (ou Analytics)
Extrair Analisar Criar Soluções
Processamento de dados
Mas não foi bem assim...
“Tu te tornas eternamente responsável por aquilo que cativas!”SAINT EXUPÉRY
Atender pedidos
Como aconteceu?
O monolito (e o devir)
*Direitos da imagem pertencem a Hal Hefner
O monolito (e o devir)
Blitzscaling ou crescendo adoidado
Blitzscaling ou crescendo adoidado
Micro-serviços: escalabilidade e flexibilidade
Criação da equipe de dados
Babel: línguas diferentes
Decisões estratégicas
No papel de gestão
No papel de gestão
Resumo do problema
• Equipes não falavam a mesma língua
• Dependência da equipe de dados
Quais os requisitos?
• Tornar análise de dados uma competência de todas as equipes
• Dados acessíveis em tempo real (decisões tomadas em tempo real)
Minha primeira ação: agenda de mudança
Decisões de gestão
Como formar o time?
Competência Perfil Tamanho
Competências
• Infra-estrutura
• Engenharia de dados
• Comunicação
Perfil: super-heróis
Fonte: http://firstround.com/review/how-to-spot-and-magnify-the-powers-of-your-engineering-superheroes/
Tamanho
2 pessoas: velocidade
até 6 pessoas:robustez
até 8 pessoas:multidisciplina
Tamanho: complexidade
• 2 => 1
• 6 => 15
• 8 => 28
• 150 => 11.175
Fonte: https://blog.gojekengineering.com/the-dynamics-of-scaling-an-organisation-cb96dbe8aecd
A equipe!
Soluções e resultados!
Centralizador
Babel: línguas diferentes
Língua franca
Arquitetura
Fonte: https://medium.com/inlocotech/data-infrastructure-at-in-loco-5d954cb69b98
Propagar a palavra
• Re-priorizar o roadmap dos times
• Treinar os times○ Mentorias○ Workshops
Autonomia
Autonomia
Produtividade
Produtividade
SELECT COUNT(*) FROM visits_tableWHERE DAY = '2017-08-09'
Produtividade
2 dias 2 minutos
“A estratégia de tecnologia tem um impacto direto na cultura, comunicação e forma de organização das pessoas.”