Post on 16-Apr-2017
Data-driven UX
Um case do VivaReal
Petrus GomesProduct Manager - VivaRealpetrus.gomes@vivareal.com
Ser data-driven não é uma metodologia e muito menos uma técnica jedi que você aplica para conseguir resultados infalíveis. Funciona mais como um mindset.
Caio Gama, UX - VivaReal
Motivação● Você (Designer, Engenheiro, PM) não é usuário do seu sistema
○ Bias○ Experiência○ Paciência
● Design e desenvolvimento custam caro● Erros custam ainda mais caro
○ Usuários insatisfeitos○ Redesign, mais desenvolvimento○ Tempo
Mitos
1. Data Means Numbers2. Data Is the Objective Truth3. Bigger Is Always Better4. Data Is for Managers, Not Designers5. Data Kills Innovation
Pamela Pavliscakhttps://uxmag.com/articles/six-myths-about-data-driven-design
Que dados?● Qualitativos
○ Testes de usabilidade○ Entrevista com usuários○ Personas○ Comentários da App Store
● Quantitativos○ Data Analytics○ Pesquisa com usuários (email, telefone, in-app,…)○ Testes A/B○ NPS○ Notas da App Store
Qualitativos● Em geral, são direcionadores
○ Quais são meu usuários "principais"? (Personas)○ Essa tela funciona como esperado? (testes de usabilidade)○ Como os usuários resolvem esse problema sem meu produto? (entrevistas)
● Não servem para conclusões estatísticas○ 20% dos usuários vão ter problema nessa tela
● Podem ser suficientes para validar ou invalidar um protótipo● Podem explicar dados quantitativos
○ Usuários não enxergam o novo botão, por isso a conversão baixou
*Personas são normalmente criadas com dados quantitativos, mas usadas qualitativamente
Teste de Usabilidade● 5 usuários bastam● Testes pequenos e objetivos● Identifica a maioria dos problemas● Ótimo para protótipos● Cuidado com bias● Monte um roteiro antes
www.nngroup.com/articles/why-you-only-need-to-test-with-5-users
Quantitativos● Validam insights qualitativos
○ Quantas pessoas resolvem esse problema dessa forma? (pesquisas)○ Quanto essa Persona gasta no produto? (data analytics)
● Tem relevância estatística○ 60% dos usuários chegam à segunda fase do jogo (data analytics)○ Essa nova tela teve queda de 10% na conversão (A/B tests)
● Não respondem porquês.○ O novo botão derrubou a conversão○ Mas ajudam muito na mineração das respostas
Teste A/B● Isola fatores externos● Estatisticamente relevante● Precisa de grande volume de usuários● Ferramentas:
○ Apptimize○ Firebase Remote Config○ Optimizely○ Mixpanel○ ...
● Observar fatores externos○ Impacto de Marketing○ Tendências (dias/horários de pico)○ Funis de Conversão
● Detectar problemas ou bugs● Fontes
● GA, Firebase Analytics, Amplitude, Localytics, Mixpanel● DB Interno
Data Analytics
Case: Agendamento de Visitas
Flow inicial
Pontos de entrada do usuário
Impacto: Volume de pessoas interessadas em agendar visita
Visibilidade diminui
Opção escolhida para alcançar maior impacto no MVP
Riscos● Queda na conversão
○ 2 botões podem ser piores do que apenas um○ Processo mais custoso do que contato normal○ KPI: WAU e Contatos/Usuário
● Frustração do usuário○ Expectativa alta de resposta○ KPI: NPS
Proposta após alguns rascunhos
Data Analytics - Mensagens
* Os dados foram alterados e NÃO retratam valores reais
Triamos manualmente 1000 mensagens sobre Visita:
● 30% tinham data especifica
● 10% tinham um horário ou período específico (manhã/tarde).
Também compilamos mensagens de visita entre setembro e novembro de 2016 (29k mensagens de visita):
● 10% citam "hoje" ou "amanhã" (setembro a novembro 2016)● 14% citam "hoje" ou "amanhã" nas sextas-feiras● 5% dos pedidos ocorreram entre as 23:00 e as 02:00
* Os dados foram alterados e NÃO retratam valores reais
Data analytics - Mensagens
1. Horário deveria ser opcional?
2. Indicador de "Hoje" na interface
para pessoas que acessam a noite.
3. Para agendamentos hoje/amanhã,
precisamos enfatizar de que é bom
ligar para o corretor para confirmar
4. Precisamos de um campo aberto
para observações.
Teste de usabilidade (sala espelho)● Alguns não estavam "prontos" para agendar ainda. Preferiam perguntar algo
primeiro.● A nova opção "Agendar Visita" não pareceu tão óbvia. ● O picker de horário estava aberto, o que abria espaço para horários de
madrugada, por exemplo. ● Usuário não entendeu a label "Venda" do filtro!
1. Tooltip apresentando a nova feature no
segundo imóvel visualizado
2. Horário era setado com a hora atual do
device. Mudamos para 12:00 sempre
3. Botão fechar ficou menor no último
dialog
Teste A/B● 50% dos usuários Android● Erro: 2.5% (em pontos percentuais)● Confiança: 95%● Amostragem de 12.293 por variação● KPIs para validação:
○ Conversão (usuários que enviam um contato)○ Contatos/Usuário
*Valores devem ser levantados ANTES do teste começar
Próximos passos● Pesquisa com usuários da feature
○ Consumidores e anunciantes● Data analytics mais detalhado
Dicas rápidas● Qual o objetivo do teste?● Calcule o tamanho amostral antes do A/B● Período mínimo para o teste● Não teste tudo. ● Testes pequenos > Um teste grande● 5 usuários são o bastante p/ teste de usabilidade● Não esqueça dos eventos de analytics
Obrigado!Data-driven design? - Caio Gama
https://www.nngroup.com/articles/quantitative-studies-how-many-users/
https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
https://www.usability.gov/how-to-and-tools/methods/usability-testing.html
https://www.nngroup.com/articles/task-scenarios-usability-testing/
http://blog.invisionapp.com/data-driven-design/
https://uxmag.com/articles/six-myths-about-data-driven-design
http://nerds.airbnb.com/experiments-at-airbnb/
Hooked - How to Build Habit-Forming Products
Contatos
Petrus Gomes / PM - Consumer Appspetrus.gomes@vivareal.com
Henrique Blefari / UX - Consumer Appshenrique.blefari@vivareal.com
beersandbytes.vivareal.com.br
16/03, às 16:00