Big Data: em busca da veracidade e valorSocial Analytics Summit

Gustavo Arjonesgustavo@socialmetrix.com | @arjones

23 Novembro 2013

• NERD

• Data Lover, Curioso

• Ciências da Computação

• MBA em Marketing

• CTO & Co-founder da Socialmetrix (2008)

• Brasil, Argentina e México

Caixinha de sugestões: @arjones

Gustavo Arjones

@socialmetrix | @arjones

Big Data: em busca da veracidade e valor

… como sexo na adolescência:

• Todo mundo fala sobre isso;

• Ninguém entende realmente como fazer;

• Todo mundo pensa que os demais estão fazendo;

• Então todos dizem que também estão fazendo!

Big Data é …

Big Data: em busca da veracidade e valor

http://smx.io/bigteen@socialmetrix | @arjones

Conjunto de técnicas e ferramentas para

capturar, filtrar, consolidar e visualizar informação

que permita a ação.

Big Data ~(Analytics | BI | Data warehouse | OLAP)

Big Data em nosso contexto

Big Data: em busca da veracidade e valor

@socialmetrix | @arjones

Os 5 V’s de Big Data:

Big Data: em busca da veracidade e valor

• Volume

• Variedade

• Velocidade

• Veracidade

• Valor

@socialmetrix | @arjones

Volume

Big Data: em busca da veracidade e valor

• 5Kb por atividade

• 100.000 usuarios

• 10 atividades por dia

• 30 dias

~ 150 Gb / mês ( ~ 1.8 Tb / ano )

@socialmetrix | @arjones

Os sistemas tradicionais não acumulavam tanta

informação, e o volume só tende a crescer #IoThttp://smx.io/iot

Variedade

Big Data: em busca da veracidade e valor

• Quantitativos

• Demograficos

• Localização (celulares)

• Atividades (behavior)

• Conversas

• Dispositivos (Waze)

• etc ….

@socialmetrix | @arjones

Velocidade

Big Data: em busca da veracidade e valor

• Quando tudo é Rápido e Fugaz, quem define o que é

relevante?

Computadores e Algoritmos

@socialmetrix | @arjones

Velocidade

Big Data: em busca da veracidade e valor

@socialmetrix | @arjones

TED: Kevin Slavin: How algorithms shape our world

http://smx.io/teddata

Veracidade

Big Data: em busca da veracidade e valor

• Fonte de Informação (dataset)

– Sujo (dirty) relações de alto-nivel

– Limpando com hipóteses e informação de contexto

– Vigencia ex: localização pode ser fugaz

• Interpretação (análise)

– A história que contamos com essa informação

@socialmetrix | @arjones

Veracidade Fontes de Informação

Big Data: em busca da veracidade e valor

• Falsos Reviews & Bombardeio de comentários

– Percepção é realidade!

– Nossos clientes podem diferenciar?

@socialmetrix | @arjones

O impacto em nossa marca será negativo,

portanto tem que ser analizado como

verdadeiros.

Veracidade Correlação e Causalidade

Big Data: em busca da veracidade e valor

• Pessoas que comem nozes e castanhas vivem mais e

são mais magras http://smx.io/nozes

– Fatores Socio-economicos

– Acesso a Esportes e Lazer

• A causa do aquecimento global é a diminuição da

população de piratas!

@socialmetrix | @arjones

Big Data: em busca da veracidade e valor

Dois eventos podem acontecer no mesmo

período e não serem causa um do outro

Veracidade Zoom (Big picture vs. Detalhe)

Big Data: em busca da veracidade e valor

• É imperativo aproveitar o potencial de sumarização

• Entender o todo e se enfocar no que é importante, chama

a atenção

@socialmetrix | @arjones

Veracidade Zoom (Big picture vs. Detalhe)

Big Data: em busca da veracidade e valor

http://smx.io/folha@socialmetrix | @arjones

Big Data: em busca da veracidade e valor

Big Data: em busca da veracidade e valor

Veracidade Margens de Erro

Big Data: em busca da veracidade e valor

• Aproximações são aceitáveis e bem-vindas!

GA: "A amostragem (sampling) é muito utilizada … a análise de um

subconjunto de dados fornece resultados semelhantes … [e] …

acelera o processamento dos relatórios” http://smx.io/gas

• Facebook faz isso o tempo todo

Custo de manter os contadores atualizados é muito grande devido a

intensa atividade, se aproximam os números e se calcula o valor

exato quando (e se) realmente necessário

@socialmetrix | @arjones

Veracidade Margens de Erro

Big Data: em busca da veracidade e valor

• Porque se usa com tanta frequencia?

– Porque vale a pena!

@socialmetrix | @arjones

Com 3% de erro, reduzo o consumo de memória

em 20.000+ vezes

Valor

Big Data: em busca da veracidade e valor

• Influenciadores (Followers, Klout, etc)

• Análise de sentimento, temáticas e extração

automática de tópicos

• Secret cases

@socialmetrix | @arjones

Valor Análise de sentimento

Big Data: em busca da veracidade e valor

• Depende de contexto externo (cultura)

• Trade-off velocidade vs precisão

Melhores resultados: Usar ambos métodos!@socialmetrix | @arjones

Análise Resposta Precisão Custos

Automático < 1 seg ~ 68% $

Manual ~ 4 horas 95% $$$

Valor Temáticas

Big Data: em busca da veracidade e valor

• Tracking continuado de temáticas importantes permite

entender tendências e realizar rápida ação

@socialmetrix | @arjones

Valor Temáticas

Big Data: em busca da veracidade e valor

@socialmetrix | @arjones

Valor Extração Automática de Tópicos

Big Data: em busca da veracidade e valor

• Veloz (< 2 segundos)

• Menor dependência de contextos externos, maior

precisão

• Ajudam a entender como a conversa está variando,

podem mostrar assuntos que não estavam no radar.

@socialmetrix | @arjones

Valor Extração Automática de Tópicos

Big Data: em busca da veracidade e valor

@socialmetrix | @arjones

Valor Extração Automática de Tópicos

Valor Secret Cases (sorry!)

Big Data: em busca da veracidade e valor

Valor está em encontrar como métricas de negócio

são afetadas pela atividade social/online.

• Montadora = nossos dados + Emplacamento

• Operadora Celular = nossos dados + WebAnalytics+

Compras de Plano

@socialmetrix | @arjones

Oportunidade

Big Data: em busca da veracidade e valor

@socialmetrix | @arjones

Oportunidade

Big Data: em busca da veracidade e valor

@socialmetrix | @arjones

• Integração / Convergência

• Reduzir a Obsessão por likes, followers

• Algumas questões NÃO serão resolvidas e afetam valor

percebido. Ex: “Fila no Banco”

• Predictive Analytics ?

Desafio

Big Data: em busca da veracidade e valor

• Silo de dados

Tenho acesso aos dados que preciso?

– Vendas

– Anuncios

– Promoções

– Compras

– Custos

@socialmetrix | @arjones

Futurologia ...

Big Data: em busca da veracidade e valor

• Grafos Sociais

• Sistemas de Recomendação

• Influenciadores

“Mapear as relações”

@socialmetrix | @arjones

Muito Obrigado!

Gustavo Arjones | @arjonesCTO & Co-Founder

facebook.com/socialmetrix

www.socialmetrix.com