Big Data: em busca da veracidade e valor - Gustavo Arjones

Big Data: em busca da veracidade e valorSocial Analytics Summit

Gustavo [email protected] | @arjones

23 Novembro 2013

• NERD

• Data Lover, Curioso

• Ciências da Computação

• MBA em Marketing

• CTO & Co-founder da Socialmetrix (2008) • Brasil, Argentina e México

Caixinha de sugestões: @arjones

Gustavo Arjones

@socialmetrix | @arjones

Big Data: em busca da veracidade e valor

… como sexo na adolescência:

• Todo mundo fala sobre isso;

• Ninguém entende realmente como fazer;

• Todo mundo pensa que os demais estão fazendo;

• Então todos dizem que também estão fazendo!

Big Data é …


http://smx.io/bigteen@socialmetrix | @arjones

Conjunto de técnicas e ferramentas para capturar,

filtrar, consolidar e visualizar informação

que permita a ação.

Big Data ~(Analytics | BI | Data warehouse | OLAP)

Big Data em nosso contexto



Os 5 V’s de Big Data:


• Volume

• Variedade

• Velocidade

• Veracidade

• Valor


Volume


• 5Kb por atividade• 100.000 usuarios• 10 atividades por dia• 30 dias

~ 150 Gb / mês ( ~ 1.8 Tb / ano )


Os sistemas tradicionais não acumulavam tanta informação, e o volume só tende a crescer #IoT

http://smx.io/iot

Variedade


• Quantitativos• Demograficos• Localização (celulares)• Atividades (behavior)• Conversas• Dispositivos (Waze) • etc ….


Velocidade


• Quando tudo é Rápido e Fugaz, quem define o que é relevante?

Computadores e Algoritmos


Velocidade



TED: Kevin Slavin: How algorithms shape our worldhttp://smx.io/teddata

Veracidade


• Fonte de Informação (dataset)– Sujo (dirty) relações de alto-nivel– Limpando com hipóteses e informação de contexto– Vigencia ex: localização pode ser fugaz

• Interpretação (análise)– A história que contamos com essa informação


Veracidade Fontes de Informação


• Falsos Reviews & Bombardeio de comentários– Percepção é realidade!– Nossos clientes podem diferenciar?


O impacto em nossa marca será negativo, portanto tem que ser analizado como verdadeiros.

Veracidade Correlação e Causalidade


• Pessoas que comem nozes e castanhas vivem mais e são mais magras http://smx.io/nozes

– Fatores Socio-economicos– Acesso a Esportes e Lazer

• A causa do aquecimento global é a diminuição da população de piratas!



Dois eventos podem acontecer no mesmo período e não serem causa um do outro

Veracidade Zoom (Big picture vs. Detalhe)


• É imperativo aproveitar o potencial de sumarização

• Entender o todo e se enfocar no que é importante, chama a atenção


Veracidade Zoom (Big picture vs. Detalhe)


http://smx.io/folha@socialmetrix | @arjones

Veracidade Margens de Erro


• Aproximações são aceitáveis e bem-vindas!GA: "A amostragem (sampling) é muito utilizada … a análise de um subconjunto de dados fornece resultados semelhantes … [e] … acelera o processamento dos relatórios” http://smx.io/gas

• Facebook faz isso o tempo todoCusto de manter os contadores atualizados é muito grande devido a intensa atividade, se aproximam os números e se calcula o valor exato quando (e se) realmente necessário


Veracidade Margens de Erro


• Porque se usa com tanta frequencia?– Porque vale a pena!


Com 3% de erro, reduzo o consumo de memória em 20.000+ vezes

Valor


• Influenciadores (Followers, Klout, etc)

• Análise de sentimento, temáticas e extração automática de tópicos

• Secret cases


Valor Análise de sentimento


• Depende de contexto externo (cultura)

• Trade-off velocidade vs precisão

Melhores resultados: Usar ambos métodos!@socialmetrix | @arjones

Análise Resposta Precisão Custos

Automático < 1 seg ~ 68% $

Manual ~ 4 horas 95% $$$

Valor Temáticas


• Tracking continuado de temáticas importantes permite entender tendências e realizar rápida ação


Valor Temáticas



Valor Extração Automática de Tópicos


• Veloz (< 2 segundos)

• Menor dependência de contextos externos, maior precisão

• Ajudam a entender como a conversa está variando, podem mostrar assuntos que não estavam no radar.


Valor Secret Cases (sorry!)


Valor está em encontrar como métricas de negóciosão afetadas pela atividade social/online.

• Montadora = nossos dados + Emplacamento

• Operadora Celular = nossos dados + WebAnalytics+ Compras de Plano


Oportunidade



Oportunidade



• Integração / Convergência• Reduzir a Obsessão por likes, followers

• Algumas questões NÃO serão resolvidas e afetam valor percebido. Ex: “Fila no Banco”

• Predictive Analytics ?

Desafio


• Silo de dadosTenho acesso aos dados que preciso?

– Vendas– Anuncios– Promoções– Compras– Custos


Futurologia ...


• Grafos Sociais• Sistemas de Recomendação• Influenciadores

“Mapear as relações”


Muito Obrigado!

Gustavo Arjones | @arjonesCTO & Co-Founder

facebook.com/socialmetrix

www.socialmetrix.com

http://www.socialmetrix.com/

Big Data: em busca da veracidade e valor - Gustavo Arjones

Documents

Transcript of Big Data: em busca da veracidade e valor - Gustavo Arjones