Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

50
Big Data Analytics e Social Mining: Inteligência em Uma Montanha de Dados?

description

Palestra Apresentada Durante a SEMCOMP 2014.

Transcript of Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Page 1: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Big Data Analytics e Social Mining: Inteligência em Uma Montanha de

Dados?

Page 2: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Mauricio C. Purificação

Sócio-Diretor da OxenTI - Soluções em Tecnologia da Informação;Analista de Business Intelligence (BI) – Cárdio Pulmonar da Bahia;Especialista no Desenvolvimento de Soluções em Gestão Empresarial, Business Intelligence, Business Analytics e Data Warehousing;MBA em Administração/Gestão de Negócios - Universidade Salvador (UNIFACS);Bacharel em Ciência da Computação - Universidade Federal da Bahia (UFBA);Pesquisador nas áreas de Business Intelligence, Business Analytics, Cloud Computing, Métodos Ágeis, Bancos de Dados Evolutivos.

http://lattes.cnpq.br/3312807554334758

Page 3: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

A OxenTI

Somos uma empresa de Tecnologia da Informação especializada no desenvolvimento de Soluções e Sistemas para apoiar a

Gestão eficaz dos ambientes de Negócios.

Page 4: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Equipe

A OxenTI além de seus sócios é formada por um time de analistas e consultores com experiência em:

Desenvolvimento de Sistemas Web, Desktop e Móveis;

Data Warehousing;

Business Intelligence;

Banco de Dados;

Gerenciamento de Projetos;

Gerenciamento de Processos de Negócios.

Page 5: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Serviços

ImplantaçãoSistemas Integrados de Gestão

ERP, CRM

Page 6: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Serviços

DesenvolvimentoSoluções para Suporte a Decisão

BI, BA, Data Mining

Page 7: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Treinamentos

Introdução a Business Intelligence e Modelagem Dimensional;

Modelagem Dimensional Avançada;

Workshop de Gerenciamento de Projetos de Business Intelligence;

Laboratório de Open Source Business Intelligence;

Laboratório de Integração de Dados e Processos de ETL com o Pentaho Data Integration;

Laboratório de Mineração de Dados com o Weka.

Page 8: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Tecnologias

Page 9: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Agenda

Um Pouco de História

Business Intelligence

BI 1.0, 2.0, 3.0 e Business Analytics

Social Mining

Social CRM

Tecnologias para Big Data

Universo Big Data

Open Source BA

Ecossistema Hadoop

Novas Arquiteturas

Ciência de Dados

O Cientista de Dados

Page 10: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Um Pouco de História

Antes da revolução da Internet banda larga e das redes sociais, computadores eram de domínio apenas de quem trabalhava com eles como engenheiros e profissionais de Tecnologia da Informação.

Além disso, o avanço das tecnologias de hardware, a redução dos custos de acesso e a criação de aplicativos gratuitos inseriram muitas pessoas no cenário digital.

Page 11: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Um Pouco de História

Com inúmeros dados e informações sobre clientes, mercados e empresas, executivos e profissionais atrelados a tomadas de decisão passaram a enxergar novas possibilidades de fazer negócio e de alavancá-lo.

A integração de informações vindas de diversas fontes, como redes sociais e bancos de dados internos das companhias, traz a possibilidade de entender melhor os consumidores e fornecer produtos mais próximos aos seus desejos e necessidades.

Page 12: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Um Pouco de História

1960 1970 1980 1990 2000

Page 13: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Business Intelligence

Atualmente, quase todos os aspectos de um negócio podem ser avaliados e melhorados, desde a produção de manufaturas e gerenciamento de logística até a experiência dos usuários.

Somados a isso, os dados gerados fora dos ambientes empresariais, como mídias sociais e notícias sobre os concorrentes, ajudam as empresas a obterem mais informações sobre o seu mercado.

Essa explosão de dados criou um grande desafio para a área de negócios: como explora-los para criar vantagem competitiva?

Page 14: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Business Intelligence?

“BI é o uso da informação que permite às organizações melhor decidir, medir, gerir e otimizar o desempenho para ganhar eficiência e benefício

financeiro.”

Instituto Gartner

Page 15: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Business Intelligence

O conceito de Business Intelligence não é novo. Ao contrário, vem sendo discutido e transformado em aplicativos corporativos há mais de dez anos.

O que tem mudado é sua amplitude, cada vez maior à medida que vemos a consolidação de novas realidades como Big Data, mobilidade e computação em nuvem.

Page 16: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

BI 1.0

Page 17: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

BI 2.0

Page 18: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

BI 3.0

Page 19: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Uma Nova Realidade

Page 20: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Uma Nova Realidade

Page 21: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Uma Nova Realidade

Page 22: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Um Nova Realidade

Page 23: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Um Nova Realidade

Page 24: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Um Nova Realidade

Page 25: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Os V’s do Big Data

Page 26: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Novos Padrões de Armazenamento de Dados

2009Redis Initial Release

2004 2006 2007 2008 2009 2011 2012 2013 2014

2007MongoDB Started,

Neo4J Initial Release

2004Google’s Map Reduce

PaperPublished

2012Google Spanner Paper

Published

1998

1998NoSQL coined

2006HadoopStarted

2008Apache Hbase,

Apache Cassandra

Page 27: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Oportunidades?

Page 28: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Oportunidades?

Page 29: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Oportunidades?

Page 30: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Business Analytics

Page 31: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Social Mining

Extrair dados dos perfis sociais.

Descobrir quais pessoas interagem com sua marca, aonde elas se engajam e qual a sua relação com os concorrentes.

Identificar os usuários mais interessados /engajados e o que os atrai dentro do conteúdo da marca.

Traçar o que mais lhes interessam e fornecer conteúdo personalizado.

Page 32: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Social MiningVolume de seguidores?

Volume de retweets?

Volume de menções e replys?

Alcance potencial?

Alcance e impressões da fan page?

Volume de fãs (novos fãs)?

Volume de interações (Curtir, Comentários e Compartilhamentos)?

Quem são as pessoas que interagem com sua marca?

O que é relevante para eles dentro dos seus canais sociais?

São as mesmas pessoas que dão retweets e fazem menções?

Há pessoas que apenas compartilham, curtem ou comentam os posts?

Qual a fidelidade dos seus fãs com o seu conteúdo?

É mais mulher ou homem que interage com seu conteúdo?

Quais tipos de conteúdo o público mais engajado costuma interagir mais?

O que cada fã se interessa dentro do conteúdo da marca?

Page 33: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Social Mining

2411

18

34

>5 RTs 4 RTs 3 RTs <2 RTs

Volume de usuários que deram RT nos últimos 10 posts

Usuários únicos85%

15%

Perfis que deram RT

Não-seguidores

Seguidores25%

40%

35%

CulináriaTecnologiaBem-estar

60%

20%

20%

Quem são seus seguidores que

mais disseminam seu conteúdo?

O que atrai os seus seguidores e

os não-seguidores?

Page 34: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Social Mining

100 100

4070

Sua Marca Concorrente A

Seguidores

Seguidores exclusivos

Seguidores em comum

7040

10

20

20

20

20

Sua Marca Concorrente A

Quais assuntos interagem?

Culinária Bem-estar

Saúde Tecnologia

Page 35: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Social Mining

Fãs de carteirinha

Fonte: site da dp6

Fidelidade do público com

o conteúdo

10080

25

10

50

Post 1 Post 2 Post 3

Volume de Likes por post

Perfis em comum Outros

Page 36: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Social CRM

Dados do cliente/usuário

na base de cadastro/CRM

Interesses do usuário nas

redes sociais

Buzz produzido pelo

usuário nas redes sociais

Aprimoramento das

estratégias em marketing

de relacionamento

Direcionamento

qualitativo das ações

táticas

Page 37: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Tecnologias para Big Data

Onde o processamento é hospedado?

Servidores Distribuídos/Cloud (ex: Amazon EC2)

Onde os dados são armazenados?

Banco de Dados Distribuídos(ex: Hadoop Distributed File System)

Qual o modelo de programação?

Processamento Distribuído(ex: MapReduce)

Como os dados são armazenados e indexados?

BD’s de alta performance sem esquemas(ex: MongoDB)

Page 38: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Universo Big Data

Page 39: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Open Source BA

Page 40: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Ecossistema Hadoop

Page 41: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Processamento de Dados

Page 42: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Hadoop MapReduce

Page 43: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Hadoop MapReduce

Page 44: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Novas Arquiteturas

Page 45: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Novas Arquiteturas

Page 46: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Ciência de Dados?

A ciência de dados é um campo altamente colaborativo e criativo, podendo aqueles que se dedicam a ele trabalhar como administradores de banco de dados, empresários e outros, que podem estar nas seguintes categorias: curadoria de dados, análise e visualização de dados, redes e infraestrutura.

O cientista de dados traz consigo conhecimentos tanto de campos tradicionais, como estatística, banco de dados, pesquisa operacional, inteligência competitiva, ciências sociais e exatas, como também desenvolvimento e programação.

Page 47: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

O Cientista de Dados

O cientista de dados, nome dado ao profissional desta área, vive em três mundos: o dos negócios, o da matemática e o de TI.

Esse processo de trabalho com dados exige que este profissional tenha qualificações na área de TI para que consiga acessar e processar o dado de forma eficiente e em tempo hábil, capacidades matemáticas para entender as implicações dos modelos utilizados e de negócio para que possa traduzir tudo isso em relatórios que possibilitem decisões assertivas.

Page 48: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

O Cientista de Dados

Page 49: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Duvidas?

Page 50: Big Data Analytics e Social Mining - Inteligência Em Uma Montanha de Dados?

Contatos

[email protected]

[email protected]

www.oxenti.com.br