Bigdata e NoSQL: buzzwords da teoria à prática

Big Data e NoSQL: buzzwords da

teoria à prática

Fabíola Souza Fernandes Pereira

Mas antes…

Um pouco da minha história…

2005t


2005t

2007


2005t

2007 2009


2005t

2007 2009 2011


2005t

2007 2009 2011 2013

Motivação…

1. Big Data

2. NoSQL

3. Na prática: ferramentas e exemplos

4. Cases do mundo

5. Case Algar Telecom

6. Conclusão

A cada dia…

2,5 exabytes

de informação são produzidos pela

humanidade

375 megabytes

de dados são acumulados por

cada família

24 petabytes

são processados pelo site do

Google

43 petabytes

de dados são trocados por smartphones e

tablets conectados à internet

10 petabytes

correspondem aos e-mails enviados

Fonte: Revista Veja, 15/05/2013

Fonte: Revista Veja, 15/05/2013

Bit

Byte

Kilobyte (1 000 Bytes)

Megabyte (1 000 000 de Bytes)

Gigabyte (1 000 000 000 de Bytes)

Terabyte (1 000 000 000 000 de Bytes)

Petabyte (1 000 000 000 000 000 de Bytes)

Exabyte (1 000 000 000 000 000 000 de Bytes)

Zetabyte (1 000 000 000 000 000 000 000 de Bytes)

Yottabyte (1 000 000 000 000 000 000 000 000 de Bytes)

Você

es

tá a

qui

O que é Big Data?

“Manipulação de

grande massa de

dados”

Volume

Variedade

Velocidade

Veracidade

Big Data

Volume

VelocidadeVariedade

Veracidade

Os 4 pilares do Big Data (4 V’s)

Coleta Processamento

Armazenamento Análise Ação

Manipulando Big Data

Quem está usando…

Big data aumentará receita de operadoras em US$ 4 bi por anohttp://exame.abril.com.br/tecnologia/noticias/big-data-aumentara-receita-de-operadoras-em-us-4-bi-por-ano

5 cidades que usam big data para melhorar vida dos moradoreshttp://exame.abril.com.br/tecnologia/noticias/5-cidades-que-usam-big-data-para-melhorar-vida-dos-moradores#5

Big Data ajudou Obama a ganhar as eleiçõeshttp://info.abril.com.br/noticias/ti/big-data-ajudou-obama-a-ganhar-eleicoes-15012013-25.shl

IBM vai analisar tweets dos brasileiros durante os jogos e enviar percepções para o técnico da seleçãohttp://olhardigital.uol.com.br/noticia/big-data-pode-ajudar-felipao-na-copa-das-confederacoes/35218

Profissões “quentes”

Estatística Matemática

Oportunidades

Profissionais de Tecnologia para Big

Data• NoSQL• Hadoop• Mineração de Dados

Vamos pensar…

2. NoSQL

No to SQL

Not Only SQL

Por que NoSQL agora?

Fonte: http://www.slideshare.net/thobe/nosql-for-dummies

1. Dimensão



2. Conexão



3. Semi/Não-estruturado



Aplicação

DB

Aplicação

DB

Aplicação

DB

4. Arquitetura

Resumindo…

Escalabilidade horizontal

Processamento distribuído

Maior throughput (taxa de transferência)

Baixo custo

A C I DAtomicidade Isolamento DurabilidadeConsistência

Teorema CAP

CONSISTENCY

AVAILABILITY

PARTITIONTOLERANCE

Teorema CAP

CONSISTENCY

AVAILABILITY

PARTITIONTOLERANCE

Todos os clientes têm

sempre a MESMA

VISÃO do sistema

(commits atômicos)

Teorema CAP

CONSISTENCY

AVAILABILITY

PARTITIONTOLERANCE

O cliente pode

SEMPRE ler e

escrever

Teorema CAP

CONSISTENCY

AVAILABILITY

PARTITIONTOLERANCE

O sistema SEMPRE

FUNCIONA mesmo que

haja “partições” – quebra

de comunicação entre nós

Teorema CAP

CONSISTENCY

AVAILABILITY

PARTITIONTOLERANCE

Teorema CAP

Escolha duas!

Teorema CAP

CA

P

PC

A

AP

C

B A S EBasically Soft

stateEventuallyconsistent

Available

Modelo de Dados

RelacionalChave-valor

GrafoOrientado a Coluna/Tabular

Orientado a

Documento

Modelo de Dados

Relacional

Chave-valor

Grafo

Orientado a Coluna/Tabular

Orientado a

Documento

Complexidade dos Dados

Vo

lum

e

NoSQL = Não-relacional? Relacional = SQL?

Não é possível estabelecer essas

relações!

NoSQL e SQL referem-se a

linguagens de consulta

Relacional e Não-relacional referem-

se a modelo de dados

Persistência poliglota

SQL && NoSQL


3. Na prática: ferramentas e exemplos

BDs NoSQL

Twissandra

Twissandra

User = { 'hermes': {

'password': '****', (other properties),

},}

Tweet = { '7561a442-24e2-11df-8924-001ff3591711': { 'username': 'hermes', 'body': 'Trying out Twissandra. This is awesome!', },

}

Twissandra

Followers = { 'hermes': { #friend id: timestamp of when the followership was added 'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277', },

}

Friends = { 'hermes': { # friend id: timestamp of when the friendship was added

'larry': '1267413962580791', 'curly': '1267413990076949', 'moe' : '1267414008133277',

}, }

Twissandra – NoSQL queries

GET tweet[utf8(‘hermes')];

GET tweet[utf8(‘hermes')][body];

Ferramentas Big Data

Spam ou Não-Spam??

4. Cases do mundo

IBM Big Data Platform

Oracle Big Data Platform

Microsoft Big Data Platform

Facebook data flow

5. Case Algar Telecom

“Uma plataforma de criação de aplicativos que você pode usar na

sua vida e no seu negócio.”

Armazenamento de Dados no COREO

Case Algar Telecom

6. Conclusão

“O petróleo só terá valor se transformado em combustível e

energia. Na mesma linha, os dados só terão valor se analisados e

utilizados”

Fonte: The world use of big data: http://public.dhe.ibm.com/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDf

Obrigada

[email protected]@fabiolas

Fabíola Fernandes

fabiola.fernandes.334

Bigdata e NoSQL: buzzwords da teoria à prática

Documents

Transcript of Bigdata e NoSQL: buzzwords da teoria à prática