Big Data: Seus problemas estão apenas começando
-
Upload
thiago-gonzaga -
Category
Data & Analytics
-
view
67 -
download
2
Transcript of Big Data: Seus problemas estão apenas começando
![Page 1: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/1.jpg)
BIG DATASeus problemas estão apenas começando
Thiago GonzagaEngenheiro de Software - Aurea Software
![Page 2: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/2.jpg)
Agenda• No principio era o verbo
• O que é Big Data?
• Estatísticas sobre Big Data
• Soluções para Big Data
• Oportunidades na Area de Big Data
![Page 3: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/3.jpg)
Quién soy jo?• Bacharel em ciência da computação pela UNESP
• Desenvolvedor desde 2004, em Java desde 2007
• Evangelista Java, palestrante e entusiasta de tecnologias livres e Open Source.
• Coordenador de Eventos do Grupo de Usuários Java.
• Engenheiro de Software na Aurea
![Page 4: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/4.jpg)
No princípio era o verbo…
![Page 5: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/5.jpg)
![Page 6: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/6.jpg)
Dados• “Informação” não processada
• Fatos
• Números
• Afirmações
• Sem significado
• Pode ser texto, video, imagem
![Page 7: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/7.jpg)
Informação
• Conteúdo útil
• Relevante
• Possui significado
• Processo, estudo, ensaio a partir de dados
![Page 8: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/8.jpg)
![Page 9: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/9.jpg)
Falemos sobre Big Data
![Page 10: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/10.jpg)
Você já deve ter ouvido falar:
“Big Data é a solução do seu problema…”
![Page 11: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/11.jpg)
![Page 12: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/12.jpg)
O MAIOR PROBLEMA DE TI DA ATUALIDADE
![Page 13: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/13.jpg)
![Page 14: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/14.jpg)
Vamos a lógica
![Page 15: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/15.jpg)
Dados, dados, muitos dados
• Com o aumento de quantidade de dados
• aumenta custos de processamento, logo mais gastos em infraestrutura
• armazenamento de dados não é infinito, logo mais gastos com armazenamento e backup
• Grande volume de dados aumenta consumo de banda de entrada e saída, ou seja, mais gastos…
• tornar a informação disponível requer mais gastos
• Orçamento não é infinito e geralmente é bem curto
![Page 16: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/16.jpg)
Gastos,
![Page 17: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/17.jpg)
gastos…
![Page 18: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/18.jpg)
… e mais gastos
![Page 19: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/19.jpg)
Resumindo…
![Page 20: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/20.jpg)
O que é big data?• Do inglês dado grande (literalmente)
• Quando você muitos dados
• uma porrada de dados
• uma caralhada de dados• ou seja…
• DADOS PRA CA!@#$%ˆ&*
![Page 21: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/21.jpg)
![Page 22: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/22.jpg)
Thiago não pode escrever isso no slide…
Então escreve ai:
![Page 23: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/23.jpg)
“Big Data é um termo para descrever um problema onde o fluxo de entrada de dados é maior que a capacidade de
processa-los”
![Page 24: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/24.jpg)
![Page 25: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/25.jpg)
Vamos ver algumas estatísticas
![Page 26: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/26.jpg)
Boeing 787 produz meio terabyte de dados por vôo
Fonte: http://www.computerworlduk.com/news/data/boeing-787s-create-half-terabyte-of-data-per-flight-says-virgin-atlantic-3433595/
![Page 27: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/27.jpg)
![Page 28: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/28.jpg)
Se há problema e demanda precisa de
uma solução
![Page 29: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/29.jpg)
Solução para BigData
• Armazenamento
• Processamento
• Análise
![Page 30: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/30.jpg)
Solução para BigData• Armazenamento:
• HDFS (Hadoop Distributed File System)
• Banco de dados não estruturado (não relacional)
• MongoDB
• Cassandra
• Neo4j
![Page 31: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/31.jpg)
Solução para BigData• Processamento:
• Hadoop MapReduce
• Apache Lucene
• Solr
• Elasticsearch (especialmente pra texto)
![Page 32: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/32.jpg)
Solução para BigData
• Análise de dados:
• Pentaho
• Kibana
• Graylog
![Page 33: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/33.jpg)
Curiosidade: Hadoop, Lucene, Solr,
elasticsearch entre outras soluções Big Data
![Page 34: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/34.jpg)
![Page 35: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/35.jpg)
![Page 36: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/36.jpg)
Pra onde eu vou• Engenheiro/Arquiteto de Informação
• Cientista de dados
• Analista de dados
• Designer de BI
• Analista de BI
• Arquiteto de Cloud
• Segurança da Informação
![Page 37: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/37.jpg)
![Page 38: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/38.jpg)
![Page 39: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/39.jpg)
Leituras interessantes• Uma visão universal sobre dados:
http://www.emc.com/leadership/digital-universe
• Apache Hadoop: http://hadoop.apache.org/
• Apache Lucene: http://lucene.apache.org
• Apache Solr: http://lucene.apache.org/solr/
• elasticsearch: https://www.elastic.co/products/elasticsearch
• Kibana: https://www.elastic.co/products/kibana
• Graylog: https://www.graylog.org/
• Pentaho: http://www.pentaho.com/
• Panorama de Big Data no Brasil: https://www.ibm.com/developerworks/community/blogs/bigdata/entry/entrevista_com_cezar_taurion_o_estagio_atual_do_big_data_no_brasil
• Você realmente sabe o que é Big Data: https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data
![Page 40: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/40.jpg)
Projetos do Java Noroeste• Encontros regulares
• Incentivo a contribuição da comunidade (Programa de treinamento para futuros palestrantes) (call 4 papers: http://bit.ly/javanoroeste-call-for-papers)
• Slack (convite: javanoroeste-slack.herokuapp.com.br)
• Novo Logo (votação: bit.ly/pesquisa-logo-javanoroeste)
• Novo Site
• Banco de currículos
• Sistema de gerador de certificado
• Entre outros
![Page 41: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/41.jpg)
![Page 42: Big Data: Seus problemas estão apenas começando](https://reader033.fdocumentos.com/reader033/viewer/2022042707/58e94ace1a28ab262c8b51fd/html5/thumbnails/42.jpg)
Obrigado!!!
Thiago GonzagaEngenheiro de Software - Aurea Software @thiguetta