BIGDATA: Da teoria à Pratica

download BIGDATA: Da teoria à Pratica

of 30

  • date post

    17-Dec-2014
  • Category

    Technology

  • view

    851
  • download

    2

Embed Size (px)

description

Palestra apresentada na 7a. Edição da Conferência O Outro Lado - Security BSides São Paulo (Co0L BSidesSP).

Transcript of BIGDATA: Da teoria à Pratica

  • 1. BIG DATA: Do Conceito Prticahttp://Checchia.NETDaniel Checchia Consultor de Tecnologia daniel@checchia.net

2. Daniel Checchia. Quem?? +30 anos em Tecnologia Passagem por todos os grandes e-Commerce nacionais (americanas.com, shoptime.com, submarino.com, pontofrio.com), empresas de internet (imovelweb.com, zap.com.br) e startups (psafe.com, sitepx.com). Especializado em Arquitetura Corporativa, Infraestrutura, segurana e Cloud Computing. T-Rex evoludo 2 3. O que eu fao. Planejamento Estratgico TI Arquitetura Corporativa de TI Consultoria Estratgica Mentoring para Startups CTO Virtual ou On Demand Hands on Lavo Passo Cozinho.... 3 4. Big data como sexo no colegial: Ningum faz, mas todo mundo diz que faz. Ento todos pensam que algum est fazendo e dizem que fazem tambm Jay Kidd, CTO da NetApp4 5. Alguns Projetos BigData [2011] Psafe.com (Lockbox): 480 Servidores (64Gb RAM, 32Tb SATA) Distribudos em 3 DCs 16 Racks por DC 10 Servidores por Rack Hadoop HDFS[2013] SitePX (ElasticSearch): +5.000.000 Documentos Distribudos em 10 instncias AWS (Auto-Scalling) Resultados de busca em 0.4 Segundos 5 6. enquadrando bigdata 6 7. Os 5 'Vs' do Big Data Volume (volume) Velocidade (velocity) Variedade (variety) Veracidade (veracity) Valor (value)7 8. Premissas para BigData Lidar com volumes extremamente grandes de dados Mais variados tipos Distribuio de processamento Elasticidade Escalabilidade8 9. Bancos Relacionais (ACID) Atomicidade: toda transao deve ser atmica, isto , s pode ser considerada efetivada se executada completamente; Consistncia: todas as regras aplicadas ao banco de dados devem ser seguidas; Isolamento: nenhuma transao pode interferir em outra que esteja em andamento ao mesmo tempo; Durabilidade: uma vez que a transao esteja concluda, os dados consequentes no podem ser perdidos. Problema: Muito restritivo para uma soluo de Big Data. A elasticidade, por exemplo, pode ser inviabilizada pela atomicidade e pela consistncia. 9 10. Categorias NoSQL Orientado a documentos (MongoDB, CouchDB) Bancos de dados chave/valor (DynamoDB, Redis) Bancos de dados de grafos (Neo4j) Etc10 11. Solues em bigdata 11 12. Hadoop Mantido pela Apache Foundation Open Source Desenvolvido para Processamento e anlise de grandes volumes de Dados Maiores Colaboradores: FacebookGoogleYahoo!IBM12 13. Ecosistema Hadoop13 14. Arquitetura Hadoop14 15. Hadoop Cluster15 16. Particionamento16 17. Alta Disponibilidade17 18. Bigdata na Prtica 18 19. Sobre o Splunk O Splunk um mecanismo para os dados de mquina. Ele coleta, indexa e aproveita os dados de mquina gerados por todos os seus sistemas e infraestrutura de TI, sejam eles fsicos, virtuais ou em nuvem.19 20. Logstash O Logstash um sistema para gerenciamento e agregao de logs. Com ele, podemos coletar logs, aplicar filtros e tratar as mensagens e armazenar para uso posterior, como visualizao, estatstica e alertas. Voc consegue agregar logs de diferentes mquinas e aplicaes em um ponto central e ver diversas informaes relacionadas atravs de uma interface Web.20 21. ElasticSearch Servidor de buscas distribudoBaseado em RESTOpen SourceBaseado no Apache LuceneProgramado em Java (1 Jar)Pode manter sua base local e Distribuda ou armazenar no Hadoop (Nosso Caso) 21 22. Kibana Kibana um frontend HTML / JSDesenvolvido para criao de dashboards para seus dadosIntegrao total com Logstash, Apache Flume, Fluentd e outrosAnlise em tempo real do fluxo de dadosAltamente escalvel22 23. Kibana Exemplos23 24. Kibana Exemplos24 25. Kibana Exemplos25 26. Kibana Exemplos26 27. Kibana Exemplos27 28. Kibana Exemplos28 29. Demo online Kibanahttp://demo.kibana.org/#/dashboard29 30. Obrigado!!Daniel Checchia daniel@checchia.net @checchiaSkype: daniel.checchia (11) 3010-014030