Aula Big Data

7/24/2019 Aula Big Data

1/28

Artigo Cientfco apresentado Faculdade de Tecnologia da Zona Sul Fatec-ZS como exigncia parcial para a obteno do ttulo de

Tecn!logo em "n#orm$tica para %esto de &eg!cios'


2/28

)*ig +ata so dados ,ue excedem a capacidade deprocessamento dos sistemas de banco de dadosconencionais'.


3/28

Um problema de memria em escalaglobal.

Formao de um fenmeno

Internet das coisas

A web dos dados

Cientistas medindo o innito


4/28

Atualmente somam-se a

esses dadosestruturadosin#orma/es disponeisnos meios digitais' Ainternet0 a mel1or #ontede dados0 2 ,uase

incompreensielmentegrande' 3s usu$rioscriam o conte4do comopostagens de blog0t5eets0 intera/es emredes sociais0 #otos e

deos' Seridoresregistramcontinuamente logssobre suas a/es online'registro de eentosreleantes num sistemacomputacional

Formao de um fenmeno


5/28


6/28


7/28


8/28


9/28

Internet das coisas

3 termo #oi cun1ado em 6777 por 8einAs1ton para descreer um #uturo onde,uase tudo poderia se tornar rastre$elatra2s de uma eti,ueta de 9F"+ aplicada':o;e0 ,uando se #ala sobre a


10/28

A web dos dados

A =eb >'?0 anunciada como a terceira ondada "nternet0 pro;eta estruturar todo oconte4do disponel na rede mundial decomputadores dentro dos conceitos de)compreenso das m$,uinas. e


11/28

Cientistas medindo o innito

A metodologia cientfca exige aexaustia repetio de testes emedi/es para comproao dasteorias e eoluo nas pes,uisas' Acomputao acompan1a a cinciaintrinsecamente para executar oprocessamento de tare#as repetitias'

+escodifcar o genoma 1umanooriginalmente leou 6? anos para o

processo0 agora pode ser conseguidoem uma semana'


12/28

JusticatiaCompreender o #enmeno e sua conse,Bncia no

setor de T"

!etodologia

"nestigao indutia sobre o tema+ados acadmicos dirigidos a ,uest/es t2cnicasFontes de pes,uisa no mercado de T"

"b#etioTecer par@metros para estrat2gia #uturas na camada

de neg!cios


13/28

'''so criadas mais in#orma/es em dois dias do ,ue a ciiliao

gerou desde seu incio at2 o ano de D??> ESc1midt0 D?6?' 3 ano

de D?6D est$ sendo marcado pela exploso do mercado de

an$lise de *ig +ata' Gmpresas como a %artner e "*H ;$

obseraam em D?66 ,ue o *ig +ata era uma tecnologia

emergente'

Atualmente...


14/28

*ig +ata 2 uma denominao noa para um problema antigo0 ,ue

ad,uiriu propor/es maiores e ,ue exige redobrada ateno' A

possibilidade de colapso dos sistemas de tecnologia de

in#ormao exigiu um salto tecnol!gico na maneira de manipular

dados ,ue exercem grande inIuncia sobre os diersos aspectos

da ida 1umanaJ cincia0 poltica0 economia0 sociedade e

comportamento e ,ual,uer $rea ,ue necessite ser alimentada

com dados para processamento'

Um problema de memria em escalaglobal.


15/28

&os pr!ximos de anos0 s! os dados digitais deero crescer KK ees'

Gm D?D?0 1aer$ K bil1/es de pessoas on-line criando L? tril1/es degigabMtes de dados' < E:N "ntelligent 9esearc1 - ed' HaM 6L - D?6D

*ig +ata 2 um termo aplicado a con;untos de dados cu;o taman1o 2

al2m da capacidade de #erramentas de so#t5are usadas para capturar0

gerenciar e processar os dados dentro de um tempo toler$el decorrido'

Gsto confgurados em grandes #ormatos de dados e em constante

moimento atualmente e ariando de algumas deenas de terabMtes a

petabMtes de muitos dados em um 4nico con;unto de dados'


16/28

Caracter$sticas

3s limites atuais so daordem deJ

NetabMtes GxabMtes ZettabMtes

3s cientistas #re,uentemente emdeparam-se com este cen$rio emJ

Heteorologia %enmica Conectnomia Simula/es de #sicas

complexas

Nes,uisas biol!gicas eambientais

Nes,uisas na "nternet0 fnanas "n#orm$tica empresarial'

At2 aonde Eem taman1o dadosJ 3 ,u est$ sendo analisadoJ


17/28

Oma das c1aes para extrair dados no estruturados como $udio0deo0 imagens0 eentos0 t5eets0 5iPis0 #!runs e blogs0 e trans#orm$-los em in#orma/es aliosas 2 criar um modelo de dados sem@nticoa partir de uma camada ,ue fca em cima do armaenamento dedados'

)Temos de reunir os dados a partir de di#erentes #ontes e dar sentido a

eles' 3 modo pelo ,ual femos isso e a #orma ,ue a ind4stria tem #eito0 2realiar extra/es dos dados a partir de lugares di#erentes e construir umreposit!rio0 depois0 produir relat!rios #ora desse reposit!rio' Q umprocesso ,ue consome tempo e no 2 uma ,uesto extremamenteIexel'.

%ipo de dados e como l&e dar com eles


18/28

%ecnologias

As tecnologias ,ue esto sendo aplicados aos dadosincluemJ

Nrocessamento Naralelo HassioEHassielM Narallel Nrocessing0 HNNR

9edes de prospeco de dadosR

Sistemas de ar,uios distribudosR

*ancos de dados distribudosR

Nlata#ormas de computao em nuemR

"nternetR

Sistemas de armaenamento escal$eis'


19/28


20/28

"s cinco '(s)


21/28

Gm termos t2cnicos poderamos defnir o *ig +ata por cinco termos

,ue denominamos por )> s. E elocidade0 olume e ariedade'

Nor2m0 em algumas teses eem se acrescentando mais dois )s.

Eeracidade e alor'

"s cinco '(s)


22/28

Atualidade * A massifcao do *ig +ata0 no entanto0 aindaen#renta obst$culos' 3 maior deles0 como no poderia deixar de ser,uando o assunto 2 dados0 2 a preocupao ,uanto priacidade'Se a recomendao de linPs patrocinados pelo %oogle ;$ pareceinasia maioria das pessoas0 o mundo e a legislao atuais noesto preparados para as possibilidades ,ue o *ig +ata o#erece de

agregar e tirar conclus/es de dados at2 ento esparsos'

Fa+er um balano dos dados- uase todas as organia/es tma possibilidade de acesso a um Iuxo e,uilibrado de dados noestruturados0 se;am eles dirigidos s redes sociais ou gerados a

partir de sensores ,ue monitoram os andares de uma #$brica0 porexemplo' Has produir uma enxurrada de in#ormao no signifca,ue 2 imperatio salar e manusear cada bMte gerado'

"nde e como aplicar


23/28

Huitas das oportunidades de *ig +ata comearam em $reas #orada T"J os departamentos de marPeting so exemplo' Gles tmbuscado no #enmeno uma #orma de obter mais con1ecimentosobre as necessidades dos clientes e identifcar tendncias decompras por meio das redes sociais',. -eaaliar as estruturas - *ig +ata exige grandes mudanas

na in#raestrutura de seridores e armaenamento na maioria dasempresas'. /struturar os dados 0 3 mundo do *ig +ata em com umalonga lista de noas siglas e tecnologias ,ue proaelmente nuncaestieram antes na mira dos C"3s'

1. 2repare sua e3uipe * A maioria das empresas de T" conta comapenas o talento necess$rio para dar os passos seguinte com *ig+ata' Nor isso0 as capacidades analticas so as mais cruciais e as,ue mais #altam s e,uipes de T"'

2rimeiros negcios


24/28

*ig +ata AnalMtics 2 uma pr$tica ,ue cresce r$pida e

inIuentemente' Nara descobrir ,uantas organia/es e usu$rios

realmente o #aem0 #oi #ormulada uma pes,uisa ,ue perguntou

aos entreistadosJ


25/28

,. C5" - C1ie# +ata 3Vcer 2 o diretor corporatio respons$el

por todo o processamento e minerao de dados de umaempresa'

. Cientista de dados * Om noo campo #oi criado em D??60,uando o termo


26/28

,. !ontando o 7uebra Cabea- +esde a 2poca do boca a

boca e do com2rcio baseado na produo artesanal0 orelacionamento interpessoal entre cliente e produtor passou pordiersas #ases eolutias' Transitamos da indi#erena e do #ocoexclusio na produo e na capitaliao descoberta de certocontrole proporcionado pela in#ormatiao dos sistemas0 comoos de atendimento aos clientes ou Call CenterXO9A0 de

9elacionamento com os clientes C9H0 de "nteligncia deneg!cios *" e0 por fm0 a unifcao de todas essas bases decon1ecimento em um sistema ou G9N'


27/28

. '" 2erde e 8an&a) do 9ocial 4ig 5ata - Gmpresas de

ariados portes se aproeitam atualmente do intenso moimentosocial e tecnol!gico para ampliar bases de seguidores e #s0 unindolistagens de mil1ares e at2 mil1/es de clientes'

Cada um desses clientes mant2m grande ,uantidade de dadospessoais0 de relacionamento0 de atiidades e de 1$bitos de

consumo disponeis de #orma p4blica' Nor2m0 esses dados estoextremamente desestruturados e dispostos em muitas redessociais di#erentes'

As empresas ,ue con,uistaram essas bases0 1o;e as utiliamapenas para manter um relacionamento atra2s de conte4dos nos

canais sociais0 sem benefciarem-se dessa ri,uea de in#orma/es'


28/28

Como consideramos os dados0 ao in2s de l!gica de neg!cios0

como entidade prim$ria em um programa0 2 preciso criar ouredescobrir o idioma ,ue nos permite concentrar os dados0 aoin2s de abstra/es' Gm outras palarasJ

/screer programas mais curtos 3ue tornam claro o 3ueestamos fa+endo com os dados.

Gssas abstra/es por sua e se prestam para a criao demel1ores #erramentas para no-programadores'Hel1or suporte a interatiidade' Se o :adoop tem alguma#ra,uea0 2 a naturea orientada por lotes de computao' A

naturea $gil da cincia de dados ir$ #aorecer ,ual,uer#erramenta ,ue permita mais interatiidade'

Aula Big Data

Documents

Transcript of Aula Big Data