Métodos Digitais para Análise de Dados - Aula 07 - Fontes de informação digitais

MétodosDigitaisparaAnálisedeDados

[email protected]çãoeComunicação

Aula07–Fontesdeinformaçãodigitais:6posdedados,formatosesuascaracterís6cas

FontesdeInformaçãol  Hádiversos6posdefontesdeinformaçãoquepodemserúteis

paraoJornalismodedados:-  Páginasweb-webscrapping

-  Qualquersiteéumafontedeinformaçãoempotencialparaserminerado-  Exemplos:Wikipedia,MercadoLivre,Google,TripAdvisor,Decolar,Booking,etc...

-  Mecanismosdebusca:l  Google,Yahoo,etc...

-  Sitesins6tucionais:l  Portaisdetransparência,portaisdedadosabertos;

-  Ins6tuiçõesdepesquisa:l  IBGE,IPEA,IMB,etc...

-  MídiasSociais:l  Blogs,twi]er,facebook,etc...

-  BibliotecasDigitais:l  BDTDs,etc...

-  Portaiscien^ficos:l  GoogleScholar,La]es,CNPq,CAPES,WebOfScience,Scielo,etc...

Páginasweb•  Hámuitoconteúdooriundodepáginaswebquepodemosterointeressede

coletareanalisar:–  Automa6zaracoletadegrandequan6dadedeinformação–tornandopra6camenteinviável

coletarmanualmente;–  Comoosdadosestãoorganizados;–  Encontrartendênciasepadrões;–  Encontrarnovidades;–  Aproveitaranálisescole6vasparafiltrarinformaçãoequalificarresultados;–  Tomardecisõesapar6rdeflutuaçõesdinâmicasnospadrõesdosdados...

•  Vejamos3exemplosdeaplicaçõesdecoletadedadosdepáginasweb(essaspesquisasseriampra6camenteimpossíveisdeseremfeitasmanualmente):

–  Coletarautoma6camentepreçosdeumprodutoparaavaliartendênciasdeoscilaçãoaolongotempoegerarsérieshistóricasdecomparaçãonoMercadoLivre;

–  Analisaroqueinternautasestãofalandosobreumhotel,avaliandoseuscomentárioselevandoessainformaçãoemconsideraçãoparaaçõesdegestãousandodadosdoTripAdvisor;

–  PesquisarsobrecomofilmesbrasileirossãodefinidosedescritosnaWikipedia.

Webscraping

Coletadadosdesestruturadosousemi-estruturadoseenviaparatecnologiasdeestruturaçãodainformação,taiscomoplanilhas,bancosdedados,documentos.

Mecanismosdebusca

São ferramentas de busca genéricas, identificando os sites mais relevantes para um tema de busca desejado. A relevância é construída com base na citação dos sites por outros sites, ou seja, quanto mais linkado um site for por outros mais próximo dos primeiros resultados de busca ele se torna → filtro de relevância social

Mecanismosdebuscal  Pontosposi6vosdosmecanismosdebusca:-  Potentefiltroderelevânciasocial;-  Permitempesquisaremdiferentesmídias,taiscomoimagens,vídeos,no^ciaseblogs;

-  Permitemrapidamenteobteralgunsresultadosrelevanteseresolveramaiorpartedasquestões.

l  Pontosnega6vosdosmecanismosdebusca:-  Temostempoedisposiçãodenavegarpelas2ou3primeiraspáginasnomáximo;

-  Ainformaçãoretornademaneiradesestruturada:édilcilcoletartodosossiteseavaliaramassadedadosemconjunto.

Mecanismosdebuscal  Existemalgumasferramentasqueajudamaterumpanoramageraldoquetemsidopesquisadonessesmecanismos:-  GoogleTrends

l  h]p://www.google.com/trends/?hl=pt-BR_ALLl  ferramentadogooglequepermitesabermosoquetemsidopesquisadono

mundo;l  Permitetambémcompararmostermosdebuscaparaanalisaradiferençade

interessenelesporpartedosusuáriosdogoogle.-  GoogleAlerta

l  h]ps://www.google.com.br/alertsl  Permitevocêcriarno6ficaçõesparareceberumlinktodavezquesua

expressãodeinteresseaparecernawebl  GoogleAdWords:

l  h]ps://adwords.google.com/KeywordPlanner?hl=pt-brl  Permitecompararvolumesdebuscasporpalavras-chave.

MecanismosdebuscaGoogleTrends

MecanismosdebuscaGoogleAlerta

A informação chega até você!

Sitesins6tucionais

l  Devidoaimportantesmovimentossociais,háhojenoBrasilalgumasaçõesfundamentaisnosen6dodeforneceremdadosdeaçõesins6tucionais:-  LeideAcessoàinformação–18/11/2011

l  h]p://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm

-  LeiComplementardaTransparência–27/05/2009l  h]p://www.planalto.gov.br/ccivil_03/leis/lcp/lcp131.htm

-  Porcontadisso,osgovernosfederal,estaduaisemunicipaispassaramadesenvolverPortaisdeTransparênciaedisponibilizardadosdaGestãoPúblicapara“fácil”acessoaocidadão!→fontesfundamentaisparaJornalismodeDados.

Sitesins6tucionais

l  GovernoFederal:h]p://www.portaltransparencia.gov.br/

Sitesins6tucionais

l  GovernoFederal:h]p://www3.transparencia.gov.br/TransparenciaPublica/

Sitesins6tucionaisl  GovernosEstaduaisl  Todososgovernos

possuemportais,emestágiosdiferentesdedesenvolvimento;

l  Atabelaaoladoécriadapelainicia6vaÍndicedeTransparência;

l  ParceriaentreOAB–OrdemdosAdvogadosdoBrasileCentrodeEstudosdeOpiniãoPública(CESOP)daUnicamp

Sitesins6tucionaisl  GovernosMunicipaisl  Ainicia6vatambém

avaliaváriascidadescommaisde200.000habitantes;

l  Atabelaaoladoapresentaoestadodascapitaisbrasileiras.

Sitesins6tucionais

l  Essessitesforneceminformaçõesvariadassobre:-  Gastosdogoverno;-  Formasdecontratação;-  Áreasdeinves6mento;-  Empresascontratadas;-  Descentralizaçãoderecursos;-  Saláriosdefuncionários;

l  Permitemamplaspesquisaecruzamentosdedados.

Ins6tuiçõesdepesquisa

l  IBGE–Ins6tutoBrasileirodeGeografiaeEsta^s6ca-  h]p://www.ibge.gov.br/home/-  Umadasprincipaisfontesdeesta^s6casbrasileiras-  Diversosestudosespeciais

l  h]p://www.ibge.gov.br/home/esta6s6ca/pesquisas/estudos_especiais.php


l  IPEA–Ins6tutodePesquisaEconômicaAplicada-  Fornecesériesdedadosmacroeconômicos,regionaisesociais.

-  h]p://www.ipeadata.gov.br/


l  IPEA–Ins6tutodePesquisaEconômicaAplicada-  Dadosmacroeconômicos:

l  Basededadoseconômicosefinanceirosman6dapeloIpeaincluindosériesesta^s6casdaeconomiabrasileiraedosaspectosquelhesãomaisper6nentesnaeconomiainternacional.Osdadossãoatualizadosedocumentadosdeformasistemá6caeapresentadosnamesmaunidademonetária.Recursosdisponíveispermitemamanipulaçãomatemá6caeaextraçãodosresultadosemplanilhasougráficos.

-  Dadosregionais:l  Basededadosdemográficos,econômicosegeográficosparaasregiões,estadosemunicípiosbrasileirosqueseiniciam

noCensoDemográficode1872.Abuscadassériesesta^s6caspodeserfeitapor"Palavras-chave"nasuadescrição,"Temas"ouassuntosdeinteresse,"Fontes"depublicaçãooupelo"Nívelgeográfico"paraoqualépossívelagregarosdados.

-  Dadossociais:l  Basededadoseindicadoressociaisabrangendotemasdiversos,comonívelderendapercapita,desigualdadena

distribuiçãoderendadosindivíduosedomicílios,desempenhoeducacional,condiçõesdesaúdeehabitação,inserçãonomercadodetrabalho,situaçãodosdireitoshumanosdapopulação,entreoutros.


l  IPEA–Ins6tutodePesquisaEconômicaAplicada-  Possuiinteressanteericomaterialdepublicaçõesquesetornamfontedeconsultafundamentais

l  h]p://www.ipea.gov.br/portal/index.php?

op6on=com_alphacontent&view=alphacontent&Itemid=357


l  INEP–Ins6tutoNacionaldeEstudosePesquisasEducacionaisAnísioTeixeira-  h]p://portal.inep.gov.br/-  PossuiricoacervodedadossobreeducaçãonoBrasil:censoescolardaeducaçãobásica,educaçãosuperior,indicadoresdedesempenho(ideb,enade,saebe,enem,etc...)

l  h]p://portal.inep.gov.br/ins6tucional-guia_sistemas


l  DATASUS–empresadeprocessamentodedadosdoMinistériodaSaúde;-  PossuiumprojetochamadoTABNET–InformaçõesdeSaúde

l  h]p://www2.datasus.gov.br/DATASUS/index.php?area=02


l  Ins6tutoMauroBorgesdeEsta^s6caseEstudosSócioEconômicos–IMB-  DadosespecíficosdoestadodeGoiás-  h]p://www.imb.go.gov.br/


l  Háváriasoutrasins6tuiçõesdepesquisadeestados,municípiosemesmoprivadasquepodemserinteressantedesepesquisarsobreumdeterminadoassunto;

l  Valesempreavaliarseexistealguémouumains6tuiçãoquejáproduzpesquisaesérieshistóricasdeindicadoressobreumtema:-  Permiteanálisescompara6vasemesmoacrí6caaosmeiosdeconstruçãodessesindicadores.

MídiasSociais

l  SistemasWebqueservemcomoplataformasdemídiassociaissãohojeumafonteenormedeinformaçãoparaproduçãodepesquisas;

l  Amaioriadessasplataformaspossuiumainterfaceparaconsultarseusdadosegeraranálises;

l  Hámuitosso�waresinteressantesquepermitemconsultaressesdadosemtemporealeentendermelhoroqueseususuáriosestãoproduzindo.

l  Vejamosporplataforma!

APIs•  AformamaiscorretadenoscomunicarmoscomumamídiasocialépormeiodeumaAPI(pormeiodeumprogramadecomputador):

APIFacebook

h]ps://developers.facebook.com/docs/graph-api?locale=pt_BR

Webscrapingdemídiassociais

•  Umaoutraformadecoletarmosdadosdemídiassociais,maisfáciltecnicamente,éu6lizarmosferramentasdewebscrapingemcimadessessites;

•  Osdadospodemsairmenosprecisosemaisdesorganizados,masemgeral,essatécnicapodesermaisrápidaefácilparacasosdepequenoamédioporte.

BibliotecasDigitais

l  Sãorepositóriosdeconteúdosemgeralu6lizadasporuniversidadesparadepósitodedissertaçõesdemestradoetesesdedoutorado,entreoutros6posdemonografias.

l  UmadasmaisimportanteséaBDTD–BibliotecaDigitaldeTeseseDissertaçõesdoIBICT–Ins6tutoBrasileirodeInformaçãoCien^ficaeTecnológica:-  h]p://bdtd.ibict.br/-  Possuimaisde248.900documentosdigitalizadosemaisde90universidadesbrasileirasintegramorepositório.

BibliotecasDigitais

l  Muitasuniversidadespossuemseusprópriosrepositóriosepodemserconsultadosparagerarpesquisaslocaisemapasdeconhecimentoins6tucionais:-  UFG-h]p://repositorio.bc.ufg.br/tede/-  USP-h]p://www.teses.usp.br/

l  Fornecemestudosqualificadossobretemasdeinteressealémdefacilitarencontrarpessoasegruposdepesquisaqueestãotrabalhandocomessestemas.

PortaisCien^ficosl  Aproduçãocien^ficaéumadasáreasmaisavançadasemtermos

dedocumentaçãoeregistrodigitaldesuaprodução;l  Háváriasferramentasetecnologiasdeapoioqueajudama

iden6ficaremapearaproduçãodepesquisanoBrasilenomundo;l  Sãofontesestratégicasparaseconhecernovastendências,novas

pesquisas,áreasdeinovação,temasemergenteseproduzirumavisãogeralsobreinteressesdetemasdepesquisa.-  Permitemcri6carepropornovasáreas,perceberondehá

centrosdeexcelência,anecessidadedeinves6mentos,entrevárioselementosinteressantes.

GoogleScholarl  h]p://scholar.google.com.br/l  Permitepesquisaemar6gos,livrosepublicaçõesacadêmicas.

PlataformaLa]esl  Plataformaquecadastratodosospesquisadoresbrasileirosemdiversosníveise

áreasdeconhecimento.l  Permitebuscarpesquisadoresporáreadeinteresseeconhecerpessoasquesão

especializadaseproduzempesquisanessasáreas.l  h]p://la]es.cnpq.br/

DiretóriodeGruposdePesquisa

l  h]p://dgp.cnpq.br/dgp/faces/consulta/consulta_parametrizada.jsfl  Plataformaquedáacessoaosgruposdepesquisaexistentesnopaísportemas,

pessoas,ins6tuiçãoelinhasdepesquisa.

MapadeInves6mentosdoCNPq

l  h]p://efomento.cnpq.br/efomento/distribuicaoGeografica/distribuicaoGeografica.do?metodo=apresentarl  PermitevisualizaradistribuiçãodebolsasdoCNPqpelopaís,porcategorias,ins6tuições,estadosentreoutros...

GeoCapesl  h]p://geocapes.capes.gov.br/geocapesds/#l  DistribuiçãodebolsasdaCAPESpelopaís

PlataformaSucupiral  Plataformaqueagregatodaaproduçãocien^ficadosprogramasdeMestradoe

DoutoradodoBrasill  h]ps://sucupira.capes.gov.br/sucupira/

Scielol  Principalportalderevistascien^ficasdoBrasill  Agregamaisde500.000ar6gosdemaisde1100periódicos;l  h]p://www.scielo.org/php/index.php

WebOfSciencel  Umdosprincipaisportaisderevistascien^ficasdomundo→permiteteruma

noçãodoqueasprincipaisins6tuiçõesdepesquisaestãofazendoedescobrirondetemasdeinteresseestãosendopesquisados;

l  h]p://www.webo�nowledge.com/

Scopusl  Étambémumdosprincipaisportaisderevistascien^ficasdomundo→permite

terumanoçãodoqueasprincipaisins6tuiçõesdepesquisaestãofazendoedescobrirondetemasdeinteresseestãosendopesquisados;

l  h]p://www.scopus.com/

Paraapróximaaula

•  Parafacilitariniciarmosotrabalhosobreoar6godeavaliaçãodadisciplina,considereasseguintesquestões:– Qualoproblemadepesquisavocêpretendetrabalhar?

– Que6podepesquisavocêpretenderealizar?(olhenasprimeirasaulasdadisciplina)

– Que6podeinformaçãovocêprecisacoletar?– Queperíododetempovocêprecisaparasuaanálise?– Quefontedeinformaçãovocêplanejau6lizar?

Métodos Digitais para Análise de Dados - Aula 07 - Fontes de informação digitais

Science

Transcript of Métodos Digitais para Análise de Dados - Aula 07 - Fontes de informação digitais