SGBD

Membros:

LeandroCardosoAguiar

MurilloParreira

RafaelGondimPeixoto

Tpico

Captulo11

Armazenamentoeconsultadedados

Introduo

Comeacomumavisogeraldomeiodearmazenamentofsico;

Mecanismosparareduziraschancesdeperdadedadosdevidoafalhas;

Comoosregistrossomapeadosemarquivoseposteriormentesomapeadosembitsnodisco;

Introduo

Anlisedebaixonveldomodelodebancodedados;

Caractersticasdosmeiosdearmazenamentobsicos,seususosmaiscomuns,vantagensedesvantagens;

Estruturasdedadosquepermitemacessorpidoaosdados;

Visogeraldosmeiosdearmazenamentofsicos

Variedadedetiposdearmazenamentodedados;

Classificadospela: Velocidadecomqueosdadospodemseracessados; Custoporunidadededadosparacompraromeio; Confiabilidadedomeio.

Destacamseosseguintesmeios;

Principaismeiosdearmazenamento

Cache: Formadearmazenamentomaisrpidaedispendiosa.

Memriaprincipal: Utilizadaparaosdadosqueestodisponveisserem

operados; MuitopequenaparaarmazenartodoumBD; Contedoseperdecomfaltadeenergiaoufalha.

Principaismeiosdearmazenamento

MemriaFlash: Dadossobrevivemafaltadeenergia; EscreverimplicaemapagartodooBD,parase

escrevernovamente; Popularparasubstituirdiscomagnticocomrelao

pequenosvolumesdedados;

Discomagntico: Principalmeiodearmazenamentodedadosalongo

prazo; Moveseosdadosdodiscoparaamemriapara

seremacessados;

Principaismeiosdearmazenamento

Armazenamentotico: CD,DVD,esuasvariaes; Geralmenteusadosparabackupdosdadosdeum

BD.

ArmazenamentoemFita: Muitousadoparabackup; Maisbarataqueosdiscos,pormacessomaislento

dosdados; Acessosequencial.

Hierarquia

Discosmagnticos

Tamanhodosdiscoscresceanualmente;

UmBDgrandepodeexigircentenasdediscos;

Sorelativamentesimples: Placas; Trilhas; Setores; Cabeadeleituraescrita;

Discosmagnticos

Placapossuiformacircularplana,duassuperfciescobertascommaterialmagntico;

Cabeadeleituraescritaficaposicionadaacimadasuperfciedaplaca;

Asuperfciedosdiscodivididaemtrilhas:

Trilhassosubdivididasemsetores,quesoamenorunidadedeinformaododisco;

Discosmagnticos

Cadaladodaplacadeumdiscopossuiumacabeadeleituraescrita;

Cabeadeleituraescritamovepelaplacaparaacessardiferentestrilhas;

Umdiscocontmmuitasplacas:

Figuradodisco

Discosmagnticos

Cabeassomantidasmaisprximopossveldaplaca;

Cabeaflutuaalgunsmicrosdasuperfciedodisco;

Quedasdecabeapodemserumproblema;

Controladoradediscorealizaainterfaceentreosistemadecomputadoreohardware;

Realizachecksum;

Discosmagnticos

Controladorastambmremapeamossetoresdefeituosos;

Discossoconectadospormeiodeumainterconexodealtavelocidade;

Diversasinterfacesfazemessepapel: IDE; ATA,PATA,SATA; SCSI.

Discosmagnticos

Podemestarsituadosremotamenteeserconectadosporumarededealtavelocidadecontroladora;

ArquiteturaSAN(StorageAreaNetwork);

RAID;

ArquiteturaNAS(NetworkAttachedStorage)

Medidasdedesempenho

Principaismedidasdasqualidadesdeumdisco: Capacidade; Tempodeacesso; Taxadetransfernciadedados; Confiabilidade;

Tempodeacessootempodesdequandoumasolicitaodeleituraouescritaemitidaatquandoiniciaatransfernciadedados;

Medidasdedesempenho Braosemovedemodoquefiqueposicionadosobrea

trilhacorreta,eesperaratqueosetorapareasobreeleenquantoodiscogira,tempodebusca;

Tempodebuscamdio;

Tempodebuscamdio1/3dotempodebuscadopiorcaso;

Variamatualmenteentre4e10milissegundos;

Medidasdedesempenho

Tempodelatnciarotacional;

Velocidadesrotacionaishojevariamentre5400rotaesporminutoat15000rotaesporminuto;

Metadedeumarotaododisconecessriaparaqueoinciodosetordesejadoapareasobacabea;

Tempodelatnciamdia>Metadedotempoparaarotaocompletadodisco;

Medidasdedesempenho

Tempodeacesso=Tempodebusca+TempodeLatncia,variandoentode8a20milissegundos;

Taxadetransfernciadosdados;

Sistemasdediscoatuaisadmitemtaxamximade25a100mB/s;

Trilhasmaisinternas,ataxamenor;

Medidasdedesempenho

Tempomdioparaafalha(MTTF),medidadaconfiabilidadedodisco;

Deacordocomfabricantes,otempomdioparaafalhadeumdiscovariaentre500.000a1.200.000horas;

Naprticaumpoucodiferente;

Otimizaodeacessoaoblocodedisco

SolicitaesdeE/Sespecificaoendereonodiscoaserreferenciado;

Endereoestnaformadenmerodebloco;

Bloco>Unidadelgicaconsistindodeumnmerofixodesetorescontguos;

Variamde512bytesaalgunsKbytes;

Otimizaodeacessoaoblocodedisco

Diversastcnicasparamelhoraravelocidadedeacessoaosblocosnodisco:

Escalonamento; Organizaodearquivo; Bufferdeescritanovoltil; Discodelog.

Escalonamento

Solicitablocosnaordememqueelespassaropelacabeadeleituraescrita;

Algoritmosdeescalonamentodebraododisco;

Algoritmodoelevador;

Organizaodearquivo

Organizarblocosdeumamaneiraquecorrespondaaomodocomosoacessados;

Colocaopesosobreoprogramadorouadministradordosistema;

Comotempo,umarquivosequencialpodesefragmentar;

Algunssistemaspossuemutilitriosquepodemdesfragmentarodisco,aumentandoodesempenho;

Buffersdeescritanovolteis Dadosseperdemdamemriaprincipalcomafaltade

energia;

Desempenhodependembastantedavelocidadedaescritasnodisco;

NVRAM,usadaparaagilizarasescritasnodisco;

ControladoraescrevenaNVRAM,queporsuaveznotificaosistemasobreaescrita;

EscrevenodiscoquandonohouversolitaesouquandoobufferdaNVRAMencher;

Discodelog Reduzaslatnciasdeescrita;

Discodedicadoaescreverumlogsequencial,quaseeliminandootempodebusca;

Sistemasdearquivosjournaling;

Sistemasmodernosimplementamjournaling,utilizandodiscodelogparaescreverinformaesinternasaosistemasdearquivos;

Sistemasdebancodedadosimplementamsuasprpriasformasdelogging;

RAID Arrayredundantedediscosindependentes;

Grandequantidadedediscos;

Melhoranavelocidadedeleituraeescritadedadosquandodiscosoperamemparalelo;

Ganhonaconfiabilidadeearmazementodosdados;

Utilizadotambmporapresentarmaiorfacilidadedegerenciamentoeoperaes;

RAID:Melhoriadaconfiabilidadepormeiodaredundncia

Grande probabilidade de um disco qualquer em umconjuntofalhe;

Soluo:Introduziraredundncia;

Tcnica: Duplicao de cada disco, tcnica simples,pormdispendiosa!

Tcnicaconhecida tambmemespelhamento,osdadossoduplicadosemdiscosdiferentes,casohajafalhaemum,osdadospodemserlidosapartirdooutrodisco;

RAID:Melhoriadaconfiabilidadepormeiodaredundncia

Faltadeenergiaeltricaedesastresnaturaispodemresultaremdanosadoisdiscosaomesmotempo;

Envelhecimentodediscosaumentamaprobabilidadedefalhanosegundodiscoenquantooprimeirodiscoaindareparado;

Mesmocomessasadversidadesessesistemamaissegurodoqueossistemasdediscosnicos;

RAID:Melhoriadodesempenhopormeiodoparalelismo

Melhorianavelocidadedeleitura;

Taxadetransfernciadecadaleituraigualdeumsistemadedisconico;

Melhoradanataxadetransfernciaporespalhamentononveldebit;

Espalhamentononveldeblocos;

RAID:Melhoriadodesempenhopormeiodoparalelismo

Espelhamentononveldeblocoaformamaisutilizadadeespalhamentodedados;

Principaisobjetivosparaoparalelismo:

Balancearacargadevriosacessospequenos;

Realizargrandesacessosemparalelocomoobjetivodereduzirotempoderespostaaessesacessos;

NveisdeRAID RAIDnvel0:Ofereceaosarraysdediscoo

espalhamentodeblocos,semqualquerredundncia;

RAIDnvel1:Refereseaoespelhamentodediscocomespalhamentodebloco;

RAIDnvel2:Empregabitsdeparidadeparadetecoecorreodeerros;

RAIDnvel3:Organizaocomparidadeintercaladaporbit;

NveisdeRAID RAIDnvel4:Organizaodeparidadeintercaladapor

bloco;

RAIDnvel5:Organizaodeparidadeintercaladaporbloco.Nestenveltodososdiscospodemsatisfazersolicitaesdeleituraaocontrriodonvel4emqueodiscodeparidadenopodesatisfazersolicitaes;

RAIDnvel6:Semelhanteaonvel5,armazenandoinformaesredundantesparaprotegercontramultiplasfalhasdedisco;

NveisdeRAID

EscolhadonveldeRAIDFatores que devem ser considerados na escolha de um

niveldeRAID:

Customonetriodosrequisitosextrasdearmazenamentoemdisco;

Requisitos de desempenho em termos do nmero deoperaesdeE/S;

Desempenhoquandoumdiscotiverfalhado;

Desempenhoduranteareconstruo;

EscolhadonveldeRAID Nvel0:Usadonasaplicaesdealtodesempenhoonde

aseguranadosdadosnocrtica;

Nvel1:AplicaescomrequisitosdearmazenamentomoderadosealtosrequisitosdeE/S.Nestenvelareconstruomaisrpida;

Nveis2e4foramsubstitudospelosnveis3e5respectivamente;

EscolhadonveldeRAID

Nvel5:Ofereceboastaxasdetransfernciaparagrandestransferncias;

Nvel6:Oferecemelhorconfiabilidadequeonvel5,pormnoaceitopormuitasimplementaesdeRAID;

Questesdehardware RAIDdesoftware;

RAIDdehardware: PodemutilizaraRAMnovoltil;

Permitetrocaaquentetrocadediscossemodesligamentodosistema;

Fontedealimentaopodesetornarumnicopontodefalha.Soluo:Fontesdealimentaoredundantes;

Armazenamentotercirio

Discospticos

FitasMagnticas

Discospticos CompactDisk

Distribuiodesoftware,dadosdemultimidia,etc. Capacidadede700MB Baixocusto;

DigitalVideoDisk SubstituiodoCD; Capacidadevariandode4,7GBa17GB;

Formatosrecentes: HDDVDeDVDBluray;

Discospticos CDeDVDapresentamtempodebuscamuitomaiores

(100milissegundosemmdia)doqueunidadesdediscosmagnticos;

CDeDVDapresentamtaxasdetransfernciamenorquandocomparadosaosdiscosmagnticos: LeituradeCD:de3a6MB/s LeituradeDVD:de8a20MB/s

Discospticosparanicaescritaapresentamtempodevidamaiorqueosdiscosmagnticos;

Jukeboxes;

Fitasmagnticas Podegravargrandesvolumesdedados;

Lentasquandocomparadasaosdiscosmagnticosepticos;

Limitadasaoacessosequencial;

Usadasprincipalmenteparabackup;

mantidaemumspoolebobinadaerebobinada;

Fitasmagnticas Capacidade:

Variandoentre10a330GBdependendodotipodefita.

TaxasdetransfernciadedadossodaordemdeatdezenasdeMB/s.

Possuemlimitenonmerodevezesquepodemserlidasougravadasnomodoseguro;

Jukeboxesdefita,assimcomoosjukeboxespticos;

Acessoaoarmazenamento Bloco:Arquivoparticionadoemunidadesde

armazenamentodetamanhofixo;

Principalobjetivo:Minimizaronmerodetransfernciasdeblocoentroodiscoeamemria;

Manteromximodeblocospossvelnamemriaprincipal.

GerenciadordeBufferPrograma

GerenciadordeBuffer

Blocoemmemria Bloconodisco

Liberarespao?

Requisiodedados

Salvarbloconodisco

Recuperarblocoparamemria

Escolherbloco Sim

No

PolticasdesubstituiodeBuffer

Minimizaroacessoaodisco;

Algoritmosdesubstituio?

LRU(LastRecentUsedMenosusadorecentemente)

Lanarimediatamente

MRU(MostRecentUsedMaisusadorecentemente)

PolticasdesubstituiodeBufferExemplo:Duastabelas:cliente,credor.Emblocosdiferentes

PolticasdesubstituiodeBuffer

Credor1Credor1.nomecliente==Cliente1.nomecliente

Credor1.nomecliente==Cliente2.nomecliente

Credor1.nomecliente==ClienteN.nomecliente

.

.

.

Credor2Credor2.nomecliente==Cliente1.nomecliente

Credor2.nomecliente==Cliente2.nomecliente...

Credor2.nomecliente==ClienteN.nomecliente

PolticasdesubstituiodeBuffer Evitarremoverpartesacessadascommaisfreqncia:

Dicionriodedados;

ndicesdearquivos;

Adaptarasituaes:

Concorrncia

Requisiesativastempreferenciasobreadiadas.

Organizaodearquivos

Umarquivoorganizadologicamentecomoseqnciaderegistros;

Registrossomapeadosemblocosdedisco;

Exemploderegistro:typedepsito=record

nmero_contachar(10);nome_agciachar(22);saldonumeric(12,2);end

Registrosdetamanhofixo

10bytes 22bytes 8bytes

40bytes

Registrosdetamanhofixo

Fceisdeimplementar;

Problemas: Difcilexcluirumregistro;

Registrosemfinaldoblocopodemsedividirem2blocos

(bloco512bytes=12registros+32byteslivres)

Registrosdetamanhofixo

Trabalhodesnecessriomovendoregistros

Podegerarmaisacessoaodisco.

Registrosdetamanhofixo

Registrosdetamanhovarivel Podemsurgirporcausa:

Armazenamentodevriostiposderegistroemumarquivo;

Registroscomtamanhovarivelparaumoumaiscampos;

Usodearraysemulticonjuntos;

Registrosdetamanhovarivel Estruturadepginaemslot:

Adicionarcabealhonobloco1.Nmerodeentradasderegistronocabealho2.Finaldoespaolivrenobloco3.Arraycomolocaleotamanhodecadaregistro

Nomuitoonerosomanteroblocoorganizado,poisblocostemotamanhotpicode4kilobytes.Amaioriadosbancodedadosrelacionaislimitamotamanhodoregistroparanosermaiorqueotamanhodobloco.

Organizaoderegistroemarquivos Relaoumconjuntodearquivos

Maneirasdeseorganizarregistrosemarquivos:

OrganizaodearquivosemHeap; Qualquerlugarquetenhaespao

Organizaoseqencialemarquivos; Ordenadosdeacordocomumachavedebusca

OrganizaodearquivoscomHashing;

Organizaoseqencialdearquivos

Recuperao,ordenada,maisrpida(bompravisualizao);

Difcilmanterordemseqencialfsica,cominseroeexcluso;

Organizaoseqencialdearquivo

Exemploinsero>

Nafaltadeespaonoblocousaseoblocodeestouro;

Reorganizao,nonvelfsico,paramanteraeficincia;

Dicionriodedados

Armazenadadossobreasrelaes,eoutrainformaes: Nomedasrelaes; Nomedosatributosdasrelaes; Domnioetamanhodosatributos; Restriesdeintegridade(restriesdechave)

Osistematambmarmazenaoutrosdados,comodeusurios: Nomedosusuriosautorizados; Informaesdeautorizao; Senhaseoutrasinformaes;

Dicionriodedados

Obancodedadostambmpodearmazenardadosestatsticos: Numerodetuplasemcadarelao; Mtododearmazenamento(agrupadoouno

agrupado);

Informaessobrearquivos: Seusaumnicoarquivo,sistemaguardaosblocos

quecontemregistrosdecadarelao; Seusavriosarquivos,onomedecadaarquivousado

paraguardarasrelaessalvo;

Dicionriodedados

Geralmenteosdadossobreobancodedadosarmazenadonoprpriobancodedados;

Resumo

Existem vrios tipos de armazenamento de dados namaioria dos sistemas de computador. Eles soclassificados pela velocidade, custo e confiabilidade.Entre os meios disponveis esto cache, memriaprincipal, memria flash, discos magnticos, discospticosefitasmagnticas.

Resumo

Dois fatores determinam a confiabilidade do meio dearmazenamento: se uma falha de energia ou falha dossistemacausaperdadedadosequalaprobabilidadedefalhafsicadodispositivodearmazenamento.

Resumo Podemos reduzir aprobabilidadede falha fsica retendo

vriascopiasdosdados.Paraosdiscos,podemosusaroespelhamento. Ou ento podemos usar mtodos maissofisticadoscombaseemRAID.Espalhandodadospelosdiscos,essesmtodosoferecemaltastaxadevazoemgrandesacessos;introduzindoaredundncianosdiscos,eles melhoram muito a confiabilidade. Vriasorganizaes RAID diferentes so possveis, cada umacom diferentes caractersticas de custo, desempenho econfiabilidade.RAIDnvel1eRAIDnvel5soosmaisutilizados.

Resumo

Umaformadereduziraquantidadedeacessosaodisco manter o mximo de blocos possvel na memriaprincipal.Comonopossvelmantertodososblocosnamemria principal, precisamos gerenciar a alocao doespao disponvel na memria principal para oarmazenamento de blocos. O buffer quela parte damemriaprincipaldisponvelparao armazenamentodecpias de blocos de disco. O subsistema responsvelpela alocao de espao em buffer chamado degerenciadordebuffer.

Resumo

Podemos organizar um arquivo logicamente como umaseqencial de registros mapeados nos blocos de disco.Umatcnicaparamapearobancoedadosemarquivosusarvriosarquivosearmazenarregistrosdeapenasumtamanho fixo em qualquer arquivo. Uma alternativa estruturar os arquivos de modo que eles possamacomodar vrios tamanhos para os registros. Omtododepginaemslotmuitousadoparalidarcomregistrosdetamanhovariveldentrodeumblcodedisco.

Resumo

Comoosdadossotransferidosentreoarmazenamentodediscoeamemriaprincipalemunidadedebloco,valeapenaatribuirregistrosdearquivosaosblocosdemodoque um nico bloco contenha registros que queremoscom apenas uma cesso de bloco, economizamosacessosaodisco.Comoacessosaodisconormalmentesoogargalonodesempenhodeumsistemadebancodedados,aatribuiocuidadosaderegistrosaosblocospoderenderimportantesdividendosdedesempenho.

Resumo

ODicionriodedados,tambmconhecidocomocatlogodo sistema, registra metadados, que so dados sobredados, como nomes de relao, nomes e tipos deatributo, informao de armazenamento restries deintegridadeeinformaesdeusurio.

Bibliografia

Silberchatz,A.;Korth,H.F.;Sudarshan,SSitemasdebancodedados