MC-202 — Unidade 18 Tabela de Espalhamentorafael/cursos/1s2017/mc...MC-202 — Unidade 18 Tabela...

MC-202 — Unidade 18Tabela de Espalhamento

Rafael C. S. [email protected]

Universidade Estadual de Campinas

1º semestre/2017

Introdução

Queremos contar o número de ocorrências de cada palavra dabiblioteca

• no idioma, há cerca de milhares de palavras (≈ 435.000)• mas no total, há milhões de ocorrências!

2

Introdução


• no idioma, há cerca de milhares de palavras (≈ 435.000)

• mas no total, há milhões de ocorrências!

2

Introdução


• no idioma, há cerca de milhares de palavras (≈ 435.000)• mas no total, há milhões de ocorrências!

2

Exemplo

dia: 6 ocorrênciasescola: 13 ocorrênciasgratuito: 1 ocorrênciailha: 8 ocorrênciasjeito: 5 ocorrênciaslata: 2 ocorrências

Queremos acessar uma palavra como se fosse um vetor:ocorrencias['ilha'] = 8

Primeiras opções:• Vetor - acesso/escrita em O(n)• Vetor ordenado - acesso em O(lg n)

Conseguimos fazer em O(1)?

3

Exemplo



Primeiras opções:

• Vetor - acesso/escrita em O(n)• Vetor ordenado - acesso em O(lg n)


3

Exemplo



Primeiras opções:• Vetor - acesso/escrita em O(n)

• Vetor ordenado - acesso em O(lg n)


3

Exemplo





3

Exemplo




Conseguimos fazer em O(1)?3

Caso fácilSe tivéssemos apenas uma palavra começando com cadaletra era fácil

• bastaria ter um vetor de 24 posições

a 0

b 1c 2d 3e 4

f 5g 6

h 7

i 8...

......

dia

escola

gratuito

ilha

4

Palavras que começam com a mesma letra

0

123

45

67

8...

......

NULL

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

Ideia:

• uma lista ligada para cada letra• guardamos os ponteiros para as listas em um vetor

5


0

123

45

67

8...

......

NULL

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

Ideia:• uma lista ligada para cada letra

• guardamos os ponteiros para as listas em um vetor

5


0

123

45

67

8...

......

NULL

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

Ideia:• uma lista ligada para cada letra• guardamos os ponteiros para as listas em um vetor

5


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

NULL

Inserindo “bola”:• descobrimos a posição pela primeira letra• atualizamos o vetor para apontar para o nó de “bola”

6


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

NULL

Inserindo “bola”:

• descobrimos a posição pela primeira letra• atualizamos o vetor para apontar para o nó de “bola”

6


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

NULL1

Inserindo “bola”:• descobrimos a posição pela primeira letra

• atualizamos o vetor para apontar para o nó de “bola”

6


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

NULL1


6


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

1 bola


6


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bola

Inserindo “bela”:• descobrimos a posição pela primeira letra• temos uma colisão com “bola”• inserimos na lista da letra b

7


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bola

Inserindo “bela”:

• descobrimos a posição pela primeira letra• temos uma colisão com “bola”• inserimos na lista da letra b

7


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bola

Inserindo “bela”:• descobrimos a posição pela primeira letra

• temos uma colisão com “bola”• inserimos na lista da letra b

7


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bola

Inserindo “bela”:• descobrimos a posição pela primeira letra• temos uma colisão com “bola”

• inserimos na lista da letra b

7


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bela bola

Inserindo “bela”:• descobrimos a posição pela primeira letra• temos uma colisão com “bola”• inserimos na lista da letra b

7


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bela bola

Após a inserção de várias palavras começando com b:• inserimos “bolo”,

“boca”, “broca”• a tabela ficou degenerada em lista

8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bela bola

Após a inserção de várias palavras começando com b:

• inserimos “bolo”,

“boca”, “broca”• a tabela ficou degenerada em lista

8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bela bola


“boca”, “broca”

• a tabela ficou degenerada em lista

8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bolo bela bola


“boca”, “broca”


8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

bolo bela bola

Após a inserção de várias palavras começando com b:• inserimos “bolo”, “boca”,

“broca”


8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

boca bolo bela bola

Após a inserção de várias palavras começando com b:• inserimos “bolo”, “boca”,

“broca”


8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

boca bolo bela bola

Após a inserção de várias palavras começando com b:• inserimos “bolo”, “boca”, “broca”


8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

broca boca bolo bela bola

Após a inserção de várias palavras começando com b:• inserimos “bolo”, “boca”, “broca”


8


0

123

45

67

8...

......

NULL

NULL

dia

escolaNULL

gratuito

NULL

ilha

broca boca bolo bela bola

Após a inserção de várias palavras começando com b:• inserimos “bolo”, “boca”, “broca”• a tabela ficou degenerada em lista

8

Espalhamento com Encadeamento Separado

0

123

45

67

8

NULL

NULL

NULL

broca

boca

bolo

bela

bola

dia

escola

gratuito

ilha

NULL

NULL

NULL

NULL

NULL

NULL

Corrigindo:

• vamos tentar espalhar melhor• usamos um hash da chave (palavra)• vamos associar a chave a um número inteiro (entre 0 e 8)

9


0

123

45

67

8

NULL

NULL

NULL

broca

boca

bolo

bela

bola

dia

escola

gratuito

ilha

NULL

NULL

NULL

NULL

NULL

NULL

Corrigindo:• vamos tentar espalhar melhor

• usamos um hash da chave (palavra)• vamos associar a chave a um número inteiro (entre 0 e 8)

9


0

123

45

67

8

NULL

NULL

NULL

broca

boca

bolo

bela

bola

dia

escola

gratuito

ilha

NULL

NULL

NULL

NULL

NULL

NULL

Corrigindo:• vamos tentar espalhar melhor• usamos um hash da chave (palavra)

• vamos associar a chave a um número inteiro (entre 0 e 8)

9


0

123

45

67

8

NULL

NULL

NULL

broca h("broca") = 3

boca

bolo

bela

bola

dia

escola

gratuito

ilha

NULL

NULL

NULL

NULL

NULL

NULL

Corrigindo:• vamos tentar espalhar melhor• usamos um hash da chave (palavra)• vamos associar a chave a um número inteiro (entre 0 e 8)

9


0

123

45

67

8

NULL

NULL

NULL


boca

bolo

bela

bola

dia

escola

gratuito

ilha

broca

NULL

NULL

NULL

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo

bela

bola

dia

escola

gratuito

ilha

broca

NULL

NULL

NULL

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo

bela

bola

dia

escola

gratuito

ilha

broca

boca

NULL

NULL

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela

bola

dia

escola

gratuito

ilha

broca

boca

NULL

NULL

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela

bola

dia

escola

gratuito

ilha

broca

boca

bolo

NULL

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola

dia

escola

gratuito

ilha

broca

boca

bolo

NULL

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola

dia

escola

gratuito

ilha

broca

boca

bolo

bela

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia

escola

gratuito

ilha

broca

boca

bolo

bela

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia

escola

gratuito

ilha

broca

bolo

bela

bola boca

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2

escola

gratuito

ilha

broca

bolo

bela

bola boca

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2

escola

gratuito

ilha

broca

bolo

bola boca

dia bela

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2

escola h("escola") = 7

gratuito

ilha

broca

bolo

bola boca

dia bela

NULL

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2


gratuito

ilha

broca

bolo

bola boca

dia bela

escola

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2


gratuito h("gratuito") = 0

ilha

broca

bolo

bola boca

dia bela

escola

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha

broca

bolo

dia bela

escola

gratuito bola boca

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha h("ilha") = 6

broca

bolo

dia bela

escola

gratuito bola boca

NULL


9


0

123

45

67

8

NULL

NULL

NULL


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha h("ilha") = 6

broca

bolo

dia bela

escola

gratuito bola boca

ilha


9

Tabela de Espalhamento

Uma função de hashing associa um elemento de um certoconjunto (strings, números, arquivos, etc.) a um número inteirode tamanho conhecido

Uma tabela de espalhamento é um tipo abstrato de dadospara busca em conjuntos dinâmicos cuja implementação temcertas propriedades:

• os dados são acessado por meio de um vetor de tamanhoconhecido

• a posição do vetor é calculada por uma função de hashing

10

Características das tabelas de Espalhamento

Propriedades:

• estimativa do tamanho do conjunto de dados deve serconhecida

• tempo das operações depende da função de hashingescolhida:

– chaves bem espalhadas: tempo “quase” O(1)

– se temos n itens– e uma tabela de tamanho M– tempo de acesso é o tempo de calcular a função de

hashing + O(n/M)

– chaves agrupadas: pior caso de tempo O(n)

– Vira uma lista ligada com todos os elementos

11


Propriedades:• estimativa do tamanho do conjunto de dados deve ser

conhecida

• tempo das operações depende da função de hashingescolhida:



hashing + O(n/M)



11



conhecida• tempo das operações depende da função de hashing

escolhida:



hashing + O(n/M)



11




escolhida:– chaves bem espalhadas: tempo “quase” O(1)


hashing + O(n/M)– chaves agrupadas: pior caso de tempo O(n)


11





– se temos n itens

– e uma tabela de tamanho M– tempo de acesso é o tempo de calcular a função de



11





– se temos n itens– e uma tabela de tamanho M

– tempo de acesso é o tempo de calcular a função dehashing + O(n/M)



11






hashing + O(n/M)



11








11

Obtendo funções de hashing

Uma boa função de hashing depende do conjunto de chavesespecífico

Métodos genéricos:1. Método da divisão2. Método da multiplicação

Hashing perfeito: Se conhecermos todos as chaves a priori, épossível encontrar uma função de hashing injetora

• isto é, não temos colisões• tais funções podem ser difíceis de encontrar

12



Métodos genéricos:

1. Método da divisão2. Método da multiplicação



12



Métodos genéricos:1. Método da divisão

2. Método da multiplicação



12






12





• isto é, não temos colisões

• tais funções podem ser difíceis de encontrar

12






12

Interpretando chaves

Pressupomos que as chaves são números inteiros

E se não for?• Reinterpretamos a chave como uma sequência de bits

b o l a

01100010 01101111 01101100 01100001

Assim, “bola” se torna o número 1.651.469.409

13



E se não for?

• Reinterpretamos a chave como uma sequência de bits

b o l a

01100010 01101111 01101100 01100001


13



E se não for?• Reinterpretamos a chave como uma sequência de bits

b o l a

01100010 01101111 01101100 01100001


13

Método da divisão• obtemos o resto da divisão pelo tamanho M do hashing

h(x) = xmodM

Exemplo:

h(“bola”) = 1.651.469.409mod 1783 = 1319

Escolhendo M :• escolher M como uma potência de 2 não é uma boa ideia

– considera apenas os bits menos significativos

• normalmente escolhemos M como um número primolonge de uma potência de 2

14


h(x) = xmodM

Exemplo:

h(“bola”) = 1.651.469.409mod 1783 = 1319

Escolhendo M :

• escolher M como uma potência de 2 não é uma boa ideia



14


h(x) = xmodM

Exemplo:

h(“bola”) = 1.651.469.409mod 1783 = 1319

Escolhendo M :• escolher M como uma potência de 2 não é uma boa ideia



14

Método da multiplicação• multiplicamos por um certo valor real A e obtemos a parte

fracionária

• escolhemos A conveniente, por exemplo A = (√

5 − 1)/2• posição relativa no vetor não depende de M (pode ser

M = 1024)

h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146

O uso da razão áurea como valor de A é sugestão de Knuth

15


fracionária• escolhemos A conveniente, por exemplo A = (

√5 − 1)/2

• posição relativa no vetor não depende de M (pode serM = 1024)

h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”)

= ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋

= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋

= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋

= ⌊146,126848⌋ = 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋

= 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146


15



√5 − 1)/2


h(x) = ⌊M (A · xmod 1)⌋

Exemplo:

h(“bola”) = ⌊1024 · [((√

5 − 1)/2 · 1.651.469.409)mod 1]⌋= ⌊1024 · [1020664226,142702mod 1]⌋= ⌊1024 · 0,142702⌋= ⌊146,126848⌋ = 146

O uso da razão áurea como valor de A é sugestão de Knuth15

implementação do TAD

1 #define MAX 178323 typedef struct {4 char chave[10];5 int dado;6 } No;

78 typedef struct {9 No * vetor[MAX];

10 } TabelaHash;1112 void iniciar_tabela(TabelaHash *t);1314 void inserir_tabela(TabelaHash *t, char *chave, int dado);1516 void remover_tabela(TabelaHash *t, char *chave);1718 No *buscar_tabela(TabelaHash *t, char *chave);

16


1 #define MAX 178323 typedef struct {4 char chave[10];5 int dado;6 } No;78 typedef struct {9 No * vetor[MAX];

10 } TabelaHash;

1112 void iniciar_tabela(TabelaHash *t);1314 void inserir_tabela(TabelaHash *t, char *chave, int dado);1516 void remover_tabela(TabelaHash *t, char *chave);1718 No *buscar_tabela(TabelaHash *t, char *chave);

16


1 #define MAX 178323 typedef struct {4 char chave[10];5 int dado;6 } No;78 typedef struct {9 No * vetor[MAX];

10 } TabelaHash;1112 void iniciar_tabela(TabelaHash *t);1314 void inserir_tabela(TabelaHash *t, char *chave, int dado);1516 void remover_tabela(TabelaHash *t, char *chave);1718 No *buscar_tabela(TabelaHash *t, char *chave);

16

Exemplo de implementação

1 int hash(char *chave) {

2 int i, n = 0;3 for (i = 0; i < strlen(chave); i++)4 n = (256 * n + chave[i]) % MAX;5 return n;6 }78 void inserir_tabela(TabelaHash *t, char *chave, int dado) {9 int n = hash(chave);

10 inserir_lista(&t->vetor[n], chave, dado);11 }1213 void remover_tabela(TabelaHash *t, char *chave) {14 int n = hash(chave);15 remover_lista(&t->vetor[n], chave);16 }

17


1 int hash(char *chave) {2 int i, n = 0;

3 for (i = 0; i < strlen(chave); i++)4 n = (256 * n + chave[i]) % MAX;5 return n;6 }78 void inserir_tabela(TabelaHash *t, char *chave, int dado) {9 int n = hash(chave);


17


1 int hash(char *chave) {2 int i, n = 0;3 for (i = 0; i < strlen(chave); i++)4 n = (256 * n + chave[i]) % MAX;

5 return n;6 }78 void inserir_tabela(TabelaHash *t, char *chave, int dado) {9 int n = hash(chave);


17


1 int hash(char *chave) {2 int i, n = 0;3 for (i = 0; i < strlen(chave); i++)4 n = (256 * n + chave[i]) % MAX;5 return n;6 }

78 void inserir_tabela(TabelaHash *t, char *chave, int dado) {9 int n = hash(chave);


17


1 int hash(char *chave) {2 int i, n = 0;3 for (i = 0; i < strlen(chave); i++)4 n = (256 * n + chave[i]) % MAX;5 return n;6 }78 void inserir_tabela(TabelaHash *t, char *chave, int dado) {

9 int n = hash(chave);10 inserir_lista(&t->vetor[n], chave, dado);11 }1213 void remover_tabela(TabelaHash *t, char *chave) {14 int n = hash(chave);15 remover_lista(&t->vetor[n], chave);16 }

17


1 int hash(char *chave) {2 int i, n = 0;3 for (i = 0; i < strlen(chave); i++)4 n = (256 * n + chave[i]) % MAX;5 return n;6 }78 void inserir_tabela(TabelaHash *t, char *chave, int dado) {9 int n = hash(chave);

10 inserir_lista(&t->vetor[n], chave, dado);11 }

1213 void remover_tabela(TabelaHash *t, char *chave) {14 int n = hash(chave);15 remover_lista(&t->vetor[n], chave);16 }

17



10 inserir_lista(&t->vetor[n], chave, dado);11 }1213 void remover_tabela(TabelaHash *t, char *chave) {

14 int n = hash(chave);15 remover_lista(&t->vetor[n], chave);16 }

17




17

Uma boa função de hashing

Uma boa função de hashing espalha bem:

• A probabilidade de uma chave ter um hash específico é(aproximadamente) 1/M

• Ou seja, esperamos que cada lista tenha n/M elementos

Uma boa função de hashing é computada rapidamente - Ex:• #define hash(v , M) (v & (M-1))

– com M uma potência de 2

• Essa função não espalha bem, pois considera apenas osbits menos significativos

• Mas pode ser muito mais rápida do que os outrosmétodos

– & pode ser muito mais rápido que divisão ou multiplicação

18


Uma boa função de hashing espalha bem:• A probabilidade de uma chave ter um hash específico é

(aproximadamente) 1/M







18





Uma boa função de hashing é computada rapidamente - Ex:

• #define hash(v , M) (v & (M-1))





18










18

Quebrando um programa que usa hashing

Se descobrirmos qual é a função de hashing que um programausa, podemos prejudicá-lo:

• basta inserir muitos elementos que são mapeados para omesmo valor

• o que pode ser uma forma de prejudicar a performance oucausar bugs

Como podemos nos proteger de um adversário maliciosonesse caso?

• Podemos escolher a função de hashing aleatoriamente

19

Hashing UniversalUma coleção H de funções de hashing no intervalo{0, . . . , M − 1} é universal se:

• para todo par de chaves distintas k e ℓ

• o número de funções de hashing h ∈ H para a qualh(k) = h(l) é no máximo |H|/M

Ou seja, é no pior caso igual a escolher o hash uniformementeao acaso

• Se fizermos n operações de Inserção, Busca e Remoção,o tempo esperado é O(n)

Para fazer um hash universal:• escolha p um primo maior do que M

• escolha uniformemente ao acaso a ∈ {1, . . . , p},b ∈ {0, . . . , p}

• defina ha,b(k) = ((ak + b)mod p)modM

20






Para fazer um hash universal:

• escolha p um primo maior do que M



20






Para fazer um hash universal:• escolha p um primo maior do que M



20

Endereçamento aberto

Existe uma alternativa para a implementação de tabela deespalhamento

Endereçamento aberto:• os dados são guardados no próprio vetor• colisões são colocadas em posições livres da tabela

Características:• evita percorrer usando ponteiros e alocação e deslocação

de memória (malloc e free)• se a tabela encher, deve recriar uma tabela maior

– e mudar a função de hashing

• remoção é mais complicada

21



Endereçamento aberto:

• os dados são guardados no próprio vetor• colisões são colocadas em posições livres da tabela





21



Endereçamento aberto:• os dados são guardados no próprio vetor

• colisões são colocadas em posições livres da tabela





21








21




Características:

• evita percorrer usando ponteiros e alocação e deslocaçãode memória (malloc e free)

• se a tabela encher, deve recriar uma tabela maior



21





de memória (malloc e free)

• se a tabela encher, deve recriar uma tabela maior



21








21

Endereçamento aberto com sondagem linear0

123

45

67

8

broca

boca

bolo

bela

bola

dia

escola

gratuito

ilha

Inserindo:

• procuramos posição• se houver espaço, guardamos• se não houver espaço, procuramos a próxima posição

livre (módulo M )

22


123

45

67

8


boca

bolo

bela

bola

dia

escola

gratuito

ilha

Inserindo:• procuramos posição

• se houver espaço, guardamos• se não houver espaço, procuramos a próxima posição

livre (módulo M )

22


123

45

67

8


boca

bolo

bela

bola

dia

escola

gratuito

ilha

Inserindo:• procuramos posição• se houver espaço, guardamos

• se não houver espaço, procuramos a próxima posiçãolivre (módulo M )

22


123

45

67

8


boca

bolo

bela

bola

dia

escola

gratuito

ilha

broca



22


123

45

67

8


boca h("boca") = 0

bolo

bela

bola

dia

escola

gratuito

ilha

broca



22


123

45

67

8


boca h("boca") = 0

bolo

bela

bola

dia

escola

gratuito

ilha

broca

boca



22


123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela

bola

dia

escola

gratuito

ilha

broca

boca



22


123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela

bola

dia

escola

gratuito

ilha

broca

boca

bolo



22


123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola

dia

escola

gratuito

ilha

broca

boca

bolo



22


123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola

dia

escola

gratuito

ilha

broca

boca

bolo

bela



22


123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia

escola

gratuito

ilha

broca

boca

bolo

bela

Inserindo:• procuramos posição• se houver espaço, guardamos• se não houver espaço, procuramos a próxima posição

livre (módulo M )22


123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia

escola

gratuito

ilha

broca

boca

bolo

bela

bola




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2

escola

gratuito

ilha

broca

boca

bolo

bela

bola




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2

escola

gratuito

ilha

broca

boca

bolo

bela

bola

dia




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2


gratuito

ilha

broca

boca

bolo

bela

bola

dia




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2


gratuito

ilha

broca

boca

bolo

bela

bola

dia

escola




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha

broca

boca

bolo

bela

bola

dia

escola




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha

broca

boca

bolo

bela

bola

dia

escola

gratuito




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha h("ilha") = 6

broca

boca

bolo

bela

bola

dia

escola

gratuito




123

45

67

8


boca h("boca") = 0

bolo h("bolo") = 5

bela h("bela") = 2

bola h("bola") = 0

dia h("dia") = 2



ilha h("ilha") = 6

broca

boca

bolo

bela

bola

dia

escola

gratuito

ilha



Busca em endereçamento aberto

Como fazer uma busca com endereçamento aberto?

• Basta simular a inserção:

– Calcule a função de hashing– Percorra a tabela em sequência procurando pela chave– Se encontrar a chave, devolva o item correspondente– Se encontrar um espaço vazio, devolva NULL

O que é um espaço vazio em um vetor?• Se for um vetor de ponteiros, pode ser NULL• Se não for um vetor de ponteiros, precisa ser um

elemento dummy

– Ou um valor que nunca será usado– Ou ter um campo indicando que é dummy

23


Como fazer uma busca com endereçamento aberto?• Basta simular a inserção:



elemento dummy


23



– Calcule a função de hashing

– Percorra a tabela em sequência procurando pela chave– Se encontrar a chave, devolva o item correspondente– Se encontrar um espaço vazio, devolva NULL


elemento dummy


23



– Calcule a função de hashing– Percorra a tabela em sequência procurando pela chave

– Se encontrar a chave, devolva o item correspondente– Se encontrar um espaço vazio, devolva NULL


elemento dummy


23



– Calcule a função de hashing– Percorra a tabela em sequência procurando pela chave– Se encontrar a chave, devolva o item correspondente

– Se encontrar um espaço vazio, devolva NULL


elemento dummy


23





elemento dummy


23




O que é um espaço vazio em um vetor?

• Se for um vetor de ponteiros, pode ser NULL• Se não for um vetor de ponteiros, precisa ser um

elemento dummy


23




O que é um espaço vazio em um vetor?• Se for um vetor de ponteiros, pode ser NULL

• Se não for um vetor de ponteiros, precisa ser umelemento dummy


23





elemento dummy


23





elemento dummy– Ou um valor que nunca será usado

– Ou ter um campo indicando que é dummy

23





elemento dummy– Ou um valor que nunca será usado– Ou ter um campo indicando que é dummy

23

Remoção em endereçamento aberto

Como fazer a remoção com endereçamento aberto?

• Não podemos apenas remover os elementos da tabela

– Por que?

– Quebraria a busca...

• Opção 1: fazemos o rehash de todos os elementos queestão a seguir no mesmo bloco

– reinserimos os mesmos no hash para ir para a posiçãocorreta

– é custoso e tem que ser implementado com cuidado

• Opção 2: trocamos por um item dummy indicando que oitem foi removido

– mas não pode ser o mesmo que indica espaço vazio

• Opção 3: marcamos o item como removido usando umcampo adicional

24


Como fazer a remoção com endereçamento aberto?• Não podemos apenas remover os elementos da tabela

– Por que?

– Quebraria a busca...







24



– Por que?– Quebraria a busca...







24






– é custoso e tem que ser implementado com cuidado• Opção 2: trocamos por um item dummy indicando que o

item foi removido



24










24







item foi removido



24







item foi removido– mas não pode ser o mesmo que indica espaço vazio


24

Inserção e Busca RevisitadasSe fizermos a remoção marcando o item como removido,precisamos mudar a inserção e a busca

Inserção:• Calculamos a função hashing e temos um resultado h

• Inserimos na primeira posição vazia ou com itemremovido a partir de h

Busca:• Calculamos a função hashing e temos um resultado h

• Procuramos o item em sequência

– Veja se ao encontrar o item, ele não foi removido

• Pare ao encontrar uma posição vazia

– Passe por cima de itens removidos

• Cuidado para não ciclar...

25


Inserção:

• Calculamos a função hashing e temos um resultado h








25










25




Busca:

• Calculamos a função hashing e temos um resultado h






25










25






– Veja se ao encontrar o item, ele não foi removido• Pare ao encontrar uma posição vazia



25





• Procuramos o item em sequência– Veja se ao encontrar o item, ele não foi removido




25





• Procuramos o item em sequência– Veja se ao encontrar o item, ele não foi removido

• Pare ao encontrar uma posição vazia– Passe por cima de itens removidos


25

Sondagem quadrática

0

123

45

67

89

10


brocaboca h("boca") = 2bocabolo h("bolo") = 10

bolo

bela h("bela") = 5

belabola h("bola") = 7

bola

dia h("dia") = 3

dia

escola

gratuito

ilha

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12

Inserindo:• se não houver espaço, procuramos posição livre

“pulando” quadrados26


0

123

45

67

89

10



bolo

bela h("bela") = 5


bola

dia h("dia") = 3

dia


gratuito

ilha

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12




0

123

45

67

89

10



bolo

bela h("bela") = 5


bola

dia h("dia") = 3

dia


gratuito

ilha

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12

escola




0

123

45

67

89

10



bolo

bela h("bela") = 5


bola

dia h("dia") = 3

dia



ilha

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12

escola




0

123

45

67

89

10



bolo

bela h("bela") = 5


bola

dia h("dia") = 3

dia



ilha

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12

escola

gratuito




0

123

45

67

89

10



bolo

bela h("bela") = 5


bola

dia h("dia") = 3

dia



ilha h("ilha") = 3

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12

escola

gratuito




0

123

45

67

89

10



bolo

bela h("bela") = 5


bola

dia h("dia") = 3

dia



ilha h("ilha") = 3

h("escola")

h("escola") + 12

h("escola") + 22

h("escola") + 32

h("escola") + 42

h("gratuito")

h("gratuito") + 12

h("gratuito") + 22

h("gratuito") + 32

h("ilha")

h("ilha") + 12

escola

gratuito

ilha




De maneira geral, a sondagem quadrática é definida por umafunção

h(k, i) = (hash(k) + c1i + c2i2)modM

onde• c1 e c2 são constantes• h(k, i) indica qual posição sondar após ter falhado a

inserção i vezes

Importante:• É necessário escolher c1 e c2 corretamente para usar

todas as M posições da tabela

– Por exemplo, escolha c1 = c2 = 1/2 e M uma potência de 2

27




onde

• c1 e c2 são constantes• h(k, i) indica qual posição sondar após ter falhado a

inserção i vezes




27




onde• c1 e c2 são constantes

• h(k, i) indica qual posição sondar após ter falhado ainserção i vezes




27





inserção i vezes




27





inserção i vezes

Importante:

• É necessário escolher c1 e c2 corretamente para usartodas as M posições da tabela


27





inserção i vezes




27





inserção i vezes


todas as M posições da tabela– Por exemplo, escolha c1 = c2 = 1/2 e M uma potência de 2

27

Hashing duploÉ como a sondagem linear:

• Quando detectamos conflito, ao invés de dar um pulo de 1• damos um pulo h(k, i) calculado a partir de uma segunda

função de hashing

Isto é,h(k, i) = (hash1(k) + i · hash2(k)) mod M

Cuidados:• hash2(k) nunca pode ser zero• hash2(k) precisa ser co-primo com M

– garante que as sequências são longas

Exemplos:• Escolha M como uma potência de 2 e faça que hash2(k)

seja sempre ímpar• Escolha M como um número primo e faça que

hash2(k) < M

28


• Quando detectamos conflito, ao invés de dar um pulo de 1

• damos um pulo h(k, i) calculado a partir de uma segundafunção de hashing






hash2(k) < M

28



função de hashing






hash2(k) < M

28



função de hashing


Cuidados:

• hash2(k) nunca pode ser zero• hash2(k) precisa ser co-primo com M




hash2(k) < M

28



função de hashing


Cuidados:• hash2(k) nunca pode ser zero

• hash2(k) precisa ser co-primo com M




hash2(k) < M

28



função de hashing






hash2(k) < M

28



função de hashing




Exemplos:

• Escolha M como uma potência de 2 e faça que hash2(k)seja sempre ímpar

• Escolha M como um número primo e faça quehash2(k) < M

28



função de hashing





seja sempre ímpar

• Escolha M como um número primo e faça quehash2(k) < M

28



função de hashing






hash2(k) < M28

Sondagem linear e Hashing duplo1

Sondagem linear - tempo de busca médio

n/M 1/2 2/3 3/4 9/10com sucesso 1.5 2.0 3.0 5.5sem sucesso 2.5 5.0 8.5 55.5

Hashing duplo - tempo de busca médio


De qualquer forma, é muito importante não deixar a tabelaencher muito:

• Você pode aumentar o tamanho da tabela dinamicamente• Porém, precisa fazer um rehash de cada elemento para a

nova tabela

1Baseado em Sedgewick, R. Algorithms in C, third edition, Addison-Wesley. 1998.29







• Você pode aumentar o tamanho da tabela dinamicamente

• Porém, precisa fazer um rehash de cada elemento para anova tabela

1Baseado em Sedgewick, R. Algorithms in C, third edition, Addison-Wesley. 1998.29







• Você pode aumentar o tamanho da tabela dinamicamente• Porém, precisa fazer um rehash de cada elemento para a

nova tabela1Baseado em Sedgewick, R. Algorithms in C, third edition, Addison-Wesley. 1998.

29

ConclusãoHashing é uma boa estrutura de dados para

• inserir, remover e buscar dados pela sua chaverapidamente

• com uma boa função de hashing, essas operações levamtempo O(1)

• mas não é boa se quisermos fazer operação relacionadasa ordem das chaves

Escolhendo a implementação:• Sondagem linear é o mais rápido se a tabela for esparsa• Hashing duplo usa melhor a memória

– mas gasta mais tempo para computar a segunda funçãode hash

• Encadeamento separado é mais fácil de implementar

– Usa memória a mais para os ponteiros

30





Escolhendo a implementação:

• Sondagem linear é o mais rápido se a tabela for esparsa• Hashing duplo usa melhor a memória




30





Escolhendo a implementação:• Sondagem linear é o mais rápido se a tabela for esparsa

• Hashing duplo usa melhor a memória




30









30







• Encadeamento separado é mais fácil de implementar– Usa memória a mais para os ponteiros

30

Conclusão

Além disso, funções de hashing podem ser aplicada emverificações de paridade:

• Para evitar erros de transmissão, podemos, além deinformar uma chave, transmitir o resultado da função dehashing. Exemplos:

– dígitos verificadores– sequências de verificação para arquivos (MD5 e SHA)

• Guardamos o hash de uma senha no banco de dados aoinvés da senha em si

– evitamos vazamento de informação em caso de ataque– mas temos que garantir que a probabilidade de duas

senhas terem o mesmo hash seja ínfima...

31

Conclusão



– dígitos verificadores

– sequências de verificação para arquivos (MD5 e SHA)• Guardamos o hash de uma senha no banco de dados ao

invés da senha em si



31

Conclusão







31

Conclusão





– evitamos vazamento de informação em caso de ataque

– mas temos que garantir que a probabilidade de duassenhas terem o mesmo hash seja ínfima...

31

Conclusão







31

MC-202 — Unidade 18 Tabela de Espalhamentorafael/cursos/1s2017/mc...MC-202 — Unidade 18 Tabela...

Documents

Transcript of MC-202 — Unidade 18 Tabela de Espalhamentorafael/cursos/1s2017/mc...MC-202 — Unidade 18 Tabela...