Disciplina: Processamento Estat stico de Sinais (ENGA83 ... · Prof. Eduardo Simas (PPGEE/UFBA)...

Disciplina: Processamento Estatıstico de Sinais(ENGA83) - Aula 03 / Deteccao de Sinais

Prof. Eduardo Simas([email protected])

Programa de Pos-Graduacao em Engenharia Eletrica/PPGEEUniversidade Federal da Bahia

ENGA83 - Semestre 2012.1

Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 1 / 34

[email protected]

Conteudo

1 IntroducaoDecisao BinariaCurva ROCMultiplas Hipoteses

2 Decisao binaria baseada em uma unica observacaoCriterio do Maximo a Posteriori (MAP)Criterio de BayesCriterio MinmaxTeste de Neyman-PearsonAnalise de Discriminantes


Introducao

A deteccao (ou classificacao) de sinais consiste em identificar a partirde observacoes (ou medicoes) sujeitas a variacoes aleatorias o tipo(ou classe) de sinal que foi originalmente enviado:

Extração/seleção de

CaracterísticasSensor

Sinal

medido

Classificador

DecisãoPadrão de

características

No projeto de um sistema de deteccao dois parametros sao muitoimportantes:

- Eficiencia de discriminacao (maximizar acertos e minimizar erros);

- Tempo de execucao da cadeia de processamento de sinais.


Introducao - Decisao Binaria

Considerando-se a discriminacao entre duas hipoteses (decisaobinaria) H1 e H0, o problema de classificacao pode ser resumidoatraves do diagrama:

FonteMecanismo de

transiçãoprobabilística

Espaço deobservação

Regra dedecisão

Decisão

H1

H0

H0

H1

Em geral H1 e associada a classe de interesse:

- transmissao de um bit 1 num sistema de comunicacao;

- presenca de um alvo num sinal de sonar;

- presenca do “usuario autorizado” num problema de identificacao do locutor;

- existencia de uma assinatura de interesse num detector de partıculas.


Exemplo - Sistema de Radar



A decisao e tomada a partir de uma ou mais “observacoes”.

As observacoes sao variaveis aleatorias que correspondem a uma dashipoteses do problema.

No caso da decisao binaria, cada vez que uma observacao e efetuada4 situacoes podem ocorrer:

1: decidir pela hipotese H1, sendo H1 verdadeira (deteccao);

2: decidir pela hipotese H0, sendo H1 verdadeira (falso negativo);

3: decidir pela hipotese H1, sendo H0 verdadeira (falso positivo ou falsoalarme);

4: decidir pela hipotese H0, sendo H0 verdadeira (acerto).



Os resultados obtidos por um discriminador, em geral, sao expressosresumidamente em termos dos parametros:

- Probabilidade de Deteccao: PD = P(H1|H1);

- Probabilidade de Falso Alarme: PF = P(H1|H0).

Uma vez que:

- P(H0|H1) = 1− PD ;

- P(H0|H0) = 1− PF .



Considerando que a decisao e baseada na observacao da variavelaleatoria L:


Introducao - Curva ROC

A curva ROC (Receiver Operating Characteristic) mostra como asprobabilidades de deteccao e falso alarme (respectivamente PD e PF )variam com o patamar de decisao.

A eficiencia de um classificador pode ser estimada a partir da area soba curva ROC. Quanto maior a area, mais eficiente e o discriminador.

Exemplo: Considerando as distribuicoes das observacoes de doisclassificadores para duas classes distintas:

−1 −0.5 0 0.5 10

100

200

300

400

500

600

Co

nta

ge

m

Saida do Classificador

Classe 1

Classe 2

−1 −0.5 0 0.5 10

100

200

300

400

500

600

Co

nta

ge

m

Saida do Classificador

Classe 1

Classe 2


Introducao - Curva ROC

0 0.1 0.2 0.3 0.4 0.50.5

0.6

0.7

0.8

0.9

1

PF

PD

Exemplo 2

Exemplo 1(6,1%,; 90,5%)SPmax=0,85

Y=−0,19

(2,6%,; 95,3%)SPmax=0,93

Y=−0,11

Para a escolha do patamar de decisao “otimo” pode-se utilizar uma medida daseficiencias de discriminacao como o ındice Soma-Produto (SP):

SP =

√Efe + Efj

2×

√Efe × Efj

onde Efe = PD e Efj = 1 − PFProf. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 10 / 34

Introducao - Decisao entre Multiplas Hipoteses

Num caso mais geral podem existir M hipoteses a serem identificadas.

Trata-se de um problema de decisao M-aria.

O problema pode ser tratado atraves de:

- um conjunto de M problemas de deteccao binaria entre HI e Hj ,j = 1, ..., I − 1, I + 1, ...,M.

- discriminadores apropriados para problemas de multiplas hipoteses.


Decisao binaria baseada em uma unica observacao

Considerando que cada uma das hipoteses e associada a uma saıdaque e mapeada numa regiao do espaco de observacao de dimensao N,um ponto neste espaco pode ser representado pelo vetor:

r = [r1, r2, ..., rN ]

O mecanismo de transicao probabilıstica gera pontos de acordo comas densidades de probabilidade condicionais Pr/H0

(R/H0) ePr/H1

(R/H1).

Quando essas probabilidades sao conhecidas (ou podem serestimadas), o projeto do sistema classificador pode ser simplificado.

Os criterios de maximo a posteriori, Bayes, Minimax eNeyman-Pearson sao procedimentos classicos utilizados para aescolha da regra de decisao quando as probabilidades condicionais saoconhecidas.


Decisao binaria baseada em uma unica observacao

Considerando o diagrama a seguir:

percebe-se que:

- PD =

∫Z1

Pr/H1(R/H1)dR e PF =

∫Z1

Pr/H0(R/H0)dR .


Criterio do Maximo a Posteriori (MAP)

Uma regra de decisao usualmente produz o particionamento doespaco de observacao em duas regioes Z1 e Z0 para as quais saoassociados as hipoteses H1 e H0 a depender da observacao de r.

A probabilidade condicional Pr/Hi(R/Hi ) e chamada de probabilidade

a posteriori, pois sao estimadas apos a observacao de r.

O criterio do maximo a posteriori (MAP) utiliza a regra de Bayes paradefinir a regra de decisao a seguir:

fr/H1(R/H1)

fr/H0(R/H0)

≷H1H0

P0

P1


Criterio do Maximo a Posteriori (MAP)

A expressao: L(R) =fr/H1

(R/H1)

fr/H0(R/H0)

e chamada razao de semelhanca.

E a fracao: λ =P0

P1e o valor limiar (ou patamar) do teste.

Assim, a equacao se reduz a:

L(R) ≷H1H0λ

Se a razao de semelhanca e maior que o patamar decide-se por H1,caso contrario escolhe-se H0.

No limite quando L(R) = λ pode-se decidir tanto por H1 como porH0 (escolha do projetista).


Criterio MAP - Exemplo

Num sistema de comunicacao binaria o sinal recebido e: R = X + N,onde X=0, 1 e N ruıdo gaussiano de media zero e variancia 1/9.Sabe-se ainda que P0 = 3/4 e P1 = 1/4. Estime a regra de decisaoMAP.

Resposta:

E facil chegar a: fr/H0(R/H0) =

√9

2πexp

(−9r2

2

)e

fr/H1(R/H1) =

√9

2πexp

(−9(r − 1)2

2

).

A regra de decisao e:fr/H1

(R/H1)

fr/H0(R/H0)

≷H1H0

P0

P1→ exp

[9

2(2r − 1)

]≷H1

H03.

Aplicando-se log em ambos os lados: r ≷H1H0

1

2+

1

9ln(3) ≈ 0, 622


Criterio de Bayes

O criterio de Bayes necessita do conhecimento:

- das probabilidades a priori P1 e P0 da fonte produzir H1 ou H0;

- das distribuicoes de probabilidade condicionais fr/H0(R/H0) e

fr/H1(R/H1);

- dos custos Cij associados a escolha da hipotese i sendo j a verdadeira.

O risco e entao definido como:

R = C00P0

∫Z0

fr/H0(R/H0)dR + C10P0

∫Z1

fr/H0(R/H0)dR

+C11P1

∫Z1

fr/H1(R/H1)dR + C01P1

∫Z0

fr/H1(R/H1)dR

onde os elementos do espaco de observacao que pertencem asparticoes Z0 e Z1 sao associados, respectivamente, a H0 e H1.


Criterio de Bayes

Minimizando o risco R da equacao anterior chega-se a:

fr/H1(R/H1)

fr/H0(R/H0)

≷H1H0

P0(C10 − C00)

P1(C01 − C11)

Que tende ao criterio MAP quando: C10 = C01 = 1 e C11 = C00 = 0.


Criterio de Bayes - Exemplo

Repetindo o exemplo anterior, para C10 = 0, 5, C01 = 0, 9 eC11 = C00 = 0, encontre o criterio de decisao de Bayes.

Resposta:

A regra de decisao e:fr/H1

(R/H1)

fr/H0(R/H0)

≷H1H0

P0(C10 − C00)

P1(C01 − C11)→ exp

[9

2(2r − 1)

]≷H1

H03

0, 5

0, 9.

Aplicando-se log em ambos os lados: r ≷H1H0

1

2+

1

9ln(1, 667) ≈ 0, 557

Percebe-se que ao considerar que o risco e maior ao classificar H1

como sendo H0 o patamar foi reduzido, diminuindo a probabilidade deocorrencia deste erro.


Criterio Minmax

Quando os custos sao conhecidos mas as probabilidades a priori naoestao disponıveis, pode-se adotar o criterio minmax.

Considerando que C00 = C11 = 0, entao escolhe-se o patamar dedecisao (λ) de modo que:

C01PM = C10PF

onde:

- PF =

∫Z1

fr/H0(R/H0)dR e a probabilidade de falso-alarme e

- PM =

∫Z0

fr/H1(R/H1)dR = 1− PD e a probabilidade de erro de

deteccao da hipotese de interesse (H1).


Teste de Neyman-Pearson

O teste de Neyman-Pearson e utilizado quando nao se teminformacoes sobre os custos ou as probabilidades a priori.

Escolhe-se um valor limite para a probabilidade de falso-alarme eprocura-se minimizar a probabilidade de perda do alvo para o valorescolhido.

Como o criterio utiliza PF e PM e preciso conhecer as probabilidadescondicionais Pr/H0

(R/H0) e Pr/H1(R/H1).


Analise de Discriminantes

Embora muito utilizadas, por sua formulacao matematicarelativamente simples e bom desempenho em diversas aplicacoes, astecnicas mostradas ate aqui necessitam de conhecimento previo arespeito:

- das distribuicoes de probabilidade;

- dos custos.

Em muitos casos praticos essas informacoes nao estao disponıveis,sendo necessario a utilizacao de outros metodos de classificacao.

Uma opcao neste contexto e utilizar a analise de discriminantes.


Analise de Discriminantes

Os metodos de classificacao baseados na regra de Bayes particionamo espaco de observacoes em regioes associadas a cada hipotese.

A analise de discriminantes, de modo analogo, busca as superfıciesque particionam o espaco de observacoes de modo “otimo” nasregioes que sao associadas a cada hipotese.

Uma funcao discriminante linear pode ser dada por:

y(x) = wTx + ω0

sendo w o vetor de pesos e ω0 a tendencia (ou bias).

Um vetor de entrada x e associado a hipotese H1 caso y(x) ≥ 0 e aH0 caso contrario.

A fronteira de decisao e definida por y(x) = 0.


Funcao Discriminante

w e ortogonal a superfıciede separacao.

A distancia entre asuperfıcie de separacao e a

origem e dada por:−ω0

||w||.

A distancia entre um pontox e a superfıcie de

separacao e:y(x)

||w||.

Como estimar a superfıciede separacao “otima” apartir dos dadosdisponıveis?


Funcao Discriminante

A analise de discriminantes busca a direcao w onde as projecoes y(x)dos sinais de entrada x sejam maximamente separaveis.

z1

z2

z1 z2Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 25 / 34

Discriminante Linear de Fisher

A analise por discriminante de Fisher (FDA - Fisher DiscriminantAnalysis) busca a direcao otima de discriminacao utilizando 2parametros, a distancia inter-classes, e a distancia intra-classes.

Numa formulacao matricial o objetivo e encontrar a direcao w0 quemaximiza a expressao:

J(w) =wTSBw

wTSww

onde SB = (µ1 − µ2)(µ1 − µ2)T e a matriz de separacao inter-classese Sw = S1 + S2 e a matriz de separacao intra-classes, sendo:

Si =∑x∈D〉

(x− µi )(x− µi )T


Discriminante Linear de Fisher

Pode-se provar que a direcao otima que maximiza a expressaoanterior e dada por:

w = Sw−1(m1 −m2)

O discriminante de Fisher e capaz de encontrar a transformacao linearotima dos sinais de entrada, de modo que os sinais projetadosy = wTx tenham maxima separacao:


Discriminante de Fisher - Exemplo

Pode-se realizar a analise por discriminante de Fisher de modoanalıtico usando as equacoes definidas anteriormente.

Limitacoes podem surgir quando a dimensao de x cresce, pois ocalculo de Sw

−1 pode pode se tornar custoso computacionalmente.

Uma opcao e realizar o calculo estimado de modo iterativo a partir deum perceptron (modelo basico de rede neural artificial).


Perceptron

Outro exemplo de discriminante linear pode ser obtido atraves doperceptron.

O modelo do perceptron foi proposto por Rosenblat em 1962 e foiinspirado no funcionamento de um neuronio biologico:

S j u( )u

x1

x2

xm

w1

wm

w2

y

b=w0

x0=1

y(x) = ϕ(wTx)

sendo w = [ω0, ω1, ..., ωm] o vetor de pesos sinapticos e ϕ a funcao deativacao (normalmente e utilizada a funcao degrau: ϕ(a) = 1 paraa ≥ 0 e −1 para a < 0).


Perceptron

Pecebe-se que a expressao da saıda do perceptron pode ser vistacomo uma funcao discriminante.

A principal diferenca e que aqui a superfıcie de separacao e estimadaiterativamente, (ou seja, a medida que os dados sao apresentados).

Uma aspecto interessante e que o aprendizado iterativo permiterealizar ajustes no sistema de classicacao caso ocorram mudancas naestatıstica do problema.

Podem aparecer limitacoes quanto a convergencia do algoritmo detreinamento (longo tempo para convergencia ou ate mesmonao-convergencia).


Algoritmo do Perceptron

Para o processo de treinamento, o proposito e minimizar o erroquadratico medio da classificacao (sendo entao baseado no algoritmoLMS - Least Mean Square).

Deste modo pode-se chegar a regra de aprendizado do perceptron:

w(n + 1) = w(n) + ηx(n)e(n)

sendo:

- e(n) = d(n)−wT (n)x(n) o erro em relacao a saıda desejada d(n);

- η a taxa de aprendizado.


Perceptron - curvas de erro

Tıpicas curvas de erro no treinamento de um perceptron:

Espera-se que com o decorrer do treinamento o erro diminua atechegar ao seu mınimo.


Perceptron - escolha da taxa de aprendizado

A escolha adequada da taxa de aprendizado reflete nas caracterısticasdas curvas de erro:

- Um alto valor de η leva a proximidade do valor mınimo maisrapidamente, porem produz uma curva de erro oscilante no final dotreinamento.

- Um baixo valor de eta produz um treinamento de convergencia maislenta, porem suave (sem oscilacoes).


Exercıcios de Fixacao

Os exercıcios listados abaixo do livro: Random Signals: Detection Estimation and Data Analysis de Shanmugan eBreipohl devem ser resolvidos e entregues no dia 19/04. Neste dia, alunos serao “sorteados” para resolverem algunsdestes exercıcios para a turma.

01 Exercıcios de Fixacao (Cap. 06, a partir da pagina 370): 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.12.

02 Gere pontos aleatorios no plano x1 × x2 segundo as hipoteses a seguir (10.000 pontos para cada hipotese):

- Considerando que aconteceu H1 → x e descrito por uma distribuicao gaussiana bivariada com µX = [1, 0; 2, 0] eσX = [0, 2; 0, 3].

- Considerando que aconteceu H0 → x e descrito por uma distribuicao gaussiana bivariada com µX = [2, 0; 3, 0] eσX = [0, 2; 0, 3].

Encontre a curva discriminante otima e o patamar de decisao pelo criterio de Fisher e atraves da regra do perceptron.Compare as probabilidades de deteccao e falso alarme para os dois casos.

03 Repita a questao 02 considerando 20.000 pontos para a hipotese H1. Compare e comente os resultados.

04 Repita a questao 02 considerando que agora σX|H0= [0, 5; 0, 5]. Compare e comente os resultados.


Disciplina: Processamento Estat stico de Sinais (ENGA83 ... · Prof. Eduardo Simas (PPGEE/UFBA)...

Documents

Transcript of Disciplina: Processamento Estat stico de Sinais (ENGA83 ... · Prof. Eduardo Simas (PPGEE/UFBA)...