ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf ·...

135
MANISH SHARMA ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7

Transcript of ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf ·...

Page 1: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

M A N I S H S H A R M A

E L E - 4 8S I N A I SES I S T E M A SA L E AT Ó R I O SV 7

Page 2: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos
Page 3: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

Conteúdo

1 Probabilidade 7

1.1 Introdução 7

1.2 Definição de Probabilidade 7

1.2.1 Probabilidade Intuitiva 7

1.2.2 Casos Favoráveis/Casos Possíveis (Teoria Clássica) 8

1.2.3 Probabilidade como Medida da Frequência de Ocorrência 8

1.2.4 Definição Axiomática de Probabilidade (Utilizada no Curso) 8

1.3 Operações em Conjunto 9

1.4 Definição axiomática de probabilidade 11

1.5 Probabilidade conjunta, condicional, total, independência 12

1.6 Exemplos de Experimento e Probabilidades 14

1.7 Exercícios 16

2 Variáveis Aleatórias 17

2.1 Introdução 17

2.2 Definição de Variável Aleatória 17

2.3 Função Distribuição de Probabilidade (ou Só Probabilidade) 18

2.4 Função Densidade de Probabilidade (p.d.f) 19

2.5 Variáveis Contínuas, Discretas e Híbridas 21

2.6 Densidades Condicional e Conjuntas 22

2.7 Distribuição e Densidade Conjunta 23

2.8 Informações complementares: 24

2.9 Exercícios 25

3 Funções e Transformações de Variáveis Aleatórias 27

3.1 Introdução e Definição 27

3.2 Problemas do Tipo Y = g(X) - Univariáveis 28

3.2.1 Caso de v.a. discreta 31

Page 4: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

4 manish sharma

3.3 Problemas do tipo Z = g(X, Y) 31

3.4 Problemas Generalizados para Várias v.a.’s contínuas 33

3.5 Exercícios 35

4 Esperança e Estimação 37

4.1 Valor Esperado de uma Variável Aleatória 37

4.2 Esperança Condicional 40

4.2.1 Esperança Condicional como uma v.a. 42

4.3 Momentos 43

4.3.1 Momentos Conjuntos 45

4.3.2 Variáveis Gaussianas Conjuntas 47

4.4 Desigualdades de Chebyshev e Schwarz 48

4.4.1 Desigualdade de Chebyshev 48

4.4.2 Desigualdade de Schwarz 50

4.5 Função Geradora de Momentos 50

4.6 Limitante de Chernoff 53

4.7 Função Característica 54

4.8 Exercícios 56

5 Vetores aleatórios e estimação de parâmetros 57

5.1 Definições 57

5.2 Vetores Esperados e matriz de covariância 59

5.3 Propriedades de Matrizes de covariância 60

5.4 Reconhecimento de Padrões 62

5.5 Regra Gaussiana Multidimensional 63

5.6 Funções Características de Vetores Aleatórios 64

5.6.1 Função Caracterítica da Regra Gaussiana 66

5.7 Estimação de Parâmetros 67

5.8 Estimação de médias vetoriais e matrizes de covariância 70

5.9 Estimador de Máxima Verossimilhança 70

5.10 Estimação Linear de Parâmetros Vetoriais 72

5.11 Exercícios 74

Page 5: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 5

6 Sequências aleatórias 75

6.1 Conceitos Básicos 75

6.1.1 Sequência de Bernoulli 77

6.1.2 Continuidade da Medida de Probabilidade 79

6.1.3 Especificação Estatística de uma Sequência Aleatória 81

6.1.4 Sequências Gaussianas 83

6.2 Revisão sobre Princípios Básicos de Sistemas Lineares de Tempo Discreto 86

6.3 Sequências Aleatórias e Sistemas Lineares 89

6.4 Sequências Aleatórias WSS e Sistemas LSI 93

6.4.1 Densidade Espectral de Potência (PSD) 95

6.4.2 Relações de entrada e de saída para Sequências WSS e Sistemas Lineares 96

6.5 Sequências Aleatórias de Markov 97

6.6 Cadeias de Markov 99

6.7 Sequências Aleatórias Vetoriais e Equações de Estado 102

6.8 Exercícios 103

7 Processos aleatórios 105

7.1 Definições Básicas 105

7.2 Alguns Processos Aleatórios Importantes 106

7.2.1 Sinalização Binária Assíncrona (ABS) 106

7.2.2 Processo de Contagem de Poisson 107

7.2.3 Sinal Telegráfico Aleatório (RTS) 108

7.2.4 Modulação Digital Utilizando PSK 109

7.2.5 Processos de Wiener ou Movimento Browniano 110

7.3 Processos Aleatórios de Markov 111

7.4 Sistemas Lineares Contínuos com Entradas Aleatórias 116

7.5 Classificações Úteis 118

7.5.1 Estacionaridade 118

7.6 Processos WSS e Sistemas LTI 119

7.7 Densidade Espectral de Potência (PSD) 120

7.7.1 Relação entre PSD’s 124

7.7.2 Processos estacionários e equações diferenciais 125

7.8 Processos periódicos e cicloestacionários 127

Page 6: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

6 manish sharma

8 Filtragem estocástica 129

8.1 Modelo probabilístico 129

8.2 Filtro de Kalman 131

8.2.1 Limites do método 134

8.3 Filtro de Kalman extendido 134

A Lista de alunos coautores 135

Page 7: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

1Probabilidade

1.1 Introdução

Algumas das principais questões levantadas ao se esturar probabi-lidade é: "Porque estudar probabilidade?"ou "Será que os processossão realmente aleotórios?". De fato, muitas vezes utiliza-se a Teo-ria da Probabilidade para analisar um problema natural, como porexemplo, a passagem de corrente elétrica em um resistor. Sabe-se quecom as equações de Maxwell e a Força de Lorentz pode-se modelarqualquer problema de eletromagnetismo, incluisive a passagem decorrente em um resistor. Todavia, seria inviável efetuar os cálculospara tamanha quantidade de elétrons, digamos, da ordem de 1023

elétrons passando por segundo no resistor. Ou seja, independente-mente do determinismo, a Teoria da Probabilidade é uma ferramentamatemática extremamente útil em uma série de problemas na áreade ciência e de engenharia.

A probabilidade traz uma noção relacionada a experimentos quenão podemos prever de maneira definitiva seu resultado, seja porqueeles ainda não ocorreram ou porque não somos capazes de observá-los diretamente. Se determinado experimento não pode ser previstoe/ou determinado, então há mais de uma forma dele ser realizado.

1.2 Definição de Probabilidade

A probabilidade pode ser definida de quatro formas. Porém utiliza-remos apenas uma delas.

1.2.1 Probabilidade Intuitiva

Não possui nenhuma base matemática. Muito utilizada no dia a diapara tentar prever comportamento de determinadas pessoas. Porexemplo: "João provavelmente vai almoçar fora hoje". Essa afirma-ção pode ser razoavelmente feita se João for uma pessoa que almoçaconstantemente fora de casa. Mais uma vez, vale observar que não hánenhum embasamento matemático para essa afirmação. Essa abor-dagem não será utilizada no curso.

Page 8: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

8 manish sharma

1.2.2 Casos Favoráveis/Casos Possíveis (Teoria Clássica)

Essa teoria não é experimental e estima que a probabilidade de de-terminado evento é calculada a priori da seguinte maneira: Seja Eum evento possível desse experimento, e NE o número de formaspossíveis dele ocorrer e N o número total de resultados do experi-mento. Assim a probabilidade do evento E ocorrer seria dada pelarazão NE/N. Vale notar ainda que essa teoria só faz sentido comexperimentos onde todos os resultados são equiprováveis.

Um exemplo rápido desta teoria sendo aplicada é o caso de sejogar dois dados numerados de 1 a 6 cada. A probabilidade da somados dados dar 7 é igual a 6/36 = 1/6. Pois há 6 maneiras de se somar7 (1,6);(2;5);(3;4);(4;3);(5;2);(6;1) e 36 resultados possíveis 6 ∗ 6 = 36.

1.2.3 Probabilidade como Medida da Frequência de Ocorrência

Essa abordagem diz que a probabilidade de um evento E pode sercalculada pela razão entre o número de vezes que esse evento ocorre(nE) pelo número de vezes que se realizou o experimento (n) quandon cresce indefinidamente. Matematicamente:

P[E] = limn→∞)nEn

Como é evidente que nE ≤ n, tem-se que 0 ≤ P[E] ≤ 1. Essateoria tem um problema que nunca pode-se repetir um experimentoindefinidamente ou mesmo que muitas vezes. Segundo, essa teoriapostula que este limite converge, porém não há nenhuma garantiadisso. Além disso, suponha o caso em que se jogue uma moeda, quepode retornar cara ou coroa, 1000 vezes. A probabilidade de cairexatamente 500 caras é muito pequena, e quanto maior o número dejogadas, menor será a probabilidade de cair exatamente a metade devezes de lançamentos de coroa.

Apesar destes problemas, esta teoria ainda é usada em algumassituações físicas.

1.2.4 Definição Axiomática de Probabilidade (Utilizada no Curso)

Essa abordagem define a probabilidade de maneira axiomática, comos axiomas de Kolmogorov.

Para definir a probabilidade desta maneira, precisa-se recordaralguns conceitos sobre conjuntos e introduzir alguns conceitos rela-tivos à Teoria da Probabilidade na próxima seção. Essa definição deprobabilidade será apresentada na Seção 1.4.

Primeiramente, denotamos um experimento como H.Genericamente, o experimento pode resultar em qualquer evento

dentro de um conjunto. Este resultado pode ser um número, umacor, uma face de moeda, entre outros possíveis. Este conjunto, quepossui todos os resultados possíveis do experimento, é definido comoΩ: Espaço Amostral.

O Espaço Amostral Ω é composto de elementos E1, E2, ..., En.

Page 9: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 9

Podemos ter uma quantidade de elementos tão grande quanto ne-cessário.

Subconjuntos de Ω são eventos. Um evento pode conter várioselementos de Ω.

Como todo subconjunto de Ω é um evento, então Ω também é umevento: evento certo que irá ocorrer.

Example 1 Lançamento de uma moeda uma única vez. O espaço amostralé Ω = CARA; COROA. O Evento Cara = CARA.

Example 2 Lançamento de duas moedas uma única vez, sendo cara deno-tado por H (do inglês "heads") e coroa por T ("tails"). O espaço amos-tral é Ω = HH;HT;TH;TT. O Evento one pelo menos caiu uma cara éHH;HT;TH.

Example 3 Lançamento de um dado de 6 faces. O espaço amostral é Ω =1,2,3,4,5,6. Há 6 elementos. Há vários eventos. Por exemplo, temos que oEvento 1 = 1 e o Evento par = 2,4,6.

Example 4 Velocidade instantânea de um foguete 10 segundos após o lan-çamento: Variável contínua desconhecida que pode assumir uma quantidadeinfinita de possibilidades. Neste caso podemos dizer que Ω = [0; ∞), istoé, a velocidade pode assumir qualquer valor não negativo. Tem-se o EventoSupersônico = (a; ∞). Onde a é a velocidade do som.

1.3 Operações em Conjunto

A fim de embasar para a definição axiomática da Probabilidade, énecessário revisar alguns conceitos de álgebra de conjuntos.

Dados dois conjuntos E e F, subconjuntos de Ω, definimos as se-guintes operações:

União: E ∪ F, ou E + F, é o subconjunto que contém todos oselementos de E e todos os elementos de F e somente elementos de Ee F.

Example 5 Seja A = 1; 2; 4 e B = 2; 3; 5. Logo A∪B = 1; 2; 3; 4; 5.

Se E é um subconjunto de F, então E ⊂ F. Isto é, se ζ é umelemento de Ω, podemos escrever que E ⊂ F, se ∀ζ ∈ E então ζ ∈ F.Em outras palavras, E é subconjunto de F se todos os elementos deE também são elementos de F.

Example 6 Seja A = 1; 2; 4 e B = 1; 2; 3; 4; 5. Logo A ⊂ B. Poistodo elemento de A também é elemento de B.

Assim, E + F = G, se E ⊂ G e F ⊂ G e para qualquer ζ ∈ G, entãoou ζ ∈ E, ou ζ ∈ F, ou ambos.

Intersecção: E ∩ F = E · F = G , ζ: ζ ∈ E e também ζ ∈ F.

Example 7 Seja A = 1; 2; 4 e B = 2; 3; 5. Logo A ∩ B = 1; 2.Pois só estes elementos pertencem a ambos os conjuntos.

Page 10: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

10 manish sharma

Complemento: Ec são todos os elementos de Ω que não perten-cem a E. Logo, E + Ec = Ω e E · Ec = ∅.

Example 8 Seja Ω = 1; 2; 3; 4; 5; 6 e E = 1; 3; 5. Logo Ec = 2; 4; 6.Estes são os elementos de Ω que não pertencem a E.

Diferença: E − F = G , ζ : ζ ∈ E,e ζ /∈ F. É o mesmo queE− F = E · Fc ou F− E = F · Ec. Vale ressaltar que, geralmente, E−F 6= F− E. Em outras palavras, E− F representa todos os elementosque pertencem a E mas não pertencem a F.

Example 9 Seja Ω = 1; 2; 3; 4; 5; 6 e E = 1; 3; 5eF = 1; 2; 5. LogoE− F = 3. Estes são os elementos de E que não pertencem a F.

Soma Exclusiva (XOR): E ⊕ F = (E − F) ∪ (F − E). Em outraspalavras, E ⊕ F representa os elementos que pertencem somente aum dos dois conjuntos E ou F, mas não de ambos ao mesmo tempo.

Example 10 Seja A = 1; 2; 3; 6; 7 e B = 2; 3; 4; 5; 6. Logo A⊕ B =

1; 7.

Além dessas operações, fala-se de mais duas definições úteis:Conjuntos disjuntos: Dois conjuntos E e F são ditos disjuntos

quando: E · F = ∅. Isto é, E e F não possuem elementos em comum.

Example 11 Seja A = 1; 2; 3; 6; 7 e B = 4; 5. Logo A ∩ B = ∅.

Partição n-ária: Dado um conjunto E, a partição n-ária é umasequência de subconjuntos Ei, i = 1, 2, ..., n, tal que:

• Ei ⊂ E,

• Ei · Ej = ∅∀i 6= j

•n⋃

i=1

Ei = E

Em outras palavras, uma partição n-ária é dividir um dado con-junto maior em n conjuntos tais que todos estes conjuntos estão conti-dos no conjunto maior, além disso esses conjuntos são disjuntos entresi, e ao unir todos estes conjuntos eles formam o conjunto maior.

Assim é possível concluir que, dados dois cojuntos E e F, podemospartir F em dois:

F = F · E ∪ F · Ec

Pois tanto (F · E) ⊂ F e (F · Ec) ⊂ F. Além disso: (F · E) ∩ (F ·Ec) = ∅.

Consequências:

(E ∪ F)c = Ec ∩ Fc

(E ∩ F)c = Ec ∪ Fc

E por indução: [n⋃

i=1

Ei

]c

=n⋂

i=1

Eci (1.3.1)

Page 11: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 11

[n⋂

i=1

Ei

]c

=n⋃

i=1

Eci (1.3.2)

Essas propriedades mostradas nas equações 1.3.1 e 1.3.2 são co-nhecidas como Teorema de DeMorgan ou Lei de DeMorgan.

Vale também observar que: Dois conjuntos são iguais, E = F se, esomente se, E ⊂F e F⊂ E. Isto é, se todo elemento de E também éelemento de F e vice-versa.

Como qualquer subconjunto é um evento possível, podemos di-zer que todos os eventos possíveis para um experimento H com es-paço amostral Ω são todos os subconjuntos de Ω, que chamamos decampo F (em inglês, field).

Example 12 O lançamento de uma moeda pode ter como resultado CARAou COROA. Logo, o espaço amostral é Ω = CARA, COROA. O espaçode eventos é o campo F = CARA, COROA, ∅, Ω

Veremos na próxima seção que o Espaço Amostral Ω e o campode eventos F , junto com uma lei de probabilidade P definem o tripé(Ω;F ; P) chamado de Espaço de Probabilidade P .

1.4 Definição axiomática de probabilidade

Sejam E e F eventos que pertencem a um campo F . Além disso, F écomposto de todos os subconjuntos de Ω.

Probabilidade é a função que associa a cada um dos termos de Fum número P[E], chamado de probabilidade de E, tal que:

1. P[E] ≥ 0

2. P[Ω] = 1

3. P[E ∪ F] = P[E] + P[F], se E · F = ∅

Esses três axiomas são suficientes para definir a Teoria da Proba-bilidade. Desses axiomas, seguem as seguintes propriedades (quepodem ser provadas rapidamente através das definições anteriores):

• P[∅] = 0

• P[E · Fc] = P[E]− P[E · F], onde E ∈ F , F ∈ F .

• P[E] = 1− P[Ec]

• P[E ∪ F] = P[E] + P[F]− P[E · F]

Além disso:

• P[⋃n

i=1 Ei] = ∑ni=1 P[Ei], se Ei · Ej = ∅, ∀i, j.

Example 13 Moedas sem vícios com resultados CARA (H) ou COROA(T).

Ω = CARA, COROAF = CARA, COROA, ∅, ΩP[H] = 0.5, P[T] = 0.5, P[∅] = 0, P[Ω] = 1

Page 12: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

12 manish sharma

Example 14 Consideremos o experimento de jogar um dado não viciadode 6 faces, cujo resultado pode ser um número de 1 a 6. Ou seja, Ω =

1; 2; 3; 4; 5; 6. Seja os eventos A = 1 e B = 2; 3. Tem-se queP[A] = 1/6. E P[B] = P[2] + P[3] = 2/6. Como A ∩ B = ∅Calcula-se:

P[A ∪ B] = P[A] + P[B] = 1/6 + 2/6 = 1/2

1.5 Probabilidade conjunta, condicional, total, independência

Temos dois eventos A e B com probabilidades P[A] e P[B]. Dada aprobabilidade de ambos ocorrerem simultaneamente, isto é, P[A · B],chamada probabilidade conjunta, podemos definir a probabilidadecondicional como:

P[B|A] ,P[A · B]

P[A](1.5.1)

i.e, a probabilidade de ocorrer o evento B, dado que o evento Aocorreu.

Podemos também definir:

P[A|B] , P[A · B]P[B]

(1.5.2)

Ainda, através da definição de probabilidade conjunta, temos:

P[A · B] , P[A] · P[B|A] = P[B] · P[A|B] (1.5.3)

Como consequência da definição axiomática:

• P[E|A] ≥ 0

• P[Ω|A] = 1

• P[E ∪ F|A] = P[E|A] + P[F|A], quando E · F = ∅.

Example 15 Considere um sistema de comunicação binário, onde a comu-nicação é feita usando apenas os símbolos 0 e 1. Seja X o símbolo enviadoe Y o símbolo lido. Devido a presença de ruído, as vezes Y será igual a X,as vezes não. O espaço amostral deste experimento é: Ω = (X, Y) : X =

0ou1, Y = 0ou1 = (0; 0); (1; 0); (0; 1); (1; 1). Através de medidas éconhecido que:

P[Y = 1|X = 1] = P[Y = 0|X = 0] = 0, 9

P[Y = 0|X = 1] = P[Y = 1|X = 0] = 0, 1

E, do sistema: P[X = 0] = P[X = 1] = 0, 5. Tem-se que algumas dasprobabilidades conjuntas são:

P[X = 0, Y = 0] = P[Y = 0|X = 0] ∗ P[X = 0] = 0, 45

P[X = 0, Y = 1] = P[Y = 1|X = 0] ∗ P[X = 0] = 0, 05

Page 13: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 13

Exclusividade mútua: Dois eventos A e B são ditos mutuamenteexclusivos se P[A

⋃B] = P[A] + P[B].

Probabilidade descondicionada: Sejam A1, A2, ..., An, n eventosmutuamente exclusivos, tal que

⋃ni=1 Ai = Ω. Seja B um outro evento

definido no espaço amostral de Ai. Então, com P[Ai] 6= 0, ∀ i, P[B] =∑n

i=1 P[B|Ai] · P[Ai].Independência estatística (superficialmente): Dois eventos A e B

∈ F são estatisticamente independentes se, e somente se, P[A · B] =P[A] · P[B]

Como P[A · B] = P[B|A] · P[A] = P[A|B] · P[B], esta independên-cia implica em:

P[A|B] = P[A] e P[B|A] = P[B] (1.5.4)

Genericamente, para n eventos Ai, i = 1, 2, ..., n independentes, énecessário que:

P[Ai, Aj] = P[Ai] · P[Aj]

P[Ai, Aj, Ak] = P[Ai] · P[Aj] · P[Ak] ∀i, j, k...

P[A1, ..., An] = P[A1] · P[A2]...P[An]

(1.5.5)

Com 1 ≤ i < 2 < k < ... ≤ nTeorema de BayesSupondo que desejamos saber a probabilidade do evento Aj ocor-

rer, dado que observamos o evento B, e temos conhecimento a prioridas probabilidades condicionadas P[B|Aj]. O que desejamos calcu-lar é então a probabilidade após (a posterior) a observação, isto é,P[Aj|B]. Como P[A · B] = P[A|B] · P[B] = P[B|A] · P[A], temos que:

P[A|B] = P[B|A] · P[A]

P[B](1.5.6)

Quando utilizamos a fórmula de descondicionamento e condi-ções, chegamos a:

P[Aj|B]︸ ︷︷ ︸a posteriori

=

a priori︷ ︸︸ ︷P[B|Aj] ·P[Aj]

∑ni=1 P[B|Ai] · P[Ai]

(1.5.7)

que é conhecido como o Teorema de Bayes. Esta fórmula, apesarde simples, é muito importante e utilizada na área da medicina ebiologia.

Example 16 Suponha que existe um teste que detecta a presença de umadeterminada doença. Seja A o evento que o teste resulta positivo (isto é, dizque a pessoa está doente). E seja B o evento que é a pessoa de fato estardoente. Imediatamente, Ac é o evento em que o teste resulta negativo (dizque a pessoa não tem a doença), e Bc significa que a pessoa não está doente.

É sabido que: P[A|B] = P[AC|BC] = 0, 95.EP[B] = 0, 005.Aparentemente, o teste parece ser bom, tendo em vista que se a pessoa

está doente, ele provavelmente confirmará, e se a pessoa estiver saudável, ele

Page 14: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

14 manish sharma

também confirmará. Mas será que o contrário vale? Isto é, se ele confirmarque a pessoa está doente, será que as chances dela estar doente são de fatoaltas? Assim, queremos calcular P[B|A].

P[B|A] =P[B] ∗ P[A|B]

P[A|B] ∗ P[B] + P[A|BC] ∗ P[BC]= 0, 087

Isso quer dizer que, apenas em 8,7% das vezes que o teste da positivo,a pessoa de fato está doente. Ou seja, possui um alto índice de alarmefalso.Assim, este teste não é tão confiável quanto inicialmente parece.

1.6 Exemplos de Experimento e Probabilidades

Testes de Bernoulli (binomial)Considere um experimento simples que pode ter um resultado bi-

nário, digamos "sucesso"e "falha". Seja a probabilidade de sucesso ép, enquanto a probabilidade de falha é q. Evidentemente, q = 1− p.Um exemplo de experimento assim é jogar uma moeda. O resultadopode apenas ser "cara"ou "coroa". Imagine agora que este experi-mento seja repetido várias vezes e que cada repetição do experimentoé independente de outra repetição. Muitas vezes é interessante sabereventos como "pelo menos 3 sucessos em 5 tentativas"ou "não maisque 2 falhas em 6 tentativas".

Seja a seguinte situação: são jogadas n moedas e veremos quantasderam CARA(H) ou COROA(T), o que acontece com probabilidadep e q respectivamente (p + q = 1). No caso, o sucesso é CARA. Comn = 4 temos:

Ω =

HHHH THHH TTHH TTTH TTTTHTHH THTH TTHTHHTH THHT THTTHHHT HTHT HTTT

HHTTHTTH

Seja Ak o evento onde há k sucessos. Assim:

P[Ak] =

(nk

)pkqn−k , b(k; n, p). (1.6.1)

Observemos a equação 1.6.1. O primeiro termo do produto repre-senta a combinação de quantas maneiras possíveis podem ocorrer ksucessos. Por exemplo, se k = 2 há 6 maneiras diferentes de cairduas CARA’s. A segunda parte do produto, pkqn−k representa aprobabilidade de cair exatamente uma das (n

k) maneiras de se obterk sucessos.

• Distribuição binomial cumulativa (há até k sucessos):

B(k; n, p) =k

∑i=0

b(i; n, p) =k

∑i=0

(ni

)piqn−i. (1.6.2)

• Probabilidade de haver entre k e j sucessos, inclusive:

j

∑i=k

b(i; n, p). (1.6.3)

Page 15: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 15

• Um caso particular e aproximado da Binomial é obtido mantendonp = a constante e fazendo n >> 1, p << 1 e k << n temos:(

nk

)pk(1− p)n−k ∼=

1k!

ak(

1− an

)n−k, n→ ∞ =⇒ ak

k!exp(−a).

(1.6.4)

• Nestas condições, b(k; n, p) ≈ ak

k! exp(−a).

Essa última fórumla representa a Regra de Poisson, a ser discutidaem seguida.

Regra de PoissonEsta regra é uma forma limitante da regra binomial:

P[k] =ak

k!exp(−a), k = 0, 1, 2, . . . (ocorrências) (1.6.5)

onde a = λτ (λ é média de ocorrência no intervalo de tempo e τ

é o intervalo de tempo). Quando λ e τ são independentes temos quea probabilidade de haver k ocorrências no intervalo de tempo τ é:

P[k; t, t + τ] = exp(−λτ)(λτ)k

k!. (1.6.6)

A Regra de Poisson é muito utilizada em vários campos, geral-mente no dimensionamento de recursos compartilhados.

Example 17 Considere um computador com 10.000 peças. Cada compo-nente falha de maneira independente do outro. A probabilidade de um com-ponente falhar em um ano é de 10−4. Considerando que o computador falhase uma ou mais peças falharem , qual a probabilidade do computador conti-nuar funcionando após 1 ano de uso. Para isso, é equivalente a calcularmosa probabilidade de todas as peças estarem funcionando.

Seja p = 0, 0001; n = 10.000; k = 0 e np = 1.Assim, observa-se que n >> 1, p << 1 e k << n, podemos aproximar

para uma Poisson:10

0! e−1 = 1/e = 0, 368

Distribuição NormalEssa distribuição também pode ser vista como uma aproximação

da binomial. É uma das principais distribuições de probabilidade,utilizada em diversos ramos.

A sua função de densidade de probabilidade é dada por:

φ(x) =1√2π

exp[−1

2x2]

, (1.6.7)

e a sua integral, a distribuição normal:

Φ(x) =1√2π

∫ x

−∞exp

[−1

2y2]

dy (1.6.8)

que é não possui solução analítica. Os valores dessa integral sãoencontrados em tabelas de distribuição normal. Há também aplica-tivos como o Probability Distributions que fornecem os valores dessaintegral e de outras distribuições usuais.

Page 16: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

16 manish sharma

Assim, para n grande:

b(k; n, p) ≈ 1√

npq

(k− np√

npq

)], (1.6.9)

sendo essa aproximação melhor para o produto npq grande.

1.7 Exercícios

Os exercícios deste capítulo são: 1.20, 1.23, 1.29,1.30 do livro "‘Proba-bility and random processes with applications to signal processing"’,Henry Stark.

Page 17: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

2Variáveis Aleatórias

2.1 Introdução

Muitos eventos aleatórios possuem como resultados números. Porexemplo, escolher uma pessoa aleatoriamente na rua e medir a suaaltura. Todavia, nem todos os eventos possuem resultados numéri-cos. Um exemplo direto é o lançamento de uma moeda, que podecair CARA ou COROA. Mesmo em experimentos onde o espaçoamostral não é um conjunto numérico pode ser útil correlacionarestes resultados com números reais. Por exemplo, ao sortear umabola que pode ter a sua cor variando desde branco até preto pas-sando por vários tons de cinza. Poderíamos relacionar cada tom aum número, sendo o branco e o preto dois extremos, por exemplo.

Assim, surje a idéia de fazer um mapeamento entre o espaçoamostral Ω e a linha Real <. Esta idéia de mapear ou relacionarelementos de Ω com números que nos leva a definir uma variávelaleatória.

2.2 Definição de Variável Aleatória

Considere o experimento H com espaço amostral Ω. Os elementosde Ω são ξ, os resultados possíveis de H. A associação de ξ a umnúmero real através da função X(ξ), sujeita a condições, faz com queX seja uma variável aleatória (abreviação, v.a.). Assim, a variávelaleatória X não é uma variável qualquer, mas sim uma função cujodomínio é o espaço amostral Ω e a imagem é um subconjunto dareta real <. Como a relação entre ξ e X é função, um ξ é mapeadoem um único X(ξ). O contrário não precisa ser verdade.

Eventos (conjuntos de ξ, subconjuntos de Ω) são pontos em <. Es-tes pontos podem ser as vezes agrupados em regiões. Em particular,o seguinte evento:

ξ : X(ξ) < x, (2.2.1)

abreviado como X < x, possui uma probabilidade (número) asso-ciada que é P[X < x] = FX(x), chamada função distribuição deprobabilidade (PDF em maiúsculo).

A função FX(x) deve satisfazer algumas condições para ser con-sistente com a definição axiomática de probabilidade (vide 1.4). As-

Page 18: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

18 manish sharma

sumimos que ela satisfaz estas condições, que podem ser deduzidas.Do ponto de vista matemático, é irrelevante o formato do espaço

amostral Ω ou da relação entre os elementos deste espaço amostral eX, isto é, X(·). É suficiente saber a relação entre o número x e a suaprobabilidade, isto é, FX(x).

Uma condição importante que a variável aleatória deve seguir é:P[X = −∞] = P[X = ∞] = 0. Isso assegura condições de continui-dade para a PDF.

Se a imagem de X é contável, a v.a. é discreta. Caso contrário, écontínua (grosseiramente falando).

É importante para o entendimento ressaltar a diferença entre Xe x: X é uma variável aleatória, cujo valor não é sabido e pode as-sumir vários valores, dependendo da sua PDF; x é um número. Avariável aleatória X pode assumir o valor de x, e isto acontece comprobabilidade P[X = x].

Example 18 Um ônibus chega aleatoriamente em uma certa estação dentrodo intervalo de tempo [0; T]. Seja t o tempo de chegada do ônibus. O espaçoamostral é Ω = t : t ∈ [0; T]. Uma variável aleatória X é definida por:

X =

1, t ∈ [T/4; T/2]

0, c.c. (caso contrário)

Assumindo que a probabilidade de chegada é uniforme para o intervalo[0; T]. Agora, pode-se calcular a P[X(t) = 0] ou P[X(t) ≤ 5].

P[X = 0] = P[(t ∈ [0; T/4]) ∪ (t ∈ [T/2; T])] = 1/4 + 2/4 = 3/4

P[X ≤ 5] = 1. Pois X sempre assumirá valores menores que 5.

2.3 Função Distribuição de Probabilidade (ou Só Probabili-dade)

A Função de Distribuição de Probabilidade é definida por:

FX(x) = P[ξ : X(ξ) < x] = P[(−∞; x]] (2.3.1)

De maneira geral, quando se calcula FX(x), ela retorna a probabi-lidade da variável aleatória assumir um valor desde −∞ até x. Valeobservar os índices da notação FX(x). O índice subscrito indica avariável aleatória relacionada com a função. E o valor x entre parên-teses indica o valor até onde a probabilidade é calculada. Em outraspalavras, se y for um número real, faz completo sentido escreverFX(y) = P[X ≤ y].

Se FX(x) tiver uma descontinuidade (comum em experimentoscom eventos discretos) no ponto x0, então o valor da PDF FX(x0)

será o valor imediatamente à direita. Ou seja, a continuidade é peladireita.

Propriedades:

1. FX(∞) = 1 ; FX(−∞) = 0

Page 19: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 19

2. Se x1 < x2, FX(x1) ≤ FX(x2), ou seja, é uma função não-decrescente.

3. FX(x) é contínua pela direita, i.e.: FX(x) = limε→0

FX(x + ε), ε > 0

4. Se FX(x) é uma função contínua, FX(x) = FX(x−).

5. Se FX(x) possui descontinuidades no ponto x, então: FX(x) −FX(x−) = P[x− < X < x] = lim

ε→0P[x− ε < X < x] ≡ P(X = x).

Tipicamente P[X = x] é uma função descontínua em x, igual azero onde FX(x) é contínua e diferente de zero onde FX(x) é descon-tínua.

Example 19 Consideremos o caso do ônibus que chega em seu ponto emum momento aleatório entre (0; T]. Seja X a variável aleatória que significao tempo de chegada. Claramente FX(t) = 0; t ≤ 0, pois o ônibus nãochegará antes do tempo "zero". E também FX(T) = 1, pois com certezao ônibus chegará antes do instante T. Considerando que a probabilidadedo ônibus chegar é uniforme dentro do intervalo, tem-se que a função dedistribuição de probabilidade é:

FX(t) =

0, t ≤ 0

t/T, t ∈ (0; T]

1, t > T

2.4 Função Densidade de Probabilidade (p.d.f)

Se FX(x) é contínua e diferenciável, definimos a sua p.d.f (do inglês,probability density function) via:

fX(x) =dFX(x)

dx. (2.4.1)

Propriedades da p.d.f :

1. fX(x) ≥ 0

2.∫ ∞

−∞fX(ε)dε = FX(∞)− FX(−∞) = 1

3. FX(x) =∫ x

−∞fX(ε)dε = P[X ≤ x]

4. FX(x2)− FX(x1) =∫ x2

−∞fX(ε)dε−

∫ x1

−∞fX(ε)dε =

∫ x2

x1

fX(ε)dε =

P[x1 < x ≤ x2]

A interpretação de fX(x) vem do cálculo da seguinte probabili-dade:

P[x < X ≤ X + ∆x] = FX(x + ∆x)− FX(x)

Se FX(x) tem sua primeira derivada contínua, então, para um ∆xsuficientemente pequeno:

FX(x + ∆x)− FX(x) =∫ ∆

xx fX(ε)dε ≈ fX(x) ∗ ∆x

Densidades comuns 1: 1 µ = ∑ni xi/n, σ =

√∑(x− µ)2/n,

u(x) = 1, se x ≥ 0 ou 0, se x < 0 (de-grau). Serão definidos adequadamenteno capítulo 3.

Page 20: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

20 manish sharma

• Gaussiana (com média µ e desvio padrão σ:

fX(x) =1√

2πσ2exp

(−1

2

[x− µ

σ

]2)

. (2.4.2)

• Rayleigh (σ > 0):

fX(x) =x

σ2 exp(− x2

2σ2

)u(x). (2.4.3)

• Exponencial (µ > 0):

fX(x) =1µ

exp(− x

µ

)u(x). (2.4.4)

• Uniforme (b > a):

fX(x) =

1b−a , a < x < b

0, c.c. (caso contrário)(2.4.5)

Example 20 Suponha que escolhemos um resistor com resistência R de ummontante de risistores. A distribuição das resistências pode ser consideradanormal, com média µ = 1000 ohms e desvio padrão σ = 200 ohms. Qual aprobabilidade de R assumir um valor entre 900 e 1100 ohms?

Como foi dito, tem-se que R : N[1000; 200]. Esta notação X : N[µ; σ]

indica que X está distribuida como uma normal de média µ e desvio padrãoσ. Estes conceitos serão vistos no próximo capítulo mais detalhadamente.

Gostaríamos de calcular:

P[900 < R ≤ 1100] =∫ 1100

900fX(ε)dε

Mas sabemos que essa integral não é resolvível analiticamente. Para isso,utiliza-se tabelas de integrais. Uma tabela comum de ser encontrada é a daFunção Erro (er f (x)). A Função Erro é definida como:

er f (x) =1√2π

∫ x

0e−

t22 dt

Pode-se mostrar que com essa função, pode-se calcular para uma normalde parâmetros µ e σ:

P[a < X ≤ b] = er f(

b− µ

σ

)− er f

(a− µ

σ

)Além disso: er f (−x) = −er f (x)Por fim, calcula-se para os resistores e de uma tabela, tem-se que er f (0, 5) =

0, 191:

P[900 < R ≤ 1100] = er f (0, 5)− er f (−0, 5) = 2 ∗ er f (0, 5) = 0, 38

Page 21: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 21

2.5 Variáveis Contínuas, Discretas e Híbridas

Se FX(x) for:

• contínua ∀x,

• diferenciável em qualquer lugar exceto por um número contávelde pontos.

• ter derivada diferente de zero em pelo menos alguma região ondefor diferenciável,

então X é uma v.a. contínua.Se a derivada de FX(x) existe no ponto x, então, fX(x) = F′X(x).

Se não existir, a p.d.f. fX(x) pode ser um número positivo qualquer,o que a definiria completamente. Nestas condições, conseguimosescrever as seguintes equações, dado que fX(x) é definida para todonúmero2: 2 B é um evento de Ω mapeado via X(·)

em regiões disjuntas em <

FX(x) =∫ x

−∞fX(ξ)dξ

P(x1 < x ≤ x2) =∫ x2

x1

fX(ξ)dξ

P[B] =∫

ξ :ξ∈BfX(ξ)dξ

(2.5.1)

Para uma v.a. discreta, FX(x) tem forma de uma escada com quan-tidade de descontinuidades igual ao número de valores que X podeassumir. Além disso, o tamanho de cada degrau é a própria proba-bilidade daquele ponto.

A medida utilizada para variáveis aleatórias discretas é a funçãomassa de probabilidade (PMF, do inglês), definida como:

PX [x] = P[X ≤ x]− P[X < x] =

6= 0, nas descontinuidades de FX(x)

= 0, c.c(2.5.2)

Como FX(x) não é contínua, fX(x) não existe, mas podemos uti-lizar deltas de Dirac para "aproximar"’ o seu formato de forma ma-temática. Assim, a p.d.f de uma v.a. discreta X que pode assumir osvalores x1, x2, ..., xNseria:

fX(x) =N

∑i=1

δ(x− xi)P[X = xi] (2.5.3)

Utilizando este artifício, podemos relacionar a p.d.f com a PDF3 3 Elucidação: Vale a pena ressaltar asdiferenças entre p.d.f e PDF: p.d.f. éa função densidade de probabilidadee PDF é a função distribuição de pro-babilidade. A PDF é genérica e valetanto para FX(x) discreta quanto contí-nua, enquanto a p.d.f. vale apenas paraFX(X) contínua e diferenciável.

de uma v.a. discreta através das equações 2.5.1.

Example 21 A pdf associada a uma distribuição de Poisson com parâmetroa é dada por:

fX(x) = e−a∞

∑k=0

ak

k!δ(x− k)

Page 22: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

22 manish sharma

Example 22 A pdf associada a uma distribuição binomial b(k;n;p) é dadapor:

fX(x) =n

∑k=0

(nk

)pkqn−kδ(x− k)

2.6 Densidades Condicional e Conjuntas

Seja C um evento que consiste de todos os resultadoz ξ ∈ Ω tais queX(ξ) ≤ x e ξ ∈ B ⊂ Ω onde B é um outro evento. O evento C éentão a interseção entre os dois eventos ξ : X(ξ) ≤ x e ξ ∈ B.Defini-se a função de distribuição condicional de X dado o evento Bcomo:

FX(x|B) = P[C]P[B]

=P[X ≤ x, B]

P[B](2.6.1)

Onde P[X ≤ x, B é a probabilidade conjunta do evento X ≤x ∩ B e P[B] 6= 0.

Deste resultado é possível chegar na densidade de probabilidadecondicional:

fX(x|B) = dFX(x|B)dx

(2.6.2)

Seja B e X = x eventos definidos em um mesmo espaço amos-tral. Tem-se que a probabilidade condicional é:

P[B|X = x] =P[B, X = x]

P[X = x]

Mas observe que se X for uma variável aleatória contínua, tem-se que P[X = x] = 0, e a solução fica indefinida. Porém, trocandoX = x por x < X ≤ x + ∆x e levar ao caso limite em que∆x → 0, chega-se no seguinte resultado importante:

P[B|X = x] =fX(x|B) ∗ P[B]

fX(x); f (x) 6= 0 (2.6.3)

Por fim, tem-se os casos gerais. Dadas duas v.a.’s Y (discreta) e X(contínua), a fórmula de Bayes fica:

fX(x|Y = y) = P(Y=y|X=x)· fX(x)P(Y=y)

P(Y = y|X = x) = fX(x|Y=y)·P(Y=y)fX(x)

(2.6.4)

Caso ambas sejam contínuas temos um único formato:

fX(x|Y = y) = fY(y|X=x)· fX(x)fY(y)

fY(y|X = x) = fX(x|Y=y)· fY(y)fX(x)

(2.6.5)

Example 23 Um sinal, X pode vir de três diferentes fontes, chamadas A,B, e C. O sinal de A é N(−1; 4), o sinal de B é N(0; 1), e o sinal de Cé N(1; 4). Somente uma fonte manda sinal por vez, mas não se sabe qualfonte mandou. Mas é sabido que a fonte A manda duas vezes mais sinal quea fonte B, que por sua vez manda duas vezes mais que a C.

Page 23: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 23

a) Calcular P[X ≤ 1]b) Dado que observou-se o evento X > −1, de qual fonte o sinal é

mais provável ter vindo?Dos dados, tem-se que: P[A] = 2 ∗ P[B] = 4 ∗ P[C]. Como P[A] +

P[B] + P[C] = 1, tem-se que: P[A] = 4/7, P[B] = 2/7 e P[C] = 1/7.Agora, calcula-se:

P[X ≤ −1] = P[X ≤ −1|A]P[A]+P[X ≤ −1|B]P[B]+P[X ≤ −1|C]P[C]

Para isso, usando a tabela da função erro para o cálculo das distribuiçõesnormais:

P[X ≤ −1|A]P[A] = 0, 5

P[X ≤ −1|B]P[B] = 0, 5− er f (1) = 0, 159

P[X ≤ −1|C]P[C] = 0, 5− er f (1) = 0, 159

Assim, substituindo esses valores, tem-se que:

P[X ≤ −1] = 0, 354

Agora, para o item b), queremos calcular P[A|X > −1], P[B|X > −1]e P[C|X > −1] e verificar qual é a maior dessas probabilidades.

Tem-se que P[A|X > −1] = 1− P[A|X ≤ −1] e analogamente para Be C. Do Teorema de Bayes:

P[A|X > −1] =1− P[X ≤ −1|A] ∗ P[A]

1− P[X ≤ −1]= 0, 44

Para P[B|X > −1] = 0, 372 e P[C|X > −1] = 0, 186Logo a maior probabilidade é de que o sinal tenha vindo de A.

2.7 Distribuição e Densidade Conjunta

Em muitas situações teremos mais de uma variável aleatória em ummesmo espaço amostral. Nestas situações, muitas vezes estamos in-teressados no evento X ≤ x, Y ≤ y = X ≤ xY ≤ y, quecorresponde ao evento onde as respostas ξ ∈ Ω do experimento sãotais que X(ξ) ≤ x e Y(ξ) ≤ y. Essa região corresponde no planocartesiano x′y′ a um semi-plano que está abaixo das linhas x′ = x ey′ = y.

A PDF conjunta de duas variáveis aleatórias X e Y é definida por:

FXY(x, y) = P[X ≤ x, Y ≤ y] (2.7.1)

Como X ≤ ∞ e Y ≤ ∞ são eventos certos, ou seja, P[X ≤∞] = P[Y ≤ ∞] = 1, tem-se que:

FXY(x, ∞) = FX(x) (2.7.2)

FXY(∞, y) = FY(y) (2.7.3)

Page 24: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

24 manish sharma

Caso a PDF seja contínua e diferenciável, a p.d.f conjunta pode serobtida via derivada, isto é:

fXY(x, y) =∂2[FXY(x, y)]

∂x∂y(2.7.4)

Da p.d.f. é possível chegar na PDF através de uma dupla integra-ção:

FXY(x, y) =∫ x

−∞

∫ y

−∞fXY(ξ, η)dξdη (2.7.5)

Nos pontos de descontinuidade, a FXY tem continuidade somentepela direita e por cima. Ou seja, se (x0; y0) é um ponto de desconti-nuidade, tem-se que FXY(x0; y0) assume o valor imediatamente a suadireita e para cima.

Propriedades da PDF conjunta:

1. FXY(∞, ∞) = 1;

2. FXY(−∞, y) = FXY(x,−∞) = 0;

3. FXY(x, ∞) = FX(x) e FXY(y, ∞) = FY(y);

4. Se x1 ≤ x2 e y1 ≤ y2, FXY(x1, y1) ≤ FXY(x2, y2).

5. FXY(x; y) = lim(ε;δ)→(0;0)

FXY(x + ε; y + δ), ε; δ > 0

Example 24 Seja a densidade conjunta dada: fXY(x; y) = e−(x+y) ∗u(x) ∗u(y), onde u é a função degrau unitário. u(x) = 0; x < 0 e u(x) = 1; 1 ≤x. Deseja-se calcular P[(X; Y) ∈ A], onde A = (x; y) : 0 ≤ x ≤ 1; |y| ≤x.

Neste exemplo é importante analisarmos os limites de integração das va-riáveis aleatórias. A figura é um triângulo, com um dos vértices na origeme os outros dois nos pontos (1; 1) e (1;−1).

Assim, a integral fica da forma:

P[(X; Y) ∈ A] =∫ x=1

x=0

∫ y=x

y=−xe−(x+y) ∗ u(x) ∗ u(y)dydx

Como 0 ≤ 0 então u(y) = 0 durante −x < y < 0, logo:

P[(X; Y) ∈ A] =∫ x=1

x=0

∫ y=x

0e−(x+y)dydx

Resolvendo essa integral, chegamos no resultado:

P[(X; Y) ∈ A] ≈ 0, 2

2.8 Informações complementares:

Tem-se que as funções FX(x) e FY(y) são chamadas de DistribuiçõesMarginais se forem obtidas a partir de uma distribuição conjuntaFXY(x, y). Matematicamente:

FX(x) = FXY(x, ∞) =∫ x

−∞dζ∫ ∞

−∞f (ζ, y)dy (2.8.1)

Page 25: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 25

FX(x) = FXY(∞, y) =∫ y

−∞dη∫ ∞

−∞f (x, η)dx (2.8.2)

Assim, as Densidades Marginais são dadas por:

fX(x) =FX(x)

dx=∫ ∞

−∞fxy(x, y)dy (2.8.3)

fY(y) =FY(y)

dy=∫ ∞

−∞fxy(x, y)dx (2.8.4)

Para variáveis aleatórias discretas o resultado análogo é dado pe-las somas:

PX(xi) = ∑∀yk

PXY(xi, yk) (2.8.5)

PY(yk) = ∑∀xi

PXY(xi, yk) (2.8.6)

Outro conceito importante é o de Variáveis Aleatórias Indepen-dentes. Duas variáveis aleatórias X e Y são ditas independentes seos eventos X ≤ x e Y ≤ y forem independentes para qualquercombinação de x e y. Vimos no Capítulo 1 que dois eventos A e B sãoditos independentes se P[AB] = P[A]P[B]. Tomando A = X ≤ xe B = Y ≤ y, e lembrando das definições de FX(x) e FY(y), tem-seimediatamente que:

FXY(x, y) = FX(x) ∗ FY(y) (2.8.7)

Esse resultado vale para todo x e y se, e somente se, X e Y sãoindependentes.

Também segue que:

fXY(x, y) = fX(x) ∗ fY(y) (2.8.8)

Este também só vale se, e somente se, X e Y são independentes.

Example 25 Seja:

fXY(x, y) =1

2πσ2 e−(1/2σ2)(x2+y2)

fXY(x, y) =1√

2πσ2e−(x2/2σ2) ∗ 1√

2πσ2e−(y

2/2σ2) = fX(x) ∗ fY(y)

Logo, X e Y são independentes.

2.9 Exercícios

Os exercícios deste capítulo são: 2.2, 2.11, 2.14, 2.20 do livro "‘Proba-bility and random processes with applications to signal processing"’,Henry Stark. Outros exercícios podem ser feitos pelo aluno, escolhi-dos aleatoriamente.

Page 26: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos
Page 27: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

3Funções e Transformações de Variá-veis Aleatórias

3.1 Introdução e Definição

Na engenharia e na ciência muitas vezes estamos interessados na re-lação entrada e saída de um sistema. Se a entrada de um sistemaé aleatória, geralmente a saída também será aleatória. De maneiramais forma, se uma entrada de um sistema é uma variável aleatóriaX e Y é a saída do sistema, Y também é uma variável aleatória. Apergunta que pensamos é: "Se conhecermos a pdf, PMF ou PDF daentrada podemos conhecer as funções da saída?". A resposta paraessa pergunta é: Em alguns casos sim, em outros a relação podeser muito complicada, mas ainda sim pode-se obter informações dasaída. Em sistemas que possuem uma espécie de memória, isto é,a saída seguinte depende dos valores anteriores, esses cálculos sãomuito mais complicados. No atual momento, não estamos interessa-dos nesses casos.

Existem diferentes formas de se compreender uma Função de Va-riável Aleatória (FRV, do inglês, Function of a Random Variable).Uma das formas é enxergá-la como uma relação de entrada e saídade um sistema. Para todo valor X(ξ) na imagem RX , gera-se umnovo número Y = g(X) com imagem RY. Y é uma regra cujo domí-nio é RX e imagem é RY. Y é uma Função da Variável Aleatória X.Assim, pode-se enxergar essa relação onde uma dada entrada x serelaciona com uma saída y pela função y = g(x).

Um dos problemas que nos deparamos nos cálculos envolvendoFRV’s é: Dadog(x) e FX(x), qual o conjunto de pontos Cy tam que oseventos são iguais:

ξ : Y(ξ) ≤ y = ξ : g[X(ξ)] ≤ y = ξ : X(ξ) ∈ Cy

Para assim conhecermos a probabilidade:

P[Y ≤ y] = P[X ∈ Cy]

Example 26 Uma forma de onda de dois níveis é feita analógica pelo efeitoaditivo de um ruído Gaussiano (se distribui de maneira Gaussiana, isto é,Normal) de média e variância unitárias (N(1; 1)). Um decodificador recebe

Page 28: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

28 manish sharma

uma forma de onda x(t) no instante t0 e decodifica de acordo com a seguinteregra:

Se x(t0) ≥ 1/2 então y = 1 Se x(t0) < 1/2 então y = 0Deseja-se calcular a PMF de Y:Evidentemente, tem-se que:

Y = 0 = X < 0, 5

Y = 1 = X ≥ 0, 5

Assim:

P[Y = 0] = P[X < 0, 5] =1√2π

∫ 0,5

−∞e−

12 (x−1)2

dx = 0, 31

O cálculo dessa função pode ser feito utilizando uma mudança de variávelx′ = (x− 1) e depois utilizando a tabela da função erro.

Assim: P[Y = 0] = 0, 31. De maneira análoga, pode-se calcular P[Y =

1] = 0, 69 (ou perceber que os únicos valores que Y pode assumir são 0 e 1.Logo a PMF é:

PY(0) = 0, 31

PY(1) = 0, 69

PY(y) = 0; y 6= 0; 1

Se desejarmos obter a pdf, podemos utilizar as funções delta de Dirac:

fY(y) = 0, 31δ(y) + 0, 69δ(y− 1)

3.2 Problemas do Tipo Y = g(X) - Univariáveis

Sejam duas v.a.’s contínuas X e Y, tal que Y = g(X), isto é, Y é umafunção determinística de X.

Seja PY(Y < y∗) = PX(X < x∗) para algum valor de x∗ e y∗1.1 Isto equivale a dizer que a área de-baixo das curvas de densidade de pro-babilidade de x (até x∗) e de y (até y∗)serão iguais.

Derivando em relação a x temos:

fX(X = x) =d

dxPY(Y < y)

=dPY(y)

dy

∣∣∣∣ dydx

∣∣∣∣= fy(g(x))

∣∣∣∣ dydx

∣∣∣∣(3.2.1)

Obs.: Foi tomado o valor absoluto de dydx , pois, no caso geral, po-

deríamos também ter y como função decrescente de x(

dydx < 0

), ou

seja, PX(X < x∗) = PY(Y > y∗)⇒ PX(X < x∗) = 1− PY(Y < y∗)⇒fX(X = x) = − fY(Y = y) dy

dx = fY(Y = y)∣∣∣ dy

dx

∣∣∣A partir deste ponto vários caminhos são possíveis. Em um deles,

mostrado no exemplo a seguir, integramos os dois lados da equação,apos a separação de dx/dy.

Page 29: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 29

Figura 3.1: Transformação de variáveisda uniforme para a exponencial. Ob-serve que as áreas de baixo das curvasaté os valores equivalentes de x∗ e y∗

são iguais.

Example 27 Temos uma v.a. X uniformemente distribuída entre entre 0 e1. Desejamos obter uma v.a. Y com distribuição exponencial com parâmetroK qualquer. Como deve ser a relação Y = g(X)?

fX(x) =

1, 0 < x < 10, c.c

(3.2.2)

fY(y) =1K

exp(− yK) (3.2.3)

Utilizando fX(x) = fY(g(x)) dydx temos (veja o que ocorre se escolhermos

dydx < 0):

1K exp

(− y

K)= 1 · dx

dy1K exp

(− y

K)

dy = dx ⇒ x = − exp(− y

K)+ c

log(c− x) = − yK ⇒ y = −K · ln(c− x)

(3.2.4)

Porém, queremos que quando x = 0, teremos y = 0. Logo c = 1 e,portanto y = −K · ln(1− x).

Existe uma maneira mais geral de resolver esse tipo de problema.Seja X uma v.a. com pdf fX(x) e a função diferenciável g(x) devariável real x. Deseja-se achar a pdf de Y = g(X).

É possível mostrar que, se a equação y = g(x) possio n raízes reaisx1; x2; ...; xn, e como o evento y < Y < y+ dy pode ser escrito comouma união de eventos disjuntos Ei, então estes eventos disjuntostêm forma: Ei = xi − |dxi| < X ≤ xi se g′(xi) for negativo ouEi = xi < X ≤ x + |dxi| se g′(xi) for positivo. Nos dois casos, dadefinição de pdf, tem-se que: P[Ei] = fX(xi)|dxi|. Então:

P[y < Y ≤ y + dy] = fY(y)|dy| =n

∑i=1

fX(xi)|dxi|

Dividindo ambos os lados por |dy|:

fY(y) =n

∑i=1

fX(xi)

|g′(xi)|; xi = xi(y); g′(xi) 6= 0 (3.2.5)

Vale observar que nem sempre essa maneira é a mais rápida. Noexemplo anterior, por exemplo, resolver uma equação diferencial porseparação de variáveis foi muito mais útil.

Page 30: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

30 manish sharma

Example 28 Vamos encontrar uma relação generalizada para variáveis ale-atórias relacionadas de maneira linear.

Seja Y = aX + b, com X uma v.a. contínua com pdf fX(x). Supondoa > 0, tem-se que o evento aX + b ≤ y é idêntico ao evento X ≤ y−b

a .Assim:

Y ≤ y = aX + b ≤ y = X ≤ y− ba

Da definição de PDF:

FY(y) = FX

(y− b

a

)E logo a pdf:

fY(y) =1a

fX

(y− b

a

)Repetindo o processo para a < 0, chega-se no resultado geral:

fY(y) =1|a| fX

(y− b

a

); a 6= 0 (3.2.6)

Usando a técnica geral, tem-se que ax + b = y só possui uma raiz real:x1 = y−b

aAlém disso, g′(x1) = aAssim, aplicando a equação 3.2.5:

fY(y) =1|a| fX(x1) =

1|a| fX

(y− b

a

)Que é o mesmo resultado que encontramos anteriormente.

Example 29 Outro caso interessante é quando Y = X2, onde X é uma v.a.com PDF contínua FX(x). Tem-se que:

Y ≤ y = X2 ≤ y = −√y ≤ X ≤ √yUsando a definição de PDF:

FY(y) = FX(√

y)− FX(−√

y) + P[X = −√y]

Como X é contínua, P[X = −√y] = 0. Logo, para y > 0:

fY(y) =d

dy[FY(y)] =

12√

yfX(√

y) +1

2√

yfX(−

√y)

Enquanto isso, para y < 0, tem-se que fY(y) = 0, pois, como Y = X2,Y nunca assumirá números negativos.

Pelo método generalizado, tem-se que: y = x2 tem duas raízes reaisquando y > 0, x1 =

√y e x2 = −√y.

E tem-se que: g′(x) = 2x, então: |g′(x1)| = 2√

y = |g′(x2)|.Finalmente, usando a equação 3.2.5:

fY(y) =1√

yfX(√

y) +1√

yfX(−

√y)

Que é o mesmo resultado que chegamos anteriormente.Além disso, para y < 0 a equação y = x2 não possui raízes reais. Logo,

nesse caso, fY(y) = 0.

Page 31: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 31

3.2.1 Caso de v.a. discreta

Como Y = g(X), o espaço de Y é imagem de g(x). A relação entreP.D.F.’s pode ser obtida via somatório2: 2 A notação [A] vale 1 se A for verdade e

0 caso contrário. Ela se chama "‘Iversonbracket"’

Py(Y = y′) = ∑x

Px(X = x)× [g(x) = y′]︸ ︷︷ ︸ (3.2.7)

Este método pode facilmente ser generalizado para o caso multi-variável.

3.3 Problemas do tipo Z = g(X, Y)

Em muitas situações na ciência e na engenharia, uma variável alea-tória dependerá de mais de duas ou mais variáveis aleatórias. Nestaseção, nos preocuparemos com o caso onde a variável aleatória Z éfunção das v.a. X e Y, isto é, Z = g(X, Y). Isso pode representar umdispositivo que amplifica um sinal X por um fator Y, tendo assim:Z = XY. Outro caso possível é a sobreposição de um ruído aleatórioY em um sinal X, assim: Z = X + Y. Ou ainda pode representar ummovimento aleatório em um plano, onde a distância até a origem dosistema é: Z =

√X2 + Y2.

De maneira análoga ao que foi feito para uma variável, estamos in-teressados no evento Z ≤ z = (X, Y) ∈ Cz onde Cz é o conjuntode pontos tais que os eventos ξ : Z(ξ) ≤ z e ξ : X(ξ), Y(ξ) ∈ Czsão iguais. Assim, da definição de PDF:

FZ(z) =∫ ∫

(x,y)∈CzfXY(x, y)dxdy (3.3.1)

Diferente do caso univariável, a integração é dupla, pois a funçãodepende de duas variáveis aleatórias. Em caso de variáveis discretas,ao invés de integrais teríamos somatórios. Além disso, em geral, pelofato de haver mais de uma variável, os cálculos tendem a ser maiscomplicados e trabalhosos.

Example 30 Seja Z = max(X, Y), e X e Y são v.a. independentes.Deseja-se calcular a pdf fZ(z).

Tem-se que o evento max(X, Y) ≤ z é igual ao evento X ≤ z, Y ≤z. Assim, como as variáveis são independentes:

FZ(z) = P[Z ≤ z] = P[X ≤ z, Y ≤ z] = FX(z) ∗ FY(z)

Derivando em relação a z:

fZ(z) = fX(z)FY(z) + FX(z) fY(z)

Conhecendo as distriuições das variáveis X e Y, conhecemos a pdf de Z

No exemplo seguinte será tratado o caso onde Z = X + Y. Umcaso muito importante e recorrente na área da ciência e engenharia.

Example 31 Seja Z = X + Y. E X e Y são duas variáveis aleatórias.Deseja-se encontrar a equação para fZ(z).

Page 32: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

32 manish sharma

Tem-se que o evento Z ≤ z = X + Y ≤ z. Assim, os pontos doconjunto Cz é o conjunto de pontos tais que: g(x; y) = x + y ≤ z. Noplano xy, isso representa o semiplano localizado abaixo e à esquerda da retaque passa pelos pontos (0; Z) e (Z; 0). Da definição de PDF:

FZ(z) =∫ ∫

x+y≤zfXY(x, y)dxdy =

∫ ∞

−∞

(∫ z−y

−∞dx)

dy

Definindo GXY(x, y) como a integral indefinida: GXY(x, y) =∫

fXY(x, y)dx

FZ(z) =∫ ∞

−∞[GXY(z− y, y)− GXY(−∞, y)]dy

Diferenciando essa equação para obter a pdf:

fZ(z) =dFZ(z)

dz=∫ ∞

−∞

ddz

[GXY(z− y, y)]dy

fZ(z) =∫ ∞

−∞fXY(z− y, y)dy (3.3.2)

Um caso especial e interessante é quando X e Y são v.a. independentes.Nesse caso, fXY(x, y) = fX(x) fY(y), logo:

fZ(z) =∫ ∞

−∞fX(z− y) fY(y)dy (3.3.3)

A equação 3.3.3 é conhecida como integral de convolução, ou ainda, aconvolução entre fX e fY, denotada por: fZ = fX ∗ fY. É uma integral comaplicações relevantes na área de controle por exemplo.

Analogamente, podemos escrever:

fZ(z) =∫ ∞

−∞fX(x) fY(z− x)dy (3.3.4)

Para um caso generalizado: Z = aX + bY, seguindo um procedimentoanálogo e com a seguinte mudança de variáveis:

V = aX

w = bY

Z = V + W

Chegamos na seguinte resposta:

fZ(z) =1ab

∫ ∞

−∞fX

(z− w

a

)fY

(wb

)dy (3.3.5)

No caso de duas v.a. discretas, o processo é semelhante. Sendo Xe Y duas v.a. discretas. Seja Z = X + Y. Pode ser mostrado que aPMF de Z é dada por:

PZ(zn) = ∑xk+yj=zn

P[X = xk, Y = yj] (3.3.6)

No caso de X e Y são independentes:

PZ(zn) = ∑xk+yj=zn

PX(xk)PY(yj)

Page 33: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 33

PZ(zn) = ∑xk

PX(xk)PY(zn − xk) (3.3.7)

Se zn = n∆ e xk = k∆, tem-se que essa soma se torna uma convo-lução discreta:

PZ(zn) = ∑k

PX(k)PY(n− k) (3.3.8)

3.4 Problemas Generalizados para Várias v.a.’s contínuas

Um caso mais complexo e geral e dos problemas de funções de va-riáveis aleatórias é o caso em que se tem duas v.a. que dependem deoutras duas v.a..

Seja X e Y variáveis aleatórias com pdf conjunta fXY(x; y) e duasfunções diferenciáveis g(x, y) e h(x, y). Duas novas variáveis aleató-rias são definidas: V = g(X, Y) e W = h(X; Y). Desejamos calcular aPDF conjunta FVW(v, w) ou a pdf conjunta fVW(v, w) de V e W.

Um caso de aplicação disso é, por exemplo, dada a pdf conjuntafXY(x, y) de um evento ocorrer no plano em coordenadas cartesianas,qual a pdf em coordenadas polates fRΘ(r, θ) de ocorrer o mesmoevento?

Da mesma maneira como nas seções anteriores, estamos interes-sados no evento V ≤ v, W ≤ w = (X, Y) ∈ Cvw. Onde:

Cvw = (x, y) : g(x, y) ≤ v, h(x, y) ≤ w

Da definição de PDF:

P[V ≤ v, W ≤ w] = FVW(v, w) =∫ ∫

(x,y)∈CvwfXY(x, y)dxdy (3.4.1)

De maneira mais generalizada, poderíamos ter k v.a. que são fun-ções de outras k v.a. Seja as seguintes relações entre as variáveis:

Y1 = g1(X1, ..., Xk)

Y2 = g2(X1, ..., Xk)...

Yk = gk(X1, ..., Xk)

(3.4.2)

Onde (X1, ..., Xk) tem p.d.f. conjunta da forma:

fX1,X2,...,Xk (x1, x2, ..., xk)

Normalmente o objetivo é determinar a p.d.f.:

fY1,...,Yk (y1, ..., yk)

Já que gi(...) são normalmente conhecidas.O processo tem 3 etapas:

Page 34: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

34 manish sharma

1. Obter funções inversas:

X1 = h1(Y1, ..., Yk)

X2 = h2(Y1, ..., Yk)...

Xk = hk(Y1, ..., Yk)

(3.4.3)

2. Obter Jacobiano:

Dy =

∂x1∂y1

∂x1∂y2

. . . ∂x1∂yk

∂x2∂y1

∂x2∂y2

. . . ∂x2∂yk

......

. . ....

∂xk∂y1

∂xk∂y2

. . . ∂xk∂yk

(3.4.4)

Onde as derivadas parciais são:

∂xi∂yj

= ∂∂yjhi(y1, ..., yk)

|J(y1, ..., yk)| =∣∣detDy

∣∣ = ∣∣∣detDTy

∣∣∣ (3.4.5)

Lembrando que:

|J(y1, ..., yk)| =1

|J(x1, ..., xk)|(3.4.6)

3. Obter p.d.f utilizando a fórmula:

fY1,Y2,...Yk (y1, y2, ..., yk) = fX1,X2,...,Xk

h1(y1, y2, ..., yk)

h2(y1, y2, ..., yk)...

hk(y1, y2, ..., yk)

· |J(y1, ..., yk)|

(3.4.7)

Onde a pdf existe para y1, y2, ...yk.

A dedução deste método não vem ao caso para essa apostila. Maspode ser encontrada em livros de Probabilidade e Estatística.

Example 32 fX1,X2(x1, x2) = 2 para 0 < x1 < x2 < 1Definimos as relações:

y1 = x1x2

y2 = x2(3.4.8)

1. Inversas:x1 = y1y2; x2 = y2 (3.4.9)

2. Jacobiano:

Dy =

[y2 y1

0 1

](3.4.10)

J = |y2| = y2, pois y2 é por definição sempre não negativo.

Page 35: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 35

3. p.d.f.:

fY1,Y2(y1, y2) = 2y2

0 < y1 < 10 < y2 < 1

(3.4.11)

Example 33 São dadas duas funções:

v = g(x, y) = 3x + 5y

w = h(x, y) = x + 2y

E a probabilidade conjunta:

fXY(x, y) =1

2πe− 1

2(x2+y2)

Qual a pdf conjunta das variáveis V = g(X, Y) e W = h(X, Y)?Primeiro passo, encontra-se as inversas:

x = φ(v, w) = 2v− 5w

y = η(v, w) = −v + 3w

Assim, calcula-se as derivadas parciais:

∂φ

∂v= 2

∂φ

∂w= −5

∂η

∂v= −1

∂η

∂w= 3

E o Jacobiano:

Dy =

[2 −5−1 3

]

|J| = 1

Logo, utilizando a fórmula 3.4.7:

fVW(v, w) =1

2πe−

12 [(2v−5w)2+(−v+3w)2]

Ou seja, a transformação levou de uma Gaussiana não correlacionadapara uma Gaussiana correlacionada.

3.5 Exercícios

Os exercícios deste capítulo são: 3.4, 3.13, 3.29 do livro "‘Probabi-lity and random processes with applications to signal processing"’,Henry Stark.

Page 36: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos
Page 37: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

4Esperança e Estimação

4.1 Valor Esperado de uma Variável Aleatória

Muitas vezes desejamos “resumir” algumas propriedades de umav.a. em alguns números. Por exemplo, é útil conhecermos as médiasou esperanças de uma v.a. Posteriormente, definiremos o termo mo-mentos que está intimamente ligado a uma gama de médias de umav.a.

O conceito de média de um conjunto de números é muito corri-queiro, como por exemplo, a média de uma turma de estudantes oua média de altura de crianças de uma certa idade. Em geral, paraum conjunto de amostras (realizações) xi de uma v.a. X, a médiacalculada é calculada como:

X = µs =1N

N

∑i=1

xi (4.1.1)

A média pode ser vista como um “centro de massa” deste con-junto de números. De maneira mais precisa, ela é o número queestá mais perto simultaneamente de todos os números do conjunto.Matematicamente, a média é o valor de z que minimiza a distânciaquadrática D2 de todos os pontos, dada pela equação:

D2 ,N

∑i=1

(z− xi)2 (4.1.2)

Para verificar este resultado, basta derivar a equação 4.1.2 em re-lação a z e igualar a zero.

Observe que neste cálculo da média todos os números possuem omesmo peso no cálculo. Em muitos casos, desejaremos dar mais va-lor para uns do que outro, e para isso é feita uma média ponderada.Posteriormente, veremos que a esperança de uma v.a. é uma espéciede média ponderada.

Vale observar que a média não nos dá uma noção de o quão es-palhados os números estão da média. Por exemplo, os conjuntos−3;−2;−1; 0; 1; 2; 3 e −0.15;−0.10;−0.05; 0; 0.05; 0.10; 0.15 pos-suem a mesma média, porém, o primeiro conjunto possui números

Page 38: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

38 manish sharma

muito mais espalhados do que o segundo. Para um conjunto, umamédia que pode ser usada como uma medida de espalhamento é oDesvio Padrão calculado, definido como:

σx =

[1N

N

∑i=1

(xi − µs)2

]1/2

(4.1.3)

Quanto maior o Desvio Padrão, mais espalhados tendem a ser osnúmeros daquele conjunto.

Vale observar que a média calculada µs não é a média real dav.a. X, pois ela varia de acordo com a realização. Ela em si tambémé uma variável aleatória cujo valor depende de N realizações de X.Por isso que o seu subscrito é s: ela é amostrada (em inglês, sampled)de um conjunto (do inglês, set). Logo, ela é somente uma estimativada média real para N grande:

X ∼==1N

N

∑i=1

nixi =N

∑i=1

xiniN

=N

∑i=1

xiP(X = xi) (4.1.4)

Observe que este cálculo utiliza o conceito de probabilidade porfrequência.

Definimos, então, o valor esperado ou média para uma v.a. dis-creta X, que pode assumir os valores xi, com PMF PX(xi) = P[X =

xi]; i = 1; 2; 3; ..., como:

µX = X = E[X] , ∑i

xiP[X = xi] (4.1.5)

De maneira análoga, para o caso contínuo de uma v.a. X com pdffX(x), definimos valor esperado ou média, caso exista, como:

µX = E[X] ,∫ ∞

−∞x fX(x)dx (4.1.6)

Os símbolos µx, E[X], E [X] e X podem, em geral, ser usados demaneira equivalente.

O operador E[X] é chamado de esperança ou expectativa de X. Oresultado é a média de fato da v.a. X.

Consideremos agora uma v.a. Y que é função de X, ou seja, Y =

g(X). Neste caso, não precisamos necessariamente conhecer fY(y)para calcular E[Y], devido ao seguinte resultado (Teorema):

E[Y] =∫ ∞

−∞y fY(y)dy =

∫ ∞

−∞g(x) fX(x)dx. (4.1.7)

A dedução formal deste teorema não vem ao caso e exige conhe-cimento de integração de Lebesgue. Porém, é possível “verificar”a validade dessa equação de maneira informal, partindo de que, seY = g(X), então para qualquer yj, os eventos:

yj < Y ≤ yj + ∆yj =rj⋃

k=1

x(k)j < X ≤ x(k)j + ∆x(k)j (4.1.8)

Onde rj é o número de raízes reais da equação yj − g(x) = 0, e

x(j r) são as raízes.

Page 39: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 39

Aplicando a definição de E[Y] e o fato de que os eventos do ladodireito da equação 4.1.8 são disjuntos e analisando os índices dossomatórios, é possível chegar no resultado da equação 4.1.7. Po-rém, esta não é uma dedução formal, apenas uma forma informal de“mostrar” a razoabilidade deste resultado.

No caso especial em que X é uma v.a. discreta, o resultado análogoé:

E[Y] = ∑i

g(xi)PX(xi). (4.1.9)

Example 34 Seja X : N(µ, σ2). O valor esperado de X é dado por:

E[X] =∫ ∞

−∞x(

1√2πσ2

exp(−1

2

(x− µ

σ2

)))dx

Fazendo: z = (x− µ)/σ, tem-se que:

E[X] =σ√2π

∫ ∞

−∞ze−

12 z2

dz + µ

(1√2π

∫ ∞

−∞e−

12 z2

dz)

O primeiro termo é zero, pois o integrando é uma função ímpar. Osegundo termo é µ, pois a segunda integral entre parênteses é nada maisque FZ(∞) para Z : N(0, 1). Assim:

E[X] = µ

Ou seja, de fato o parâmetro µ em uma distribuição N(µ, σ2) é a média(valor esperado), como dito na Seção 2.4.

Example 35 Seja X uma v.a. de Poisson com parâmetro a > 0. Então:

E[X] =∞

∑k=0

ke−a

k!ak

E[X] = a∞

∑k=1

e−a

(k− 1)!ak−1

E[X] = a ∗ e−a∞

∑i=0

1i!

ai = a ∗ e−a ∗ ea

E[X] = a

Ou seja, em uma Poisson, a média é igual ao próprio parâmetro.

A esperança é um operador linear. Disso, nós podemos rapida-mente obter o importante resultado para qualquer X:

E

[N

∑i=1

gi(X)

]=

N

∑i=1

E[gi(X)] (4.1.10)

Se uma variável Z é definida como função das v.a. X e Y, isto é,Z = g(X, Y), a sua média pode ser calculada por:

E[Z] =∫ ∞

−∞z fZ(z)dz =

∫ ∞

−∞

∫ ∞

−∞g(x, y) fXY(x, y)dxdy (4.1.11)

Page 40: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

40 manish sharma

Da mesma forma que a equação 4.1.7, a demonstração deste re-sultado não vem ao caso, mas pode ser compreendido de maneirasemelhante ao caso de Y = g(X).

Essa equação pode ser usada para calcular por exemplo E [X]

quando Z = X:

E[X] =∫ ∞

−∞

∫ ∞

−∞x fXY(x, y)dxdy

=∫ ∞

−∞x[∫ ∞

−∞fXY(x, y)dy

]dx

=∫ ∞

−∞x fX(x)dx

(4.1.12)

Usando este formato chegamos no resultado:

E[X + Y] =∫ ∞

−∞

∫ ∞

−∞(x + y) fXY(x, y)dxdy = E [X] + E [Y] (4.1.13)

Este resultado pode ser estendido para N v.a.’s X1, X2, ..., XN :

E

[N

∑i=1

Xi

]=

N

∑i=1

E[Xi] (4.1.14)

Observe que não é necessário que as variáveis aleatórias sejamindependentes para que este resultado seja verdadeiro.

Example 36 Seja g(x,y) = xy. Calcule E[Z] se Z = g(X, Y) e:

fXY(x, y) =1

2πσ2 exp[− 1

2σ2 ((x− a)2 + (y− b)2)

]Aplicando a equação 4.1.11, e abringo f XY em um produto, tem-se que:

E[Z] =1√

2πσ2

∫ ∞

−∞x exp

[− 1

2σ2 (x− a)2]

dx ∗ 1√2πσ2

∫ ∞

−∞y exp

[− 1

2σ2 (y− b)2]

dy

Como vimos em um exemplo anterior, o parâmetro µ é a média de N(µ, σ2),ou seja, as integrais resultam em a e b respectivamente, pois elas são os cál-culos das médias de duas normais. Assim:

E[Z] = ab

No caso em que W = X + Y teríamos que:

E[W] = E[X + Y] = E[X] + E[Y] = a + b

4.2 Esperança Condicional

Em muitas situações práticas, estamos interessados em médias deum determinado subconjunto de uma população. Por exemplo, quala expectiativa de vida das pessoas que já tem mais de 70 anos, ouqual a média dos alunos aprovados em determinada classe. Essetipo de esperança fazem parte do que se chama Esperança Condi-cional. Elas estão interessadas em apenas um subgrupo da popu-lação. Por exemplo, imaginemos que uma turma tenha tido como

Page 41: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 41

notas: 40, 45, 60, 65, 65, 75, 80, 90, 95, 100. A média dessa turma foi71, 5. Considerando que a média para ser aprovado é 65, temos quea média dos alunos aprovados foi de 81, 4.

Definimos então a Esperança Condicional de X dado que o eventoB ocorreu como:

E[X|B] ,∫ ∞

−∞x fX|B(x|B)dx, no caso de X contínuo.

E[X|B] , ∑i

xiPX|B(xi|B), no caso de X discreto(4.2.1)

Example 37 Consideremos o caso de uma v.a. contínua X e o evento B =

X ≥ a. Tem-se que:

FX |B(x|X ≥ a) =

0, x < aFX(x)−Fx(a)

1−FX(a) , x ≥ a

Assim, derivando em relação a x:

fX |B(x|X ≥ a) =

0, x < afX(x)

1−FX(a) , x ≥ a

Assim:

E[X|X ≥ a] =∫ ∞

ax

fX(x)1− FX(a)

dx

Considerando que x se distribui uniformemente de [0; 100] e que a = 65,tem-se que:

E[X|X ≥ 65] =1

0.35

∫ 100

65

x100

dx =1002 − 652

0.35 ∗ 2 ∗ 100= 82, 5

Esse caso pode representar a média de alunos aprovados em uma classe.

Consideremos agora o caso em que temos duas v.a. X e Y quepossuem uma relação estatística entre si. No caso de X e Y seremv.a. discretas com PMF conjunta PXY(xi, yi), tem-se que a EsperançaCondicional de Y dado que X = xi, denotada por E[Y|X = xi] é dadapor:

E[Y|X = xi] , ∑j

yjPY|X(yj|xi) (4.2.2)

Podemos derivar uma fóruma útil para o cálculo da EsperançaE[Y] em termos das Esperanças Condicionais de Y dado X = x.Assim:

E[Y] = ∑j yjPY(yj) = ∑j yj ∑i PXY(xi, yj)

= ∑i

[∑j yjPY|X(yj|xi)

]PX(xi)

= ∑i E[Y|X = xi]PX(xi).

E[Y] = ∑i

E[Y|X = xi]PX(xi).

(4.2.3)

Page 42: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

42 manish sharma

Desse resultado, é possível observar que E[Y|X] é também umav.a. aleatória. Para cada valor xi qua a v.a. X assume, tem-se queE[Y|X] também assume um certo valor. Isso será discutido na pró-xima subseção.

Para o caso contínuo, conhecemos que (do Capítulo 2) a pdf deuma v.a. Y dado X = x é dada por:

fY|X(y|x) =fXY(x, y)

fX(x)

Sendo X e Y v.a. contínuas com pdf conjunta fXY(x, y). Define-seque a Esperança Condicional de Y dado que X = x é dada por:

E[Y|X = x] =∫ ∞

−∞y fY|X(y|x)dy (4.2.4)

Como temos que:

E[Y] =∫ ∞

−∞

∫ ∞

−∞y fXY(x, y)dxdy

Chegamos na seguinte fórmula para o cálculo de E[Y]:

E[Y] =∫ ∞

−∞

∫ ∞

−∞y fXY(x, y)dxdy

=∫ ∞

−∞fX(x)

[∫ ∞

−∞y fY|X(y|x)dy

]dx

=∫ ∞

−∞E[Y|X = x] fX(x)dx.

E[Y] =∫ ∞

−∞E[Y|X = x] fX(x)dx

(4.2.5)

4.2.1 Esperança Condicional como uma v.a.

Consideremos o caso específico no qual Y = g(X), onde X é uma v.a.discreta, temos que:

E[Y] = ∑i

g(xi)PX(xi) = E[g(X)]

Poderíamos então escrever:

E[Y] = ∑i

E[Y|X = xi] · PX [xi] = E[E[Y|X]] (4.2.6)

É importante notar que E[Y|X = xi] é um número como g(xi)

também é. Mas tem-se que E[Y|X] é uma função da v.a. X, e, porcausa disso, também é uma v.a.. Além disso, tem-se que para dadoxi, E[Y|X = xi] = g(xi).

Example 38 Considere um sistema de comunicação no qual o atraso deuma mensagem, em milissegundos, é dado pela v.a. Y e o canal de comu-nicação é representado pela v.a. X. X pode assumir os valores 1; 2; 3; 4de maneira aleatória. Tem-se que: PX(k) = 1/4, k = 1, ..., 4. Conhece-mos as esperanças condicionais: E[Y|X = 1] = 500, E[Y|X = 2] = 300,E[Y|X = 3] = 200 e E[Y|X = 4] = 100. Então, a v.a. g(X) é definidacomo g(X) = E[Y|X].

Page 43: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 43

g(X) =

500, f orX = 1; PX(1) = 1/4

300, f orX = 2; PX(2) = 1/4

200, f orX = 3; PX(3) = 1/4

100, f orX = 4; PX(4) = 1/4

Calculamos a esperança E[Y]:

E[Y] = E[g(X)] =5004

+300

4+

2004

+1004

= 275

No caso contínuo tem-se que o resultado análogo é:

E[Y] =∫ ∞

−∞E[Y|X = x] fX(x)dx (4.2.7)

Resultado que também pode ser visto como E[Y] = E [E[Y|X]],onde a esperança externa é feita em relação a X, enquanto a internaé feita em relação a Y.

Por fim, temos o caso mais complexo, onde Z = g(X, Y). Tem-seque E[Z|X, Y] é uma função das v.a. X e Y, logo também é umafunção das v.a. X e Y. Neste caso, temos o seguinte resultado:

E[Z] = E[E[Z|X, Y]]

E[Z] =∫ ∞

−∞

∫ ∞

−∞

∫ ∞

−∞z fZ|XY(z|x, y) fXY(x, y)dx dydz

(4.2.8)

No caso, a esperança interna é tomada em relação a Z, e a espe-rança interna é tomada em relação a X e Y.

Por fim, finalizamos essa seção enumerando algumas proprieda-des da Esperança Condinional:

1. E[Y] = E [E[Y|X]];

2. Se X e Y são independentes, E[Y|X] = E[Y];

3. E[Z|X] = E[E[Z|X, Y]|X].

Faremos a prova da terceira propriedade:

E[Z|X = x] =∫ ∞

−∞z fZ|X(z|x)dz

=∫ ∞

−∞

∫ ∞

−∞z fZ|X,Y(z|x, y) fY|X(y|x)dzdy

=∫ ∞

−∞fY|X(y|x)dy

∫ ∞

−∞z fZ|X,Y(z|x, y)dz

= E[E[Z|X, Y]|X = x].

(4.2.9)

4.3 Momentos

Apesar de a média ajudar a “resumir” o comportamento de uma va-riável aleatória, ela sozinha não consegue dar muitas informações.Vimos na seção anterior um exemplo onde dois conjuntos tem amesma média, porém com desvio padrões diferentes. Esses númerosque nos ajudam a prever/compreender/resumir o comportamento

Page 44: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

44 manish sharma

de uma variável aleatória como µX , σ2X , E[X2] são chamados de Mo-

mentos. Momentos são uma forma de definir uma v.a.. Em geral,uma v.a. possui muitos momentos de várias ordens. E, em certascondições, veremos que é possível, partindo dos momentos, recons-truir completamente o comportamento de uma v.a., isso é, obter suapdf partindo de todos os momentos. Nas seguintes definições, con-sideraremos que os momentos existem.

Definimos o r-ésimo momento de X como:

ξr , E[Xr] =∫ ∞

−∞xr fX(x)dx; r = 0, 1, 2, 3, ... (4.3.1)

Se X é uma v.a. discreta, o r-ésimo momento pode ser calculadoda PMF:

ξr , E[xr] = ∑i

xri PX(xi) (4.3.2)

Esta definição implica que ξ0 = 1 e ξ1 = µ, isto é, a própria média.O r-ésimo momento central de X é definido como:

mr , E[(x− µx)r]; r = 0, 1, 2, 3, ... (4.3.3)

Para variáveis discretas a definição de mr é:

mr , ∑i(xi − µx)

rP(xi) (4.3.4)

O momento central mais usado é m2, que é chamado de Variância,e é denotado por σ2 ou ainda Var[X]. Estas definições implicamque m0 = 1, m1 = 0 e que m2 = σ2. Uma fóruma que relaciona avariância com E[X2] e µ é obtida:

m2 = σ2 = E[(X− µx)2] = E[X2]− E[2µxX] + E[µ2

x]

Para qualquer constante c: E[cX] = cE[X] e E[c] = c. Logo:

σ2 = E[X2]− µ2 (4.3.5)

É comum ver também a notação: E[Xr] = Xr

No caso acima acima m2, ξ2 e µ são relacionados. Esta relaçãopode ser feita entre momentos e suas versões centrais utilizando aseguinte expansão polinomial:

(X− µx)r =

r

∑i=0

(ri

)(−1)iµi

xXr−i (4.3.6)

Assim, aplicando a esperança nos dois lados da equação acimaobtém-se uma relação entre momentos e momentos centrais:

mr =r

∑i=0

(ri

)(−1)iµi

xξr−i (4.3.7)

Example 39 Vamos calcular ξ2 para X, uma v.a. binomial. Por definição:

PX(k) =(

nk

)pkqn−k

Page 45: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 45

Assim:

ξ2 =n

∑k=0

k2(

nk

)pkqn−k

ξ2 = p2n(n− 1) + np

ξ2 = n2 p2 + npq

Os cálculos foram suprimidos e podem ser feitos como exercício.Agora, vamos calcular ξ1 de X:

ξ1 =n

∑k=0

k(

nk

)pkqn−k

ξ1 = np = µ

Calculamos então a variância:

Var[X] = ξ2 − µ2 = n2 p2 + npq− n2 p2

Var[X] = npq

Esta é a variância de uma distribuição binomial. Ela é máxima quandop = q = 0, 5.

Example 40 Calcularemos m2 para X : N(0, σ2). Como µ = 0, tem-seque m2 = ξ2, e:

m2 =1√

2πσ2

∫ ∞

−∞x2e−

12 (x/σ)2

dx

Essa integral pode ser resolvida com uma mudança de variável y = x/σ

e utilizando integração por partes. O resultado é:

m2 = σ2

Assim, a variância de uma v.a. Gaussiana é de fato σ2.

4.3.1 Momentos Conjuntos

Suponha que temos duas v.a. X e Y e nós gostaríamos de saber oquão é possível fazer uma previsão linear de uma delas conhecendoa outra. Isto é, conhecendo X, como podemos estimar linearmenteo valor de Y. Num caso extremo, quando X e Y são independentes,conhecer X não nos ajuda em nada a prever Y. Por outro lado, seY = aX + B, temos que observar X nos imediatamente informa ovalor de Y. Porém, em muitas situações, a relação não é nenhumdos dois extremos. Deseja-se então, de alguma maneira, “medir” oquão relacionadas duas v.a. aleatórias estão. Para isso, define-se osmomentos conjuntos. Mais precisamente, no momento, estaremospreocupados com os momentos conjuntos de segunda ordem, queserão definidos em seguida.

Em suma, gostaríamos de analisar o quão próximo de uma de-pendência linear duas v.a. tem entre si. Dadas duas v.a.’s X e Y, arelação entre ambas pode ser:

Page 46: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

46 manish sharma

• de independência→ X é irrelevante para Y.

• determinística, como por exemplo Y = aX + b → X define Ycompletamente.

• Nenhuma das opções acima, e sim algo entre as duas.

Um método de medida de capacidade de previsão é o momentoconjunto ξij, definido como:

ξij , E[XiY j] =∫ ∞

−∞

∫ ∞

−∞xiyj fXY(x, y)dxdy, no caso contínuo.

ξij , E[XiY j] = ∑l

∑m

xiyjPXY(xl , ym), no caso discreto.

(4.3.8)A ordem deste momento é i + j. Para uma dada ordem, há mais

de uma combinação de i e j, havendo assim vários momentos comesta ordem. O momento conjunto central de ordem (i + j) é definidocomo:

mij , E [(X− X)i(Y−Y)j] (4.3.9)

Assim, os momentos de segunda ordem são:

ξ02 = E[Y2]

ξ20 = E[X2]

ξ11 = E[XY](4.3.10)

m02 = E[(Y−Y)2]

m20 = E[(X− X)2]

m11 = E[(X− X)(Y−Y)]= E[XY]− XY , Cov[X, Y],

(4.3.11)

Onde o momento m11 = Cov[X, Y] é a covariância entre X e Y. E omomento ξ11 é chamado as vezes de Correlação.

A medida de capacidade de previsão e, às vezes, a de dependênciaestatística é o Coeficiente de Correlação (ou ainda, somente Correla-ção) ρ, constante adimensional definida como:

ρ ,m11√

m20m02, (4.3.12)

Tem-se que seu módulo |ρ| ≤ 1.No caso particular, quando ρ = 1, pode-se mostrar que:[

m11

m20(x− X)− (y− Y)

]2= 0, (4.3.13)

Para ∀x, y, exceto talvez onde fXY(x, y) = 0.Isto é, quando ρ = 1:

Y =m11

m20(X− X) + Y

A relação entre Y e X é função linear como na equação Y = aX+ b.

Page 47: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 47

Um lembrete importante é que correlação não implica em causali-dade.

Quando ρ = 0, dizemos que X e Y são descorrelacionados (ou v.a.descorrelacionadas).

Duas propriedades importantes de v.a.’s descorrelacionadas são:

1. A variância da soma é a soma das variâncias:

σ2X+Y = σ2

X + σ2Y (4.3.14)

2. Se X e Y são independentes, elas são descorrelacionadas (o con-trário não é necessariamente verdade).

A prova de ambas podem servir como exercício. Uma dica parasegunda prova é que basta mostrar que E[XY] = E[X]E[Y] para duasvariáveis independentes.

Example 41 Seja X e Y duas v.a. discretas com PMF PXY(x, y) dada por:

P(−1, 0) = 0; P(0, 0) = 1/3; P(1, 0) = 0

P(−1, 1) = 1/3; P(0, 1) = 0; P(1, 1) = 1/3

X e Y não são independentes, pois PXY(0, 1) = 0 6= PX(0)PY(1) =13

23 = 2

9Tem-se que E[X] = 0, logo:

Cov[X, Y] = E[XY] = (−1)(1)(1/3) + (1)(1)(1/3) = 0

Ou seja, X e Y não são correlacionadas e nem são independentes.

Existe um caso especial em que ρ = 0 implica independência eserá discutido em seguida.

4.3.2 Variáveis Gaussianas Conjuntas

Dizemos que duas v.a. são Gaussianas Conjuntas (ou JuntamenteGaussianas, ou ainda, Juntamente Normais), se sua pdf conjunta é:

fXY(x, y) = 12πσXσY

√1−ρ2

× exp(− 1

2(1−ρ2)

(x−X

σx

)2+(

y−Yσy

)2− 2ρ(x−X)(y−Y)

σXσY

)(4.3.15)

Esta pdf conjunta possui 5 parâmetros: σX , σY, ρ, X, Y

Se ρ = 0, então:

fXY(x, y) = fX(x) fY(y)

com:

fX(x) =1√

2πσ2x

exp

(−1

2

(x− X

σX

)2)

Page 48: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

48 manish sharma

e:

fY(y) =1√

2πσ2y

exp

(−1

2

(y− Y

σY

)2)

Assim, se duas variáveis juntamente Gaussianas são descorrelaci-onadas, elas são independentes. Este é o caso especial dito no finalda subseção anterior. A independência estatística resulta em densi-dades marginais também independentes. Além disso, as densidadesmarginais de duas Variáveis Gaussianas Conjuntas também são sem-pre densidades Normais, independentemente de ρ. Porém, a voltanão é verdade. Se fX(x) e fY(y) são densidades gaussianas, nadagarante que uma densidade conjunta entre X e Y necessariamenteserá gaussiana.

Muitas vezes é interessante saber no plano as regiões onde fXY(x, y) =cte, isto é, uma constante.

Figura 4.1: fXY(x, y) para ρ = 0

Figura 4.2: fXY(x, y) para ρ = 0.5

Figura 4.3: fXY(x, y) para ρ = 1

No caso de Variáveis Gaussianas Conjuntas, temos que estes pon-tos são constantes quando o expoente é constante:(

x− XσX

)2

− 2ρ(x− X)(y− Y)

σXσY+

(y− Y

σY

)2

= c2

Essa é a equação de uma elipse com centro em (X, Y).Quando ρ = 0, os eixos da elipse estão alinhados com os eixos x e

y. Os comprimentos dos semi-eixos são cσX e cσY.Se ρ = 0, e σX = σY, então a elipse se degenera em uma circunfe-

rência.Outro caso especial é quando σX = σY = σ. Neste caso, quando

ρ > 0, os semi-eixos da elipse são rotacionados em 45º no sentidoanti-horário. Se ρ < 0, os eixos são rotacionados em 135º.

Ainda neste caso de variâncias iguais, conforme ρ → ±1, o semi-eixo maior tende a crescer indefinidamente, e a elipse se degeneraem uma reta. y = x para (ρ→ 1) e y = −x para (ρ→ −1).

4.4 Desigualdades de Chebyshev e Schwarz

4.4.1 Desigualdade de Chebyshev

Funciona como um limite superior para a probabilidade de quantouma v.a. X pode desviar do seu valor médio X.

Seja X uma v.a qualquer com média X e variância finita σ2. Então,para ∀δ ≥ 0, o seguinte é verdadeiro:

P [|X− X| ≥ δ] ≤ σ2

δ2 (4.4.1)

A dedução é imediata:

σ2 =∫ ∞

−∞(x− X)2 fX(x)dx ≥

∫|x−X|≥δ

(x− X)2 fX(x)dx

σ2 ≥ δ2∫ |x−X|≥δ

fX(x)dx = δ2P[|X− X| ≥ δ]

Page 49: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 49

σ2

δ2 ≥ P[|X− X| ≥ δ]

Do resultado, imediatamente segue:

P[|X− X| < δ] ≥ 1− σ2

δ2 (4.4.2)

Esta segunda forma vem diretamente da definição axiomática daprobabilidade.

Em palavras, a equação 4.4.1 equivale a dizer que a probabilidadede X divergir de X por um valor δ é menor ou igual a variância deX dividida por δ2.

Pode ser útil expressar δ em função de σ através de alguma relaçãoδ , kσ, com k sendo uma constante qualquer positiva. Neste casoteríamos:

P[|X− X| ≥ kσ] ≤ 1k2

P[|X− X| ≤ kσ] ≥ 1− 1k2

(4.4.3)

Para variáveis que assumem só valores não negativos, i.e, f (x) =0, para x < 0, podemos escrever:

P[X ≥ δ] ≤ E[X]

δ(4.4.4)

Diferente do primeiro resultado de Chebyshev, esta desigualdadedepende apenas da média de X. Esta equação serve como limitesuperior para a probabilidade da variável aleatória assumir um valormaior que um dado valor δ.

A prova deste resultado também é imediata:

E[X] =∫ ∞

0x fX(x)dx ≥

∫ ∞

δx fX(x)dx ≥ δ

∫ ∞

δfX(x)dx

E[X] ≥ δP[X ≥ δ]

Example 42 Um fabricante de resistor fabrica resistores com resistênciamédia de 1000 ohms. Porém, os resistores possuem uma variância muitogrande, porém, desconhecida. Os resistores com resistência acima de 1500ohms devem ser descartados. Qual a maior fração possível de resistores quedeverão ser descartados?

A resistência dos resistores é uma v.a. X, com média X = 1000. Comoa perguna é do tipo “qual a maior possibilidade/fração possível de elementosque superam determinado valor” e como X só assume valores positivos (nãohá resistência negativa), é sugestivo utilizar a equação 4.4.4. Assim, comδ = 1500:

P[X ≥ 1500] ≤ 10001500

= 0, 67

Ou seja, independentemente da distribuição da v.a. X, a maior fraçãopossível a ser descartada é 67% dos resistores. Não mais que isso.

Page 50: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

50 manish sharma

4.4.2 Desigualdade de Schwarz

Já nos deparamos anteriormante com a forma probabilistica da De-sigualdade de Schwarz (a equação 4.3.12):

(Cov(X, Y))2 ≤ E[(X− X)2]E[(Y−Y)2]

Cuja igualdade ocorria quando Y é função linear de X. Existe umaforma mais geral da Desigualdade de Schwarz.

Considere duas funções ordinárias, isto é, não aleatórias, h e g,não necessariamente reais. Define-se a norma de h, se existir, comosendo:

‖h‖ ,(∫ ∞

−∞|h(x)|2dx

)1/2(4.4.5)

Da mesma maneira, define-se ||g||. O produto interno entre h e g,denotado por < h, g > ou (h, g), ou ainda, (g, h)∗, como sendo:

< h, g >,∫ ∞

−∞h(x)g∗(x)dx = (h, g) = (g, h)∗ (4.4.6)

Onde g∗ é a função complexa conjugada de g. Se g é real, entãog = g∗.

Ou seja, no caso real:

< h, g >=∫ ∞

−∞h(x)g(x)dx (4.4.7)

Finalmente, a desigualdade de Schwarz diz que:

| < h, g > | ≤ ‖h‖ ‖g‖ (4.4.8)

com igualdade somente no caso em que as funções são proporci-onais, isto é, se h(x) = cg(x).

No caso em que h e g são funções reais de v.a. reais, isto é, h(X),g(X), então a Desigualdade de Schwarz continua válida para as se-guintes definições modificadas de norma e produto interno:

‖h‖2 ,(∫ ∞

−∞|h(x)|2dx

)= E[h2(X)] (4.4.9)

< h, g >=∫ ∞

−∞h(x)g(x) fX(x)dx = E[h(X)g(X)] (4.4.10)

E obtemos:

|E[h(X)g(X)]| ≤ (E[h2(X)]E[g2(X)])1/2 (4.4.11)

Que envolve o caso citado no início da subseção.

4.5 Função Geradora de Momentos

A Função Geradora de Momentos, se existir, de uma v.a. X, é defi-nida como:

ΘX(t) , E[exp(tX)] =∫ ∞

−∞etx fX(x)dx (4.5.1)

Page 51: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 51

Onde t é uma variável complexa. É possível encontrar a notaçãoθ(t) também.

Para variáveis discretas, nós podemos definir utilizando a PDF,resultando em:

Θ(t) = ∑ etxi PX(xi) (4.5.2)

Uma possível interpretação: a função geradora de momentos é atransformada de Laplace1 bilateral de fX(x), exceto por uma mu- 1 A Transformada de Laplace (unilate-

ral) de uma função f (t) é calculadacomo F(s) =

∫ ∞0 e−st f (t)dt e a Transfor-

mada de Fourrier de uma função f (t) écalculada como F(s) =

∫ ∞−∞ e−jwt f (t)dt.

dança de sinal no expoente. Normalmente é possível saber fX(x) apartir de Θ(t) e vice versa, pois existe uma fórmula de inversão. Arelação inversa é:

fX(x) =1

2π jlim

T→∞

∫ γ+jT

γ−jText)Θ(t)dt (4.5.3)

Que é a inversa da transformada de Laplace bilateral de Θ(t).As principais razões de se usar Θ(t) são:

1. Facilita o cálculo dos momentos de X

2. Pode ser usada para estimar fX(x) a partir de medidas experi-mentais dos momentos.

3. Pode ser usada para resolver problemas como soma de v.a.

4. É um importante instrumento analítico que pode ser usado parademonstrar resultados básicos, como o Teorema do Limite Central(TLC).

Esta função tem este nome pois a partir dela é fácil calcular osmomentos da variável aleatória em questão. Isto é observado atravésda série de Taylor de exp(x) em torno de x = 0, que é:

etx = 1 + tx +(tx)2

2!+ ... +

(tx)n

n!+ ... (4.5.4)

Logo, calculando a esperança de ambos os lados, temos:

E[etx] = Θ(t) = 1 + tµ +t2ξ2

2!+ ... +

tnξn

n!+ ... (4.5.5)

Existe a possibilidade de alguns momentos não existirem. Nestecaso, Θ(t) também não existirá. Mas, se Θ(t) existe, para obter o k-ésimo momento basta diferenciar Θ(x) k vezes e avaliar a esperança:

ξk = Θ(k)(t = 0); k = 0; 1; 2; ... (4.5.6)

Lembrando que estas relações valem somente se os os momentosexistirem.

O caminho contrário também pode ser utilizado: partir dos mo-mentos de uma v.a. é possível chegar na sua p.d.f. Por exemplo, setivermos n amostras Xi da v.a., podemos estimar os momentos ξi via:

ξr = Θr =1n︸︷︷︸

#amostras

n

∑i=1

xri (4.5.7)

Page 52: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

52 manish sharma

ξr é chamado Estimador de Momentos e é uma v.a. que dependede n. Apesar de ser uma v.a., sua variância tende a zero quando nse torna suficientemente grande, de maneira que se aproxima de ξr

(que não é uma v.a.). Temos assim os primeiros n termos da Série deTaylor da função geradora de momentos, resultando na aproximaçãoΘ(t) . A transformada de Laplace inversa desta aproximação forne-cerá então uma aproximação da pdf de X, como mostra a equaçãoabaixo:

ˆfX(x) =1

2π jlim

T→∞

∫ γ+jT

γ−jTextΘ(t)dt (4.5.8)

Resolvendo a integral obtemos uma aproximação para fX(x).

Example 43 Seja X uma v.a. binomial com parâmetros n; p; q. Então:

θ(t) =n

∑k=0

etk(

nk

)pkqn−k

θ(t) =n

∑k=0

(nk

)[et p]kqn−k

θ(t) = (pet + q)n

Disso, podemos obter:

θ(1)(0) = n(pe0 + q)n−1 ∗ pe0 = np = µ

θ(2)(0) = npet(pet + q)n−1 + n(n− 1)p2e2t(pet + q)n−2|t=0

θ(2)(0) = npq + n2 p2 = npq + µ2

Assim:

Var[X] = npq

No caso para duas v.a. X e Y, a Função Geradora de MomentosΘXY(t1, t2) é definida por:

ΘXY(t1, t2) = E[e(t1X+t2Y)] (4.5.9)

No caso contínuo:

ΘXY(t1, t2) =∫ ∞

−∞

∫ ∞

−∞exp(t1x + t2y) fXY(x, y)dxdy (4.5.10)

No caso discreto se usariam somatórios no lugar das integrais.De maneira análoga ao caso de uma variável, pode-se expandir

ΘXT em Série de Potências:

ΘXY(t1, t2) =∞

∑i=0

∑j=0

ti1tj

2i!j!

ξij (4.5.11)

Page 53: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 53

E os momentos podem ser obtidos pelas derivadas parciais apli-cadas em (t1, t2) = (0, 0):

ξln = Θ(l,n)XT (0, 0) =

[∂l+nΘXY(t1, t2)

∂tl1∂tn

2

]t1=t2=0

(4.5.12)

Para um caso generalizado:

Θ(t1, t2, ..., tN) = E[exp(N

∑i=1

tiXi)] (4.5.13)

Θ(t1, t2, ..., tN) =∞

∑k1=0

∑k2=0

...∞

∑kN=0

tk11

k1!...

tkNN

kN !Xk1

1 Xk22 ...XkN

N (4.5.14)

4.6 Limitante de Chernoff

É um limite superior sobre a probabilidade restante, i.e, P[X ≥ a].Utilizando o fato que u(x − a) ≤ exp(t(x − a)), ∀t > 0, temos oseguinte:

P[X ≥ a] =∫ ∞

afX(x)dx

=∫ ∞

−∞fX(x)u(x− a)dx

≤∫ ∞

−∞fX(x) exp(t(x− a))dx

= exp(−at)ΘX(t)

(4.6.1)

onde u(c) é a função degrau e a última linha foi obtida utilizando arelação entre fX(x) e a função geradora de momentos ΘX(t).

Assim, a desigualdade é:

P[X ≥ a] ≤ e−atΘX(t) (4.6.2)

Para v.a. discretas a desigualdade é idêntia a equação 4.6.2. Ademonstração também é análoga.

Figura 4.4: Interpretação gráfica do li-mitante de Chernoff

O limitante é mais justo, no sentido de mais apertado, quando seotimiza o lado direito para o menor valor com t. Isto é, ao minimi-zarmos o lado direito em função de t, temos o menor valor possívelpara o limitante, sendo assim uma restrição maior sobre P[X ≥ a].Este é o Limitante de Chernoff

Page 54: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

54 manish sharma

Example 44 Seja X uma v.a. de Poisson com parâmetro a = 2 > 0.Calculemos o Limitante de Chernoff para k = 5 > a, P[X ≥ k].

Tem-se que a Função Geradora de Momentos é:

ΘX(t) = ea[et−1]

O cálculo da Função pode ser feito como exercício.Assim:

e−tkΘX(t) = e−ae[aet−kt]

Fazendo:

ddt[e−tkΘX(t)] = 0

Encontra-se que o mínimo acontece em: t = ln(k/a)Assim, o Limitante de Chernoff para o caso é:

P[X ≥ 5] ≤ e−2exp[5− 5ln(5/2)]

P[X ≥ 5] ≤ 0, 2

4.7 Função Característica

Se trocarmos na equação 4.5.1 o parâmetro t por jω, onde j ,√−1,

obtemos a Função Característica de uma v.a. X, definida por:

ΦX(ω) , E[exp(jωx)] =∫ ∞

−∞fX(x)ejωxdx (4.7.1)

Obs.: Equivale a ΘX(t = jω). Além disso, define-se também,ω = 2π f .

Exceto por uma mudança de sinal no expoente, essa função é aTransformada de Fourier de fX(x). Para uma v.a. discreta nós pode-mos definir ΦX(ω) em termos da PMF:

ΦX(ω) , E[exp(jωx)] = ∑i

ejωxPX(xi) (4.7.2)

A relação entre a função característica e a função geradora demomentos é a mesma que há entre a Transformada de Fourier e aTransformada de Laplace: a primeira é igual a segunda, restrita aocírculo complexo unitário (ou seja, é a Transformada de Laplace coms = −jω).

A função característica tem propriedades semelhantes à funçãogeradora de momentos. É utilizada para resolver alguns problemasque poderiam ser facilmente resolvidos no domínio de ω (que fazanalogia ao domínio da frequência).

Por exemplo, vimos que a pdf da soma de v.a. independentesinvolve a convolução das pdf’s individuais. Assim, se Z = X1 +

X2 + ... + XN , onde Xi, i = 1; 2; ...; N são v.a. independentes, tem-seque a pdf de Z é dada por:

fZ(z) = fX1(z) ∗ fX2(z) ∗ ... ∗ fXN (z) (4.7.3)

Page 55: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 55

O cálculo das convoluções seria muito trabalhoso. Mas, é sabidoque a Transformada de Fourier das Convoluções é igual ao produtodas Transformadas de Fourier individuais. Assim, usando a rela-ção inversa da Transformada de Fourier ou utilizando uma tabela,encontramos a pdf de Z.

A relação inversa da Transformada de Fourier:

fZ(z) =1

∫ ∞

−∞ΦZ(ω)e−jωzdω (4.7.4)

Example 45 Seja Xi; i = 1; 2; ...; N uma sequência de v.a. i.i.d. (inde-pendentes e identicamente distribuídas) com X : N(0, 1). Calcular a pdfde:

Z =N

∑i=1

Xi

Como foi dito, tem-se que:

fZ(z) = fX1(z) ∗ fX2(z) ∗ ... ∗ fXN (z)

Da propriedade das Transformadas de Fourier sobre convolução e pro-duto:

ΦZ(ω) = ΦX1(ω)×ΦX2(ω)× ...×ΦXN (ω)

Como Xi são i.i.d., tem-se que ΦX(ω) = ΦX1(ω) = ... = ΦXN (ω)

Calcula-se:

ΦX(ω) =∫ ∞

−∞

1√2π

e−12 x2

ejωxdx

Completando quadrados no expoente e percebendo que a integral se re-sume a uma Gaussiana, tem-se que:

ΦX(ω) = e−ω22

Logo:

ΦZ(ω) = e−12 nω2

Usando a relação inversa da Transformada de Fourier (eq. 4.7.4):

fZ(z) =1√2πn

e−12 (z

2/n)

Ou seja, é uma Gaussiana de variancia n e média zero.

Da mesma forma que na função geradora de momentos, podemoscalcular os momentos pela função característica via diferenciação.Expandindo exp(jωX) em uma série de potências e calculando suaesperança, chegamos que:

ΦX(ω) = E[exp(jωx)] =∞

∑n=0

(jω)n

n!ξn (4.7.5)

Onde

Page 56: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

56 manish sharma

ξn =1jn

Φ(n)X (ω = 0)

Sendo Φ(n)X é a n-ésima derivada de Φ com relação a ω.

Vale mencionar que há funções características conjuntas. E sãodefinidas como:

ΦX1...XN (ω1, ..., ωN) = E

[exp

(j

N

∑i=1

ωiXi

)](4.7.6)

Example 46 Calcule os 4 primeiros momentos de Y = sinΘ, sendo Θuniformemente distribuída em [0; 2π].

Tem-se que:

E[ejωY] =∫ ∞

−∞ejωy fY(y)dy

E[ejωY] =∫ 2π

0ejωsenθdθ = J0(ω)

Onde J0(ω) é a Função de Bessel de Primeiro Tipo de Ordem Zero. Aexpansão em série de J0 é:

J0(ω) = 1−(ω

2

)2+

12!2!

2

)4

Assim, os momentos ímpares são nulos, logo ξ1 = ξ3 = 0.Usando a fórmula para ξi, tem-se que: ξ2 = 1/2 e ξ4 = 3/8

4.8 Exercícios

Os exercícios deste capítulo são: 4.3, 4.11, 4.12, 4.13, 4.18, 4.23, 4.26,4.28, 4.33, 4.36, 4.37. do livro "‘Probability and random processeswith applications to signal processing"’, Henry Stark.

Page 57: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

5Vetores aleatórios e estimação de pa-râmetros

A notação matemática deste capítulo é a seguinte:

• Um vetor não aleatório é escrito como x.

• Uma matriz não aleatória é escrita como X.

• Um vetor ou matriz aleatórios são escritos como X, o contextodefinindo o tipo.

5.1 Definições

As vezes faz sentido agrupar v.a’s em vetores, pois existe algumarelação entre elas.

Exemplos: Notas de alunos, quantidade de chuva em diferentespontos da cidade, pressão de combustível, etc...

Isto gera o vetor coluna aleatório X(n×1) = [X1 X2 · · ·Xn]T , comPDF FX(x).

Por definição:

FX(x) , P[X1 ≤ x1, X2 ≤ x2, ..., Xn ≤ xn] (5.1.1)

Definindo:

X ≤ x , X1 ≤ x1, X2 ≤ x2, ..., Xn ≤ xn (5.1.2)

Temos simplesmente:

FX(x) , P[X ≤ x] (5.1.3)

Além disso:

FX(∞) = 1FX(−∞) = 0

(5.1.4)

A n-ésima derivada parcial resulta em:

fX(x) ,∂nFX(x)

∂x1∂x2...∂xn(5.1.5)

como definido anteriormente na seção 2.

Page 58: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

58 manish sharma

Integrando:

FX(x) =∫ x1

−∞...∫ xn

−∞fX(ξ)dξ1...dξn (5.1.6)

Ou, compactamente:

FX(x) =∫ x

−∞fX(ξ)dξ (5.1.7)

De forma geral, considerando eventos B, ∀B ⊂ Rn, com n finito,temos:

P[B] =∫

x∈BfX(x)dx (5.1.8)

Distribuição condicional:

FX|B(x|B) , P[X ≤ x|B] = P[X ≤ x, B]P[B]

(5.1.9)

Os eventos podem ser:

• P[Bi] > 0⇒ Eventos possíveis

• Ω =⋃k

i=1 Bi ⇒ Eventos exaustivos

• Bi · Bj = ∅, i 6= j⇒ Eventos disjuntos

Considerando k eventos Bi disjuntos e exaustivos com P[Bi] > 0,∀Bi, temos:

FX(x) =k

∑i=1

FX|Bi(x|Bi)× P[Bi] (5.1.10)

A pdf condicional é dada por:

fX|B(x|B) ,∂nFX|B(x|B)∂x1∂x2...∂xn

(5.1.11)

Além disso:

fX(x) =k

∑i=1

fX|Bi(x|Bi)× P[Bi] (5.1.12)

Podemos definir também distribuição conjunta (entre vetores):

FXY(x,y) = P[X ≤ x, Y ≤ y], (5.1.13)

densidades conjuntas:

fXY(x,y) =∂(n+m)FXY(x,y)

∂x1...∂xn∂y1...∂ym(5.1.14)

e densidades marginais (assumindo que Y tem dimensão m):

fX(x) =∫ ∞

−∞· · ·

∫ ∞

−∞︸ ︷︷ ︸m vezes

fXY(x,y)dy1 · · · dym (5.1.15)

Da mesma maneira, podemos eliminar uma das dimensões de X.

X′ = [x1, x2, · · · , xa−1, xa+1, · · · , xn]T (5.1.16)

Page 59: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 59

resultando na distribuição marginal:

fX′(x′) =

∫ ∞

−∞fX(x)dxa (5.1.17)

5.2 Vetores Esperados e matriz de covariância

O valor esperado de um vetor aleatório coluna X = [x1, ..., xn]T é umvetor µX = [µ1 µ2 · · · µN ]

T , também escrito como X, onde:

µi ,∫ ∞

−∞...∫ ∞

−∞xi fX(x1, x2, ..., xn)dx1dx2...dxn (5.2.1)

Alternativamente, a distribuição marginal de xi pode ser escritacomo:

fXi (xi) =∫ ∞

−∞· · ·

∫ ∞

−∞fX(x)dx1 · · · dxi−1dxi+1︸ ︷︷ ︸

não inclui dxi

· · · dxn (5.2.2)

e o valor médio de xi pode ser obtido via:

µi =∫ ∞

−∞xi fXi (xi)dxi (5.2.3)

A matriz de covariância KXX (ou autocovariância) associada aovetor aleatório real X é o valor esperado do produto (X− µ)(X−µ)T :

KXX , E[(X− µ)(X− µ)T

](5.2.4)

com elementos Kij dados por:

Kij , E [(xi − µi)(xj − µj)] = Kji (5.2.5)

Em particular, Kii , σ2i . Assim:

KXX =

σ2

1 . . . k1n...

. . . σ2i . . .

...kn1 . . . σ2

n

(5.2.6)

Se X for um vetor real, todos Kij serão reais e KXX será simétrica.A matriz de correlação RXX (ou autocorrelação) é definida como:

RXX , E [X ·XT ] (5.2.7)

A sua relação com a matriz de covariância é:

KXX = RXX − µ · µT (5.2.8)

Dois vetores n-dimensionais são descorrelacionados se:

E [XYT ] = µX · µTY (5.2.9)

Se E [XYT ] = 0, X e Y são ortogonais. Isto implica que E [XiYj] =

0, ∀i, j ≤ n1. Logo, o produto interno abaixo também é nulo. 1 Isto quer dizer que X e Y são ortogo-nais na média, mas podem não ser or-togonais no sentido vetorial

Page 60: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

60 manish sharma

E [XTY] = 0 (5.2.10)

Podemos também definir matrizes de correlação e covariância cru-zadas RXY e KXY (não necessariamente iguais a RYX e KYX)

RXY , E [X ·YT ] (5.2.11)

KXY , E[(X− µX)(Y− µY)

T]

(5.2.12)

Se RXY = µXµTY, então X e Y são descorrelacionados⇔ KXX = 0.

Se X e Y são independentes⇒ X e Y são descorrelacionados.Se fXY(x, y) = fX(x) fY(y), então X e Y são independentes.

Figura 5.1: Relação entre correlação eindependência estatística

5.3 Propriedades de Matrizes de covariância

Para estudar as propriedades, revisaremos um pouco de matemática.Forma quadrática:A forma quadrática associada a uma matriz M é o escalar q(Z)

(função de definida como (Z = z).

q(Z) , zT ×M× z (5.3.1)

onde z é um vetor coluna qualquer com dimensão apropriada paraa realização da operação acima.

A matriz M é semidefinida positiva se zTMz ≥ 0, ∀z.Se zTMz > 0, ∀z 6= 0, M é definida positiva.A matriz de covariância KXX é sempre pelo menos semidefinida

positiva para todo z, pois:

0 ≤ E[zT(X− µ)]2 = zTKXXz (5.3.2)

Autovalores, autovetores, rotações:Os autovalores de uma matriz n× n, M, são os números λ para os

quais a solução de MΦ = λΦ possui uma solução não trivial.Para cada autovalor existe um autovetor associado:

Φ = [φ1 φ2 · · · φn]T (5.3.3)

Por convenção os autovetores são normalizados, i.e., ΦTΦ = ‖Φ‖2 =

1λ é um autovalor de M se e somente se det(M− λI) = 0

Page 61: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 61

Se M tem dimensão n× n, pode haver no máximo n autovaloresdistintos. Vale lembrar que podem existir autovalores iguais.

Duas matrizes n× n A e B são similares se existe uma matriz Πnxn

com det(Π) 6= 0, tal que:

Π−1 ·A ·Π = B (5.3.4)

Uma matriz M é similar a uma matriz diagonal se, e somente se,M possui n autovetores linearmente independentes.

Uma matriz real e simétrica M com autovalores λ1, λ2, ..., λn pos-sui n autovetores mutuamente ortogonais.

Consequentemente se uma matriz M real simétrica possui autova-lores λ1, λ2, ..., λn, então ela é similar a uma matriz diagonal Λ dadapor:

Λ ,

λ1 0 . . . 00 λ2 . . . 0...

.... . .

...0 0 . . . λn

(5.3.5)

através de alguma transformação:

U−1MU = Λ, (5.3.6)

onde U é uma matriz com colunas que são os n autovetores ordena-dos, i.e., U = [Φ1, Φ2, . . . , Φn].

Além disso, pode-se provar que UT = U−1, de forma que U−1MU =

UTMU.A matriz U é do tipo unitária e pode ser interpretada como um

operador de rotação sobre um espaço Euclediano n-ário. A rotaçãomantém o módulo de vetores e distância relativa entre pontos. Porexemplo, dado ‖x‖ , (xTx)1/2, e y = Ux, então ‖y‖ = ‖x‖.

Se Φ1, · · · , Φn são os n autovetores ortogonais da matriz real si-métrica M, o sistema de equação abaixo é verdadeiro:

M ·Φ1 = λ1 ·Φ1...

M ·Φn = λn ·Φn

⇒M ·U = U ·Λ (5.3.7)

Uma matriz simétrica M é definida positiva se e somente se zTMz >

0, ∀zA conclusão é que como a matriz de covariância KXX é uma ma-

triz real simétrica, ela pode ser diagonalizada através da transforma-ção via U, com colunas que são os autovalores KXX.

Example 47 Um vetor aleatório X = [x1, x2, x3]T tem covariância dada

por:

KXX =

2 −1 1−1 2 01 0 2

(5.3.8)

Objetivo: projetar uma transformação não trivial de X para Y tal que oscomponentes de Y sejam descorrelacionados.

Page 62: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

62 manish sharma

1o passo - Obter autovalores:

det(KXX − λI) = 0 (5.3.9)

∣∣∣∣∣∣∣2− λ −1 1−1 2− λ 01 0 2− λ

∣∣∣∣∣∣∣ = (2− λ)3 − 2(2− λ) = 0⇒ (5.3.10)

λ1 = 2, λ2 = 2−√

2, λ3 = 2 +√

2

2o passo - Obter autovetores:

(KXX − λi I)Φi = 0 (5.3.11)

λ1 = 2 :

0 −1 1−1 0 01 0 0

·a

bc

= 0,c = ba = 0

a2 + b2 + c2 = 1⇒ Φ1 = (0, 1/

√2, 1/√

2)T (5.3.12)

λ2 = 2−√

2 :

2 −1 1−1

√2 0

1 0√

2

·a

bc

= 0,

√2a− b + c = 0−a +

√2b = 0

a +√

2c = 0⇒ Φ2 = (1/

√2, 1/2,−1/2)T (5.3.13)

λ3 = 2 +√

2 :

−√

2 −1 1−1 −

√2 0

1 0 −√

2

·a

bc

= 0,−√

2a− b + c = 0−a−

√2b = 0

a−√

2c = 0⇒ Φ3 = (1/

√2,−1/2, 1/2)T (5.3.14)

3o passo - Obter transformação:

U =

0 1/√

2 1/√

21/√

2 1/2 −1/21/√

2 −1/2 1/2

= UT (5.3.15)

4o passo - Obter novas variáveis

Y = AX, A = U−1 = UT (multiplicado pela direita) (5.3.16)

Y = UX = U

X1

X2

X3

⇒ Y1 = 1√2(X2 + X3)

Y2 = 1√2

X1 +12 X2 − 1

2 X3

Y3 = 1√2

X1 − 12 X2 +

12 X3

(5.3.17)

Qual é a covariância?

KYY = U−1 ·KXX ·U =

2 0 00 2−

√2 0

0 0 2 +√

2

(5.3.18)

5.4 Reconhecimento de Padrões

Opcional (contém pequena revisão de matrizes).

Page 63: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 63

5.5 Regra Gaussiana Multidimensional

Para uma v.a. x, a regra Gaussiana é (pdf)

fx(x) =1

σ√

2πexp

[−1

2

(x− µ

σ

)2]

. (5.5.1)

Para um vetor X = [X1, · · · , Xn]T com n componentes Xi inde-pendentes, a pdf é:

fX(x) =n

∏i=1

fXi (xi) =1

(2π)n/2σ1 . . . σnexp

[−1

2

n

∑i=1

(xi − µi

σi

)2]

,

(5.5.2)onde σi e µi são as variâncias e médias correspondentes de cadadimensão.

Representação alternativa compacta, que vale também para ter-mos dependentes:

fX(x) =1

(2π)n/2 det(KXX)0.5 exp[−1

2(x− µ)TK−1

xx (x− µ)

],

(5.5.3)onde:

KXX =

σ2

1 0 . . . 00 σ2

2 . . . 0...

.... . .

...0 0 . . . σ2

n

e K−1XX

=

σ−2

1 0 . . . 00 σ−2

2 . . . 0...

.... . .

...0 0 . . . σ−2

n

(5.5.4)

A matriz KXX tem este formato pois Xi são independentes, i.e.,E [(Xi − µi)

2] , σ2i e E [(Xi − µi)(Xj − µj)] = 0 para i 6= j.

O que aconteceria com a função fX(x) se KXX não for necessari-amente diagonal e for definida positiva? Será que ainda seria umapdf, i.e., fX(x) ≥ 0 e

∫ ∞−∞ fX(x)dx = 1?

Pode-se provar que, se X for um vetor real, as condições neces-sárias serão satisfeitas. Chamamos fX(x) com este formato de regraGaussiana Multidimensional, i.e., todos os componentes de X sãoGaussianos e pode haver correlação entre elas.

Se A for uma transformação n × n não singular, qual é a distri-buição de um vetor Y obtido através de Y , AX? A distribuiçãoindividual de cada Yi é Gaussiana pelo fato de ser a soma ponde-rada de variáveis Gaussianas. As médias e correlações podem serobtidas pelas seguintes equações:

µY = A · µX e KYY = A ·KXXAT . (5.5.5)

Example 48 O vetor Gaussiano com média zero X = [X1, X2]T tem ma-

triz de covariância dada por:

KXX =

[3 −1−1 3

], Y = D ·X = [y1, y2]

T (5.5.6)

Page 64: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

64 manish sharma

Definimos uma transformação do vetor X para Y como Y = D ·X. En-contre D tal que os componentes de Y sejam estatisticamente independentes(o que é diferente de serem somente descorrelacionados) e com variância uni-tária.

KYY =

[1 00 1

]= DKXXDT =

[a bc d

] [3 −1−1 3

] [a cb d

](5.5.7)

Há quatro equações e quatro variáveis a serem descobertas.Este procedimento permitiria gerar v.a. correlacionadas a partir de v.a.

não correlacionadas por exemplo.Por outro lado, para qualquer vetor aleatório normal X média zero (para

facilitar) com matriz de covariância KXX definida positiva, então há umamatriz n× n C não singular tal que a transformação Y = C−1X gera umvetor Y com componentes estatisticamente independentes. Isto é possívelpois são necessários no máximo n v.a.’s para se gerar um vetor aleatório comdimensão n. Além dissso, para uma matriz real simétrica definida positivaP (como a matriz KXX) , há uma matriz V tal que VTPV = I, o que permitea diagonalização de KXX.

5.6 Funções Características de Vetores Aleatórios

Para uma variável aleatória X, a função característica é dada porΦX(w) , E [exp (jwx)], onde w é o argumento da função caracterís-tica.

Para um vetor aleatório real X = [X1, · · · , Xn]T a extensão dadefinição acima é:

ΦX(w) , E [exp (jwTX)], (5.6.1)

onde w = (w1, · · · , wn)T é o argumento de Φx(w) e j =√−1.

Podemos também definir a função característica de vetores alea-tórios através da seguinte integral:

ΦX(w) =∫ ∞

−∞fX(x) exp (jwTx)dx (integral n dimensional) (5.6.2)

Para um vetor com variáveis aleatórias discretas temos a seguintedefinição:

ΦX(w) = ∑i1

· · ·∑in

exp (j(w1xi1 + · · ·+ wnxin)) · P[x1 = xi1 , . . . , xn = xin ]

(5.6.3)Assim, como no caso escalar, a integral é a transformada de La-

place, exceto por uma mudança de sinal. Para obtermos a pdf apartir da função característica basta usar a Transformada de Laplaceinversa com a mudança de sinal:

fX(x) =1

(2π)n

∫ ∞

−∞ΦX(w) exp (−jwx)dw (integral n dimensional)

(5.6.4)

Page 65: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 65

A função característica é muito útil para calcular momentos con-juntos, como mostra o exemplo a seguir:

Example 49 Definimos o vetor aleatório X , (X1, X2, X3)T e o vetor

W , (w1, w2, w3)T . Quanto vale E [X1 · X2 · X3]?

Função característica:

ΦX(w1, w2, w3) =∫ ∞

−∞

∫ ∞

−∞

∫ ∞

−∞fx(x1, x2, x3) exp (j(w1x1 + w2x2 + w3x3))dx1dx2dx3 (5.6.5)

Analisando a derivada parcial da função característica no ponto w1 =

0, w2 = 0, w3 = 0 obtemos a esperança desejada:

[1j3

∂Φx(w)

∂w1∂w2∂w3

]w1=w2=w3=0

⇒∫ ∞

−∞

∫ ∞

−∞

∫ ∞

−∞x1x2x3 fx(x) exp (0)dx1dx2dx3

= E [X1X2X3](5.6.6)

Qualquer momento pode ser calculado (se existir) pelo método doexemplo anterior. Genericamente, os momentos conjuntos podem serobtidos pela seguinte equação:

E [Xk11 ...Xkn

n ] = j−(k1+...+kn)×[

∂(k1+...+kn)φX(w1, w2, ..., wn)

∂wk11 ...∂wkn

n

]w1=...=wn=0

(5.6.7)Esta possibilidade está relacionada com a formulação da função

característica como um somatório. Podemos escrevê-la da seguinteforma:

E[exp(jwTX)

]= E

[exp(j

n

∑i=1

wixi)

]= E

[n

∏i=1

exp(jwixi)

](5.6.8)

Expandindo os termos nas suas séries correspondentes chegamosa:

φX(w) =∞

∑k1=0

...∞

∑kn=0E [Xk1

1 ...Xknn ]

(jw1)k1

k1!...(jwn)kn

kn!, (5.6.9)

que explicita os termos (momentos conjuntos) desejados. Observa-ções importantes:

1. φX(w) ≤ φX(0) = 1;

2. φ∗X(w) = φX(−w);

3. Todas as funções características de subconjuntos de X podem serobtidos de φX(w).

Por exemplo, para X = [X1, X2, X3] com φX(w1, w2, w3), temos:

φX1X2(w1, w2) = φX(w1, w2, 0) (5.6.10)

Page 66: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

66 manish sharma

φX1X3(w1, w3) = φX(w1, 0, w3) (5.6.11)

φX1(w1) = φX(w1, 0, 0) (5.6.12)

Funções características ajudam a resolver diversos problemas. Umproblema de importância real e encontrado com frequência é a ob-tenção da pdf de uma v.a. obtida pela soma de outras v.a.’s compdf’s conhecidas. Um caso disto é para o vetor X = (X1, ..., Xn)T

com n v.a’s independentes, com pdf’s marginais fxi (xi) , que gerauma nova v.a. Z através da soma Z = ∑n

i=1 Xi. Uma forma de obtera pdf de Z é pela convolução:

fZ(z) = fX1(x1) ∗ ... ∗ fXn(xn) (5.6.13)

o que é complicado. Por outro lado:

φX(w1, ..., wn) = E [exp(jwTX)] (5.6.14)

fazendo w = [w, w, w, ..., w] obtemos uma função característicaunidimensional:

φ(w, ..., w) = E [exp[(jw

=z︷ ︸︸ ︷(x1 + ... + xn))] = (5.6.15)

= E [n

∏i=1

exp(jwxi)] =n

∏i=1E [exp(jwxi)] =

n

∏i=1

φxi (w) = φz(w)TF−1→ fZ(z)

(5.6.16)Alguns destes passos só são possíveis devido a independência das

v.a.’s Xi e pela definição de que Z é simplesmente a soma aritméticados termos de X

5.6.1 Função Caracterítica da Regra Gaussiana

O objetivo desta seção é obter a função característica de um vetoraleatório Gaussiano.

Relembrando, qualquer matriz real simétrica e definida positiva Ppode ser fatorada em P = C ·CT e P−1 = D ·DT , onde C e D são nãosingulares.

Além disso, para um vetor X real , a sua matriz de covariânciaKXX é definida positiva. Logo, KXX (cujos autovalores são positivos)pode ser fatorada como visto acima.

A função característica de X é, pela definição:

φX(w) =1

(2π)n/2[det(KXX)]1/2

∫ ∞

−∞exp

[−1

2(x− µ)TK−1

XX(x− µ)

]exp(jwTx)dx

(5.6.17)Definimos a transformação Z , DT(X − µX), o que tem como

consequência que X = (DT)−1Z + µX, chegamos em:

zTz = (x− µX)T DDT︸ ︷︷ ︸

K−1XX

(x− µX) (5.6.18)

Page 67: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 67

O jacobiano desta transformação é det(DT) = det(D).Substituindo em φX(w), chegamos em:

φX(w) =1

|det(DX)|· exp(jwTµX)

(2π)n/2[det(KXX)1/2]

∫ ∞

−∞exp

(−1

2zTz)

exp(

jwT(DT)−1z)

dz, (5.6.19)

onde DX é o jacobiano com relação a X. Por isso na fórmula eleaparece no denominador em vez de no numerador.

Podemos completar o integrando usando (completando os qua-drados):

original︷ ︸︸ ︷exp

(−1

2(zTz− 2jw(DT)−1z)

)= exp

termo adicionado︷ ︸︸ ︷(−1

2wT(DT)−1(D)−1w

)exp

(−1

2

∥∥∥z− jD−1w∥∥∥2)

(5.6.20)Pode-se mostrar que |det(D)|−1 = [det(KXX)]

1/2 de forma que aexpressão simplifica em:

φX(w) = exp(

jwTµX −12

wTKXXw)

1(2π)n/2

∫ ∞

−∞exp

(−1

2

∥∥∥z− jD−1w∥∥∥2)

dz

(5.6.21)A integral é o produto de n pdf’s normais idênticas unidimensio-

nais, cujo resultado é (2π)n2 . Logo, a função característica resultante

é:

φX(w) = exp(

jwTµX −12

wTKXXw)

(5.6.22)

que também tem o formato Gaussiano.

5.7 Estimação de Parâmetros

Em algumas situações é necessário estimar µX e σ2 ou µX e KXX, i.e.,realizar estimação de parâmetros. Por exemplo, se quisermos mediro peso de um único componente com peso real θ, poderíamos medirn vezes o mesmo componente, observando valores xi corrompidospor erros de medição, isto é, xi = θ + ξi. Uma estimativa razoávelpara θ seria:

θ =1n

n

∑i=1

xi. (5.7.1)

O valor de θ depende obviamente das realizações de xi.A estimativa θ pode ser vista como a realização de uma v.a. espe-

cial pois seu resultado depende da realização das observações e estárelacionada com a distribuição fX(x) (ou PX(x), no caso discreto). Aestimativa θ é uma realização da média amostral Θ , 1

n ∑ni=1 Xi. Este

estimador é utilizado para estimar E [X] frequentememente.O estimador Θ é uma função do vetor observado X = (X1, X2, . . . , Xn)T ,

mas não é uma função de θ.Podemos classificar estimadores de acordo com as características

abaixo, não mutuamente exclusivas:

Page 68: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

68 manish sharma

• O estimador é não tendencioso somente se E [Θ] = θ. A tendência(bias) de um estimador é:

|E [Θ]− θ|. (5.7.2)

• Um estimador é do tipo linear se ele é uma função linear do vetorobservado, i.e., Θ = bT ·X, onde b é um vetor coluna que nãodepende de X.

• Um estimador é consistente se:

limn→∞

P[|Θ− θ| > ε] = 0, ∀ε > 0, (5.7.3)

i.e., o estimador converge em probabilidade para o valor de fato.

• Um estimador é não tendencioso de mínima variância se:

E [(θ− θ)2] ≤ E [(θ′ − θ)2], ∀ outro estimador θ′ e E [θ] = E [θ′] = θ.(5.7.4)

• Um estimador é MMSE (minimum mean square error) se:

E [(Θ− θ)2] ≤ E [(Θ′ − θ)2], ∀ outro estimador Θ′. (5.7.5)

Isto é, entre todos os estimadores possíveis, Θ é aquele que tem omenor erro quadrático médio.

Qual das propriedades acima você escolheria para um estimador,se você só pudesse escolher uma?

Estimação de E [X]:Seja X uma v.a. com pdf fX(x) e variância finita σ2

X . Desejamosum estimador não tendencioso e consistente para µX = E [X] a partirde n observações Xi obtidas de forma independente, i.e., fXi(xi) =

fX(x), ∀xi.O estimador amostral para a média é:

Θ ,1n

n

∑i=1

Xi. (5.7.6)

Este estimador é não tendencioso pois:

E [Θ] = E[

1n

n

∑i=1

Xi

]=

1n

n

∑i=1E [Xi] =

1n

nµX = µX (5.7.7)

A prova de que este estimador é consistente utiliza o limitante

de Chebyshev para Θ, que é P[|Θ − µ > ε] ≤ Var[Θ]ε2 , ∀ε > 0. A

Page 69: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 69

expressão para Var[Θ] é:

Var[Θ] = E

[( 1n

n

∑i=1

Xi

)− µX

]2

= E[

1n2 ∑

iX2

i +1n2 ∑

i∑i 6=j

XiXj + µ2X − 2µX ∑

i

1n

Xi

]=

1n2 (nσ2

X + µ2Xn) +

1n2 n(n− 1)µ2

X + µ2X − 2µ2

X

=σ2

Xn

+µ2

Xn

+ µ2X −

µ2X

n2 + µ2X − 2µ2

X =σ2

Xn

(5.7.8)Substituindo no limitante de Chebyshev, temos:

P[|Θ− µ| > ε] ≤ σ2

nε2 (5.7.9)

Este valor obviamente tende a zero quando n → ∞. Logo, Θ é umestimador consistente.

Estimação de Var[X]:Nas mesmas condições anteriores, o estimador não tendencioso e

consistente para Var[X] é:

σ2X = Θn ,

1n− 1

n

∑i=1

(Xi − µ)2 (5.7.10)

onde µX , 1n ∑n

i=1 Xi é o estimador do item anterior.. Note que,embora haja n observações, o divisor é n− 1.

Este estimador de fato é não tendencioso pois:

E [Θn] =1

n− 1E

n

∑i=1

(Xi −

1n

n

∑j=1

Xj

)2

=1

n− 1

n

∑i=1

[E [X2

i ] + E [µ2]− 2E [XiµX ]]

=1

n− 1

n

∑i=1E [X2

i ] +n

∑i=1E

( 1n

n

∑j=1

Xj

)2− 2

n

n

∑j=1

Xi

=

1n− 1

[n(σ2

X + µ2x) + n

(1n2

n

∑i=1

n

∑j=1E [XiXj]

)− 2

n

n

∑i=1

n

∑j=1E [XiXj]

]

=n

n− 1(σ2

X + µ2X)−

1n− 1

(1n

n

∑i=1

n

∑j=1E [XiXj]

)

=n

n− 1(σ2

X + µ2X)−

1n− 1

((σ2

X + µ2X) + (n− 1)µ2

X

)=

1n− 1

(nσ2

X + nµ2X − σ2

X − µ2X − (n− 1)µ2

X

)=

n− 1n− 1

σ2X = σ2

X .

(5.7.11)Nesta demonstração utilizamos o fato de que E [XiXj] vale E [Xi]E [Xj] =

µ2X se i 6= j e vale σ2

X + µ2X se i = j.

A prova de consistência vem da demonstração de que Var[Θn] =

Page 70: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

70 manish sharma

E [(Θn − σ2)2] ≈ 1n m4, onde m4 , E [(X − µ)4]. Novamente, pelo

limitante de Chebyshev, chegamos a:

P[|Θnσ2| > ε] ≤ Var[Θ]

ε2 ≈ m4

nε2 , (5.7.12)

cujo limite é 0 quando n→ ∞.

5.8 Estimação de médias vetoriais e matrizes de covariância

Seja X , (X1, X2, ..., Xp)T um vetor aleatório de dimensão p com pdffX(x). Tomamos n observações de X, independentes e igualmentedistribuídas (i.i.d), podemos estimar:

1. µX , E [X] = (µ1, µ2, ..., µp)T , onde µj = E [Xj] com j = 1, 2, ..., p

2. KXX , E [(X− µX)(X− µX)T ]

Estimação de µX:Definimos o estimador:

Θ ,1n

n

∑i=1

Xi (5.8.1)

Consequentemente: Θj =1n ∑n

i=1 Xj,i, que já mostramos ser con-sistente e não tendencioso para µj e assim também para µX.

Quando X é Gaussiano, Θ também é. Mesmo quando X não énormal, Θ tende a ser Gaussiano quando n→ ∞.

Estimação da matriz de covariância KXX:Se a média µX é conhecida, o estimador:

Θ ,1n

n

∑i=1

(Xi − µX)(Xi − µX)T (5.8.2)

é não tendencioso para KXX. Entretanto, se utilizarmos a médiade amostras µ, o estimador consistente e não tendencioso é2:2 Note que KXX é uma matriz aleatória

KXX = Θ ,1

n− 1

n

∑i=1

(Xi − µX)(Xi − µX)T (5.8.3)

Deixamos ao aluno a prova das características deste estimador.Quando X é normal, KXX obedece uma distribuição complicada.

5.9 Estimador de Máxima Verossimilhança

Se a pdf da v.a X ou do vetor aleatório X é conhecida, pode-se usaro método de máxima verossimilhança para estimar os valores se µ,σ e KXX. Através deste método obtemos estimadores que podemser interpretados como estimadores "ótimos"de acordo com algunscritérios que demonstraremos a seguir.

Considere por exemplo uma v.a. de Bernoulli que tem PMF PX(k) =pk(1− p)1−k, ondeP(X = 1) = p e P(X = 0) = 1− p. Desejamos

Page 71: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 71

estimar p através do estimador p. Sendo Y = ∑ni=1 X, o número de

vezes que que X = 1, podemos escrever a PMF de Y como :

P[Y = K1︸︷︷︸realiz.Y

, p] =

(n

K1

)pK1(1− p)n−K1 (5.9.1)

Uma forma de estimar p é encontrar o valor de p que maximiza afunção acima.

A solução pode ser obtida pela derivada da PMF em função de pe encontrar a relação entre p e K1 que maximiza a função acima:

dP[Y = K1, p]dp

=

(n

K1

)pK1−1(1− p)n−K1−1[K1(1− p)− p(n− K1)] =︸︷︷︸

critério de otimização

0 (5.9.2)

Há três soluções: p = 0; p = 1; e p = K1n . Os dois primeiros

valores resultam em mínimos da PMF de y. Logo, o estimador ótimoé:

p =k1

n=

∑ni=1 Xi

n(5.9.3)

que é o resultado intuitivo.O fato de conhecer a distribuição de Y ajudou a descobrir a solu-

ção. Poderiamos obter um resultado semelhante através da funçãode verossimilhança (M.V ou MLE em inglês), mas a forma da pdf deX deve ser conhecida.

A função de verossimilhança L(θ) de um conjunto de variáveisaleatórias X1, X2, · · · , Xn é a pdf conjunta:

L(θ) = fx1,x2,...,xn(x1, x2, ..., xn; θ), (5.9.4)

parametrizada por θ.Se, para uma realização X = (x1, x2, ..., xn), θ∗(x1, x2, ..., xn) é o

valor de θ que maximiza L(θ), então θ∗(x1, ..., xn) é a estimativa M.Vde θ (um número) e Θ = θ∗(x1, ..., xn) é o estimador M.V. (v.a) de θ.Para o caso em que as variáveis xi são observações independentes,podemos escrever L(θ) = ∏n

i=1 fx(xi; θ).No caso do exemplo anterior, teríamos:

L(θ) = L(p) =n

∏i=1

pxi (1− p)1−xi = p∑ xi (1− p)n−∑ xi (5.9.5)

Qual é o valor de p (nosso parâmetro θ) que maximiza L(θ)?Novamente, basta derivar e igualar a zero para chegarmos no

mesmo resultado anterior. Vale ressaltar que nesse caso não pre-cisamos saber ou nos preocuparmos com a distribuição de Y. Nemsempre L(θ) é diferenciável.

O valor de θ que maximiza L(θ) vai maximizar qualquer g(L(θ)),se g(·) for uma função monotônica crescente, como por exemplog(·) = log(·). A utilização do logaritmo transforma produtos emsomas. Assim, se as v.a’s são i.i.d, L(θ) = ∏n

i=1 fx(xi), teríamoslog[L(θ)] = ∑n

i=1 log[ fx(xi)], o que pode ser útil para simplificar

Page 72: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

72 manish sharma

a obtenção do estimador M.V.. Isto acontece por exemplo no casoGaussiano onde a pdf é uma função exponencial: log(a · exp(x)) =

x + log(a)Este método pode ser utilizado para resolver problemas com múl-

tiplos parâmetros. Neste caso, θ pode ser um vetor.

Example 50 Estimativa de parâmetro µX de distribuição Gaussiana:Observamos n realizações de X, que são x1, x2, · · · xn. A função de Ve-

rossimilhança é:

L(µX) =

(1√

2πσ2

)nexp

(− 1

2σ2 ·n

∑i=1

(xi − µ)2

), (5.9.6)

para n realizações independentes.Utilizando log[L(µ)] obtemos a seguinte expressão:

log[L(µX)] = −n2

log[2πσ2]− 12σ2 ·

n

∑i=1

(xi − µ)2 (5.9.7)

Para encontrar o máximo em função de µ, derivamos e igualamos a zero.Isolando o parâmetro, obtemos µX :

∂ log[L(µ)]∂µ

=1σ2 ·

n

∑i=1

xi − µ = 0⇒ µ =1n

n

∑i=1

xi (5.9.8)

Assim, o estimador M.V. é a média amostral.Utilizando o mesmo procedimento para a variância σ2

X utilizando ∂ log[L(σX)]∂σX

,obteríamos:

σX2 =

1n

n

∑i=1

(xi − µ)2 (5.9.9)

que sabemos ser tendencioso. Logo, pode haver desvantagens na utilizaçãodeste tipo de estimadores.

5.10 Estimação Linear de Parâmetros Vetoriais

Muitas vezes desejamos estimar o valor de variáveis aleatórias na en-trada de um sistema, mas só podemos observar a sua saída. Alémdisso, as observações são corrompidas por ruído. Esta situação écomum por exemplo em radares, análises sismológicas, etc. Um mo-delo útil nestas situações é o seguinte:

θ(τ)→ h(t, τ)→ ⊕︸︷︷︸+n(t)

→ y(t) (5.10.1)

onde:

• θ(τ) é o que desejamos saber,

• y(t) é observação,

• h(t, τ) é a resposta ao impulso de característica do sistema,

• e n(t)→ é o ruído ou erro introduzido por uma fonte externa.

Page 73: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 73

Este sistema pode ser descrito matematicamente como:

y(t) = n(t) +∫

Th(t, τ)θ(τ)dτ (5.10.2)

Na forma discreta teríamos

Y = HΘ + N⇒ sistema linear, (5.10.3)

onde N tem média 0.Pergunta: é possível obter uma boa estimativa de Θ através da

combinação linear Y? Isto é:

Θ = B︸︷︷︸não depende de Y

·Y (5.10.4)

Relembrando algumas definições

• Derivada de uma função escalar por um vetor (função que relaci-ona um número a partir de um vetor):

dq(x)dx

=

(∂q∂x1

,∂q∂x2

, . . . ,∂q

∂xn

)T(5.10.5)

• Derivada de forma quadráticas: Sendo A uma matriz real simé-trica n× n e x um vetor n× 1 qualquer com q(x) , xT ·A · x (formaquadrática), então:

dq(x)dx

= 2A · x, como se fosse uma relação de escalares ax2.(5.10.6)

Prova-se usando q(x) =n

∑i=1

n

∑j=1

xiaijxj.

• Derivada de produto escalar de dois vetores aT · x = y,

dydx

= a (5.10.7)

Para q , yT · A · x,∂q∂x

= AT · y. (5.10.8)

Terminada a recapitulação, retornamos ao problema. Assumindoos erros Ni são estatisticamente independentes, a matriz de auto-correlação é KNN , E [N · NT ] = σ2

N · I. Todos os ruídos tem porhipótese a mesma variância σ2

N .Podemos definir o escalar S como sendo a soma dos quadrados

da diferença entre Y e H · θ, i.e.:

S , (Y−H ·Θ)T(Y−H ·Θ) = |Y− HΘ|2. (5.10.9)

Um critério aceitável para a escolha de Θ é encontrar aquele queminimiza S. Expandindo a expressão anterior temos:

S = YTY + ΘT(HTH)Θ−ΘTHTY−YTHΘ (5.10.10)

Page 74: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

74 manish sharma

Usando as definições anteriores chegamos a:

∂S∂Θ

= 0 + 2(HT · H)Θ−HT · Y−HT ·Y. (5.10.11)

Assumindo que (HT ·H) possui uma inversa chegamos, igualandoa zero e isolando Θ, ao estimador:

Θ = (HT ·H)−1 ·HT ·Y (5.10.12)

ou seja:Θ = B ·Y

com B = (HT ·H)−1 ·HT .(5.10.13)

Por que não usar simplesmente B = H−1? O motivo é que podeser que H não seja inversível. A matriz B como definido é a inversageneralizada de H e serve como inversa de H para os nossos pro-pósitos. Caso H possua uma inversa, B = H−1. A matriz H podetambém não ser quadrada.

Example 51 Nos é informado que:

6, 2 = 3Θ + n1

7.8 = 4Θ + n2

2.2 = Θ + n3

(5.10.14)

Qual é o estimador (LS) de Θ?

Y = H ·Θ + Ny = [6.2 7.8 2.2]T

H = [3 4 1]T

Θ = θ

B =

[3 4 1]

341

−1 [

3 4 1]= 1

26

[3 4 1

] (5.10.15)

Logo:θ = B · y = 2 (5.10.16)

5.11 Exercícios

Os exercícios deste capítulo são: 5.5, 5.7, 5.9, 5.10, 5.15, 5.16, 5.17,5.21, 5.26, do livro "‘Probability and random processes with applica-tions to signal processing"’, Henry Stark.

Page 75: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

6Sequências aleatórias

6.1 Conceitos Básicos

Muitas situações podem ser modeladas através de sequências aleató-rias(abreviadas s.a.). Estas situações normalmente estão relacionadascom alguma grandeza espacial ou temporal que indexa a sequência,como por exemplo temperatura instantânea a cada minuto de umdia: a variável aleatória é a temperatura instantânea; o índice é otempo. Um outro exemplo seria o número de pessoas aguardandopara serem atendidas em caixas de supermercado. Neste caso, pode-ríamos utilizar como índice o identificador de cada caixa.

Por ser uma sequência, a grandeza é uma medida de forma amos-tral, como "uma vez por minuto". Logo, são naturalmente discretosem relação ao índice.

Formalmente, podemos definir sequências aleatórias da seguinteforma:

• Seja um espaço amostral definido pela tríplice Ω, F , P(·):

Ω - espaço amostral

F - conjuntos de todos os eventos possíveis

P - função que relaciona uma probabilidade a um evento

• Seja ζ um elemento de Ω.

• Seja X[n, ζ] uma função indexada por n que retoma um vetor qual-quer em função de ζ, onde n ∈ Z.

• Se, para qualquer n = n∗, X[n∗, ζ] é uma variável aleatória, X[n, ζ]

é uma sequência aleatória, junto com P(·).

• Para um dado ζ = ζ∗, X[n, ζ∗] é uma sequência de valores, cha-mado realização. Dado ζ∗, X[n, ζ∗] não é mais aleatório.

• Entretanto, dado n = n∗, X[n∗, ζ] é somente uma variável aleató-ria.

Exemplificando os últimos pontos, o número de pessoas que assis-tem a uma sequência de sessões de cinema. Este número dependedeterministicamente do filme que está passando, mas não sabemosqual filme passará. Dado somente o valor de n (por hipótese no

Page 76: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

76 manish sharma

futuro), o número de pessoas é somente uma variável aleatória. En-tretanto, dado ζ, o filme que esta passando, o número de pessoas emcada sessão é definido.

Representaremos sequências aleatórias simplificadamente por X[n],omitindo ζ.

Em alguns casos, o conhecimento de um valor de X[n] em uminstante permite saber o seu valor para todos os outros instantes,por exemplo:

X[n, ζ] , A(ζ) · sin(π · n

10+ θ(ζ)

)(6.1.1)

onde A(ζ) e θ(ζ) são v.a.’s. Basta duas observações para se determi-nar toda a sequência.

Outro exemplo mais genérico é X[n, ζ] = f [n]X(ζ) onde f [n] éuma dada sequência determinística e X(ζ) é uma variável aleatória.

Nestes casos anteriores, X[n] é condicionalmente conhecido. Ou seja,os dois exemplos anteriores é sobre sequências aleatórias compostaspor componentes determinísticos. Logo, possuem uma propriedadeincomum, pela qual os valores futuros são determinados exatamenteatravés de valores do presente e do passado. Não é um modelo muitoútil para ruído em sistemas, por exemplo.

Uma sequência aleatória pode ter suporte finito, por exemplo se

X[n, ζ] ,

Xn(ζ), 1 ≤ n ≤ N

0, c.c.

(6.1.2)

Esta sequência pode ser tratada como um vetor aleatório com di-mensão N e todos os métodos estudados no capítulo anterior.

Podemos obter o diagrama de árvore para uma sequência aleatóriada sequinte forma: Para X[n] definido para n > 0, que pode assumirM valores discretos 0, 1, · · · , M − 1 e X[0] = 0, podemos obter odiagrama de árvore da seguinte forma:

n = 0 0

ww ~~ ## ))n = 1 0 1

(( ++

· · · M− 2 M− 1

n = 2 0 1 · · · M− 2 M− 1

Os ramos são rotulados por P[X[n] = mi|X[K], K ≤ n− 1] sãoas possibilidades condicionais de ocorrer tal subsequência em X[n].Uma realização de X[n] é um caminho possível na árvore, com todosos ramos de caminho rotulados por um valor maior que zero. A rea-lização pode ser rotulado pelo número 0i1i2i3 · · · , onde in = X[n, ζ∗].Assim, ζ ∈ [0, 1] = Ω.

A probabilidade do n-ésimo símbolo ser igual a mi é:

P[X[n] = mi] =M−1

∑j=0

P[X[n− 1] = mj] · P[X[n] = mi|X[n− 1] = mj]

(6.1.3)

Page 77: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 77

Quando as variáveis temporais são estatisticamente independen-tes e com a mesma distribuição ao longo do tempo elas são i.i.d..

Generalizando, uma sequência independentemente aleatória é aquelaonde as variáveis em qualquer instante n1, n2, · · · , nN são juntamenteindependentes para todo N inteiro positivo. Estas sequências sãofacilmente analisadas, geradas, e servem de base, através de algu-mas transformações, para outros tipos de sequências. Nem todas assequências são assim. Há sequências em que as variáveis possuempropriedades estatísticas semelhantes mas são de alguma forma esta-tisticamente correlacionados com as variáveis vizinhas. Poderíamosanalisar esta dependência estatística com a densidade conjunta, o queseria complicado com N tendendo a infinito. Para lidar com sequên-cias infinitas, vamos adicionar um quarto axioma aos três utilizadosna definição de probabilidade.

Relembrando, o terceiro axioma diz:

P[A ∪ B] = P[A] + P[B], para A · B = ∅ (6.1.4)

Generalizando para N conjuntos, isto equivale a:

P

[N⋃

n=1

An

]=

N

∑i=1

P[An], para An Am = ∅ ∀n, m e n 6= m. (6.1.5)

Esta definição é válida para uma quantidade finita de conjuntos.Isto é chamado de aditividade finita. O quarto axioma aumenta adefinição anterior para uma quantidade infinita de subconjuntos:

P

[∞⋃

n=1

An

]=

∑i=1

P[An], (6.1.6)

para uma quantidade infinita de termos tal que Ai · Aj = ∅, i 6= j.O objetivo da adição deste axioma é que gostaríamos de tratar

de sequências aleatórias da mesma forma como tratamos variáveisaleatórias. Para isso precisamos de uma medida de probabilidadepara uma quantidade infinita de eventos, como faremos a seguir paraas sequências de Bernoulli.

6.1.1 Sequência de Bernoulli

Seja Ω = H, T com P[H] = p, 0 < p < 1 e P[T] = q , 1 − p.Definimos a v.a. W tal que W(H) , 1 e W(T) , 0, indicando res-pectivamente o sucesso ou não do experimento. Seja Ωn o espaçoamostral do n-ésimo experimento. Podemos definir um espaço deevento pelo produto direto de infinitos Ωn (conjunto de todos osprodutos possíveis, e.g. (2, 3)× (3, 4) = (6, 8, 9, 12)),resultando em1 : 1 Utilizaremos o sinal

⊗para indicar os

vários produtos diretos dos fatores

Ω∞ ,∞⊗

n=1

Ωn. (6.1.7)

Podemos então definir a sequência aleatória de Bernoulli W[n], comn ≥ 1, como sendo uma sequência de 0’s e 1’s, resultado dos experi-mentos.

Page 78: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

78 manish sharma

O evento possível do n-ésimo experimento, denotado por An, per-tence ao conjunto Fn, onde Fn é o campo de eventos do espaço deprobabilidade (Ωn, Fn, P) do experimento n. Os eventos possíveispara a sequência aleatória pertencem ao conjunto F∞, obtido peloproduto direto de Fn. Este campo contém, além de todas as sequên-cias possíveis, todas as uniões e intersecções de resultados possíveis.Um destes eventos é A∞ =

⋂∞n=1 An. Há uma quantidade infinita

destes eventos. Utilizando o axioma 4 para definir uma medida deprobabilidade deste evento como:

P∞[A∞] = ∏∞n=1P[An]. (6.1.8)

Assim, geramos o espaço de probabilidade da sequência aleató-ria (Ω∞, F∞, P∞), onde os elementos são ζζζ = (ζ1, ζ2, ...) e W[n, ζζζ] =

W(ζn), n ≥ 1.Toda esta complicação é necessária, pois em muitas situações não

podemos tratar dos elementos da sequência aleatória de forma inde-pendente. Um exemplo disso é um modelo simples de ruído corre-lacionado, definido como:

X[n] =n

∑m=1

αn−m · W[m]︸ ︷︷ ︸sequência de Bernoulli

, n ≥ 1. (6.1.9)

Escrevendo em função das realizações temos:

X[n, ζζζ] =n

∑m=1

αn−m ·W(ζm) (6.1.10)

X[n, ζζζ] depende, em n, de uma quantidade cada vez maior de ele-mentos de ζζζ, isto é, X[n] depende de X[n− i, ξ1], X[n− i, ξ2], · · · , X[n−i, ξn], para i = 1, 2, ..., n− 1.

Example 52 Ruído correlacionado.Considere a equação:

X[n] =n

∑m=1

αn−m ·W[m], com |α| < 1. (6.1.11)

e a sequência de Bernoulli W[m] como definida anteriormente. Podemosentender X[n] como a saída de um sistema com realimentação da saída,ponderada por α.

Para n > 0, Qual é a média de cada X[n]?

EX[n] = E

n

∑m=1

αn−m ·W[m]

=

n

∑m=1

αn−m · EW[m]

=n

∑m=1

αn−m · p = p ·n−1

∑m′=0

αm′

= p(1− αn)

(1− α)

(6.1.12)

Page 79: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 79

A correlação entre X[2] e X[1] é:

EX[2]X[1] = E(α ·W[1] + W[2])W[1]= αEW[1]2+ EW[2]EW[1]= αp + p2 6= (α + 1)p2

= EX[2]EX[1].

(6.1.13)

Logo X[1] e X[2] são dependentes entre si pois não são descorrelaciona-dos. Como os W[n] são descorrelacionados podemos calcular:

varX[n] =n

∑m=1

varαn−m ·W[m] =n

∑m=1

α2(n−m) · varW[m] = pq(1− α2n)

(1− α2)

(6.1.14)A dinâmica dessa sequência aleatória pode ser modelada com uma equa-

ção diferente. Dado que X[n − 1] = ∑n−1m=1 αn−1−m ·W[m], tem-se que

X[n] = αX[n− 1] + W[m], que verifica-se que a dependência de X[n] comseu vizinho imediato X[n− 1].

Assim, o ruído correlacionado X[n] pode ser gerado a partir de umasequência aleatória W[n] por um filtro com configuração demonstrada nafigura 6.1.

Figura 6.1: Filtro feedback que gerao ruído correlacionado X[n] a partirde uma sequência não correlacionadaW[n]

Além disso, com n→ ∞, em consequência do Teorema do Limite Central,a soma de várias variáveis aleatórias tende a uma Gaussiana, que no caso

terá média p(1− αn)

1− α︸ ︷︷ ︸p

(1−α)

e variância pq(1− α2n)

1− α2︸ ︷︷ ︸pq

1−α2

.

Poderíamos também gerar uma variável Gaussiana com média zero ali-mentando o mesmo circuito com uma sequência aleatória Gaussiana comtermos W[1], W[2], · · · , W[n], · · · que seriam v.a.’s Gaussianas com médiazero, variância σ2

w, independentes e igualmente distribuídas. Nesta situação,

var[X[n]] = σ2w(1− α2n)

1− α2 . (6.1.15)

A sequência X[n] continua correlacionada, pois:

EX[2]X[1] = αEW[1]2 = ασ2w 6= 0 = EX[2]EX[1]. (6.1.16)

Este modelo é chamado de autoregressivo.

6.1.2 Continuidade da Medida de Probabilidade

Considere uma sequência crescente de eventos Bn, isto é, Bn ⊂ Bn+1

para n ≥ 1, segundo a figura 6.2 . Definindo B∞ ,⋃∞

n=1 Bn, qual é ovalor de limn→∞ P[Bn]?

Page 80: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

80 manish sharma

Figura 6.2: Ilustração da sequência deeventos crescente

Sendo A1 , B1, An , Bn · Bcn−1, n > 1 (diferença). An são disjun-

tos e⋃N

n=1 An =⋃N

n=1 Bn para ∀N. Também BN =⋃N

n=1 Bn. Assim:

P[BN ] = P

[N⋃

n=1

Bn

]= P

[N⋃

n=1

An

]=

N

∑n=1

P[An]. (6.1.17)

Logo:

limN→∞

P[BN ] = limN→∞

N

∑n=1

P[An] =∞

∑n=1

P[An] = P

[∞⋃

n=1

An

]= P

[∞⋃

n=1

Bn

]= P[B∞].

(6.1.18)Esta propriedade é útil quando queremos determinar probabili-

dades assintóticas, como por exemplo de sequências com tempo in-finito.

Example 53 Prova da propriedade de continuidade pela direita.A definição é

FX(x) = P[X(ζ) ≤ x] = limε→0

FX [x + ε] (6.1.19)

para ε > 0.Alternativamente podemos definir:

limn→∞

FX

(x +

1n

)= FX(x) (6.1.20)

Definimos Bn , ζ : X(ζ) ≤ x + 1n

Um corolário da continuidade da medida de probabilidade é: sendo Bn

uma sequência decrescente de eventos , isto é, Bn ⊃ Bn+1 para n ≥ 1, entãolimn→∞ P[Bn] = P[B∞], onde B∞ ,

⋂∞n=1 Bn = ζ : X(ζ) ≤ x.

Assim, FX(x + 1n ) = P[Bn].

Logo,

limn→∞

FX

(x +

1n

)= lim

n→∞P[Bn] = P[B∞] = FX(x). (6.1.21)

Page 81: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 81

6.1.3 Especificação Estatística de uma Sequência Aleatória

Uma sequência aleatória X[n] é estatisticamente especificada se sabemosa sua PDF de ordem N para qualquer valor de N ≥ 1 (finito) e paratodos os instantes n, n + 1, · · · , n + N − 1, isto é, sabemos:

FX(

variáveis︷ ︸︸ ︷xn, · · · , xn+N−1;

localização︷ ︸︸ ︷n, · · · , n + N − 1) , PX[n] ≤ xn, X[n + 1] ≤ xn+1, · · · , X[n + N − 1] ≤ xn+N−1.

(6.1.22)

É necessário saber este valor para todo N ≥ 1 e todo n de −∞ a+∞.

Notação simplificada: FX(xn, xn+1, · · · , xn+N−1)

Para instantes não consecutivos podemos usar:

FX(xn1 , xn2 , · · · , xnN ; n1, n2, · · · , nN). (6.1.23)

Embora nenhuma distribuição com ordem finita deste conjuntodescreva a sequência inteira estatisticamente, a manipulação destasdistribuições permite calcular PDFs de ordem infinita. Entretanto, asPDFs devem ser consistentes entre si, o que neste contexto quer dizerque PDFs de ordem menor devem ser iguais a PDFs de ordem maiorcom os argumentos corretos. Isto é, PDF’s de ordem menor devemser iguais às PDF’s marginais obtidas de PDF’s de ordem maior.

Por exemplo, para N = 2 e N = 3:

FX(xn, xn+2; n, n + 2) = FX(xn, ∞, xn+2; n, n + 1, n + 2), (6.1.24)

para todos os valores de xn e xn+2.É fácil garantir consistência em modelos construidos como na

sequência de Bernoulli filtrada. Entretanto, para PDFs observadasou fornecidas, isto é dificil. Há então duas formas de especificarX[n]: através das infinitas PDFs de ordem N ou através das funçõesde X[η, ζ].

As pdf’s de ordem N são obtidas via derivadas parciais:

fX(xn, xn+1, ..., xn+N−1 ; n, n + 1, ..., n + N − 1︸ ︷︷ ︸pode ser omitido

) =∂N FX(xn, xn+1, ..., xn+N−1; n, n + 1, ..., n + N − 1)

∂xn, ∂xn+1, ..., ∂xn+N−1

(6.1.25)

para todo n(tempo) e N(ordem).Ao tratar de variáveis complexas do tipo X = XR + jXI, utiliza-

mos X = (XR, XI) tal que:

FX(xR, xI) , P[XR ≤ xR; XI ≤ xI] (6.1.26)

e

fX(xR, xI) =∂2FX(xR, xI)

∂xR∂xI

= fX(x)︸ ︷︷ ︸p/simpli f icar

(6.1.27)

Page 82: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

82 manish sharma

Para uma classe específica de sequências chamadas de sequênciasergódicas, podemos estimar as suas propriedades estatísticas atravésde uma única realização. Superficialmente, estas sequências tem apropriedade de que a média temporal de uma realização qualquerda sequência é igual a média para um instante entre realizações.Sequências com termos (em n) i.i.d são ergódicas.

Podemos definir momentos de sequências, que podem ser úteispara caracteriza-las. A função média é também uma sequência. Parauma sequência aleatória contínua X[n], no instante n, a função médiaou o primeiro momento é:

µX [n] , EX[n] =∫ ∞

−∞x fX(x; n)dx =

∫ ∞

−∞xn fX(xn)dxn. (6.1.28)

Se xn pode assumir um conjunto infinito de valores discretos,xk,−∞ < k < ∞, então:

µX [n] =∞

∑k=−∞

xkP[X[n] = xk]. (6.1.29)

Para sequências aleatórias mistas2 temos:2 Sequências aleatórias mistas sãosequências contínuas mas que temP(X = xi) > 0 para pelo menos umvalor de xi

µX [n] =∫ ∞

−∞x fX(x; n)dx +

∑k=−∞

xkP[X[n] = xk]. (6.1.30)

A função de autocorrelação é a esperança do produto X[k] comX∗[l]︸ ︷︷ ︸

conjugado

e possui dois parâmetros k e l, onde −∞ < k, l < ∞:

RXX [k, l] , EX[k] · X∗[l] =∫ ∞

−∞

∫ ∞

−∞xkx∗l fX(xk, xl ; k, l)dxkdxl ,

(6.1.31)se a função de autocorrelação existir.

Na maioria das vezes, as sequências aleatórias de segunda ordemque veremos terão potência finita, i.e, E|X[n]|2 < ∞ 3. Neste caso,3 Para calcular a potência é necessário

saber a grandeza da sequência. Porconvenção assumimos que a sequênciaé uma tensão sobre ou uma correnteque passa por um resistor de 1Ω.

sempre haverá a função de correlação.A sequência aleatória centrada é:

Xc[n]︸ ︷︷ ︸media=0

, X[n]− µX [n] (6.1.32)

A função de autocovariância de X[n] é definida por:

KXX [k, l] , E(X[k]− µX [k]) · (X[l]− µX [l])∗ (6.1.33)

A autocorrelação e a autocovariância tem simetria Hermitiana, istoé:

RXX [k, l] = R∗XX [l, k] (6.1.34)

e

KXX [k, l] = K∗XX [l, k]. (6.1.35)

Page 83: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 83

A função variância é σ2X [n] , KXX [n, n] e denota potência média

em Xc[n]. A potência de X[n] pode ser definida igual ou acima deRXX [n, n].

Example 54 Sequências de Erlang:Uma sequência aleatória τ[n], n ≥ 1, tem elementos i.i.d com pdf expo-

nencial:

fτ(t; n) = fτ(t) = λ exp(−λt)u(t) (6.1.36)

Vamos definir uma segunda sequência

T[n] ,n

∑k=1

τ[k]. (6.1.37)

Interpretação: τ[k] é o intervalo entre dois eventos, T[n] é o horáriopara a n-ésima chegada ou tempo de espera. Sabemos que T[1] = τ[1] etambém a sua distribuição. Desejamos saber o valor de T[n] para qualquern. Genericamente, a pdf T[n] é a convolução de (n− 1) pdf’s exponencialde τ[k], pois são eventos independentes. Assim:

fT(t; 2) = fτ(t) ∗ fτ(t) = λ2t exp(−λt)u(t)

fT(t; 3) = fT(t; 2) ∗ fτ(t) =12

λ3t2 exp(−λt)u(t)(6.1.38)

Parece que fT(t; n) = (λt)n−1

(n−1)! λ exp(−λt)u(t),De fato, por indução temos:

fT(t; n) =(λt)n−1

(n− 1)!λ exp(−λt)u(t) (6.1.39)

Esta é uma das formulas de Erlang, utilizada por exemplo para calcularprobabilidades de tempo de espera para uso de recursos compartilhados.

Como os elementos de τ[n] são i.i.d., obtemos facilmente:

µT [n] = n · µτ =nλ

(6.1.40)

Var [T[n]] = n ·Var [τ] =nλ2 (6.1.41)

6.1.4 Sequências Gaussianas

Na prática muitas sequências são Gaussianas. Uma sequência ale-atória X[n] é Gaussiana se as suas pdfs ou PDFs de ordem N sãojuntamente Gaussianas, ∀N ≥ 1.

Example 55 Sequências Gaussianas independentesDefinimos a sequência W[n] como uma sequência aleatória Gaussiana

real. Sua média vale µW [n] = 0, ∀n e sua função de autocorrelação éRW [k, l] = σ2 · δ[k− l], com σ > 0, onde δ é um impulso do tempo discreto:

δ[n] ,

1, se n = 0,0, se n 6= 0.

(6.1.42)

Page 84: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

84 manish sharma

A matriz de covariância para N termos desta sequência seria I · σ2. Logo,os termos são i.i.d e a sequência é aleatóriamente independente como previ-amente definido.

Seja uma nova função X[n] , W[n] + W[n − 1], −∞ < n < ∞.X[n] também é Gaussiana, pois é uma transformação linear de um par deGaussianas. A sua média vale:

µX [n] = EX[n] = EW[n]+W[n− 1] = EW[n]+EW[n− 1] = 0(6.1.43)

A função de correlação é:

RXX [k, l] = EX[k] · X[l]= E(W[k] + W[k− 1])(W[l] + W[l − 1])∗= EW[k]W[l]+ EW[k]W[l − 1]+EW[k− 1]W[l]+ EW[k− 1]W[l − 1]= RWW [k, l] + RWW [k, l − 1] + RWW [k− 1, l] + RWW [k− 1, l − 1]= σ2 (δ(k− l) + δ(k− l + 1) + δ(k− l − 1) + δ(k− l))

=

2σ2, se k = l,1σ2, se l = k± 1,

0, caso contrário.(6.1.44)

Logo, X[n] não é uma sequência com termos independentes.

Example 56 Caminhada aleatória X[n] = ∑nk=1 W[k], onde

W[k] =

+s, sucesso,

−s falha.(6.1.45)

com P(W[k] = +s) = P(W[k] = −s) = p = 12 .

X[n] é um caminho aleatório em passos inteiros. Após n passos a posiçãoé r · s, com r inteiro. Se há k sucessos e (n− k) falhas, então:

rs = ks− (n− k)s = (2k− n)s (6.1.46)

k =(n + r)

2(6.1.47)

que é o número de sucessos necessários em n passos para estarmos em rs.Logo:

P [X[n] = rs] = P[(n+r)

2 sucessos]

=

(

nn+r

2

), caso

n + r2

inteiro e <0

0, caso contrário

(6.1.48)

Como X[n] = W[1] + W[2] + ...W[n]e W[k] são independentes, então:

EX[n] =n

∑k=1EW[n] = 0 (6.1.49)

Page 85: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 85

EX2[n] =n

∑k=1EW2[k] =

n

∑k=1

0, 5(s2 + (−s)2) = ns2 (6.1.50)

Normalizando X[n] por√

n, temos:

X[n] ,1√n

X[n] (6.1.51)

que tende a uma Gaussiana quando n → ∞. Podemos fazer a seguinteaproximação:

P[a < X[n] ≤ b] = P[a√

n < X[n] ≤ b√

n] ≈ er f(

bs

)− er f

( as

)(6.1.52)

Embora X[n] não possa ser aproximado por uma Gaussiana (para n par,X[n] é multiplo par de s) ainda podemos aproximar a probabilidade:

[(r− 2)s < X[n] ≤ rs] = P[(r−2)s√

n < X[n] ≤ rs√n

]= 1√

∫ r√n

(r−2)√n

exp(− 12 v2)dv

≈ 1√π( n

2 )exp

(− r2

2n

)Quando a probabilidade a ser calculada é pequena, um valor de n muito

grande é necessário, pois a diferença (erro) entre o valor de fato e a aproxi-mação pode ser comparável ao próprio valor de fato. Na prática isto equivalea dizer que usaremos esta aproximação é melhor na parte central da pdfGaussiana e pior nas caudas.

Uma sequência aleatória possui incrementos independentes se paratodo n1 < n2 < ... < nN , não necessariamente consecutivos, X[n1], X[n2]−X[n1], ..., X[nN ]− X[nN−1] são juntamente independentes para todoN. Com esta propriedade é fácil obter as pdfs conjuntas de or-dem N através do produto das pdfs dos incrementos independentes.Sequências de Erlang tem esta propriedade. Por outro lado, exis-tem muitas sequências com propriedades estatísticas constantes emn, o que não acontece por exemplo com T[n] do exemplo de Erlang.Há duas simplificações resultantes para sequências com incrementosindependentes e propriedades estatísticas constantes:

• a sequência é invariante no tempo;

• é possível estimar seus parâmetros com algumas observações.

Se todas as PDFs de ordem N de uma sequência X[n] são iguaispara qualquer deslocamento k, i.e:

FX(xn, xn+1, ..., xn+N−1; n, n + 1, ..., n + N − 1) =

FX(xn+k, xn+k+1, ..., xn+k+N−1; n + k, n + k + 1, ..., n + k + N − 1)

então a sequência é estacionária. Esta definição também é válida parapdfs e PMFs. Esta propriedade pode ser difícil de ser testada pois

Page 86: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

86 manish sharma

exige a caracterização estatística da sequência aleatória, o que nemsempre é possível. As sequências X[n], W[n] e τ[n] são estacionárias.T[n] não, pois µT [n] e σ2

T [n] dependem de n.Em algumas situações desejamos caracterizar a sequência somente

pela sua média e autocorrelação. Neste caso podemos definir asequência X[n] como estacionária no sentido amplo (Wide Sense Stationary-WSS) se ela satisfizer estas duas condições:

1. A função média é constante para todo n inteiro,

µX [n] = µX [0],−∞ < n < ∞. (6.1.53)

2. Para todo instante k, l com −∞ < k, l < ∞ e n inteiro, −∞ <

n < ∞, a função de autocovariância (autocorrelação) indenpendedo deslocamento n:

KXX [k, l] = KXX [k + n, l + n], (6.1.54)

isto é, a autocovariância (autocorrelação) é invariante no tempo.

Todos as sequências estacionárias são WSS, mas o contrário nãoé sempre verdade. É mais fácil determinar se uma sequência é WSSdo que determinar se ela é estacionária.

Como a função de covariância de um processo WSS é invarianteno tempo, o seu valor depende somente da diferença entre k e l, pois:

KXX [k, l] = KXX [k− l, l − l] = KXX [m, 0] = KXX [m]. (6.1.55)

Da mesma forma para a função de autocorrelação:

RXX [m] = RXX [m + k, k] = RXX [m, 0]. (6.1.56)

O próximo passo é descobrir o que acontece com uma sequênciaaleatória quando a passamos por um sistema linear de tempo dis-creto.

6.2 Revisão sobre Princípios Básicos de Sistemas Lineares deTempo Discreto

Sistema linear discreto genérico:

x[n]︸︷︷︸Sequência de Entrada-infinita

→ L.︸︷︷︸Sistema com Operador Linear

→ y[n]︸︷︷︸Sequência de Saída-infinita

(6.2.1)Equação fundamental: y[n] = Lx[n].L. é um operador e não simplesmente uma função, pois po-

tencialmente todos os valores de x[n] em todos os instantes podemafetar o valor de y no instante n.

Um sistema com operador L é linear se, para qualquer par desequências x1[n] e x2[n] permitidas e para qualquer a1 e a2 escalares,

La1x1[n] + a2x2[n] = a1Lx1[n]+ a2Lx2[n]. (6.2.2)

Page 87: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 87

Como exemplo, pode-se citar as médias móveis como:

y[n] =13(x[n + 1] + x[n] + x[n− 1]) com −∞ < n < ∞

e os autorregressivos como:

y[n] = ay[n− 1] + by[n− 2] + cx[n] com 0 ≤ n < ∞

.quando as condições iniciais são zero. Ambos são casos particula-

res de uma equação linear de diferenças com coeficientes constantes (LC-CDE):

y[n] =M

∑k=1

aky[n− k]︸ ︷︷ ︸autoregressivo

+N

∑k=0

bkx[n− k]︸ ︷︷ ︸média movel

. (6.2.3)

Example 57 Resolução de equação LCCDE:

y[n] = 1, 7y[n− 1]− 0, 72y[n− 2] + u[n]y[−1] = y[−2] = 0

(6.2.4)

e u[n] é a função degrau.Qual é a solução para n ≥ 0? A resposta y[n] = solução homogênea +

solução particular.Solução homogênea (retira-se o estímulo externo):

y[n] = 1, 7y[n− 1]− 0, 72y[n− 2] (6.2.5)

Tenta-se y[n] = A · rn, com constantes A e r a serem determinados.

A[rn − 1, 7rn−1 + 0, 72rn−2] = 0

Arn−2[r2 − 1, 7r + 0, 72] = 0(6.2.6)

A solução trivial é r = 0 (descartado). Assim, a solução é r1 = 0, 8 er2 = 0, 9.

Solução homogênea geral: yh[n] = A10, 8n + A20, 9n, cujas constantesA1 e A2 serão encontradas depois.

Solução particular: consideramos que a saída é obtida pela combinaçãolinear da entrada e todas as suas derivadas. No caso , yp[n] = B · u[n]. Sea entrada fosse um polinômio de grau g, yp[n] também seria, por exemplo.Temos portanto:

yp[n] = 1, 7y[n− 1]− 0, 72y[n− 2] + u[n]B(1− 1, 7 + 0, 72) = 1⇒ B = 50

y[n] = yh[n] + yp[n] = A10, 8n + A20, 9n + 50, n ≥ 0.(6.2.7)

Para determinar constantes, utilizamos condições iniciais:

n = 0 : A1 + A2 + 50 = 1n = 1 : A10, 8 + A20, 9 + 50 = 2, 7

⇒ A1 = 32A2 = −81

(6.2.8)

Solução para n ≥ 0 é: y[n] = 32(0, 8)n − 81(0, 9)n + 50Estando o sistema em repouso para n < 0, a solução final é:

y[n] = (32(0, 8)n − 81(0, 9)n + 50) · u[n]. (6.2.9)

Page 88: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

88 manish sharma

O sistema anterior só é linear pois a condição inicial do sistema érepouso.

Sistemas lineares podem ser descritos através da superposição derespostas ao impulso potencialmente invariantes no tempo h[n, k] ,Lδ[n− k], isto é, h[n, k] é o valor da saída do sistema no instanten quando aplicamos um impulso unitário no instante k. No tempodiscreto, o impulso δ[n] vale 1 se n = 0 e 0 caso contrário. Utilizandoa resposta ao impulso, podemos escrever:

x[n] =∞

∑k=−∞

x[k]δ[n− k]. (6.2.10)

Utilizando a propriedade de linearidade do sistema, a saída ficaentão:

y[n] = L

∑k=−∞

x[k]δ[n− k]

=

∑k=−∞

Lx[k]δ[n− k]

=∞

∑k=−∞

x[k] · h[n, k],

(6.2.11)

que é a representação por soma de superposição para um sistemalinear.

Um sistema L. é invariante no tempo (LTI ou LSI) se, para qual-quer deslocamento k, −∞ < k < ∞, y[n + k] = Lx[n + k], paratodo n. Neste caso a saída pode ser obtida pela convolução discretada entrada x[n] com uma resposta ao impulso h[n], necessariamenteinvariante no tempo:

y[n] = h[n] ∗ x[n] = x[n] ∗ h[n], (6.2.12)

onde:

h[n] ∗ x[n] ,∞

∑k=−∞

h[k]x[n− k]

h[n] , Lδ[n](6.2.13)

O cálculo da convolução pode ser complicado. Pode ser mais fácilobter a saída através de contas no domínio da frequência, o que exigea transformada de Fourier no tempo discreto. A transformada deFourier no tempo discreto de uma sequência discreta é:

X(ω) = FTx[n] ,∞

∑k=−∞

x[k] exp(−jωk), (6.2.14)

para −π ≤ ω ≤ π(se existir).A função X(ω) é periódica em ω com período 2π.A transformada inversa é:

x[n] = IFTX(ω) = 12π

∫ π

−πX(ω) exp[jωn]dω. (6.2.15)

As duas são semelhantes no caso contínuo. A variável ω é variávelde frequência normalizada em função de uma "‘frequência de amos-tragem"’ fs. Esta frequência seria o valor teórico utilizado para obter

Page 89: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 89

x[n]. A relação entre frequência de amostragem e intervalo ∆t entreamostras é fs = ∆t−1. Se o intervalo entre instantes fosse ∆t = 1,a faixa de frequências representadas, em radianos por segundo, porexemplo, as frequências representadas são de −π à π.

Pode-se mostrar que a convolução y[n] = x[n] ∗ h[n] é equivalenteao produto Y(ω) = X(ω) · H(ω). Podemos então obter y[n] via:

y[n] = IFTFTx[n] · FTh[n], (6.2.16)

o que pode ser mais simples do que calcular a convolução.Podemos também definir a transformada Z de uma sequência:

X(z) ,∞

∑k=−∞

x[z] · z−k, (6.2.17)

onde z é uma variável complexa na região em que este somatórioconverge (semelhante a Laplace). A diferença entre as transformadasé que Z é complexo, ω é real. A relação entre transformadas é:

X(z)|z=exp(jw) = X(w) (6.2.18)

isto é, limitação de z ao círculo unitário complexo. Algo semelhantefoi feito na obtenção na função característica e na função geradorade momentos.

Podemos utilizar a transformada Z no lugar da FT para calcular asaída do sistema.

6.3 Sequências Aleatórias e Sistemas Lineares

O que acontece quando um sistema linear é alimentado com umasequência aleatória? Situação muito encontrada, por exemplo, paraum estimador linear Y = A[X + N], com A, uma transformação li-near e N, um ruído. Um outro exemplo é o caso de vibração decomponentes conectados entre si. Um componente sofre uma vibra-ção aleatória em uma extremidade e acaba vibrando um segundocomponente conectado em outra extremidade. A caracterização davibração sofrida pelo segundo componente depende de como o pri-meiro componente se comporta, que pode ser modelado como umsistema linear.

Para uma dada realização ξ, X[n, ξ] = x[n]. Seja Y[n] = LX[n],onde L é o nosso sistema linear. Assim, Y[n, ξ] = y[n] = Lx[n] =X[n, ξ], ou resumidamente, Y[n, ξ] = LX[n, ξ], ∀ξ ∈ Ω.

Y[n] e X[n] são sequências aleatórias, x[n] e y[n] não.Dependendo da resposta ao impulso h[n] do sistema, pode ser

difícil ou impossível determinar a distribuição dos instantes de Y[n]a partir de X[n].

Relembrando,

y[n] = x[n] ∗ h[n] =∞

∑k=−∞

x[k]h[n− k]. (6.3.1)

Se h[k] 6= 0, para −m1 ≤ k ≤ m2, a saída y[n] vai depender dex[n − m1] até x[n − m2]. Será necessário saber a pdf conjunta deordem m2 −m1, de X[n] para determinar a pdf de Y[n].

Page 90: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

90 manish sharma

Há casos em que a resposta ao impulso é infinita. Por outro lado,é possível determinar o momento de ordem m de Y[n] a partir dosmomentos de ordem 1 a m de X[n].

Para o caso da entrada Gaussiana (muito comum), a saída é neces-sariamente Gaussiana, pois L. é uma transformação linear. Deter-minar os primeiros dois momentos é útil, pois caracteriza parâmetrosimportantes da saída (para a engenharia). A média da saída pode serobtida como:

EY[n] = LEX[n], (6.3.2)

pois:

y[n] =∞

∑k=−∞

h[n, k]x[k]⇒ Y[n, ξ] =∞

∑k=−∞

h[n, k]X[k, ξ]. (6.3.3)

Logo:

EY[n] = E

∑k=−∞

h[n, k]X[k]

=

∑k=−∞

h[n, k]EX[k]

= L EX[n] ,

(6.3.4)

que escrevemos também como

µY[n] =∞

∑k=−∞

h[n, k]µX [k]. (6.3.5)

Este somatório pode não convergir, por exemplo quando:

y[n] =∞

∑k=0

x[n− k] (6.3.6)

e a média de X[k] é não nula.Para o caso particular onde a entrada é WSS e o sistema LSI, a

saída também será WSS.

µY = EY[n] =∞

∑k=−∞

h[n− k]µX = µX

[∞

∑k=−∞

h[n− k]

]= µX H(z)

∣∣∣∣z=1

(6.3.7)

se o∞

∑k=−∞

|h[k]| convergir.

A equação anterior equivale a dizer que a média da saída é amédia da entrada vezes uma constante.

Example 58 Caracterização da saída de um sistema linear.Considere um sistema definido por:

H(z) =1

1 + az−1 (6.3.8)

com |a|<1.

Page 91: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 91

O cálculo do primeiro momento é, como indicado anteriormente:

EY[n] = EX[n]H(z)∣∣∣∣z=1

=µX

1 + a(6.3.9)

Segundo momento a ser calculado é a correlação e covariância para Y[n] =LX[n] (para L. linear qualquer). É útil definir primeiro um passo in-termediário, a correlação cruzada:

RXY[m, n] , EX[m]Y∗[n] = EX[m](LX[n])∗ (6.3.10)

Para calcular esta correlação definimos L∗n como o operador com respostaao impulso h∗[n, k]4. Assim: 4 Os subscritos n e m servem para in-

dicar que a operação tem como índicetemporal n ou m, respectivamente.

RXY[m, n] = EX[m]L∗nX∗[n]= L∗nEX[m]X∗[n].= L∗nRXX [m, n]

(6.3.11)

Utilizando o operador Lm, com resposta ao impulso h[m, k], escrevemos:

RYY[m, n] = EY[m]Y∗[n]= ELmX[m]Y∗[n]= LmEX[m]Y∗[n]= LmRXY[m, n]

(6.3.12)

Combinando estas equações, temos a relação entre correlações de entradae saída do sistema:

RYY[m, n] = LmL∗nRXX [m, n], (6.3.13)

que pode ser escrito como:

RYY[m, n] =∞

∑k=−∞

h[m, k]

(∞

∑l=−∞

h∗[n, l]RXX [k, l]

). (6.3.14)

De forma semelhante, temos:

RXY[m, n] =∞

∑l=−∞

h∗[n, l]RXX [m, l] (6.3.15)

e

RYX [m, n] =∞

∑k=−∞

h[m, k]RXX [k, n]. (6.3.16)

Para sequências com média zero, a variância é a correlação:

KXY[m, n] = L∗nKXX [m, n] (6.3.17)

KYY[m, n] = LmKXY[m, n] = LmL∗nKXX [m, n] (6.3.18)

Page 92: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

92 manish sharma

Example 59 Detector de borda

Y[n] , X[n]− X[n− 1] = LX[n] (6.3.19)

Logo:

h[n, k] =

1, se k = n,−1, se k = n− 1,

0, c.c.(6.3.20)

Temos então que:

EY[n] = LEX[n]= µX [n]− µX [n− 1]

RXY[m, n] = LnRXX [m, n]= RXX [m, n]− RXX [m, n− 1]

RYY[m, n] = LmRXY[m, n]= RXY[m, n]− RXY[m− 1, n]= RXX [m, n]− RXX [m− 1, n]− (RXX [m, n− 1]− RXX [m− 1, n− 1])

(6.3.21)Se, para a entrada WSS, RXX [m, n] = a|m−n|, 0 < a < 1, teríamos:

µY[n] = 0 (6.3.22)

RXY[m, n] = a|m−n| − a|m−n+1| (6.3.23)

RYY[m, n] = 2a|m−n| − a|m−1−n| − a|m−n+1| (6.3.24)

A autocorrelação da saída depende somente de (m− n). Logo, a saída éWSS e podemos escrever:

RYY[k] = 2a|k| − a|k−1| − a|k+1| (6.3.25)

Example 60 Sistema Recursivo

Y[n] = αY[n− 1] + (1− α)W[n] (6.3.26)

para n > 0, |α| < 1 e Y[−1] = 0.O sistema é LSI para n > 0 e temos a resposta ao impulso constante

h[n] = (1− α)αnu[n], obtida como solução da equação de diferenças h[n] =αh[n− 1] + (1− α)δ[n]

Assim:

µY[n] =∞

∑k=0

(1− α)αkµW [n− k] (6.3.27)

Considerando µw[n] = 0, para n < 0, temos:

KWY[m, n] =∞

∑k=0

(1− α)αkKWW [m, n− k]

KYY[m, n] =∞

∑l=0

(1− α)αlKWY[m− l, k]

=∞

∑l=0

∑k=0

(1− α)2αl+kKWW [m− l, n− k]

(6.3.28)

Page 93: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 93

Se a entrada tiver covariância KWW [m, n] = σ2Wδ[m− n], temos então:

KYY[m, n] =n

∑k=0

(1− α)2α(m−n+k)αkσ2W

= (1− α)2α(m−n)n

∑k=0

α2kσ2W

= α(m−n)[(1− α)2

(1 + α2)

]σ2

W(1− α2n+2)

=

[(1− α)

(1 + α)

]α|m−n|σ2

W(1− α2min(m,n)+2︸ ︷︷ ︸tende para 0

)

(6.3.29)

Assintoticamente, quando n,m→ ∞

KYY[m, n] =[(1− α)

(1 + α)

]α|m−n|σ2

W (6.3.30)

Se µY[n] for também assintoticamente constante, Y[n] será assintotica-mente WSS.

6.4 Sequências Aleatórias WSS e Sistemas LSI

Assumimos que as sequências são WSS, isto é:

• EX[n] = µX , constante;

• RXX [k + m, k] = EX[k + m]X∗[k] = RXX [m].

Assumimos também que E|X[n]|2 < ∞.Algumas propriedades importantes de autocorrelação e autocova-

riância são:

1. Para ∀ m, |RXX [m]| ≤ RXX [0] para X[n] real.

2. |RXY[m]| ≤√

RXX [0] · RYY[0], obtido via desigualdade de Schwarz.

3. RXX [m] = R∗XX [−m]

4. Para qualquer N > 0 e a1, a2, · · · , aN complexos:

N

∑n=1

N

∑k=1

ana∗k RXX [n− k] ≥ 0. (6.4.1)

Assim, a função de autocorrelação é semi definida positiva. Estacondição é necessária e suficiente para uma função de autocor-relação ser válida, de forma análoga à condição imposta sobrematrizes de correlação de vetores aleatórios.

Page 94: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

94 manish sharma

Sequências WSS e sistemas LSI simplificam muitas contas. Por exem-

plo, se Y[n] =∞

∑k=−∞

h[n− k] · X[k], então:

RXY[m, n] = EX[m] ·Y∗[n]

=∞

∑k=−∞

h∗[n− k]EX[m] · X∗[k]

=∞

∑k=−∞

h∗[n− k] · RXX [m− k]

=∞

∑l=−∞

h∗[−l] · RXX [(m− n)− l],

(6.4.2)

pois podemos usar l , k− n se X[n] é WSS. Logo:

RXY[m, 0] = RXY[m] =∞

∑l=−∞

h∗[−l] · RXX [m− l] = h∗[−m] ∗ RXX [m].

(6.4.3)Da mesma forma:

RYY[n + m, n] , EY[n + m] ·Y∗[n]

=∞

∑k=−∞

h[k]EX[n + m− k] ·Y∗[n]

=∞

∑k=−∞

h[k] · RXY[m− k]

= h[m] ∗ RXY[m]

⇒ RYY[m] , RYY[m, 0].

(6.4.4)

Combinando as equações, chegamos a:

RYY = h[m] ∗ h[−m] ∗ RXX [m] = g[m] ∗ RXX [m]. (6.4.5)

.A função g[m] é a autocorrelação da resposta ao impulso. Não

é possível determinar h[m] exclusivamente a partir de g[m]. Estadeterminação é um problema prático em algumas áreas.

Example 61 Obtenção de g[m].Para o detector de borda

Y[n] = LX[n] , X[n]− X[n− 1]RXX [m] = α|m|.

(6.4.6)

A resposta ao impulso é:

h[n] = δ[n]− δ[n− 1]. (6.4.7)

logo:

g[m] = h[m] ∗ h[−m] = (δ[m]− δ[m− 1]) ∗ (δ[−m]− δ[−m− 1])= (δ[m]− δ[m− 1]) ∗ (δ[m]− δ[m + 1])= δ[m]− δ[m− 1] + δ[m]− δ[m + 1]= 2δ[m]− δ[m− 1]− δ[m + 1]

(6.4.8)

Page 95: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 95

Usando este valor chegamos a:

RYY[m] = g[m] ∗ RXX [m]

= (2δ[m]− δ[m− 1]− δ[m + 1]) ∗ α|m|

= 2α|m| − α|m+1| − α|m−1|(6.4.9)

que é a resposta anterior.

6.4.1 Densidade Espectral de Potência (PSD)

A densidade espectral de potência (PSD) é a transformada de Fourier notempo discreto da função de autocorrelação uniparametral de umasequência aleatória WSS X[n]:

SXX(ω) ,∞

∑m=−∞

RXX [m] · exp(−jωm), para − π ≤ ω ≤ π. (6.4.10)

Podemos calcular a relação entre as PSD’s de entrada e de saídade um sistema via:

SYY = TFRYY[m]= TFh[m] ∗ h∗[−m] ∗ RXX [m]= |H(ω)|2 · SXX(ω) = G(ω) · SXX(ω).

(6.4.11)

Muito utilizado na prática.

Example 62 Ruído Gaussiano Branco Considere uma sequência W[n] Gaus-siana com média zero e termos i.i.d.. A autocorrelação desta sequência é:

RWW [n] = σ2W · δ[n] (6.4.12)

Esta sequência é estacionária no sentido estreito e no sentido amplo. APSD é calculada como:

SWW [ω] =∞

∑n=−∞

σ2W · δ[n] · exp(jωn)

= σ2W

(6.4.13)

Assim, a densidade espectral de potência é constante de −π a π, ou seja,em todas as frequências representadas. Este ruído é chamado de branco poispossui todas as "‘cores"’. Veremos a versão contínua no próximo capítulo.

Relação inversa:

RXX [m] = IFTSXX(ω) = 12π

∫ π

−πSXX(ω) exp(jωm)dω. (6.4.14)

Integrar uma densidade retorna uma grandeza. Se a densidade éde potência, a grandeza será potência. A potência média de X[n] éE|X[n]|2 = RXX(0), que é também:

RXX [0] =1

∫ π

−πSXX(ω)dω, (6.4.15)

daí o nome desta função.

Page 96: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

96 manish sharma

Segunda interpretação: Se X[n] passa por um filtro H(ω) passafaixas muito estreito com largura 2ε, centrada em ωo, temos:

RYY[0] =1

∫ ωo+ε

ωo−εSXX(ω)dω ≈

densidade︷ ︸︸ ︷SXX(ωo) ·

dimensão︷︸︸︷ε

π. (6.4.16)

Propriedades de PSD, muitas delas derivadas das propriedadesda Transformada de Fourier:

1. SXX(ω) é real pois RXX [m] é simétrico-conjugado (simetria Her-mitiana);

2. Se X[n] é uma sequência real, SXX(ω) é uma função par em ω.

3. SXX(ω) ≥ 0 para ∀ω, sendo X[n] real ou imaginário.

4. Se RXX [m] = 0 para |n| > N para algum N > 0 finito. SXX(ω)

pode ser escrito como a série de Taylor em torno de um ponto ωo.

Podemos também definir a densidade de potência cruzada como:

SXY(ω) ,m=∞

∑m=−∞

RXY[m] exp(−jωm), para − π ≤ ω ≤ π (6.4.17)

Não poderíamos definir a potência diretamente de EX[n]2 poisRXX [0] é constante para todo instante, logo o somatório diverge.

No limite, podemos fazê-lo da seguinte forma:

XN(ω) , FTwN [n]X[n] (6.4.18)

onde wN [n] é uma janela e vale wN [n] ,

1, |n| ≤ N

0, c.cNas condições corretas, podemos escrever:

SXX(ω) = limN→∞

12N + 1

· E|X(ω)|2 (6.4.19)

6.4.2 Relações de entrada e de saída para Sequências WSS e Siste-mas Lineares

Sequência Aleatória:Y[n] = h[n] ∗ X[n]

Correlações cruzadas:

RXY[m] = RXX [m] ∗ h∗[−m]

RYX [m] = h[m] ∗ RXX [m]

RYY[m] = RYX [m] ∗ h∗[−m]

Autocorrelação

RYY[m] = h[m] ∗ RXX [m] ∗ h∗[−m] = g[m] ∗ RXX

Page 97: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 97

Média da saída:µY = H(0)µX

Densidades espectral de potência cruzadas:

SXY(ω) = SXX(ω)H∗(ω)

SYX(ω) = H(ω)SXX(ω)

SYY(ω) = SYX(ω)H∗(ω)

Densidade espectral de potência

SYY(ω) = |H(ω)|2SXX(ω) = G(ω)SXX(ω)

Potência e Variância da Saída

E|Y[n]|2 = RYY[0] =1

∫ +π

−π|H(ω)|2SXX(ω)dω

σ2Y = RYY[0]− |µY|2

6.5 Sequências Aleatórias de Markov

Superficialmente, são as sequências que possuem memórias. Comoconsequência podem ser descritas como havendo estados. Uma de-finição formal é:

1. Uma sequência aleatória de Markov X[n] com valores contínuos,definida para n ≥ 0, satisfaz a seguinte pdf condicional:

fX(xn+k|xn, xn−1, · · · , x0) = fX(xn+k|xn) (6.5.1)

para todo x0, x1, · · · , xn, xn+k,todo n > 0 e k ≥ 1 inteiros.

2. Uma sequência aleatória de Markov X[n] com valores discretos,definida para n ≥ 0, satisfaz a seguinte pdf condicional:

PX(xn+k|xn, xn−1, · · · , x0) = PX(xn+k|xn) (6.5.2)

para todo x0, · · · , xn, xn+k; n > 0 e k ≥ 1, inteiros.

Isto é, uma vez que o valor de xn seja conhecido, a pdf ou PMFde Xn+k depende somente do seu valor, e não dos anteriores, mesmoque estes também sejam conhecidos. É suficiente que as proprie-dades acima sejam válidas para k = 1 para que seja válido paraqualquer valor de k.

A pdf conjunta de uma sequência de Markov pode ser então fato-rada como (com k = 1):

fX(x0, x1, · · · , xN) = fX(x0) · fX(x1|x0) · fX(x2|x1, x0) · · · fX(xN |xN−1, · · · , x0)

= fX(x0) ·N

∏i=1

fX(xi|xi−1)

(6.5.3)

Page 98: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

98 manish sharma

Example 63 Seja a sequência X[n] definida como:

X[n] = ρX[n− 1] + W[n]︸ ︷︷ ︸independente

, X[−1] = 0 (6.5.4)

Sendo X[n] = Xn e W[n] = Wn, podemos escrever para n > 0:

fX(xn, xn−1, · · · , x0) = fX(xn|xn−1, · · · , x0) fX(xn−1|xn−2, · · · , x0) · · · fX(x1|x0) fW(x0)

= fX(xn|xn−1) fX(xn−1|xn−2) · · · fX(x1|x0) fW(x0)

= fW(wn = xn − ρxn−1) fW(wn−1 = xn−1 − ρxn−2) · · · fW(x0)

=

[n

∏k=1

fW(xk − ρxk−1)

]· fW(x0)

(6.5.5)

Uma sequência de Markov de ordem p definida para n ≥ 0 satis-faz as seguintes pdf’s condicionais:

fx(xn+k|xn, xn−1, ..., x0) = fx(xn+k| xn, xn−1, ..., xn−p+1︸ ︷︷ ︸"super"estado

) (6.5.6)

para todo k ≥ 1 e n ≥ p. Poderíamos agrupar os valores dexn, xn−1, ..., xn−p+1 em um vetor aleatório X com dimensão p, o quereduziria p a 1.

Podemos aproximar qualquer sequência aleatória por uma sequên-cia de Markov de ordem p, mesmo que ela não seja de Markov. Aaproximação fica melhor na medida em que p aumenta.

MODELOS ARMA:AutoregRegressive Moving Average, já mencionado no capítulo

anterior.Equação do sistema:

X[n] =M

∑k=1

ckX[n− k]︸ ︷︷ ︸autoregressivo

+L

∑k=0

dkW[n− k]︸ ︷︷ ︸média móvel

(6.5.7)

Supondo que µw = 0, σ2w = 1, que o modelo é limitado em valo-

res e −∞ < n < ∞, a expressão geral para densidade espectral depotência da saída é:

SXX(ω) =

∣∣∣∣∣ L

∑k=0

dk exp(−jωk)

∣∣∣∣∣2

∣∣∣∣∣1− M

∑k=1

ck exp(−jωk)

∣∣∣∣∣2 (6.5.8)

A saída deste sistema não é um processo de Markov quando L 6=0, mas pode ser manipulado para que seja com alguma manipulaçãomatemática. Quando L = 0, é um processo AR, também chamado deMarkov-M. Quando M = 0, é um processo MA, útil para determinarvalores médios quando há flutuação temporal.

Page 99: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 99

6.6 Cadeias de Markov

É um caso particular de sequências de Markov quando a sequênciapode assumir valores discretos, como por exemplo inteiros. Os valo-res que podem ser assumidos pode ser infinitos ou não. A condiçãonecessária é sobre a PMF:

PX(x[n]|x[n− 1], ..., x[n− N]) = PX(x[n]|x[n− 1]) (6.6.1)

O valor de x[n] é chamado de estado ("situação").Em muitas situações práticas, x[n] pode assumir um valor dentro

de um conjunto finito de M valores, normalmente rotulados de 1 àM ou 0 à M − 1. Como exemplo citamos o saldo de gols em umapartida de futebol, que pode valer qualquer número inteiro entre−∞ e ∞. Neste caso, a cadeia tem espaço de estados finitos e podeser descrita através de uma matriz de transição de estados, P, comelementos:

pij = PX[n]|X[n−1](X[n] = j|X[n− 1] = i) (6.6.2)

onde i é o estado anterior (linha) e j é o próximo estado (coluna).1 ≤ i, j ≤ M. As linhas da matriz necessariamente somam 1.

Por convenção, a sequência de Markov inicia no instante n = 0. Aprobabilidade de estar em cada um dos estados no instante n = 0 édada pelo vetor p[0], com elementos (p[0])i = PX(i, 0), com 1 ≤ i ≤M.

Os valores de p[n] podem ser encontrados da forma recursiva:

p[1] = p[0]× Pp[2] = p[1]× P

...p[n] = p[0]× Pn

(6.6.3)

A distribuição de estados estacionária é p[∞], se existir, definidacomo:

p[∞] = limn→∞

p[n] = p (6.6.4)

Utilizando a equação acima, temos:

p = p× P⇒ p× [I−P] = 0 (6.6.5)

o que é um sistema linear com M equações. A resolução deste sis-tema de equações permitiria encontrar p, se existir.

Example 64 Cadeia de Markov assimétrica

P =

[0.9 0.10.2 0.8

](6.6.6)

Diagrama de estados (figura)

p[∞] = [ p0∞ p1

∞ ] (6.6.7)

Page 100: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

100 manish sharma

p[∞]P = p[∞] (6.6.8)

Logo:

p0∞ =

1− p11

2− p00 − p11=

23

p1∞ =

1− p00

2− p00 − p11=

13

(6.6.9)

que é a distribuição de estados estacionária. Podemos definir a autocorre-lação estacionária como sendo a autocorrelação da sequência uma vez que oestado estacionário foi atingido. Ela pode ser calculada com base na proba-bilidade de estados, o que neste caso resulta em:

RXX [m] = EX[n]X[n + m]

=M

∑i=1

M

∑j=1

P(X[n + m] = Xi, X[n] = Xj) · Xi · Xj

=M

∑i=1

M

∑j=1

P(X[n + m] = Xi|X[n] = Xj)p(X[n] = Xj) · Xi · Xj

. = P(X[n] = 1, X[n + m] = 1)× (1)× (1) + P(X[n] = 0, X[n + m] = 1)× (0)× (1) + ...= p1

∞ × P(X[m] = 1|X[0] = 1)︸ ︷︷ ︸pode ser calc. recursivamente

(6.6.10)

As duas últimas linhas são exclusivas deste exemplo. O cálculo recursivonecessário para a obtenção do estado pode ser auxiliado por uma treliça (umaárvore que dobra sobre si mesma).

Modifica-se a treliça para a condição p[0] = [0 1], eliminando-se o nóp0[0] = 0 e os ramos que saem dele.

Há vários caminhos para se chegar em um estado. Pode-se querersaber qual é o mais provável. A resposta vem do algoritmo de Vi-terbi, muito utilizado em telecomunicações. O algoritmo de Viterbiusa uma treliça de estados. O caminho mais provável é aquele quetem a maior métrica acumulada. Uma métrica possível é o logaritmoda probabilidade de cada percurso: quanto maior, mais provável.Utilizando-se os logaritmos, os produtos viram somas. Para umadada realização x0, x1, ..., xn de uma sequência de Markov que ter-mina no estado xn, a sua métrica total pode ser calculada como:

log

[PX(x0)

n

∏i=1

PX(xi|xi−1)

]= log [PX(x0)] +

n

∑i=1

log [PX(xi|xi−1)]

(6.6.11)De todas as realizações que terminam com o elemento xn, um ou

alguns serão mais prováveis do que os outros. Chamaremos estevalor de v(xn). Qualquer caminho que passa por xn no instante ntem como métrica:

v(xn) +N

∑i=n+1

log[PX(xi|xi−1)] (6.6.12)

Page 101: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 101

Assim, se há M estados possíveis, é suficiente armazenar M his-tóricos e M valores de v(xn), um para cada estado possível. Nofinal do processo escolhe-se o estado com maior probabilidade, istoé, maior v(xn). Este processo pode ser repetido iterativamente namedida da necessidade. É comum o uso de um sinal negativo nocálculo das métricas. Neste caso o objetivo é minimizar a métrica, asvezes denominada de custo.

Resolução de equações para p[n] para qualquer valor de n:Considere o sistema com a seguinte matriz de uma cadeia de Mar-

kov com dois estados:

P =

[p00 p01

p10 p11

](6.6.13)

Queremos saber p[n]. Podemos escrever o seguinte:

p[n + 1] = p[n]P (6.6.14)

Assumindo que p0[n] = c0zn e p1[n] = c1zn, podemos escrever:

c0z(n+1) = c0zn p00 + c1zn p10 ⇒ c0z = c0 p00 + c1 p10 (6.6.15)

c1z(n+1) = c0zn p01 + c1zn p11 ⇒ c1z = c0 p01 + c1 p11 (6.6.16)

Isolando c1, obtemos:

c1 = c0z− p00

p10= c0

p01

z− p11(6.6.17)

Como c1 − c1 = 0, temos:

(z− p00)(z− p11)− p10 p01 = 0 (6.6.18)

que é chamada equação característica desta cadeia de Markov.Se z1 = 1, temos:

(1− p00)(1− p11)− p10 p01 = 0 (6.6.19)

p01 p10 − p10 p01 = 0 (6.6.20)

Logo, z = 1 é uma das soluções.Dividindo a equação acima por (z-1), obtemos:

z2 = p11 + p00 − 1 (6.6.21)

A resposta fica então:

p[n] = A1

[1,

z1 − p00

p10

]zn

1 + A2

[1,

z2 − p00

p10

]zn

2 (6.6.22)

onde A1 e A2 são constantes a serem determinadas a partir dascondições iniciais e do fato que ∑ p[n] = 1, ∀n.

Page 102: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

102 manish sharma

No caso geral, podemos obter a função característica de qualquercadeia de Markov como:

det[zI− P] = 0 (6.6.23)

Example 65 Solução de p[n]Numericamente teríamos, por exemplo:

P =

[0.9 0.10.2 0.8

](6.6.24)

p[0] =[

12

12

](6.6.25)

Logo:z2 − 1.7z + 0.7 = 0 (6.6.26)

z1 = 0.7z2 = 1

(6.6.27)

p[n] = A1(1,−1)0.7n + A2(1, 0.5)1n (6.6.28)

Cálculo de A1 e A2:Com n = 0:

A1 + A2 = 0.5−A1 +

A22 = 0.5

(6.6.29)

A1 = −1/6 e A2 = 2/3. Portanto:

p[n] = −1/6[1,−1]0.7n + 2/3[1,−0.5] (6.6.30)

6.7 Sequências Aleatórias Vetoriais e Equações de Estado

Extensão do caso de sequências univariável para o caso multivariá-vel.

Uma sequência vetorial aleatória é o mapeamento de um espaçode probabilidade (Ω, F, P) em um espaço de sequências de vetorescom elementos complexos. Assim, dado ξ (realização) e n (instante)temos X(n, ξ), que é um vetor com dimensão J × 1. Resumidamentepodemos escrever X[n]. Como no caso de vetores aleatórios, dizerque X[n] ≤ x equivale a dizer que Xi[n] ≤ xi, para todo i ≤ N.

Considere uma sequência vetorial aleatória Y[n] com dimensãoL × 1. A equação LCCDE vetorial é Y[n] = A · Y[n − 1] + B · X[n],onde A tem dimensão L× L e B tem dimensão L× J. Logo, a relaçãoentre sequências vetoriais aleatórias é:

Y[n] = A ·Y[n− 1] + B ·X[n] (6.7.1)

A resposta ao impulso: h[n] = An · B · u[n], que tem dimensãoL× 1. Com condições iniciais iguais a zero a saída pode ser obtidacomo:

Y[n] = h[n] ∗X[n] =n

∑k=0

An−k · B ·X[k]. (6.7.2)

Page 103: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 103

A saída também pode ser escrita em função de um instante n0

qualquer a partir de Y[n0]:

Y[n] = An−n0Y[n0] +n

∑k=n0

h[n− k] ·X[k] (6.7.3)

A transformada Z da resposta ao impulso também é matricial:

H(z) = (I−Az−1)−1 · B (6.7.4)

Sendo as sequências WSS, temos as seguintes relações entre auto-correlações:

RYX[m] , EY[n + m] ·X∗T [n] = h[m] ∗RXX[m]

RXY[m] , EX[n + m] ·Y∗T [n] = RXX[m] ∗ h∗T [−m]

RYY[m] , EY[n + m] ·Y∗T [n] = h[m] ∗RXX[m] ∗ h∗T [−m](6.7.5)

onde RXX[m] tem dimensão J × J, RYX[m] tem dimensão L × J,RXY[m] tem dimensão J × L, e RYY[m] tem dimensão L× L.

A relação entre PSD’s é:

SYY(w) = H(w)SXX(w)H∗T(w) (6.7.6)

e tem dimensão L× L.Uma sequência aleatória vetorial Y[n] é uma sequência de Markov

se para todo k > 0 e nk > nk−1 > ... > n1,

P(Y[nk] ≤ yk|y[nk−1], y[nk−2], · · · y[n1]) = P(Y[nk] ≤ yk|y[nk−1]).(6.7.7)

Um exemplo pode ser obtido usando uma sequência vetorial ale-atória W[n] com densidade espectral de potência constante (ruídobranco) e a relação:

X[n] = AX[n− 1] + BW[n], (6.7.8)

Nestas condições, X[n] é uma sequência vetorial aleatória de Mar-kov.

6.8 Exercícios

Os exercícios deste capítulo são: 6.3, 6.5, 6.13, 6.14, 6.15, 6.18, 6.20,6.23, 6.25, 6.26, 6.29, 6.33, do livro "‘Probability and random proces-ses with applications to signal processing"’, Henry Stark.

Page 104: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos
Page 105: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

7Processos aleatórios

Para sequências aleatórias, o índice n é discreto e temos X[n]. Paraprocessos aleatórios, n é contínuo e temos X(t), onde substituímosn por t. O valor de t não é necessariamente tempo. Esta mudançaelimina a necessidade de amostrar o sinal e é útil para modelar si-nais contínuos. Uma sequência aleatória X[n] pode ser vista comoum processo aleatório X(t) amostrado. Há muitas semelhanças con-ceituais entre os dois.

7.1 Definições Básicas

Obtemos um processo aleatório, a partir de um espaço de probabili-dade (Ω,F , P), mapeando os termos de Ω em funções contínuas notempo X(t), obtendo assim X(t, ξ).

O processo é aleatório pois, dado t, X(t) é uma variável aleatória.Porém, dado ξ, x(t) é uma função no tempo qualquer.

Alguns exemplos de processos aleatórios:

• X(t, ξ) = X(ξ) f (t) = X f (t)

• X(t, ξ) = A(ξ)sin(ω0t + θ(ξ))

• X(t, ξ) = ∑n X[n, ξ]Pn(t− nT)

Para defininir estatiscamente um processo aleatório é necessáriosaber todas as suas p.d.f.’s (ou P.D.F.’s) de ordem n, para todos ninteiro, positivo, para todos xi = x(ti), para todas combinações deinstantes t1, t2, ..., tn, isto é:

fx(x1, x2, ..., xn; t1, t2, ..., tn) (7.1.1)

Os momentos agora são funções no tempo:

• Média: µx(t) , EX(t), com −∞ < t < ∞.

• Correlação: RXX(t1, t2) , E X(t1)X∗(t2)

• Covariância: KXX(t1, t2) , E(X(t1)− µx(t1)) (X(t2)− µx(t2))

∗ =

RXX(t1, t2)− µx(t1)µ∗x(t2)

• Variância: σ2x(t) , KXX(t, t) = E

|(X(t)− µx(t)|2

Page 106: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

106 manish sharma

• Função de potência: RXX(t, t) = E|X(t)|2

Example 66 Processo aleatório simples

Definimos o processo aleatório X(t) como:

X(t) = A︸︷︷︸Aleatório

sin(ωot +

Unif. dist.︷︸︸︷θ ) (7.1.2)

onde A e θ são independentes entre si.A média e autocorrelação são:

µx(t) = E X(t)= E A E sin(ω0t + θ)

= µA1

∫ π

−πsin(ω0t + θ)dθ = 0

RXX(t1, t2) = E X(t1)X∗(t2)= E

A2sin(ω0t1 + θ)sin(ω0t2 + θ)

=

12E

A2

cos (ω0(t2 − t1))

(7.1.3)

Como µX = 0 (constante) e a autocorrelação depende apenas de t2 − t1,este processo é WSS.

Ao amostrarmos um processo aleatório, obtemos uma sequênciaaleatória. Ao limitarmos a mostragem em N pontos, obtemos umvetor aleatório. Sabemos que a matriz de correlação ou covariância éobrigatoriamente semidefinida positiva. Logo, deve haver restriçõessobre a função de correlação de X(t), que também deve de algumaforma ser semidefinida positiva. Uma função g(ti, tj) é semidefinidapositiva se:

N

∑i=1

N

∑j=1

aia∗j g(ti, tj) ≥ 0 (7.1.4)

para qualquer conjunto de N valores ai, i = 1, 2, ..., N.Utilizando a desigualdade de Cauchy-Schwarz, obtemos:

|RXX(t, s)| ≤√

RXX(t, t)RXX(s, s) (7.1.5)

7.2 Alguns Processos Aleatórios Importantes

7.2.1 Sinalização Binária Assíncrona (ABS)

Pulso base: w(t) ,

1 se |t| ≤ 12

0, c.c.

Sinalização: X(t) = ∑n X[n]W

t−nT−

atraso︷︸︸︷D

T︸︷︷︸Período

onde X[n] = ±a (amplitude) é um processo aleatório com ter-

mos estatisticamente independentes, P[X[n] = a] = P[X[n] = −a], Dé deslocamento aleatório dentro da janela (constante para todos os

Page 107: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 107

pulsos). Para simplificar a notação usamos Xn = X[n]. A autocorre-lação deste processo é, pela definição:

Rxx(t1, t2) = E

∑n

∑l

XnXlw(

t1 − D− nTT

)w(

t2 − D− nTT

)(7.2.1)

Usando que EXn · Xn = EXn · EXl = 0 para n 6= l e EXn ·Xl = a2 para n = l, temos:

Rxx(t1, t2) = a2 ·∑n

z(t, n, h) + ∑n

∑lEXn · EXl · z(t, h, l)

= a2 ∑nE[

w(

t1 − D− ntT

)· w(

t2 − D− ntT

)]= a2 ∑

n

1T

∫ t2−nT+T/2

t2−nT−T/2w( α

T

)· w(

α− (t2 − t1)

T

)dα

= a2(

1− (t2 − t1)

T

)· w(

t2 − t1

2T

), para t2 > t1

(7.2.2)Quando t1 = t2, este valor vale a2.Genericamente, para qualquer τ , t2 − t1 ≤ 0

Rxx(τ) = a2(

1− |τ|T

)· w( τ

2T

). (7.2.3)

7.2.2 Processo de Contagem de Poisson

Pode ser usado para modelar o número de pessoas numa fila ounúmero de gols em um jogo infinito, por exemplo.

O processo é N(t), definido como sendo o número de eventos queocorreram até o instante t:

N(t) ,∞

∑n=1

u(t− T[n]) (7.2.4)

onde T[n] foi apresentado no início do capítulo 6 como possuindo adistribuição de Erlang:

fT(t; n) =(λt)n−1

(n− 1)!· λ exp (−λt) · u(t) (7.2.5)

O intervalo entre eventos é τ[n] , T[n]− T[n− 1] que tem distri-buição exponencial:

fτ(t) = λ exp (−λt) · u(t) (7.2.6)

Assim:

P[N(t) = n] = P [T[n] ≤ t, T[n + 1] > t] (7.2.7)

isto é, a probabilidade de ter ocorrido exatamente n eventos até oinstante t é a probabilidade do evento n ter ocorrido antes de t e aomesmo tempo do evento n + 1 ter ocorrido após t.

Reescrevendo em função de τ[n] temos:

P[N(t) = n] = P[T[n] ≤ t, τ[n + 1] > t− T[n]] (7.2.8)

Page 108: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

108 manish sharma

Como os eventos são independentes, T[n] e τ[n + 1] são indepen-dentes, o que resulta em:

P[N(t) = n] =∫ t

0fT(α; n)

(∫ ∞

t−αfτ(β)dβ

)dα

=λn exp (−λt)

(n− 1)!

∫ t

0αn−1dα

(7.2.9)

Definindo PN(n, t) , PN(t) < n, teríamos:

PN(n, t) =(λt)n · exp (−λt)

n!(7.2.10)

que é a P.M.F. de um processo de Poisson.Uma característica importante é que:

EN(t) = λt (7.2.11)

O paramêtro λ é a taxa média de chegada (ou de eventos).O número de eventos entre dois instantes ta e tb é N(tb)− N(ta).

A sua P.M.F. pode ser obtida como:

P[N(tb)− N(ta) = n] =[λ(tb − ta)]n exp [−λ(tb − ta)]

n!(7.2.12)

Este valor é o incremento no número de eventos depende somente dointervalo tb − ta e não depende nem de N(ta) ou de N(tb). Assim, oprocesso de Poison é um processo com incrementos independentes.Formalmente, um processo X(t) qualquer tem incrementos indepen-dentes se X(t), X(t2) − X(t1), · · · , X(tn) − X(tn−1) são juntamenteindependentes para qualquer t1 < t2 < · · · < tn e qualquer n ≥ 1.Esta propriedade facilita a obtenção de p.d.f.’s de ordem maior, porexemplo, no caso de Poisson:

PN(n1, n2; t1, t2) = PN [N(t1) = n] · P[N(t2) = N(t1) = n2 − n1]

(7.2.13)pois o processo de contagem de Poisson é um processo de incre-

mentos independentes.Esta propriedade também ajuda no cálculo da autocorrelação. Con-

siderando t2 > t1, temos:

EN(t2) · N(t1) = E(N2(t1) + [N(t2)− N(t1)]) · N(t1)= EN2(t1)+ E[N(t2)− N(t1)]EN(t1)= λt1 + λ2t2

1 + λ(t2 − t1)λ(t1)(7.2.14)

No caso geral obtemos a correlação: RNN(t1, t2) = λ ·min(t1, t2) +

λ2t1t2 e a covariância KNN(t1, t2) = λ · min(t1, t2), a variância noinstante t é λt.

7.2.3 Sinal Telegráfico Aleatório (RTS)

Considerando silêncio = −a e som = a, o código morse transmitidovia telégrafo transmite a mensagem nos cruzamentos de zero.

Page 109: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 109

Por hipóetse, X(0) = ±a com mesma probabilidade.A sequência T[n] indica os instantes em que há troca do nível do

sinal, isto é, em T[1] o nível do sinal é trocado e assim por diante.Devido a simetria de a e −a e independência(presumida) do in-

tervalo entre trocas de nível τ[n], temos que µx(t) = 0 e Px(a) =

Px(−a) = 12 .

Seja PX(x1, x2) , P[X(t1) = x1, X(t2) = x2] e Px(x1|x2) , P[X(t1) =

x1|X(t2) = x2]. A autocorrelação deste processo é então:

RXX(t1, t2) = EX(t1)X(t2)= a2Px(a, a) + (−a)2Px(−a,−a) + a(−a)Px(a,−a)− aaPx(−a, a)

=a2

2[Px(a|a) + Px(−a| − a)− Px(−a, a)− Px(a,−a)]

As probabilidades P(a|a) = P(−a| − a) equivalem à probabili-dade de haver um número par de mundanças no nível do sinal nointervalo (t1, t2). Já as probabilidades P(−a|a) = P(a| − a) equiva-lem à probabilidade do sinal mudar de nível um número ímpar devezes no intervalo (t1, t2). Sabemos que na média há λ eventos porunidade de tempo. Utilizando τ , t2 − t1 e t2 > t1 chegamos entãoa:

Rxx(t1, t2) = a2

(∑

k parexp (−λτ) · (λτ)k

k!− ∑

k ímparexp (−λτ) · (λτ)k

k!

)

= a2 · exp(−λτ) ·k≥0

∑ (−1)k (λτ)k

k!= a2 · exp (−2λτ)

(7.2.15)No caso geral temos: Rxx(t1, t2) = a2 · exp (−2λ/τ).

7.2.4 Modulação Digital Utilizando PSK

Este modelo é a base da solução para se encontrar a densidade es-pectral de potência de sinais usados em telecomunicações. Este casoespecífico é utilizado para transmissão de bits através da fase de umasenóide. Definimos B[n] como sendo sequências de bits, que podemovaler 0 ou 1 com a mesma probabilidade.

Definimos a sequência aleatória de fases como:

θ[n] ,

π2 se B[n] = 1−π

2 se B[n] = 0(7.2.16)

Já o processo aleatório de fases (contínuo) é:

θa(t) , θ[k] para kT ≤ t < (k + 1)T (7.2.17)

O sinal transmitido é X(t) = cos[2π fct + θa(t)]. Desejamos sabera média e correlação de X(t).

Page 110: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

110 manish sharma

Definindo duas funções base:

SI(t) ,

cos(2π fct) 0 ≤ t < T

0 , c.c.

SQ(t) ,

sen(2π fct) 0 ≤ t < T

0 , c.c.

(7.2.18)

Podemos escrever o sinal transmitido X(t) em função dos elemen-tos desta base como:

X(t) = cos(θa(t)) · cos(2π fct)− sen(θa(t)) · sen(2π fct)

=∞

∑k=−∞

cos(θ[k]) · si(t− kT)−∞

∑k=−∞

sen(θ[k]) · sq(t− kT)

(7.2.19)Da equação acima e da definição de θ[k] percebe-se que µx(t) = 0.

Calculando a correlação pela definição obtemos:

Rxx(t1, t2) = ∑k;lEsen[θ[k]] · sen[θ(l)] · sq(t1 − kT)sl(t2 − lT)

=∞

∑k=−∞

sq(t1 − kT)sl(t2 − kT)

(7.2.20)

7.2.5 Processos de Wiener ou Movimento Browniano

Podemos definir o processo de Wiener a partir da posição de umobjeto no tempo quando este pode dar passos de tamanho s paratrás ou para frente1:1 Este não é o processo de Wiener. O

processo de Wiener será obtido comoum limite deste.

XT(t) =∞

∑k=1

W[k] · u(t− kT), onde W[k] =

+s, com p = 0.5

−s, com p = 0.5(7.2.21)

Assumimos que os passos são instantâneos. Este processo é pa-recido com uma sequência vista anteriormente, mas definido paratodos os valores de tempo. A sequência que vimos no capítulo an-terior pode ser obtida amostrando o processo, como por exemplo:

XT(nT) =n

∑k=1

W[k]⇒ processo amostrado. (7.2.22)

A PMF de XT(t) pode ser calculada com pouca dificuldade comouma distribuição quase binomial em torno da origem.

O movimento browniano ou processo de Wiener pode ser obtidoquando s e T tendem a zero, tendo cuidado para manter a variânciafinita. A idéia foi usada como modelo para movimento de moléculasem um gás. O cuidado com a variância finita é desenvolvido a seguir.Havendo n eventos e k sucessos, há (n− k) falhas. O saldo líquido éo valor inteiro:

r , k− (n− k) = 2k− n⇒ k =(n + r)

2(7.2.23)

Page 111: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 111

Logo n + r é par. Assim:

P(XT(nT) = rs) = P(k sucessos) =(

nk

)2−n =

(n

n+r2

)2−n (7.2.24)

Assim, a média e variância são:

EXT(nT) = 0 pois Ew[k] = 0EX2

T(nT) = ns2 (7.2.25)

Utilizando t = nT, podemos escrever a variância como:

varXT(t) = EX2T(nT) = ts2

T(7.2.26)

Para que este valor seja finito quando s, T → ∞, precisamos ques2 seja proporcional a T ou seja, s2 = αT, α > 0. Nestas condições,chegamos a X(t), com µx(t) = 0 e var[X(t)] = αt. Assim:

fx(x; t) =1√

2παtexp

(− x2

2αt

), t > 0 (7.2.27)

Definimos a diferença ∆ = X(t) − X(τ). Esta variável aleatóriatem p.d.f.:

f∆(δ; t− τ) =1√

2πα(t− τ)exp

(− δ2

2α(t− τ)

)(7.2.28)

E∆ = 0 não depende de δ e t− τ

E∆2 = α(t− τ)(7.2.29)

Percebe-se que ∆ não depende nem X(t) e nem de t ou τ: a únicacoisa que importa é a diferença t− τ. Assim, este proceso tambémtem a característica de ter incrementos independenetes. A uniãodesta propriedade com a p.d.f de X(t) e a p.d.f. de ∆(t − τ) per-mite qualquer p.d.f. conjunta do processo X(t), sendo este processoentão estatisticamente determinável. A covariância deste processopode ser derivado das mesmas p.d.f.s e encontra-se como resultado:

KXX(t1, t2) = αmin(t1.t2) (7.2.30)

,que é a mesma do processo de Poisson.Um processo de Wiener é um processo aleatório Gaussiano, pois

todas as p.d.f.’s conjuntas são juntamente gaussianas.

7.3 Processos Aleatórios de Markov

Só conseguimos até o momento definir estatisticamente processoscom incrementos independentes. Um caminho alternativo é definirp.d.f.’s de ordem menor para obter p.d.f.’s de qualquer ordem. Pre-cisaríamos pelo menos das definições de:

fX(x, t)fX(x2|x1; t2, t1)

(7.3.1)

com t2 > t1.

Page 112: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

112 manish sharma

Definimos também que podemos escrever:

fX(x1, ..., xn; t1, ..., tn) = fX(x1; t) fX(x2|x1; t2, t1)... fX(xn|xn−1; tn, tn−1)

(7.3.2)A equação acima é consequência da definição de um processo de

Markov, que no tempo contínuo deve satisfazer:

fX(xn|xn−1, ...x1; tn, ..., t1) = fX(xn|xn−1; tn, tn−1) (7.3.3)

Caso Xn só possa assumir valores discretos teremos:

PX(xn|xn−1, ..., xn; tn, ..., t1) = PX(xn|xn−1; tn, tn−1) (7.3.4)

O valor X(t) determina, no sentido de influenciar, as p.d.f.’s con-juntas a partir do instante t (semelhante as probabilidades de tran-sição). É também chamado de estado. Exemplos de processo deMarkov são os Processos de Poisson (valores discreto) e de Wiener(valores contínuos), pois qualquer processo com incrementos inde-pendentes é um processo dede Markov. O contrário não é necessari-amente verdade.

O número de estados depende dos valores de X(t) pode assumir.Pode haver um número infinito e incontável de estados. Na prática écomum utilizar somente o estado atual (o próprio valor de X(t)) ousituações em que o número de estados é contável(mas não necessari-amente finito).

Example 67 Falha de componentesConsidere que há um computador com 2 processadores. Há três estados

possíveis, indicados pelos valores abaixo:

• 0 - nenhum processador funcionando;

• 1- um processador funcionando (independentemente de qual);

• 2- ambos processadores funcionando.

O tempo para que um processador falhe é uma variável aleatória comdistribuição exponencial com parâmetro λ > 0. O tempo para que umprocessador se conserte também é uma variável aleatória exponencial comparâmetro µ > 0. Os processadores falham e se concertam de forma in-depentende. O processo X(t), o número de processadores funcionando, éum processo aleatório de Markov. Este processo aleatório é um processo deMarkov.

Os intervalos entre transições tem p.d.f. exponencial com parâmetros2:2 Os valores das transições de 0 para 1

e de 2 para 1 são parte de um exercíciodo capítulo 2. 0 → 1 : 2µ

1 → 2 : µ

2 → 1 : 2λ

1 → 0 : λ

(7.3.5)

Podemos calcular as probabilidades de transição entre estados durante umintervalo de tempo ∆t. Quando este valor tende a zero, as probabilidades de

Page 113: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 113

transição podem ser descritas através do diagrama de transição, como mostraa figura abaixo:

0 1 2

2μΔt μΔt 1-2μΔt

λΔt 2λΔt 1-2λΔt

Por exemplo, se X(t + ∆t) = 2 e X(t) = 1, então um processador foiconsertado com tempo de serviço Ts (tempo de serviço), e, dado que Ts > t,ele está entre t e ∆t, ou seja:

P2(t+∆t) = P1(t)P[t < Ts < t+∆t|Ts ≥ t] =FTs(t + ∆t)− FTs(t)

1− FTs(t)= µ∆t+ θ(∆t)︸ ︷︷ ︸

erropeq.(7.3.6)

Utilizando o mesmo argumento para as outras transições montamos osistema de equações abaixo

P0(t + ∆t)P1(t + ∆t)P2(t + ∆t)

=

1− 2µ∆t λ∆t 02µ∆t 1− (λ + µ)∆t 2λ∆t

0 µ∆t 1− 2λ∆t

×P0(t)

P1(t)P2(t)

+Θ(∆t)

(7.3.7)ou equivalentemente:P0(t + ∆t)− P0(t)

P1(t + ∆t)− P1(t)P2(t + ∆t)− P2(t)

=

−2µ λ 02µ −(λ + µ) 2λ

0 µ −2λ

︸ ︷︷ ︸

=A

×

P0(t)P1(t)P2(t)

× ∆t + Θ(∆t) (7.3.8)

Dividindo por ∆t→ 0 obtemos:

dP(t)dt

= A · P (7.3.9)

Onde A é a matriz geradora da cadeia de Markov, de forma semelhante àmatriz que descreve as probabilidades de transição para sequências de Mar-kov.

Este sistema pode ser resolvido usando a condição inicial P(0) , P0 eque a resposta é do tipo P(t) = exp(At).P0, t > 0, onde:

exp(At) , 1 + At +12!(At)2 +

13!(At)3 + ... (7.3.10)

Page 114: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

114 manish sharma

No estado estacionário o vetor P é constante. Logo, dPdt = 0 = A · P.

Neste exemplo chegamos a:−2µP0 + λP1 = 0

2µP0 + (−λ− µ)P1 + 2λP2 = 0µP1 − 2λP2 = 0

(7.3.11)

P1 =

(2µ

λ

)P0

P2 =( µ

)P1 =

µ2

λP0

(7.3.12)

Usando P0 + P1 + P2 = 1, chega-se ao estado estacionário:

P =1

λ2 + 2µλ + µ2

[λ2 2µλ µ2

](7.3.13)

Este estado indica as probabilidades de se encontrar o processo em cadaum dos estados, após uma quantidade de tempo infinita.

Uma cadeia de Markov onde só há transições entre estados vizi-nhos pode ser chamada de uma cadeia de nascimento e morte. Casoonde há infinitos estados, temos o diagrama de transição da figuraabaixo:

Figura 7.1: Cadeia de Markov de nasci-mento e morte.

i i+1

μi

λi

μi+1 μi+2

λi-1 λi+1

... ...

Um movimento para direita indica um nascimento. Um movi-mento para esquerda indica uma morte. O valor Pj(t) é a probabili-dade de estar no estado j (isto é, haver j indivíduos) no instante t. Ovalor de j pode ser negativo.

O intervalo entre nascimentos (τb) e mortes (τd) tem distribuiçãoexponencial com parâmetros λi, µi, respectivamente. Logo, são pro-cessos de Poisson.

Podemos modelar filas para acesso de serviço (por exemplo nú-mero de pessoas em uma fila de supermercado)limitando i a i ≥ 0.Neste caso, temos:

P(t + ∆t) = B · P(t) (7.3.14)

Page 115: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 115

onde:

P(t) =[

P0(t) P1(t) ...]

(7.3.15)

B =

1− λ0∆t µ1∆t 0 ...

λ0∆t 1− (λ1 + µ1)∆t µ2∆t ...0 λ1∆t 1− (µ2 + λ2)∆t ......

... λ2∆t ...

(7.3.16)

Da mesma forma como no caso anterior, chegamos a:

dP(t)dt

= AP(t) (7.3.17)

onde:

A =

−λ0 µ1 0 ...λ0 −(λ1 + µ1) µ2 ...0 λ1 −(λ2 + µ2) ......

... λ2 ...

(7.3.18)

O cálculo do estado estacionário(

dP(t)dt = 0

)resulta em:

P1 = ρ1P0

P2 = ρ2P1 = ρ2ρ1P0...

(7.3.19)

ou seja:

Pj =

[∏i=1

ρi

]P0 (7.3.20)

onde ρj ,λj−1

µj.

Utilizando∞

∑i=0

Pi = 1, temos:

Pj =rj

∑i=0

ri

(7.3.21)

com j ≥ 0, onde rj , ∏ji=1 ρj e r0 = 1.

Se o somatório do denominador não convergir, não há estado es-tacionário.

Este modelo é chamado M/M/1 (exponencial/exponencial/1 ser-vidor). Há outros modelos com por exemplo dois ou mais servido-res, intervalos entre eventos com outras distribuições, etc..

Se a fila for limitada em L posições, teríamos (assumindo λ e µ

Page 116: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

116 manish sharma

constantes):

dP0(t)dt

= −λP0(t) + µP1(t)dP1(t)

dt= λP0(t)− (λ + µ)P1(t) + µP2(t)

......

dPL(t)dt

= λPL−1(t)− µPL(t)

(7.3.22)

Obtém-se a solução Pi = ρiP0 onde 0 ≤ i ≤ L e ρ = λµ e ∑L

i=0 Pi(t) =1, temos3:3 A diferença deste caso para o caso an-

terior (sem restrição no número de po-sições na fila) é que os somatórios vãode 0 até L e não até ∞

L

∑i=0

ρiP0 = 1⇒ P0 =1− ρ

1− ρ1+L (7.3.23)

Quando a fila está cheia há saturação, o que ocorre com probabi-lidade:

PL = ρL 1− ρ

1− ρ1+L (7.3.24)

A probabilidade de descartar um serviço/evento é a probabili-dade de, estando a fila cheia, τs ≥ τi, isto é, ocorre um nascimentoantes de uma morte. Este valor é:

P(saturação∩ τs > τi) = ρL 1− ρ

1− ρ1+Lρ

1 + ρ(7.3.25)

Example 68 Probabilidade de descartar elemento.Definimos os parâmetros:

ρ = λµ = 0.5

L = 10(7.3.26)

Logo, as probabilidades de fila cheia e de descartar um elemento são:

P(fila cheia) =0.510(0.5)1− 0.511 = 4.88× 10−5

P(descartar um elemento) = 4.88× 10−5 × 23= 3.25.10−4

(7.3.27)

Este método pode ser utilizado para determinar o número de recursos aserem fornecidos para um grupo de usuários.

7.4 Sistemas Lineares Contínuos com Entradas Aleatórias

Um sistema linear descrito pelo operador y(t) = Lx(t) deve, porser linear, obrigatoriamente satisfazer:

La1x1(t) + a2x2(t) = a1Lx1(t)+ a2Lx2(t) (7.4.1)

para qualquer par de entradas possíveis x1(t) e x2(t)4 e para todo e4 Uma nuance desta definição é que nãoé necessário que esta equação seja ver-dadeira para entradas impossíveis

qualquer a1, a2 escalares. O sistema linear mapeia um espaço amos-tral de X(t) no espaço amostral de Y(t). Assim como no caso de

Page 117: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 117

sequências aleatórias, podemos calcular a média do processo na saídado sistema como:

µY(t) , EY(t) = LEx(t) = LµX(t) (7.4.2)

pois:

Y(t) =∫ ∞

−∞h(t, τ)X(τ)dτ (7.4.3)

e a esperança é um operador linear.Definindo a correlação cruzada RXY(t1, t2) , E [X(t1)Y∗(t2)], te-

mos, de forma análoga aos processos aleatórios:

RXY(t1, t2) = L∗2RXX(t1, t2) → operação em t2 (7.4.4)

RYY(t1, t2) = L1RXY(t1, t2) → operação em t1 (7.4.5)

Example 69 Detector de borda com X(t) real:Definimos a relação entre entrada X(t) e saída Y(t) como sendo:

Y(t) , LX(t) = X(t)− X(t− 1) (7.4.6)

Como consequência obtemos:

EY(t) = LµX(t) = µX(t)− µX(t− 1)RXY(t1, t2) = L∗2RXX(t1, t2)

= RXX(t1, t2)− RXX(t1, t2 − 1)RYY(t1, t2) = L1RXY(t1, t2)

= RXX(t1, t2)− RXX(t1, t2 − 1)− [RXX(t1 − 1, t2)− RXX(t1 − 1, t2 − 1)](7.4.7)

Se tivéssemos por exemplo uma entrada com µX(t) = 0 e RXX(t1, t2) ,σ2

X exp (−α|t1 − t2|), teríamos na saída:

EY(t) = 0RYY(t1, t2) = σ2

X [2 exp (−α|t1 − t2|)− exp (−α|t1 − t2 − 1|)− exp (−α|t1 − t2 + 1|)]RYY(t, t) = σ2

Y(t) = σ2Y = 2σ2

X [1− exp(−α)](7.4.8)

Logo, RXX e RYY só dependem de τ = t1 − t2.

Example 70 Derivada de um processo aleatório.Definimos um processo aleatório X(t) com as seguintes características:

µX(t) = µ

KXX(t, s) = σ2 cos[ω0(t− s)](7.4.9)

Quais são as características de Y(t) = X′(t) = dX(t)dt ? O operador é

Lt = ddt .

A média da saída pode ser calculada através de:

µY(t) = EX′(t) =dEX(t)

dt=

dµX(t)dt

=dµ

dt= 0 (7.4.10)

Page 118: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

118 manish sharma

Como a média é zero, a autocorrelação é igual a autocovariância, que podeser obtida como:

KYY(t1, t2) =∂

∂t1

(∂KXX(t1, t2)

∂t2

)= (ω0σ)2 cos[ω0(t1− t2)] (7.4.11)

Se X(t) fosse um processo de Wiener, teríamos KXX(t1, t2) = αmin(t1, t2)

e µX(t) = 0 como visto anteriormente. Sendo W(t) = dX(t)dt , então

µW(t) = 0 e sua covariância seria:

KWW(t1, t2) =∂

∂(t1)

(∂

∂t2(αmin(t1, t2))

)=

∂t1

(∂

∂t2(αt2)

)= ∂α

∂t1, se t2 < t1

∂∂t1

(∂

∂t2(αt1)

)= ∂0

∂t1, se t1 ≤ t2

= ∂∂t1

(αu(t1 − t2)) = α δ(t1 − t2)︸ ︷︷ ︸Impulso

(7.4.12)

Como o W(t) tem média nula, a sua autocorrelação é igual a suaautocovariância, e RWW(t1, t2) = σ2δ(t1 − t2).

7.5 Classificações Úteis

Podemos classificar dois processos X(t) e Y(t) como sendo:

1. Descorrelacionados, se RXY(t1, t2) = µX(t1)µ∗Y(t2), ∀t1, t2.

2. Ortogonais, se RXY(t1, t2) = 0

3. Independentes, se para todo n inteiro positivo:

FXY ((x1, y1), (x2, y2), ..., (xn, yn); t1, ..., tn) =

= FX(x1, x2, ..., xn; t1, ..., tn)FY(y1, y2, ..., yn; t1, ..., tn)(7.5.1)

Se dois processos são descorrelacionados e pelo menos um temmédia 0, eles são ortogonais.Um processo pode ser descorrelacio-nado, ortogonal e independente dele mesmo numa versão atrasadadele mesmo (Y(t) = X(t− td)).

7.5.1 Estacionaridade

Se um deslocamento no tempo não altera as p.d.f.’s ou PDFs conjun-tas e ordem n (inteiro positivo qualquer), isto é, se:

FX(x1, ..., xn; t1, ..., tn) = FX(x1, ..., xn; t1 + τ, ..., tn + τ), (7.5.2)

para combinação de n, t1, t2, ..., tn e τ, então o processo é estacioná-rio no sentido estrito.Nesta situação todo os momentos também sãoestacionários, inclusive a autocorrelação. Como consequência:

RXX(t1, t2) , RXX(t1 + τ, t2 + τ) = RXX(τ = t1 − t2) = RXX(τ)

(7.5.3)

Page 119: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 119

Se EX(t) = µX e RXX(t1, t2) = RXX(τ), onde τ = t1 − t2, en-tão X(t) é um processo estacionário no sentido amplo (WSS). Todoprocesso estacionário no sentido estrito é WSS, mas o contrário nemsempre é verdade.

7.6 Processos WSS e Sistemas LTI

Definimos processos de ordem dois como sendo aqueles que temE|X(t)|2 < ∞. Isto é uma forma de dizer que a sua potênciamédia é finita. Considerando dois processos X(t) e Y(t) juntamenteestacionários e de ordem dois, temos as seguintes consequências:

• |RXX(τ)| ≤ RXX(0) ∀τ. Caso X(t) seja real, então temos tam-bém:

E|X(t + τ)− X(t)|2 ≥ 0 (7.6.1)

• |RXY(τ)| ≤√

RXX(0)RYY(0)

• RXX(τ) = R∗XX(−τ). Para o caso real, RXX(τ) = RXX(−τ).

• Para todo N > 0 e t1 < t2 < ... < tN e complexos a1, a2, ..., aN ,temos:

N

∑k=1

N

∑l=1

aka∗l RXX(tk − tl) ≥ 0 (7.6.2)

Para sistemas LSI, a resposta ao impulso [h(t)]é invariante notempo. Logo:

EY(t) = LµX(t) =∫ ∞

−∞µX(τ)h(t− τ)dτ = µX(t) ∗ h(t)

RXY(t1, t2) =∫ ∞

−∞h∗(τ2)RXX(t1, t2 − τ2)dτ2 = h∗(t2) ∗ RXX(t1, t2)

RYY(t1, t2) = h(t1) ∗ RXY(t1, t2) = h(t1) ∗ RXX(t1, t2) ∗ h∗(t2)(7.6.3)

Sistemas LSI com entradas WSS

EY(t) =∫ ∞

−∞h(τ)EX(t− τ)dτ =

∫ ∞

−∞h(τ)µxdτ = µX · H(0)

(7.6.4)onde H(ω) é a transformada de Fourier de h(t) e funciona como umganho.

Além disso:

RYX(τ) = EY(t2)X∗(t1) = EY(t + τ)X∗(t) = EY(τ)X∗(t− τ)

=∫ ∞

−∞h(α)

=RXX(τ−α)︷ ︸︸ ︷EX(t− α)X(t− τ) dα

=∫ ∞

−∞h(α)RXX(τ − t)dα = h(τ) ∗ RXX(τ)

(7.6.5)

Page 120: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

120 manish sharma

E:

RYY(τ) = EY(t+ τ)Y∗(t) = h(τ) ∗ h∗(−τ) ∗RXX(τ) = g(τ) ∗RXX(τ)

(7.6.6)A função g(τ) é chamada de resposta ao impulso da autocorrela-

ção, pois se RXX(τ) = δ(τ), RYY(τ) = g(τ).De forma semelhante, encontramos que:

RXY(τ) = h∗(−τ) ∗ RXX(τ) (7.6.7)

Resumindo:

RXY(τ) = h∗(−τ) ∗ RXX(τ)

RYX(τ) = h(τ) ∗ RXX(τ)

RYY(τ) = h(τ) ∗ RXY(τ) = g(τ) ∗ RXX(τ)

(7.6.8)

Isto é, quando a entrada de um sistema LSI é WSS, a saída tambémserá.

Example 71 Seja X(t) um processo estacionário de ordem 2, com µX(t) =µX e RXX(τ) qualquer. Definimos a relação entrada/saida de um sistemacomo sendo:

Y(t) =dX(t)

dt(7.6.9)

Qual é RYY(τ) e µY(τ)?A resposta ao impulso é:

h(t) =dδ(t)

dt= δ1(t) (7.6.10)

A relação entre médias é:

µY(t) =dµXdt

= 0 (7.6.11)

Logo:

RXY(τ) = h∗(−τ) ∗ RXX(τ)

= δ1(−τ) ∗ RXX(τ)

= −dRXX(τ)

(7.6.12)

e:RYY(τ) = δ1(τ) ∗ RXY(τ)

= −d2RXX(τ)

dτ2

(7.6.13)

Também temos que g(t) = h(τ) ∗ h∗(−τ) = −δ2(τ) = − d2δ(τ)dτ

7.7 Densidade Espectral de Potência (PSD)

A densidade espectral de potência de processos WSS é definida comosendo a Transformada de Fourier da sua autocorrelação:

SXX(ω) ,∫ ∞

−∞RXX(τ) exp(−jτω)dτ = FTRXX(τ) (7.7.1)

Page 121: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 121

Nas condições corretas temos:

RXX(τ) =1

∫ ∞

−∞SXX(ω) exp(jτω)dω = IFTSXX(τ) (7.7.2)

A densidade espectral de potência cruzada é definida como:

SXY(ω) =∫ ∞

−∞RXY(τ) exp(−jτω)dτ (7.7.3)

Propriedades da PSD:

1. SXX(ω) é real.

2. Se X(t) é real, então SXX(ω) é uma função par

3. SXX(ω) ≥ 0

As demais propriedades podem ser consultadas no livro de refe-rência.

Example 72 Ruído Branco.Ruído Branco W(t) tem autocorrelação:

RWW(τ) = σ2δ(τ) (7.7.4)

SXX(ω) = σ2,−∞ < ω < ∞ (7.7.5)

É chamado de ruído branco, pois cobre toda o espectro de frequências.Na verdade, se trata de uma aproximação, pois RWW(0) = ∞ não existe(potência infinita).

A PSD também pode ser calculada como um limite. Definimos oprocesso janelado (com janela retangular):

XT(t) , X(t)I[−T,T](t) =

1, se |t|<T

0, cc(7.7.6)

Definimos também:

FTXT(t) =∫ T

−TX(t) exp(−jωt)dt (7.7.7)

Logo:

|FTXT(t)|2 =∫ T

−T

∫ T

−TX(t1)X∗(t2) exp(−jω[t1 − t2])dt1dt2

(7.7.8)Utilizando τ = t1 − t2 e s = t1 + t2, obtemos:

∫ 2T

−2T

[1− |τ|

2T

]RXX(τ) exp(−jωτ)dτ (7.7.9)

No limite, quando T → ∞, temos a expressão de FT. Logo:

SXX(ω) = limT→∞

12πE|FTXT(t)|2 (7.7.10)

Page 122: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

122 manish sharma

Example 73 PSD de um processo aleatórioSeja um processo aleatório X(t) com autocorrelação dada por:

RXX(τ) = exp (−α|τ|) ,−∞ < τ < ∞ (7.7.11)

A sua PSD pode ser calculada por partes:

SXX(ω) =∫ ∞

−∞RXX(τ) exp(−jωτ)dτ

=∫ 0

−∞exp (ατ − jωτ) dτ +

∫ ∞

0exp(−jωτ − ατ)dτ

=2α

α2 + ω2

(7.7.12)

Example 74 Usando propriedades da TFDefinimos a autocorrelação de um processo aleatório como sendo:

RXX(τ) = max[

1− |τ|T

, 0]=

[1√T

Π

(tT2

)]∗[

1√T

Π

(tT2

)](7.7.13)

onde Π(

tT2

)é um pulso retangular de largura T.

(Figuras)Sabemos que a transformada de Fourier de um pulso retangular vale:

TF

1√T

Π

(tT2

)=√

Tsinc(

ωT2

)(7.7.14)

onde sinc(

ωT2

)=

sin( ωT2 )

( ωT2 )

Usando a propriedade da Transformada de Fourier de que o produto defunções em um domínio equivale à convolução das funções no outro domínio,chegamos em:

TF a(τ) ∗ a(τ) = A(ω)A(ω) (7.7.15)

Logo:

SXX(τ) = Tsinc2(

ωT2

)(7.7.16)

Para verificar que este valor está correto, usamos o fato de que SXX(0) é aárea da função de autocorrelação, que neste exemplo vale (área do trinagulo)2T.1

2 = T

SXX(ω = 0) =∫ ∞

−∞RXX(τ) exp(−j0τ)dτ =

∫ ∞

−∞RXX(τ)dτ︸ ︷︷ ︸

Área de RXX(τ)

= T

(7.7.17)

Example 75 Ruído BrancoUm processo muito comum é o ruído branco. A sua autocorrelação

é RXX(τ) = δ(τ)σ2, o que resulta na densidade espectral de potência

Page 123: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 123

SXX(τ) = σ2. Este processo tem este nome pois a sua densidade espec-trla de potência é constante, isto é, ele possui todas as cores.

Este processo pode ser derivado de um processo de Wiener ou de Poissoncentrado5, como mostramos a seguir. A média deste processo é zero, ele 5 Pois o que importa é a autocorrelação,

que é a mesma para os dois casos. Defato não é necessário que o processo dePoisson seja centrado para obtermos oresultado a seguir

possui incrementos independentes e a sua autocorrelação vale RXX(t1, t2) =

λ ·min(t1, t2)

Temos que:

E[X(t + ∆)− X(t)]2

= E

X2(t + ∆)− 2X(t + ∆)X(t) + X2(t)

= λ(t + ∆)− 2λt + λt= α∆

(7.7.18)onde substituímos λ por α somente para acomodar a obtenção do resutladotendo como origem o processo de Poisson. O parâmetro α é um parâmetrode variância.

Definimos a diferença de 1a ordem como sendo:

X∆(t) ,X(t + ∆)− X(t)

∆(7.7.19)

Assim:

EX∆(t) = α·∆∆2 = α

∆EX∆(t1) · X∆(t2) = 0 se |t2 − t1| > ∆

(7.7.20)

A última equação é verdadeira pois, no caso descrito, as diferenças terãointervalos sem sobreposição e os incrementos são independentes. Caso |t2 −t1| < ∆ e t1 < t2(para efeitos de desenvolvimento), definimos os seguintesvalores, tendo em vista que os incrementos são independentes:

X(t1 + ∆)− X(t1) = X(∆) Incremento independenteX(t2 + ∆)− X(t2) = X(t2 − t1 + ∆)− X(t2 − t1) Invariância no intervalo

(7.7.21)Com estas definições calculamos:

EX∆(t1) · X∆(t2) = 1∆2 EX(∆) · (X(t2 − t1 + ∆)− X(t2 − t1))

= 1∆2 EX(∆) · [X(∆)− X(t2 − t1)]

= α∆

[1− (t2−t1)

](7.7.22)

onde usamos o fato de que a interseção dos intervalos (∆, t2 − t1 + ∆] ∩(0, ∆] = ∅. Este valor só depende da diferença entre t2 e t1.

No caso geral obtemos a autocorrelação:

RX∆X∆(τ) =α

∆max

[1− |t2 − t1|

∆, 0]

(7.7.23)

Vimos no exemplo 74 que a densidade espectral desta função vale SX∆X∆(ω) =

α

(sin( ω∆

2 )ω∆2

)2. Quando ∆→ 0, temos que :

X∆(t) → dX(t)dt

RX∆X∆(τ) → α · δ(τ)SX∆X∆(ω) → α

(7.7.24)

Page 124: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

124 manish sharma

isto é, a derivada de um processo de Wiener é um processo aleatório de ruídobranco.

O mesmo resultado poderia ser obtido aplicando o operador LX(t) ,X(t+∆)−X(t)

∆ e fazendo ∆→ 0. Do exemplo 70 obtemos novamente :

RXX(t1, t2) =∂2

∂t1∂t2[α2min(t1, t2)] = αδ(t1, t2) (7.7.25)

7.7.1 Relação entre PSD’s

Ao aplicar a transformada de Fourier, obtemos as seguintes relações:

RXY(τ) = h∗(−τ) ∗ RXX(τ) ⇔ H∗(ω) · SXX(ω) = SXY(ω)

RYY(τ) = h(τ) ∗ RXX(τ) ∗ h∗(−τ) ⇔ |H(ω)|2SXX(ω) = SYY(ω)(7.7.26)

Ainda podemos escrever:

SYY(ω) = |H(ω)|2SXX(ω) = G(ω)SXX(ω) (7.7.27)

onde G(ω) é a função de transferência da densidade espectral depotência.

Não há garantias de manutenção de simetrias ou sinal positivona transformação de SXX(ω) para SXY(ω) ou SYX(ω), pois a funçãoH(ω) pode a princípio ter qualquer formato. Quando H(ω) nãotiver simetria par, por exemplo, h(τ) será complexo. Por outro lado,como G(ω) = |H(ω)|2, a função SYY necessariamente cumprirá osrequisitos de uma função de densidade espectral de potência. Entreestes requisitos não está necessariamente incluso o requisito de sersimétrica.

Temos que SXX(ω) ≥ 0 para qualquer ω. Sendo ω2 ≥ ω1, apotência do sinal na banda de frequências (ω1, ω2) vale:

P =1

∫ ω2

ω1

SXX(ω)dω (7.7.28)

Esta equação considera somente o intervalo (ω1, ω2). Sinais reaistem densidade espectral de potência simétrico em torno de ω = 0 eo cálculo da sua potência deve considerar as frequências "positivas"eas frequências "negativas".

Para que uma função de autocorrelação seja uma função de auto-correlação válida, ela deve ser semidefinida positiva. Esta condição énecessária e suficiente. Logo, qualquer função semidefinida positivapode ser uma função de autocorrelação. Na prática esta propriedadeé difícil de ser testada. Por outro lado, é muito mais fácil verificar seuma função F(ω) é uma função de densidade espectral de potênciaválida, pois basta que ela seja integrável, real e não negativa. Alémdisso, se o processo aleatório for real, F(ω) será uma função par.

Esta relação de requisitos sobre a autocorrelação e densidade es-pectral de potência são análogos aos requisitos sobre a função carac-terística (que deve ser semidefinida positiva) e a p.d.f.(que deve serreal, integrável e não negativa). A analogia se limita aos requisitos enão sobre o significado das funções.

Page 125: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 125

Example 76 Cálculo de potência média.Seja um sistema com a seguinte resposta em frequência6: 6 A função sgn é a função de sinal algé-

brico que extrai o sinal do número realao qual é aplicada, ou seja: vale 1 seω > 0, 0 se ω = 0 e −1 se ω < 0.H(ω) = sgn(ω) ·

( ω

)exp

[−j(

ω8π

)]W(ω) (7.7.29)

onde

W(ω) =

1 para |ω| < 40π

0 caso contrário(7.7.30)

A entrada deste sistema é um processo aleatório X(t) com autocorrelaçãodada por:

RXX(τ) =52

δ(τ) + 2 (7.7.31)

Qual é a potência média do sinal na saída deste sistema na faixa entre 0e 1 Hz? Qual é a potência média total?

Em radianos/segundo, a faixa de frequências desejadas equivale a −2π <

ω < 2π. A densidade espectral de potência da entrada é:

SXX(ω) =52+ 4πδ(ω) (7.7.32)

A a função de transferência da densidade espectral de potência vale:

G(ω) = |H(ω)|2 =( ω

)4·W(ω) (7.7.33)

Defininido que o valor 0 · δ(ω) é não mensurável, chegamos na densidadeespectral de potência da saída como sendo:

SYY(ω) =52

( ω

)4·W(ω) (7.7.34)

A potência média total do sinal é:

RYY(0) =1

∫ 40π

−40π

52

( ω

)4dω (7.7.35)

e a potência na banda desejada vale:

P =1

∫ 2π

−2π

52

( ω

)4dω = 1W. (7.7.36)

7.7.2 Processos estacionários e equações diferenciais

Consideramos nesta seção processos que sejam pelo menos WSS.O formato geral de qualquer LCCDE(Linear Constant Coefficient

Differential Equation) é:

N

∑n=0

an ·Y(n)(t) =M

∑m=0

bm · X(m)(t) (7.7.37)

Esta equação poderia definir a relação entre entrada (X(t)) e saída(Y(t)) de um sistema qualquer e é muito semelhante ao modelo

Page 126: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

126 manish sharma

ARMA. Com base nesta equação podemos obter a função de trans-ferência (relação entre entrada e saída) deste sistema como sendo:

H(ω) = B(ω)A(ω)

ondeA(ω) = ∑N

n=0 an · (jω)n

B(ω) = ∑Mm=0 bm · (jω)m

(7.7.38)

Esta equação é obtida aplicando propriedades da transformada deFourier. Os polinômios A(ω) e B(ω) são chamados respectivamentede polinômios denominador e numerador. O valor de a0 deve serdiferente de zero. A partir destas definições e considerando que osistema é estável7 podemos chegar às seguintes relações:7 A noção de estabilidade de um sis-

tema é vista com detalhes em cursos decontrole

µY = µX · H(0) = b0a0

µX

SYX(ω) = H(ω) · SXX(ω)

SYY(ω) = |H(ω)|2 · SXX(ω)

= |B(ω)|2|A(ω)|2 SXX(ω)

(7.7.39)

Nestas condições é normalmente mais fácil realizar a análise nodomínio da frequência e obter a autocorrelação RYY(τ) através datransformada de Fourier inversa.

A transformada de Fourier também pode ser vista como a trans-formada de Laplace avaliada quando s = jω. A transformada deuma função f (τ) é:

F(s) ,∫ ∞

−∞f (τ) · exp(−sτ)dτ (7.7.40)

Seja F(ω) a transformada de Fourier de f (τ). A relação entretransformadas é:

F(ω) = F(s)∣∣∣s=jω

(7.7.41)

Example 77 Sistema diferencialSeja a relação entre entrada e saída de um sistema dada por:

Y′(t) + αY(t) = X(t) (7.7.42)

onde α > 0. A entrada deste sistema tem média µX = 0 e autocovariânciaigual a KXX(τ) = δ(t), isto é, é um ruído branco. Qual é a autocorrelaçãoda saída?

Com base nestes dados obtemos:

H(ω) = 1α+jω

SXX(ω) = 1SYX(ω) = H(ω) · SXX(ω) = 1

α+jω

SYY(ω) = |H(ω)|2 · SXX(ω) = 1α2+ω2

(7.7.43)

É possível calcular a transformada de Fourier inversa através da trans-formada de Laplace usando sjω:

SYY(jω) = 1α2−(jω)2

= 1(α+jω)(α−jω)

⇒ SYY(s) = 1(α+s)(α−s)

(7.7.44)

Page 127: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 127

Utilizando o método de integrais por resíduo chegamos ao resultado de-sejado:

RYY(τ) =1

2αexp(−α|τ|) (7.7.45)

7.8 Processos periódicos e cicloestacionários

Um processo X(t) é periódico no sentido amplo (WSP) se há umvalor T > 0 tal que:

1. µX(t) = µX(t + T) e

2. KXX(t1 + T, t2) = KXX(t1, t2) = KXX(t1, t2 + T), ∀t1, t2.

O menor valor de T que satisfaz estas condições é o período (fun-damental) do processo. Um Exemplo de processo WSP é X(t) =

∑∞k=1 Akexp

(j 2πkt

T

)quando os coeficientes Ak são aleatórios e inva-

riantes para cada realização.Se um processo é WSP e também WSS, ele é denominado WSPS.

Isto só é possível se a média for constante e a autocovariância for pe-riódica. A covariância de um processo WSP tem curvas de contornosimétricas em torno dos pontos t1 + nT, t2 + mT, para n e m inteiros.

Já um processo cicloestacionário no sentido amplo tem médiaµX(t) = µX(t + T) e autocovariância obedecendo:

KXX(t1, t2) = KXX(t1 + T, t2 + T) (7.8.1)

isto é, a periodicidade da autocovariância exige deslocamentos tem-porais iguais em ambos os instantes. Um exemplo deste tipo deprocesso é o processo de modulação PSK(vide seção 7.2.4) . Pode-semostrar facilmente que a sua média é µX(t) = 0 e que a sua correla-ção vale:

RXX(t1, t2) = sQ(t1) · sQ(t2) (7.8.2)

onde definimos a função sQ(t) como:

sQ(t) ,

sin(2π fct), 0 ≤ t < T

0, caso contrário.(7.8.3)

O valor de RXX(t1, t2) não se mantém se adicionarmos T a so-mente um dos argumentos da função: é necessário adicionar aosdois.

Processos cicloestacionários não são a princípio estacionários. Naprática podemos as vezes converter processos cicloestacionários emprocessos estacionários ao incluir uma variável aleatória que deslo-que o processo no tempo de forma uniforme entre 0 e T, desde quenão haja alteração no significado físico do processo. Por exemplo, oprocesso de modulação PSK poderia ser definido como:

X(t) = cos(2π fct + Θ(t) + 2π fcT0) (7.8.4)

Page 128: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

128 manish sharma

O valor 2π fcT0 é uma fase constante para todo o processo quepoderia por exemplo representar o atraso de propagação. Mostra-seque a correlação deste processo é:

RXX(t1 + τ, t1) =1T

sQ(τ) ∗ sQ(−τ) (7.8.5)

Como este valor depende somente da diferença entre instantes, esteprocesso é estacionário no sentido amplo.

As definições no sentido estritas são semelhantes, mas exigem quetodos os momentos atendam aos requisitos de periodicidade.

Page 129: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

8Filtragem estocástica

Em algumas situações podemos querer estimar o valor de uma va-riável aleatória que muda com o tempo. Esta variável pode ser mo-delada por exemplo como uma sequência aleatória X[n]. Caso aautocorrelação RXX [n, m] seja diferente de zero para algum n 6= m,é possível obter algum conhecimento sobre o valor ou a distribuiçãoda sequência aleatória no instante n a partir de alguma observaçãono instante m.

O processo de estimação de uma sequência de estados pode serdivido em duas categorias:

• filtragem: estimação em tempo real, onde desejamos estimar ovalor de X[n] exclusivamente a partir de observações realizadasnos instantes anteriores;

• processamento: estimação do valor de X[n] a partir de observa-ções disponíveis tomadas em qualquer instante

Em geral não é possível observar diretamente a sequência X[n].Neste caso a estimativa precisa ser feita com base em uma observa-ção Y[n] que pode também ser uma variável aleatória tendo a reali-zação x[n] como parâmetro. Para simplificar a notação, utilizaremosX[n] = Xn e x[n] = xn.

8.1 Modelo probabilístico

O problema de filtragem estocástica pode ser descrito da seguinteforma:

• Uma sequência aleatória possui evolução X1, X2, ..., Xn. Esta sequên-cia é do tipo de Markov. Logo fX(Xn|Xn−1, Xn−2, ..., X1) = fX(Xn|Xn−1).Esta função descreve a evolução do processo. O valor Xn tambémé chamado de estado.

• A única informação disponível sobre esta sequência são observa-ções Yn = g(Xn), onde g(Xn) indica que Yn é função de Xn. Aobservação Zn depende somente do valor do estado no momenton.

• A observação não afeta a evolução da sequência aleatória.

Page 130: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

130 manish sharma

• A observação não é determinística. Unindo estes itens podemosescrever:

fY(yn|xn, xn−1, ...) = fY(yn|xn) (8.1.1)

• Desejamos estimar o valor de xn com base em todas as observa-ções disponíveis até o momento.

Definimos a sequência observada como Yn(com realização yn),onde n indica a dimensão do vetor, isto é, quantos instantes observa-mos. A função que relaciona a observação com a estimativa é:

Fn(xn) , fXn |Yn(xn|yn) (8.1.2)

Esta função a p.d.f. filtrada de Xn.No início do processo não há nenhuma observação que nos possa

fornecer alguma informação sobre x1. Tudo o que sabemos é a dis-tribuição a priori fX(x1). Após a observação de Y1 = Z1 temos,utilizando a regra de Bayes:

F1(x1) = fX1|Y1(x1|Y1) =

fY1|X1(y1|x1) fX(x1)

fY(y1)= k1 fY1|X1

(y1|x1) fX(x1)

(8.1.3)O fator k1 é uma constante que depende somente de y1.Poderíamos neste momento obter a p.d.f. do valor da sequência

Xn no próximo instante utilizando novamente o teorema de Bayes1:1 Esta função F1(x1) e outras semelhan-tes não são c.d.f.’s. São simplesmentefunções de xi .

fX1X2|Y1(x1, x2|y1) =

fX1X2Y1(x1, x2, y1)

fY(y1)

=fX2|X1Y1

(x2|x1, y1) fXY(x1, y1)

fY(y1)

=fX2|X1

(x2|x1) fX|Y(x1|y1) fX(x1)

fY(y1)= fX2|X1

(x2|x1) · F1(x1)

(8.1.4)

Obtendo a distribuição marginal de X2 temos:

fX2|Y1(x2|y1) =

∫fX1X2|Y1

(x1, x2|y1)dx1 = H2(x2) (8.1.5)

Esta nova distribuição é a p.d.f. a priori que temos sobre X2. As-sim, após observação de y2, podemos obter a p.d.f. filtrada de X2

usando:

F2(x2) = k2 fY2|X2(y2|x2)H2(x2) (8.1.6)

Genericamente para n qualquer teríamos

Fn(xn) = kn fYn |Xn(yn|xn)Hn(xn) (8.1.7)

Toda a informação que as observações passadas poderíam forne-cer sobre Xn estão condensadas na função Hn(xn), que é a distribui-ção a priori (antes da observação de yn). A descrição de um algo-ritmo para realizar a filtragem seria:

Page 131: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 131

• Faça n = 1. A função fX(x1) está disponível. Faça H1(x1) =

fX(x1)

• Encontre Fn(xn) com base na observação yn usando:

Fn(xn) = kn fYn |Xn(yn|xn)Hn(xn) (8.1.8)

• Obtenha Hi+1(xi+1) usando:

Hi+1(xi+1) =∫

fX2|X1(x2|x1) · F1(x1)dxi+1 (8.1.9)

• Faça n = n + 1. Se yn existe, retorne ao passo 2.

O conhecimento de Hn(xn) (distribuição a priori) e/ou de Fn(xn)

(p.d.f. filtrada) pode ser utilizado tomada de decisão ou por exemploestimar a média de xn:

X(n|n− 1) , E [xn|yn−1] =∫

xn Hn(xn)dxn (Previsão)

X(n|n) , E [xn|yn] =∫

xnFn(xn)dxn (Estimativa)

(8.1.10)Estes são os estimadores que minimizam o erro quadrático médio

como vimos anteriormente.O caso com variáveis discretas pode ser tratado substituindo as

integrais pelos somatórios apropriados. As variáveis também podemser vetores.

8.2 Filtro de Kalman

O filtro de Kalman é o estimador ótimo para o próximo instante daevolução de uma sequência aleatória quando obtemos as p.d.f.’s viafiltragem estocástica como apresentado na seção anterior. Ele é ótimono sentido de minimizar o erro quadrático médio. Muitas hipótesessão adotadas para a obtenção do filtro de Kalman.

A primeira hipótese é que temos a seguinte relação linear entre asvariáveis.

xn+1 = Axn + Bun + Cwn

yn+1 = Dxn + Evn(8.2.1)

onde os vetores são:

• O subscrito n é o índice temporal;

• xn é uma sequência de estados X[n];

• un é o sinal de controle;

• yk é uma sequência de observações;

• wn é um vetor aleatório Gaussiano com media zero e matriz decovariância Q;

Page 132: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

132 manish sharma

• v é um vetor aleatório Gaussiano com media zero e matriz decovariância R;

• As matrizes A, B, C, D e E determinam a relação linear entre asvariáveis. Elas podem ser variantes no tempo, mas por simplici-dade utilizaremos constantes.

Este modelo se aplica a várias situações práticas. Equações dife-renciais podem ser aproximadas por equações de diferenças, o quepermitiria aplicar este modelo de forma aproximada.

A segunda hipótese é sobre a natureza das variáveis aleatórias.Assumimos que:

• wn é um vetor aleatório Gaussiano com média zero e matrizes decovariância Q;

• v é um vetor aleatório Gaussiano com média zero e matrizes decovariância R;

• O estado inicial x1 tem uma distribuição Gaussiana também comtermos i.i.d. com média µ1 e variância σ2

1 .

Com estas hipóteses temos que:

• as variáveis xn e yn são vetores Gaussianos pois são obtidos pelacombinação linear de vetores Gaussianos;

• como consequência do item anterior, as funções fX(yn|xn) e fY(xn|yn)

são distribuições Gaussianas vetoriais;

• a função resultante da expressão 8.1.8 proporcional a uma p.d.f.Gaussiana pois é o produto de Gaussianas. Sendo a(x) e b(x)p.d.f’s Gaussianas com médias µa, µb e variâncias σ2

a , σ2b ), temos o

seguinte:

a(x)b(x) =1

2πσaσbexp

(−[(x− µa)2

2σ2a

+(x− µb)

2

2σ2b

])c(x) = κ

1√2πσ2

cexp

(− (x− µc)2

2σ2c

)(8.2.2)

onde:

µc =µaσ2

a + µbσ2b

σ2a + σ2

b

σ2c =

σ2a · σ2

bσ2

a + σ2b

(8.2.3)

e κ =σaσb√

2π(σ2a + σ2

b )é uma constante. Como Fn(xn) deve ser uma

p.d.f., é necessário que κ · kn = 1 para que a definição axiomáticade probabilidade seja satisfeita.

• como consequência do item anterior, a estimativa ótima X(n|n) ésimplesmente a média da v.a. Gaussiana descrita por Fn(xn), istoé, µc

Page 133: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ele-48 sinais e sistemas aleatórios v7 133

• a função 8.1.9 se torna a convolução de duas p.d.f.’s Gaussianas,também com formato Gaussiano. Neste caso a p.d.f. resultantetem como média a soma das médias e como variância a soma dasvariâncias. A prova será omitida aqui.

• como consequência do item anterior, a previsão ótima X(n|n− 1)é simplesmente a média da v.a. Gaussiana descrita por Hn(xn)

Assim, é suficiente acompanhar a evolução das médias para ob-termos os estimadores ótimos. Observando as equações do sistema(equações 8.2.1), chegamos nesta relação entre as médias:

µHn+1 = E [Axn + Bun + Cwn]

= AµFn + Bun

σHn+1 = AσFn AT + CTQCµFn = µHn + σHn DT(DσHn DT + ETRE)−1(yn −DµHn)

σFn = (I− σHn DT(DσHn DT + ETRE)−1D)σHn

(8.2.4)

Chamamos de filtro de Kalman o valor

σHn CT(CσHn CT + DT RD)−1 (8.2.5)

porque podemos interpretar que a estimativa ótima após a obser-vação é obtida combinando linearmente o histórico conhecido (viaHn(X) e a observação yn.2 2 Há definições alternativas do sistema

que resultam em definições diferentesdo filtro de Kalman. Por exemplo, acontribuição de wn pode ser feita sema presença da matriz C, o que faria comque o termo CTQC na segunda linha de8.2.4 se reduzisse a somente Q.

Algoritmicamente, poderíamos descrever o processo de filtragemde Kalman pelas seguintes etapas semelhantes ao algoritmo genéricode filtragem estocástica3:

3 Compara você mesmo para verificarque são equivalentes

1. Obtenha a previsão sobre o estado do sistema. Isto é, determinea média de Hn(xn).

2. Meça o estado do sistema (obtenha yn).

3. Corrija a sua previsão gerando uma estimativa utilizando o filtrode Kalman, isto é, obtenha a média de Fn(xn).

4. Gere o sinal de controle desejado e execute.

5. Retorne ao primeiro passo enquanto necessário.

Algumas destas etapas podem ser divididas em etapas mais sim-ples. É comum a definição das matrizes de covariância antes e apósestimação como:

P−n , E[e−n (e−n )T] = AP+

k−1AT + CTQCP+

n , E[e+n (e+n )T] = (I−KnD)P−n

(8.2.6)

com a sequente definição do filtro de Kalman como:

Kn = P−n DT(DP−n DT + ETRE)−1 (8.2.7)

Preveja

a posição

Corrija

a previsão

Meça o estado

Gere sinal de controle e execute

Figura 8.1: Iteração de Kalman

Page 134: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

134 manish sharma

8.2.1 Limites do método

É possível que algumas limitações existam, dependendo do sistema.Uma possível limitação é a impossibilidade de levar o sistema para

qualquer estado xn desejado através de um número finito de passosatravés da utilização de um sinal de controle uk qualquer. Se forpossível fazer esta transição, o sistema possui a propriedade de con-trolabilidade. Um sistema como descrito anteriormente é controlávelse a matriz de controlabilidade C possui n linhas linearmente inde-pendentes, onde C é:

C = [B, AB, ..., An−1B] (8.2.8)

Não havendo controlabilidade, a estimativa não é afetada, mas acapacidade de alterar o estado é, pois pelo menos um dos compo-nentes do estado não será alterado pela aplicação de uk.

Outra possível limitação é a capacidade ou não de determinar xn

a partir das observações zn. Se for possível, o sistema possui a pro-priedade de observabilidade. Um sistema é observável se a matrizde observabilidade O possui n colunas linearmente independentes,onde O é:

O = [D, DA, ..., DAn−1]T (8.2.9)

Na prática se o sistema não for observável há pelo menos um com-ponente do estado que não é possível conhecer. A estimativa destecomponente pelo filtro de Kalman não terá significado e consequen-temente decisões tomadas com base nesta estimativa serão infunda-das.

8.3 Filtro de Kalman extendido

O Filtro de Kalman é útil quando as relações são lineares como des-critas nas equações 8.2.1. Nem sempre este é o caso. Nas condiçõesapropriadas, podemos utilizar um processo semelhante se pudermoslinearizar o sistema em torno do estado atual. Os detalhes ficarãopara uma outra versão da apostila.

Page 135: ELE-48 SINAIS E SISTEMAS ALEATÓRIOS V7manish/ele48/Documents/ELE48-20180219-Apostila-v7.pdf · ele-48 sinais e sistemas aleatórios v7 5 6 Sequências aleatórias 75 6.1 Conceitos

ALista de alunos coautores

Os seguintes alunos contribuíram para a realização desta apostila,em ordem cronológica

2015Lucas GalembeckPedro Kukulka de Albuquerque2016Caio Rocha Dottori GasparMatheus Coelho FerrazRaphael Galate Baptista Ribeiro2017Kaue Felipe NevesMateus Furtado HolandaNathalia Matos da SilvaTibor Thiesen Dumont Pitrez