Modelo de Rgressao Linear Simples
Transcript of Modelo de Rgressao Linear Simples
-
8/6/2019 Modelo de Rgressao Linear Simples
1/39
1
The Modelo de Regresso Simples
y = 0 + 1x + u
-
8/6/2019 Modelo de Rgressao Linear Simples
2/39
2
Alguma Terminologia
No modelo linear de regresso simples, em quey= 0 + 1x + u.
Tipicamente y expressa a varivel dependente,varivel explicada, varivel resposta, varivelpreviso, varivel left-hand side, ou regressada
Tipicamente x designada de varivelindependente, varivel explicativa, varivel de
controlo, regressor, covarincia
-
8/6/2019 Modelo de Rgressao Linear Simples
3/39
3
Uma Hiptese Simples
A mdia do valor de u, o termo erro, dapopulao 0. Isto ,
E(u) = 0No uma hiptese restritiva, uma vez quepodemos sempre utilizar 0 para normalizarE(u) a 0
-
8/6/2019 Modelo de Rgressao Linear Simples
4/39
4
Mdia Condicional Zero
Necessitamos de assumir uma hiptese crucialsobre a forma como u ex esto relacionados
Pretendemos que seja um caso em que o
conhecimento de algo sobre x no nos proporcionaqualquer informao sobre u, isto , estocompletamente no relacionadas. Analiticamente,
E(u|x) = E(u) = 0, o que implica que
E(y|x) = 0 + 1x
-
8/6/2019 Modelo de Rgressao Linear Simples
5/39
5
.
.
x1 x2
E(y|x) uma funo linear de x, em que para qualquerx,a distribuio de y est centrada volta de E(y|x)
E(y|x) = 0 + 1x
y
f(y)
-
8/6/2019 Modelo de Rgressao Linear Simples
6/39
-
8/6/2019 Modelo de Rgressao Linear Simples
7/39
7
.
.
.
.
y4
y1
y2
y3
x1 x2 x3 x4
}
}
{
{
u1
u2
u3
u4
x
y
Linha de regresso da populao, pontos daamostra e termos erros associados
E(y|x) = 0 + 1x
-
8/6/2019 Modelo de Rgressao Linear Simples
8/39
8
Derivao dos Estimadores OLS
Para derivao dos estimadores OLSnecessitamos de ter em conta a hiptesefundamental de que E(u|x) = E(u) = 0 tambm
implicaCov(x,u) = E(xu) = 0
Porqu? Lembre-se que, dos conceitos bsicos de
probabilidades, Cov(X,Y) = E(XY) E(X)E(Y)
-
8/6/2019 Modelo de Rgressao Linear Simples
9/39
9
Derivao dos OLS (continuao)
Podemos escrever duas restries emtermos dex,y, 0 e , com u =y 0 1x
E(y 0 1x) = 0E[x(y 0 1x)] = 0
Estas so chamadas restries momento conduz ao Mtodos dos Momentos (MM)
-
8/6/2019 Modelo de Rgressao Linear Simples
10/39
10
Derivao dos OLS pelo MM
A estimao pelo MM implica a imposiodas restries momento da populao srestries momento da amostra
O que que isto significa? Relembrandoque para E(X), a mdia da distribuio dapopulao, o estimador da amostra de E(X)
simplesmente a mdia aritmtica daamostra
-
8/6/2019 Modelo de Rgressao Linear Simples
11/39
11
Derivao dos OLS pelo MM (Cont.)
Pretendem-se valores para os parmetros queassegurem que as verses da amostra para asrestries momento so so verdadeiras
As verses da amostra so as seguintes:
0
0
1
10
1
1
10
1
n
i
iii
n
i
ii
xyxn
xyn
-
8/6/2019 Modelo de Rgressao Linear Simples
12/39
12
Derivao dos OLS (MM)
Dada a definio de mdia da amostra, epropriedades da soma, podemos escrever ascondies anteriores do seguinte modo:
xy
xy
10
10
or
,
-
8/6/2019 Modelo de Rgressao Linear Simples
13/39
13
Derivao dos OLS (MM)
n
i
ii
n
i
i
n
i
ii
n
i
ii
n
i
iii
xxyyxx
xxxyyx
xxyyx
1
2
1
1
1
1
1
1
11
0
-
8/6/2019 Modelo de Rgressao Linear Simples
14/39
14
Deste modo o declive estimado pelosOLS
0quedesde
1
2
1
2
1
1
n
i
i
n
i
i
n
i
ii
xx
xx
yyxx
-
8/6/2019 Modelo de Rgressao Linear Simples
15/39
15
Sntese sobre a estimativa declive OLS
A estimativa declive a covarincia entre x e y daamostray dividida pela varincia de x da amostra
Sex ey esto positivamente correlacionados, o
declive positivoSex ey esto negativamente correlacionados, odeclive negativo
Apenas necessitamos que x e y variem na nossa
amostra
-
8/6/2019 Modelo de Rgressao Linear Simples
16/39
16
Mais sobre os OLS
Intuitivamente, os OLS representam umajustamento da linha atravs dos pontos daamostra tal que a soma dos quadrados dos erros
seja o mais pequena possvel, da a designao demnimos quadrados
O resduo, , uma estimativa do termo erro, u, e a diferena entre a linha ajustada (funo
regresso da amostra - FRA) e os pontos daamostra
-
8/6/2019 Modelo de Rgressao Linear Simples
17/39
17
.
.
.
.
y4
y1
y2y3
x1 x2 x3 x4
}
}
{
{
1
2
3
4
x
y
Linha de regresso da amostra, pontos da amostrae inerentes termos erros estimados
xy 10
-
8/6/2019 Modelo de Rgressao Linear Simples
18/39
18
Mtodo Alternativo de derivao dos OLS
Dada a intuitiva ideia de ajustamento da linha,podemos formalizar o problema de minimizao
Isto , pretendemos determinar o valor dos
parmetros que minimizem o seguinte:
n
iii
n
ii
xyu1
2
101
2
-
8/6/2019 Modelo de Rgressao Linear Simples
19/39
19
Mtodo alternativo (cont.)
Se utilizarmos o clculo para a resoluo do problema deminimizao para os dois parmetros, obtm-se ascondies de primeira ordem, que so idnticas s obtidasanteriormente, multiplicando por n
0
0
1
10
1
10
n
i
iii
n
i
ii
xyx
xy
-
8/6/2019 Modelo de Rgressao Linear Simples
20/39
20
Propriedades Algbricas dos OLS
A soma dos resduos OLS zero
Deste modo, a mdia dos resduos OLS
tambm zeroA covarincia entre os regressores e osresduos OLS zero
A linha de regresso OLS vai sempre ao
longo da mdia da amostra
-
8/6/2019 Modelo de Rgressao Linear Simples
21/39
21
Propriedades Algbricas (justificao)
xy
ux
n
u
u
n
i
ii
n
i
in
i
i
10
1
1
1
0
0
logo,0
-
8/6/2019 Modelo de Rgressao Linear Simples
22/39
22
Mais terminologia
RSSESSTSSento(RSS)resduosdosquadradosdossomaa
(ESS)quadradosdossomaexplicadaa
(TSS)quadradosdossomadatotalo
:seguinteose-defineento
explicada,nooutraporeexplicadaparteumapor
compostaobservaocadaqueentenderPodemos
2
2
2
i
i
i
iii
u
yy
yy
uyy
-
8/6/2019 Modelo de Rgressao Linear Simples
23/39
23
Prova de que TSS = ESS + RSS
0quesabemose
SSE2SSR
2
22
2
22
yyu
yyu
yyyyuu
yyu
yyyyyy
ii
ii
iiii
ii
iiii
-
8/6/2019 Modelo de Rgressao Linear Simples
24/39
24
Bondade de Ajustamento
O que devemos pensar acerca de quanto bem alinha de regresso se ajusta aos dados da amostra?
Podemos calcular a fraco do total da soma dosquadrados (TSS) que explicado pelo modelo, ouseja, o R- quadrado da regresso
R2 = ESS/TSS = 1 RSS/TSS
-
8/6/2019 Modelo de Rgressao Linear Simples
25/39
25
Centricidade No enviesamentodos OLS
Assume que o modelo da populao linear nosparmetros,y = 0 + 1x + uAssume que podemos utilizar uma amostra
aleatria de dimenso n, {(xi, yi): i=1, 2, , n}, apartir do modelo da populao. Despe modo,podemos escrever o modelo da amostra por
yi = 0 + 1xi + uiAssumindo E(u|x) = 0, ento E(ui|xi) = 0
Assumindo que existe variao emxi
-
8/6/2019 Modelo de Rgressao Linear Simples
26/39
26
Centricidade dos OLS (cont)
De modo a tornar claro o no enviesamento, necessitamosde reescrever o nosso estimador em termos de parmetroda populao
Comea-se com uma simples reescrita da frmula, como
22
21queem,
xxs
s
yxx
ix
x
ii
-
8/6/2019 Modelo de Rgressao Linear Simples
27/39
27
Centricidade dos OLS (cont)
ii
iii
ii
iii
iiiii
uxx
xxxxx
uxx
xxxxx
uxxxyxx
10
10
10
-
8/6/2019 Modelo de Rgressao Linear Simples
28/39
28
Centricidade dos OLS (cont)
211
2
1
2
mododestee,
porreescritoserpodenumeradoro,sejaou
,0
x
ii
iix
iii
i
s
uxx
uxxs
xxxxx
xx
-
8/6/2019 Modelo de Rgressao Linear Simples
29/39
29
Centricidade dos OLS (cont)
12
11
21
1
ento,1
resulta,assumindo
iix
iix
i
ii
uEds
E
uds
xxd
-
8/6/2019 Modelo de Rgressao Linear Simples
30/39
30
Centricidade - Sntese
As estimativas OLS de 1 e 0 so cntricas
A verificao da centricidade depende de 4hipteses se uma delas falhar, ento o estimador
OLS no necessariamente cntricoRelembrar que a centricidade a descrio doestimador em certa amostra podemos estarprximos ou afastados do verdadeiro
parmetro
-
8/6/2019 Modelo de Rgressao Linear Simples
31/39
31
Varincia dos Estimadores OLS
Agora sabemos que a distribuio do nossoestimador se centra volta do verdadeiroparmetro
Desejamos saber quo dispersa estadistribuio muito mais fcil pensar acerca davarincia sob a hiptese adicional, ou seja
Assumir Var(u|x) = 2 (Homocedasticidade)
-
8/6/2019 Modelo de Rgressao Linear Simples
32/39
32
Varincia OLS (cont)
Var(u|x) = E(u2|x)-[E(u|x)]2
E(u|x) = 0, ento 2 = E(u2|x) = E(u2) = Var(u)
Assim, 2 tambm a varincia nocondicionada, chamada varincia do erro, raiz quadrada da varincia do erro, sendodesignada de desvio padro do erro
Podemos dizer: E(y|x)=0 + 1x e Var(y|x) = 2
-
8/6/2019 Modelo de Rgressao Linear Simples
33/39
33
.
.
x1 x2
Caso Homocedstico
E(y|x) = 0 + 1x
y
f(y|x)
-
8/6/2019 Modelo de Rgressao Linear Simples
34/39
34
.
xx1 x2
f(y|x)
Caso Heterocedstico
x3
.
.
E(y|x) = 0 + 1x
-
8/6/2019 Modelo de Rgressao Linear Simples
35/39
35
Varincia OLS (cont)
122
22
22
2
2
2222
2
2
2
2
2
2
2
211
1
11
11
1
Vars
ss
ds
ds
uVardsudVars
uds
VarVar
xx
x
i
x
i
x
iix
iix
iix
-
8/6/2019 Modelo de Rgressao Linear Simples
36/39
36
Varincia OLS: Sntese
Quanto maior for a varincia do erro, 2, maior avarincia do coeficiente parcial da regressoA uma maior variabilidade dexi, correspondeuma menor varincia do coeficiente parcial daregressoConsequentemente, a um aumento da dimensoda amostra corresponde um decrscimo davariao do coeficiente parcial da regressoO problema que a varincia do erro desconhecida
-
8/6/2019 Modelo de Rgressao Linear Simples
37/39
37
Estimao da varincia do erro
Desconhecemos a varincia do erro,2,
porque no observamos os erros, ui
O que observamos so os resduos, i
Podemos utilizar os resduos para uma
estimativa da varincia dos erros
-
8/6/2019 Modelo de Rgressao Linear Simples
38/39
38
Estimativa da Varincia do erro (cont)
2/21
decntricoestimadoroento,
22
2
1100
1010
10
nSSRun
xu
xux
xyu
i
ii
iii
iii
-
8/6/2019 Modelo de Rgressao Linear Simples
39/39
39
Estimativa da Varincia (cont)
2
12
1
1
2
/se
,depadroerroo
temosentopormossubstituirse
sdqueorelembrand
regressodapadroErro
xx
s
i
x