CE 731 Econometria II Prof. Alexandre Gori Maia por Anamorfose Variáveis Binárias Bibliografia...

Revisão de Regressão Linear MúltiplaCE 731 – Econometria II

Prof. Alexandre Gori Maia

Instituto de Economia - UNICAMP

1

Ementa

Método de Mínimos Quadrados Ordinários

Análise de Variabilidade e Inferência

Multicolinearidade

Variáveis Binárias

Normalidade dos Erros

Heterocedasticidade

Linearidade por Anamorfose

Variáveis Binárias

Bibliografia

Maia, Alexandre Gori. 2013. Econometria: conceitos e aplicações.

Regressão Múltipla - DefiniçãoSeja a função de regressão:

Pressupomos que a variável dependente Y será determinada por kvariáveis independentes X mais um erro aleatória e.

O modelo de regressão estabelece a relação esperada na população (função de regressão populacional). Como usualmente estimamos a relação com base em dados da amostra, trabalhos com a função de regressão amostral.

2

ikki eX..XXYiii .2111

iiii eXXY 2211 Y

1X 2X

iiii eXXY ˆˆˆˆ2211

Os parâmetros e estabelecem a relação esperada na população e os estimadores e estimam valores com base em observações de uma amostra. Analogamente, e representa os erros na população e ê os resíduos estimados com base nos valores da amostra.

^ ^

Regressão Múltipla - Interpretação

3

• Em um modelo de regressão linear, os coeficientes angulares s captarm o efeito parcial de uma variável independente sobre a variável dependente. Em outras palavras, qual seria a variação marginal em Y para uma variação unitária (pressupostamente marginal ) em Xj, mantendo-se constante as demais variáveis independentes;

Seja a função: ii eXXY 2211

X1

Y

X2

]0,0/[ 21 XXYE

1

1

X

Y

2

2

X

Y

Mìnimos Quadrados Ordinários

4

• Obtém os estimadores da função de regressão de tal forma que os erros sejam mínimos ;

eXβy

ee ˆˆTEQT

)()(ˆ0ˆ

1 yXXXββ

TTEQT

yn1 Xnp p1 en1

nkk

k

k

n e

e

e

XXX

XXX

XXX

Y

Y

Y

nnn

......

...1

...............

...1

...1

...

2

1

1

21

21

21

2

1

222

111

Seja a função: ikki eXXXY ...2211

E a equivalente matricial:

Que representa o sistema:

O objetivo do MQO é minimizar a função:

Minimizando, chegaremos a:

MQO – PROC REG• O procedimento REG ajusta uma função de regressão por

MQO;

• A especificação do modelo é dada pelo comando MODEL;

• As estimativas são apresentadas na janela de OUTPUT:

5

Obtém as estimativas de MQO para o modelo das emissões de CO2 (CO2) em função do PIB (GDP) e da participação da setor secundário no PIB (Setor2)

O intercepto negativo não tem interpretação econômica (não existe país com PIB nulo!). As estimativas dos parâmetros sugerem que, mantendo-se constante a participação do setor secundário, cada aumento de 1 US$ no PIB per capita implicará um acréscimo médio de 0,0003 ton nas emissões per capitas de CO2. Analogamente, cada variação percentual na participação do setor secundário implicará um acréscimo médio de 0,1 ton per capita de CO2, ceteris paribus.

Análise de Variabilidade

6

• A variabilidade total de Y representa a diversidade de valores que Ypode assumir;

• Uma parcela da variabilidade de Y pode ser explicada isoladamente pela variável independente X1, outra explicada isoladamente por X2 e outra explicada conjuntamente por X1 e X2;

• A variabilidade não explicada por X será refletida nos erros do modelo de regressão;

Variabilidade total de X1

Variabilidade total de X2

Efeito isolado de X1 em Y


Variabilidade total de Y

Efeito conjunto de X1

e X2 sobre Y

Soma dos Quadrados

7

• Permitem avaliar a qualidade do ajuste;

• Bons modelos implicam variabilidade relativamente baixa dos resíduos (SQRes) e variabilidade relativamente alta do ajuste de regressão (SQReg);

Y

Y

X

Y^

2

1

2 Ynyy)Y(YSTQ Tn

i

i

Y

X1 X2

STQ

Y

X1 X2

SQReg

X1 X2

YSQRes

2

1

2 ˆˆRe Yn)YY(gSQ TTn

i

i

yXβ

yXβyy TTTn

i

ii )Y(YsSQ ˆˆRe1

2

Coeficiente de Determinação

• Estima a proporção da variabilidade da variável dependente Yque é explicada pelo conjunto das k variáveis independentes do modelo de regressão X.

8

STQ

sSQ

STQ

gSQR

Re1

Re2

Y

X1 X2

1

Escala de R2:

Independência

linearRelação

linear exata

0 A relevância do R2 depende muito do tipo de

variável dependente (Y) sendo analisada

Teste F• Estima a significância do ajuste, ou seja, qual a probabilidade de

erro (p) se afirmarmos que o modelo contribui para explicar a variabilidade da variável dependente (rejeitar H0).

9

Dado o modelo: eXXY kk ...11

E as hipóteses:

0 um menos Pelo:

0...:

1

10

k

k

H

H

Y

X1 X2

Y

X1

X2

Y

X1

X2

Y

X1 X2

10 20 1=0 20 10 2=0 1=0 2=0

X1 e X2 contribuem para explicar Y. H0

deveria ser rejeitado

Apenas X2 contribui para explicar Y. H0


Apenas X1 contribui para explicar Y. H0


Nenhuma variável contribui para explicar Y. H0 não deveria ser

rejeitado

F

p

Não Rejeitar H0Rejeitar H0Rejeitar H0Rejeitar H0

)]/[n-(k

/kF

1SQRes

SQReg

Tabela Anova• Resume os resultados da Análise de Variância do modelo.

• Valores de p pequenos (usualmente menores que 5%) indicam que o modelo contribui significativamente para explicar a variabilidade da variável dependente;

10

Fonte gl SQ QM F p

Regressão k valor p

Resíduos n(k+1)

Total n1

2ˆ YnTT yXβ

yXβyy TTT ˆ

2YnT yy

k

SQReg

)1(

SQRes

kn

QMRes

QMReg

Tabela ANOVA – PROC REG• A tabela ANOVA é automaticamente apresentada com a

execução do procedimento REG;

11

O valor p para o teste F da tabela ANOVA sugere que, se afirmarmos que pelo menos uma das variáveis independentes (PIB ou Setor2) contribui para explicar a variabilidade da emissão de CO2, estaríamos sujeitos a um erro inferior a 0,01%. Ou seja, podemos afirmar que o ajuste é significativo.

O R2 indica que 51,4% da variabilidade de CO2 são explicados conjuntamente pelas variáveis independentes no ajuste.

Teste t• Estima a significância de cada coeficiente do modelo, ou seja, qual a

probabilidade de erro (p) se afirmarmos que a j-ésima variável independente contribui isoladamente para explicar a variabilidade da variável dependente (rejeitar H0).

12

Dado o modelo: eXXY kk ...11

E as hipóteses:

0:

0:

1

0

j

j

H

H

Y

X1 X2

Y

X1

X2

Y

X1

X2

Y

X1 X2

10 20 1=0 20 10 2=0 1=0 2=0

X1 e X2 contribuem para explicar Y. Os

dois testes t deveriam ser rejeitados

Apenas X2 contribui para explicar Y. H0 :2=0


Apenas X1 contribui para explicar Y. H0 :1=0


Nenhuma variável contribui para explicar Y. Nenhum dos testes tdeveria ser rejeitado.

Rejeitar 1=0 e 2=0

jjt

ˆSˆ

t

p/2p/2

Rejeitar apenas 2=0 Rejeitar apenas 1=0 Não Rejeitar 1=0 e 2=0

212ˆ ˆ)( XXβ

TS

Onde:

e:

)1(

ˆˆ 2

kn

TTT yXβyy

Tabela t– PROC REG• Os testes t para cada coeficientes são automaticamente

apresentados com a execução do procedimento REG;

13

Os valores t são iguais às estimativas dos parâmetros divididas pelos respectivos erros padrão. Tanto o teste t para o coeficiente associado à variável GDPquanto o associado à variável Setor2 são significativos.

Em outras palavras, a probabilidade de err ao afirmarmos, por exemplo, que a variável GDP contribui isoladamente para explicar a variabilidade de CO2 é inferior a 0,01%. Resultado análogo é observado para o coeficiente associado à variável Setor2.

Multicolinearidade• Quando as variáveis independente estão fortemente relacionadas

(multicolinearidade), o efeito parcial de um regressor sobre o regressando pode ser muito pequeno e sua estimativa tende a ser insignificante se a amostra não for suficientemente grande;

• Quando a relação entre variáveis independentes é perfeita, dizemos que há colinearidade perfeita e é impossível estimar os efeitos parciais;

14


X1X2



Efeito conjunto de X1 e X2 sobre

Y


X1

Variabilidade conjunta de X1

e X2

Efeito conjunto de X1 e X2 sobre

Y

Variáveis Binárias – 2 Categorias• Para representarmos duas categorias nominais (A e B) em

um modelo de regressão, precisamos de apenas uma variável binária D;

• A referência da análise será dada por D=0;

15

Para B:iii eXY 1

iii eXY 12)( Para A:

X

Y

2

A

B

iiii eDXY 21

Categoria Di

A 1

B 0

O coeficiente 2 indicaria quanto Y seria, em média, maior (ou menor) para a categoria A (D=1) que para a categoria de referência B (D=0), independente do valor de X.

Variáveis Binárias –Múltiplas Categorias

• Para representarmos k categorias nominais, precisamos de k-1 variáveis binárias D’s.

• A referência da análise será dada por uma das categorias.

16

O coeficiente 2 indicaria quanto Y seria, em média, maior para a categoria A (D1=1) que a categoria de referência C (D1=0 e D2=0), independente do valor de X. O coeficiente 3 indicaria quanto Y seria, em média, maior para a categoria B (D2=1) que a categoria de referência C.

iii eDDXYii 23121

Categoria D1i D2i

A 1 0

B 0 1

C 0 0

Para C: iii eXY 1

iii eXY 12)( Para A:

iii eXY 13)( Para B:

X

Y

3

A

B

C2

Variáveis Binárias - Exemplo• Para verificarmos se as emissões de CO2 são diferentes entre

os grupos de países devemos criar as variáveis binárias e incorporá-las no procedimento REG:

17Há diferenças significativas entre as emissões de grupos de países e ricos e médios em comparação com os pobres, independente do PIB e da participação do setor industrial.

• As estimativas de MQO seriam:

A categoria pobre foi utilizada como referência. Assim, os coeficientes das binárias indicarão diferenças entre as emissões dos países ricos e médios em relação aos pobres.

Exercícios

18

1) A partir de informações sobre a taxa de mortalidade nas UF brasileiras em 2000, pede-se

a) Ajuste um modelo por MQO para a taxa de mortalidade como função dos anos de estudo, percentual de pobres e índice de desigualdade;

b) Analise os efeitos parciais das variáveis;

c) Analise a significância do ajuste;

d) Analise a significância dos coeficientes parciais estimados;

e) Refaça o ajuste selecionando as variáveis que achar mais relevantes para explicar a taxa de mortalidade;

f) Verifique se, independente dos fatores de controle, a taxa de mortalidade dos estados muito desiguais é significativamente diferentes da dos demais estados;

g) Verifique se, independente dos fatores de controle, as taxas de mortalidade das regiões brasileiras são significativamente diferentes da observada na região Sudeste;

Normalidade dos Erros• Seja o modelo de regressão dado por :

• Pressupõe-se que o erro seja a soma de inúmeros fatores com efeito mínimo sobre a variável dependente, e que esteja aleatoria e normalmente distribuídos em torno da reta de regressão;

19X1 X

Y

E(Y1)

e1

X2X3

e2

e3

eXY

O teste F para o modelo e os testes t para os coeficientes angulares baseiam-se no pressuposto da normalidade dos erros. Caso esses não estejam normalmente distribuídos os testes serão inválidos.

Histograma e Gráfico Q-Q• O histograma permite visualizar a forma de distribuição dos dados;

• O gráfico Q-Q (quantile-quantile) , ou gráfico de quantis, compara os valores ordenados de uma variável (eixo das ordenadas) com os respectivos quantis teóricos de uma distribuição de probabilidade (eixos das abcissas). Quando a distribuição teórica é uma normal, o gráfico é chamado de gráfico normal-quantílico e o eixo das abcissas refere-se aos valores normais padronizados (Z). Se a distribuição dos dados equivaler à distribuição teórica (normal), os valores estarão dispostos em forma de uma linha reta ;

20

Neste exemplo, a distribuição se aproxima de uma normal, embora, sobretudo a distribuição dos valores extremos, sugira cautela nas análises;

Normalidade dos Resíduos• Histogramas e gráficos normais-quantílicos para os resíduos

de um ajuste de regressão são automaticamente elaborados pelo SAS com a opção ODS GRAPHICS no procedimento REG ;

21

Embora algumas observações afastam-se da linearidade esperada para o gráfico normal-quantílico, não há fortes evidências gráficas para afirmar que os resíduos não estejam normalmente distribuídos. Um teste de significância seria bem vindo....

Ajustará o modelo para CO2 em função linear de GDP e Setor2. O histograma e o gráfico normal-quantílico para os resíduos serão gerados no arquivo reg_poluição.rtf.

Testes de Normalidade - Univariate• Testes formais de normalidade dos resíduos podem ser

obtidos a opção NORMAL do procedimento UNIVARIATE;

• Neste caso, os resíduos obtidos pelo procedimento REG devem ser previamente salvos em um dataset (comando OUTPUT) para serem posteriomente lidos pelo procedimento UNIVARIATE;

22

O comando OUTPUT gera um arquivo de saída (com nome especificado na opção OUT) contendo todas as variáveis originais do arquivo de entrada mais resultados do ajuste. O comando RESIDUAL, por exemplo, incorporará os resíduos do ajuste no arquivo de saída, atribuindo-lhes o nome e.

Testes de Normalidade - Definição• A hipótese nula de todos os testes apresentados pelo

comando NORMAL é a de normalidade dos valores. Os testes apresentados são:• Shapiro-Wilk: baseia-se na estatística W, positiva e menor que 1.

Valores próximos de 1 indicam normalidade. É recomendado para amostras entre 3 e 2000 observações.

• Kolmogorov-Smirnov: a estatística de teste K-S D é uma medida da distância entre a distribuição observada e a teórica (EDF). É mais sensível ao comportamento observado no centro da distribuição. O teste só se aplica a variáveis contínuas e é recomendado para amostras grandes (> 2000).

• Cramer-von Mises: baseia-se no quadrado da EDF. Possui a vantagem de levar mais em consideração o comportamento de toda a amostra, ao invés de observações extremas.

• Arderson-Darling: também se baseia no quadrado da EDF. Em comparação ao K-S, é mais sensível ao comportamento observado nos extremos da distribuição.

23

Testes de Normalidade - Exemplo• Os testes de normalidade são usualmente poderosos

(sensíveis) à detecção de não-normalidade, ou seja, tendem a identificar não normalidade mesmo para pequenas diferenças;

• As conclusões não devem se basear unicamente nos testes estatísticos de normalidade. A análise gráfica é também fundamental.

24

Os 4 testes de normalidade para os resíduos do modelo de CO2 em função de GDP e Setor2 sugerem a não normalidade dos resíduos. Em outras palavras, se afirmássemos que os erros são não-normais, estaríamos sujeitos a uma chance de erro inferior a 1%. Deve-se considerar que, pelo fato de a amostra ser relativamente grande (169 observações), os testes tendem ser muito sensíveis a pequenos desvios em relação à normalidade.

Heterocedasticidade –Definição• Homocedasticidade: ocorre quando a variância dos erros e,

condicionada aos valores das variáveis explanatórias, é constante:

• Heterocedasticidade: ocorre quando a dispersão em torno da regressão se altera em função dos valors de uma variável explanatória:

25

221 ),...,,/(

iii ki XXXeVar

221 ),...,,/( iki iii

XXXeVar

HomocedasticidadeY

XXj

E(Yj)

Xi

E(Yi)

Var(ej)=2

Var(ei)=2

Heterocedasticidade

Var(ei)=2

i

Y

XXj

E(Yj)

Xi

E(Yi)

Var(ej)=2

j

Heterocedasticidade – Consequências• Na presença de heterocedasticidade, os parâmetros () do

modelo de MQO continuam sendo não viesados mas deixam de ser eficientes (ou seja, não possuem mais variância mínima) e consistentes. Isso ocorre porque na presença de heterocedasticidade os estimadores da variâncias desses coeficientes serão viesadas.

26

Homocedasticidade Heterocedasticidade

Y

X

Intervalo de Variação das

estimativas de MQO


estimativas de outro método

Y

X


estimativas de MQO


estimativas de um método

mais eficiente

Heterocedasticidade –Análise Gráfica

• Graficos para a dispersão entre os resíduos do ajuste e cada uma das variáveis explanatórias permitem visualizar padrões mais evidentes de heterocedasticidade e são automaticmante elaborados com o comando ODS GRAPHICS para o procedimento REG;

27

A dispersão dos resíduos tende a aumentar, sobretudo, para valores mais elevados da variável Setor2.

Exercícios

28



b) Analise a normalidade dos resíduos. Quais seriam suas conclusões?

c) A partir de análises gráficas, identifique eventuais valores extremos, pontos discordantes e influentes;

d) Identifique e analise eventuais observações influentes;

e) Verifique se, graficamente, há evidências para suspeitar de heterocedasticidade nos dados. O que isso significaria?

Linearidade por Anamorfose• Relações não lineares nas variáveis podem ser transformadas em

relações lineares por anamorfose, ou seja, por transformações de suas variáveis originais;

• A escolha da forma funcional (tipo de transformação das variáveis) dependerá da análise da distribuição dos valores e, principalmente, do conhecimento prévio das relações por parte do pesquisador;

29

X

Yi

2i10i eXY

Z=X2

Y ii10i eZY

é o mesmo

que...

Formas Funcionais - Exemplos

30

1) Modelo linear:

iii eXββY 10

2) Modelo log-log:

ii10i e)ln(Xββ)ln(Y

3) Modelo log-lin:

ii10i eXββ)ln(Y

4) Modelo lin-log:

ii10i eln(XββY )

Y

X0β

01 β

Y

X

0β 01 β

Y

X

01 1 β

Y

X

10 1 β

11 β

Y

X

01 β

Y

X

01 β

Y

X

01 β

Y

X

01 β

ou

ou

ou

ou

5) Modelo inverso:

ii

10i eX

1ββY

Y

X0β

01 β

Y

X

0β

01 βou

Modelo Linear - Interpretação• Um modelo linear pressupõe que Y apresente variações absolutas

constantes para variações absolutas constantes em X;

• A variação marginal no valor esperado de Y é a mesma para qualquer valor de X;

31

é o valor esperado de Y para valores

nulos de X

Y

Xi

X=1

Y=

0

XXi+1

Yi

Yi+1

)0(]0/[YE

X

X

X

Y

X

Y )(

é a variação marginal absoluta no

valor esperado de Y (Y) dada uma

variação unitária em X (X=1).

Modelo Log-Lin - Interpretação• Um modelo log-lin pressupõe que Y apresente variações relativas

constantes em função de variações absolutas constantes de X;

• A variação absoluta no valor esperado de Y será diferente para cada valor de X;

• Por exemplo, uma variação de 0,01 no ln(Y) significa uma variação de 1% no valor de Y;

32

ln(Y)

Xi

X=1

ln(Y)=

0

XXi+1

ln(Yi)

ln(Yi+1)

X

X

X

Y

X

Y )()ln()ln(

X

Y

Yi=e+Xi

Xi

X=1

Y=Yi

0

e

Yi+1=e+Xi+1

Xi+1

X

YY i/pois

ii Y

YY

YY

Y

)ln(

1)ln(

Modelo Log-Log - Interpretação• Um modelo log-log pressupõe que Y apresente variações relativas

constantes em função de variações relativas constantes de X;

• O coeficiente angular será uma medida constante da elasticidade de Y em relação a X, ou seja, qual será a variação percentual em Y () para uma variação de 1% em X.

33

ln(Y)

ln(Xi)

ln(X)=1

ln(Y)=

ln(X)ln(Xi+1)

ln(Yi)

ln(Yi+1)

i

i

XX

YY

X

Y

/

/

)ln(

)ln(

X

Y

Yi=e+ln(Xi)

Xi

X=Xi

Y=Yi

Yi+1=e+ln(Xi+1)

Xi+1

entãoiX

XX

)ln( e

iY

YY

)ln(Se

Modelo Log-Log - Exemplo

34

• O primeiro passo é criar as variáveis transformadas;

• Posteriormente, os procedimentos são análogos àqueles do modelo linear;

Não há necessidade de utilizar o logaritmo natural para a variável Setor2, já que esta já considera variações relativas (percentuais) na participação do setor secundário.

Modelo Log-Log - Exemplo

35

• Além de o modelo log-log facilitar a interpretação das variações nas variáveis, a qualidade de seu ajuste é sensivelmente melhor que a do modelo linear;

Espera-se, para cada acréscimo de 1% no PIB per capita, um acréscimo de 0,83% nas emissões per capita de CO2, tudo mais constante. E, para cada variação de 1 ponto percentual na participação do setor secundário, espera-se um acréscimo de 0,02% nas emissões per capita de CO2, ceteris paribus.Todas as estimativas são significativas e o R2 sugere que 76% da variabilidade do ln da variável CO2 sejam explicados pelas variáveis independentes.

Binárias em Modelos Log-Lin• Algebricamente, a relação ln(Y)=Y/Y só é válida para variações

infinitesimais;

• Por exemplo, em modelos log-lin com independente binária, pode não fazer sentido pressupor que a variação de X de 0 (0%) para 1 (100%) leve a variações infinitesimais de Y .

• Nesse sentido, devemos corrigir o coeficiente associado à variável binária pela expressão e1;

36D

Yii eDββ

i eY

10

D

ln(Y

)

iii eDββ)(Y 10ln

é a mesma

coisa que...

0 1 0 1

00

eY

101)ln( Y

0

00 1

0

01

e

eee

Y

YY

00 )ln( Y

101

eY

11

0

01

eY

YYPara X=0: Para X=1: Então:

Log-Lin com Binária - Exemplo

37

• Incorporando a variável binária Poluido (1 para CO2 > 5; 0 c.c.) no modelo log-lin:

• Teremos os resultados:

Tudo mais constante, os países mais poluídos emitem, em média, 127% (e0,820891=1,2725) mais CO2 per capita que os países menos poluídos.

Exercícios

38



b) Incorpore a binária muitodesigual e analise o resultado?

c) Incorpore binárias para representar as 5 regiões e analise os resultados;

d) Aplique transformações logarítmicas na variável dependente e nas variáveis independentes. Analise a qualidade dos ajustes e selecione aquele que achar mais apropriado;

CE 731 Econometria II Prof. Alexandre Gori Maia por Anamorfose Variáveis Binárias Bibliografia...

Documents

Transcript of CE 731 Econometria II Prof. Alexandre Gori Maia por Anamorfose Variáveis Binárias Bibliografia...