Mais resoluções de problemas sob modelos lineares hierárquicos

27
Mais resolu¸c˜oes de problemas sob modelos lineares hier´ arquicos Prof. Caio Azevedo Prof. Caio Azevedo Mais resolu¸c˜oes de problemas sob modelos lineares hier´ arquicos

Transcript of Mais resoluções de problemas sob modelos lineares hierárquicos

Page 1: Mais resoluções de problemas sob modelos lineares hierárquicos

Mais resolucoes de problemas sob modelos

lineares hierarquicos

Prof. Caio Azevedo

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 2: Mais resoluções de problemas sob modelos lineares hierárquicos

Dados “egsingle” disponıveis no pacote R mlmRev

Informacoes sobre pontuacoes em matematica do “U.S. Sustaining

Effects Study”. Um total de 60 escolas, 1720 alunos, acompanhados

(ha dados faltantes) em seis instantes com um total de 7230

observacoes.

Portanto tem-se dados longidutinais hierarquicos (“clustered

longitudinal data”).

Temos tres nıveis: medidas repetidas agrupadas nos estudantes, os

quais estao agrupados nas escolas.

Utilizaremos parte do banco de dados (amostras de J = 15 escolas)

e somente algumas variaveis, bem como desconsideraremos o nıvel

“medida repetida”.Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 3: Mais resoluções de problemas sob modelos lineares hierárquicos

Dados “egsingle” disponıveis no pacote R mlmRev

Objetivos sao avaliar comportamento da variavel “math” (nota via

TRI com base em um teste Matematica, dos alunos) em funcao da

variavel “grade” (uma nota geral de cada aluno) ao longo das

escolas (“schoolid”).

Vamos considerar tambem a variavel “lowinc” (porcentagem de

alunos de baixa renda na escola) para compreender possıveis

diferencas entre as escolas.

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 4: Mais resoluções de problemas sob modelos lineares hierárquicos

Boxplot: amth por escola

2020 2390 2610 2930 3140 3280 3510 3780 3961 4330

−4−2

02

4

schoolid

math

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 5: Mais resoluções de problemas sob modelos lineares hierárquicos

Boxplot: grade por escola

2020 2390 2610 2930 3140 3280 3510 3780 3961 4330

01

23

45

schoolid

grade

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 6: Mais resoluções de problemas sob modelos lineares hierárquicos

Lowinc por escola (linha verde: percentual medio)0

2040

6080

100

schoolid

lowinc

2180 2540 2820 3140 3780 3950 4280 4390

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 7: Mais resoluções de problemas sob modelos lineares hierárquicos

Dispersao entre math e grade por escola

Dispersao entre math e grade

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 8: Mais resoluções de problemas sob modelos lineares hierárquicos

Modelo de dois nıveis com covariaveis em dois nıveis

Modelo 1

Yji = β0j + β1j(xji − 2) + ξji , j = 1, 2, ..., 15;

i = 1, 2, ..., nj (nıvel 1 : aluno)

β0j = γ00 + γ01(zj − 50) + u0j (nıvel 2: escola)

β1j = γ10 + γ11(zj − 50) + u1j (nıvel 2: escola)

Erros e efeitos aleatorios: ξjiiid∼ N(0, σ2),

uj = (u0j , u1j)′ iid∼ N2(0,Ψ), ξji⊥uj ,∀i , j e (γ00, γ01, γ10, γ11)′ sao

nao aleatorios e Ψ =

ψ00 ψ01

ψ01 ψ11

.

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 9: Mais resoluções de problemas sob modelos lineares hierárquicos

(momentos condicionais)

E(Yji |uj) = γ00 + γ01(zj − 50) + γ10(xji − 2) + γ11(zj − 50)(xji − 2)

+ u0j + u1j(xji − 2)

V(Yji |uj) = σ2

(momentos marginais)

E(Yji ) = γ00 + γ01(zj − 50) + γ10(xji − 2) + γ11(zj − 50)(xji − 2)

V(Yji ) = ψ00 + ψ11(xji − 2)2 + ψ01(xji − 2) + σ2

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 10: Mais resoluções de problemas sob modelos lineares hierárquicos

comentarios

Os pacotes “lme4” e “nlme” nao apresentam uma sintaxe direta em

termos dos nıveis dos modelos.

Ambos foram feitos, essencialmente, para ajuste de modelos mistos.

Assim, na presenca de tres ou mais nıveis e/ou covariaveis no nıvel 2

(ou acima) e necessario reescrever o modelo hierarquicos em termos

do correspondente modelo misto.

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 11: Mais resoluções de problemas sob modelos lineares hierárquicos

Modelo misto correspondente

Yji = γ00 + γ01(zj − 50) + u0j + (γ10 + γ11(zj − 50) + u1j)(xji − 2) + ξji

= γ00 + γ01(zj − 50) + u0j + γ10(xji − 2)

+ γ11(zj − 50)(xji − 2) + u1j(xji − 2) + ξji

= γ00 + γ01(zj − 50) + γ10(xji − 2) + γ11(zj − 50)(xji − 2)

+ u0j + u1j(xji − 2) + ξji

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 12: Mais resoluções de problemas sob modelos lineares hierárquicos

Estimativas

Parametro Estimativa EP IC(95%) Estat. z p-valor

γ00 -0,1479 0,0702 [-0,2854 ; -0,0103] -2,1067 0,0351

γ10 0,8467 0,0262 [0,7952 ; 0,8981] 32,2653 <0,0001

γ01 -0,0061 0,0021 [-0,0102 ; -0,0020] -2,9011 0,0037

γ11 -0,0018 0,0008 [-0,0033 ; -0,0003] -2,3038 0,0212

ψ00 ψ11 ψ01 ρ01 σ2

0,05606 0,00439 0,00880 0,56083 0,96902

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 13: Mais resoluções de problemas sob modelos lineares hierárquicos

Comentarios/observacoes

Todos os parametros de regressao (γ) parecem ser significativos.

A variabilidade, dentro de cada escola da variavel math e constante

entre os alunos, enquanto que ao longo das escolas ela depende da

variavel grade.

As covariaveis grade (nıvel 1) e lowinc (nıvel 2), apresentaram

efeitos (marginalmente) significativo.

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 14: Mais resoluções de problemas sob modelos lineares hierárquicos

Comentarios/observacoes

Algumas interpretacoes:

Alunos (independentemente da escola em particular) de escolas com

lowinc = 0,50, tem math esperado entre [-0,2854;-0,0103].

Alunos (independentemente da escola em particular) de escolas com

lowinc = 0,50, em um incremento esperado de [0,7952;0,8981] no

math para o aumento de uma unidade no grade.

O valor esperado (acima) parece variar (significativamente) entre as

escolas com lowinc = 0,5 (ψ00 = 0, 05606)

O incremento esperado (acima) parece variar (modicamente) entre

as escolas com lowinc = 0,5 (ψ11 = 0, 00439).

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 15: Mais resoluções de problemas sob modelos lineares hierárquicos

RCM: graficos de diagnostico

0 500 1000 1500

−3−1

01

23

índice

resídu

o de c

onfun

dimen

to mí

nimo

resíduo de confundimento mínimo

dens

idade

−3 −2 −1 0 1 2 3

010

020

030

0

−3−1

01

23

resídu

o de c

onfun

dimen

to mí

nimo

−3 −2 −1 0 1 2 3

−3−1

01

23

quantil da distribuição N(0,1)

quan

til do

resíd

uo de

confu

ndim

ento

mínim

o

782

737

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 16: Mais resoluções de problemas sob modelos lineares hierárquicos

RCM: QQplot com envelope

−3 −2 −1 0 1 2 3

−3−2

−10

12

3

quantil da distribuição N(0,1)

quan

til do

resíd

uo de

confu

ndim

ento

mínim

o

782

737

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 17: Mais resoluções de problemas sob modelos lineares hierárquicos

RMP: graficos de diagnostico

0 500 1000 1500

−20

24

índice

resídu

o marg

inal p

adron

izado

−2 −1 0 1 2

−20

24

valor predito (marginal)

resídu

o marg

inal p

adron

izado

resíduo marginal padronizado

dens

idade

−2 0 2 4

050

150

250

350

−20

24

resídu

o marg

inal p

adron

izado

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 18: Mais resoluções de problemas sob modelos lineares hierárquicos

RMP: QQplot com envelope

−3 −2 −1 0 1 2 3

−20

24

quantil da distribuição N(0,1)

quan

til do

resíd

uo m

argina

l pad

roniza

do

261

582

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 19: Mais resoluções de problemas sob modelos lineares hierárquicos

RCP: graficos de diagnostico

0 500 1000 1500

−20

24

índice

resídu

o con

dicion

al pa

droniz

ado

−2 −1 0 1 2

−20

24

valor predito (condicional)

resídu

o con

dicion

al pa

droniz

ado

resíduo condicional padronizado

dens

idade

−2 0 2 4

050

150

250

350

−20

24

resídu

o con

dicion

al pa

droniz

ado

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 20: Mais resoluções de problemas sob modelos lineares hierárquicos

RMP: QQplot com envelopes

−3 −2 −1 0 1 2 3

−20

24

quantil da distribuição N(0,1)

quan

til do

resíd

uo co

ndici

onal

padro

nizad

o

261

582

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 21: Mais resoluções de problemas sob modelos lineares hierárquicos

Estimativas pontuais dos efeitos aleatorios

2 4 6 8 10 14

−0.2

0.00.2

0.4

u0j−intercepto

escola

estim

ativa

2 4 6 8 10 14

−0.08

−0.06

−0.04

−0.02

0.00

0.02

0.04

0.06

u1j−coeficiente angular

escola

estim

ativa

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 22: Mais resoluções de problemas sob modelos lineares hierárquicos

Estimativas pontuais e intervalares dos efeitos aleatoriosschoolid

2750

2180

4280

3780

3140

3950

2380

4330

3720

3020

4010

3900

4390

2820

2540

−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6

(Intercept)

−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6

I(grade − 2)

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 23: Mais resoluções de problemas sob modelos lineares hierárquicos

Dispersao entre as estimativas dos efeitos aleatorios

−0.2 0.0 0.2 0.4

−0.08

−0.06

−0.04

−0.02

0.00

0.02

0.04

0.06

cor. = 0.725

efeitos aleatórios (u0j:intercepto)

efeito

s alea

tórios

(u1j:

coefi

ciente

angu

lar)

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 24: Mais resoluções de problemas sob modelos lineares hierárquicos

Box-plots das estimativas dos efeitos aleatorios−0

.20.0

0.20.4

u0j−intercepto

estim

ativa

s

−0.08

−0.06

−0.04

−0.02

0.00

0.02

0.04

0.06

u1j−coeficiente angular

estim

ativa

s

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 25: Mais resoluções de problemas sob modelos lineares hierárquicos

QQplot com envelopes das estimativas dos EA’s

−1 0 1

−0.2

0.00.2

0.4

u0j−intercepto, KS : 0.6215

quantil da N(0,1)

quan

til da

distr

ibuiçã

o do e

stima

dor −

méd

ia = 0

, dp=

1

3

5

−1 0 1

−0.08

−0.06

−0.04

−0.02

0.00

0.02

0.04

0.06

u1j−coef. angular, KS : 0.7648

quantil da N(0,1)

quan

til da

distr

ibuiçã

o do e

stima

dor −

méd

ia = 0

, dp=

1

13

4

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 26: Mais resoluções de problemas sob modelos lineares hierárquicos

Comentarios

O RCM nao apresenta maiores problemas (eventualmente considerar

uma distribuicao de caudas pesadas, com a t de Student, normal

potencia etc).

O RCP e o RMP apresentam asssimetria positiva e

heterocedasticidade.

Pelos graficos dos valores preditos dos efeitos aleatorios, e pelos

resultados acima, aparentemente, ha ausencia de normalidade nos

efeitos aleatorios.

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos

Page 27: Mais resoluções de problemas sob modelos lineares hierárquicos

Comentarios

Contudo, aparentemente, os resultados indicam que os interceptos e

os coeficientes angulares variam ao longo das escolas.

Sugestoes: utilizar distribuicao de caudas pesadas para os erros

condicionais (ξ) ou a distribuicao dos efeitos aleatorios (u) (alguma

distribuicao assimetrica).

Prof. Caio Azevedo

Mais resolucoes de problemas sob modelos lineares hierarquicos