Resenha Modelos Lineares Generalizadosgiapaula/slides_resenha_mlgs.pdf · O objetivo desta palestra...
Transcript of Resenha Modelos Lineares Generalizadosgiapaula/slides_resenha_mlgs.pdf · O objetivo desta palestra...
Resenha Modelos Lineares Generalizados
Gilberto A. Paula
Departamento de EstatísticaIME-USP, Brasil
2o Semestre 2014
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 1 / 75
Introdução
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 2 / 75
Introdução
Introdução
Objetivos
O objetivo desta palestra inaugural é fazer uma resenha dos ModelosLineares Generalizados (MLGs) criados há 42 anos por Nelder eWedderburn (1972).Após uma breve introdução dos MLGs apresentaremos em ordemcronológica algumas das principais classes de modelos de regressãoque foram motivadas pelos MLGs. Algumas dessas classes serãoestudadas na disciplina Modelos Lineares Generalizados. Exemplosilustrativos são também apresentados ao longo do texto.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 3 / 75
Introdução
Introdução
Antes dos MLGs
Os MLGs foram criados com o objetivo de reunir numa mesma famíliavários modelos estatísticos que eram tratados separadamente.Em geral, nas análises de regressão, procurava-se algum tipo detransformação que levasse à normalidade, tais como a transformaçãode Box-Cox (1964) dada abaixo
z =
{
yλ−1λ
se λ 6= 0logy se λ = 0,
em que y > 0 e λ é uma constante desconhecida.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 4 / 75
Exemplos MLGs
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 5 / 75
Exemplos MLGs
Exemplos MLGs
Modelo Logístico Linear
(i) yiind∼ Be(µi) (i = 1, . . . , n),
(ii) µi =exp(ηi )
1+exp(ηi ), ηi = x⊤
i β,
em que (0 < µi < 1).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 6 / 75
Exemplos MLGs
Exemplos MLGs
Modelo Logístico Linear
(i) yiind∼ Be(µi) (i = 1, . . . , n),
(ii) µi =exp(ηi )
1+exp(ηi ), ηi = x⊤
i β,
em que (0 < µi < 1).
Modelo Recíproco Gama
(i) yiind∼ G(µi , φ) (i = 1, . . . , n),
(ii) µi = η−1i , ηi = x⊤
i β,
em que (µi > 0) e (yi > 0).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 6 / 75
Exemplos MLGs
Exemplos MLGs
Modelo Log-Linear de Poisson
(i) yiind∼ P(µi) (i = 1, . . . , n),
(ii) µi = exp(ηi), ηi = x⊤i β,
em que (yi = 0, 1, 2, . . .), (µi > 0) e (Var(yi) = µi).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 7 / 75
Exemplos MLGs
Exemplos MLGs
Modelo Log-Linear de Poisson
(i) yiind∼ P(µi) (i = 1, . . . , n),
(ii) µi = exp(ηi), ηi = x⊤i β,
em que (yi = 0, 1, 2, . . .), (µi > 0) e (Var(yi) = µi).
Modelo Log-Linear Binomial Negativo
(i) yiind∼ BN(µi , φ) (i = 1, . . . , n),
(ii) µi = exp(ηi), ηi = x⊤i β,
em que (yi = 0, 1, 2, . . .), (µi > 0) e (Var(yi) = µi +µ2
iφ).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 7 / 75
Um Exemplo Simples
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 8 / 75
Um Exemplo Simples
Um Exemplo Simples
Exposição de Bactérias
Vamos considerar um exemplo em que modelos de regressão normallinear são comparados com um modelo log-linear de Poisson paraajustar dados de contagem.
resposta: número de bactérias sobreviventes em amostras de umproduto elimentício exposto a uma temperatura de 300oF.
variável explicativa: tempo de exposição do produto (em minutos).
(Montgomery, Peck e Vining, 2001) (Paula, 2013a).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 9 / 75
Um Exemplo Simples
Um Exemplo Simples
Descrição dos Dados
Bactérias 175 108 95 82 71 50Exposição 1 2 3 4 5 6Bactérias 49 31 28 17 16 11Exposição 7 8 9 10 11 12
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 10 / 75
Um Exemplo Simples
Um Exemplo Simples
Descrição dos Dados
Bactérias 175 108 95 82 71 50Exposição 1 2 3 4 5 6Bactérias 49 31 28 17 16 11Exposição 7 8 9 10 11 12
Gráfico de Dispersão
Tempo de Exposicao
Num
ero
de B
acte
rias
2 4 6 8 10 12
5010
015
0
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 10 / 75
Um Exemplo Simples
Um Exemplo Simples
Ajuste Modelos Normais
Com base na aproximação da Poisson pela normal vamos proporinicialmente os seguintes modelos:
√yi = α+ βtempoi + ǫi
e √yi = α+ βtempoi + γtempo2
i + ǫi ,
em que ǫiind∼ N(0, σ2).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 11 / 75
Um Exemplo Simples
Resíduos Modelos Normais
Percentil da N(0,1)
Res
iduo
Stu
dent
izad
o
-1 0 1
-20
24
6
(Linear)Percentil da N(0,1)
Res
iduo
Stu
dent
izad
o-1 0 1
-20
24
(Quadratico)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 12 / 75
Um Exemplo Simples
Um Exemplo Simples
Modelo Log-linear de Poisson
Vamos supor agora o seguinte modelo log-linear de Poisson:
logµi = α+ βtempoi ,
em que yiind∼ P(µi). As estimativas desse modelo são apresentadas na
tabela abaixo.
Parâmetro Estimativa E/E.Padrãoα 5,30 88,34β -0,23 -23,00
Desvio 8,42 (10 g.l.)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 13 / 75
Um Exemplo Simples
Resíduos Modelo Log-Linear de Poisson
Percentil da N(0,1)
Com
pone
nte
do D
esvi
o
-1 0 1
-2-1
01
23
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 14 / 75
Um Exemplo Simples
Um Exemplo Simples
Interpretação Modelo de Poisson
O modelo ajustado fica então dado por
µ̂(x) = e5,30−0,23x ,
em que x denota o tempo de exposição.Logo, se diminuirmos de uma unidade o tempo de exposição avariação no valor esperado fica dada por
µ̂(x − 1)µ̂(x)
= e0,23 = 1, 259.
Ou seja, o número esperado de sobreviventes aumentaaproximadamente 25,9%.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 15 / 75
Um Exemplo Simples
Curva Ajustada Modelo Log-Linear de Poisson
Tempo de Exposicao
Nu
me
ro d
e B
acte
ria
s
2 4 6 8 10 12
50
10
01
50
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 16 / 75
Contribuições dos MLGs
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 17 / 75
Contribuições dos MLGs
Constribuições dos MLGs
Algumas Contribuições
Ligação entre a média e o preditor linear: µi = g−1(ηi). Para cadadistribuição da família exponencial novos modelos podem sergerados variando-se a função de ligação g(·).Função desvio: D(y; µ̂) = 2{L(y, y)− L(µ̂, y)} =
∑ni=1 d2(yi , µ̂i).
É uma distância entre as (log) verossimilhanças do modelosaturado e do modelo postulado. Para alguns modelos adistribuição do desvio é uma qui-quadrado facilitando avaliar aqualidade do ajuste.
Resíduo componente do desvio: tDi = ±√
d2(yi , µ̂i). Esse resíduoé muito utilizado para detectar pontos aberrantes e para avaliar aadequação da distribuição assumida para a resposta.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 18 / 75
Contribuições dos MLGs
Contribuições dos MLGs
Algumas Contribuições
Função de variância: V (µ). Caracteriza a distribuição da famíliaexponencial. Ou seja, para cada V (µ) existe apenas umadistribuição na família exponencial e vice-versa. Além disso,quando φ → ∞ tem-se que
√φ(Y − µ) →d N(0,V (µ))
(Jørgensen, 1987).
Processo iterativo na forma de mínimos quadrados reponderados.A estimativa de máxima verossimilhança β̂ pode ser obtidaatravés do seguinte processo iterativo:
β(m+1) = (X⊤W(m)X)−1X⊤W(m)z(m),
para m = 0, 1, . . . , X é a matriz modelo, W é a matriz de pesos e za variável dependende modificada. Esse processo iterativo éinicializado nos próprios valores observados e em geral convergeem um número finito de passos.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 19 / 75
Contribuições dos MLGs
Modelos de Quase-Verosimilhança
Definição
Os modelos de quase-verossimilhança podem ser definidos daseguinte maneira:
(i) yiind∼ QV(µi , σ
2) (i = 1, . . . , n),E(yi) = µi e Var(yi) = σ2V (µi),
(ii) µi = g−1(ηi), ηi = x⊤i β,
em que g(·) função de ligação e σ2 > 0 é o parâmetro de dispersão. Oparâmetro β do preditor linear pode ser estimado através de umprocesso iterativo de mínimos quadrados reponderados similar aosMLGs.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 20 / 75
Contribuições dos MLGs
Aplicação
Descrição
Seja yij a proporção da área afetada da folha da cevada da variedade jno local i (i = 1, . . . , 9 e j = 1, . . . , 10) (McCullagh e Nelder, 1989,Tabela 9.2). Como 0 ≤ yij ≤ 1 propomos o seguinte modelo de QV:
(i) yijind∼ QV(µij , σ
2) (0 < µij < 1),E(yij) = µij e Var(yij) = σ2V (µij),
(ii) µij =exp(ηij )
1+exp(ηij ), ηij = α+ βi + γj .
Vamos comparar os ajustes com V (µij) = µij(1 − µij) eV (µij) = µ2
ij (1 − µij)2.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 21 / 75
Contribuições dos MLGs
Diagnóstico V (µij) = µij(1 − µij)
0 20 40 60 80
0.0
0.5
1.0
1.5
Índice
Dis
tânc
ia d
e C
ook
38
65
−8 −6 −4 −2 0 2
−3−2
−10
12
3
Preditor Linear
Res
íduo
de
Pear
son
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 22 / 75
Contribuições dos MLGs
Diagnóstico V (µij) = µ2ij (1 − µij)
2
0 20 40 60 80
0.0
0.2
0.4
0.6
0.8
1.0
Índice
Dis
tânc
ia d
e C
ook
24
52
65
76
−8 −6 −4 −2 0 2
−3−2
−10
12
3
Preditor Linear
Res
íduo
de
Pear
son
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 23 / 75
Equações de Estimação Generalizadas
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 24 / 75
Equações de Estimação Generalizadas
Equações de Estimação Generalizadas
Definição
Liang e Zeger (1986) propuseram as Equações de EstimaçãoGeneralizadas (EEGs) que são uma extensão dos modelos de QVpara dados correlacionados. Supondo que y i = (yi1, . . . , yini )
⊤
correspondem às ni respostas do i-ésimo indivíduo (ou grupo) asEEGs saem do seguinte modelo de QV:
(i) yij ∼ QV(µij , σ2) (i = 1, . . . , n), (j = 1, . . . , ni),
E(yij) = µij e Var(yij) = σ2V (µij),
(ii) µij = g−1(ηij), ηij = x⊤ij β,
(iii) corr(Yi) = Ri(ρ), em que ρ = (ρ1, . . . , ρq)⊤.
Ri(ρ): matriz trabalho.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 25 / 75
Equações de Estimação Generalizadas
Aplicação
Descrição
Considere os dados abaixo descritos em Myers, Montgomery e Vining(2002), em que pacientes com problemas respiratórios receberamdois tratamentos.
Visita 1 Visita 2 Visita 3 Visita 4Droga Ativa 22/27 13/27 5/27 1/27Placebo 20/29 18/29 21/29 15/29
Os pacientes foram aleatorizados da seguinte maneira:27 receberam uma droga ativa e 29 receberam placebo. Cadapaciente foi observado em quatro ocasiões em que mediu-se acondição respiratória (boa ou ruim).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 26 / 75
Equações de Estimação Generalizadas
Aplicação
Modelo Proposto
Variáveis observadas para cada paciente: Trat (=0 droga ativa, =1placebo), Idade (em anos), Gênero (=0 feminino, =1 masculino) eBase (=0 ausência, =1 presença).Seja yij a condição respiratória (=1 ruim, =0 boa) do i-ésimo pacientena j-ésima ocasião, i = 1, . . . , 56 e j = 1, 2, 3, 4. Propomos o seguintemodelo de QV:
(i) yij ∼ Be(µi) (0 < µi < 1),
(ii) µi =exp(ηi )
1+exp(ηi ), em que
ηi = α+ β1Idadei + β2Trati + β3Generoi + β4Basei ,
(iii) corr(yij , yij ′) = ρ|j−j ′| para j 6= j ′ (AR(1)),
estrutura de correlação autoregressiva de 1a ordem.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 27 / 75
Equações de Estimação Generalizadas
Aplicação
Resultados
Estimativas dos ajustes através de modelos logísticos supondoindependência e estrutura de correlação AR(1).
Correlação AR(1) IndependênciaEfeito Estimativa z-robusto Estimativa z-robustoIntercepto -0,377 -0,386 -0,404 -0,474Idade 0,043 3,380 0,048 3,443Placebo 1,001 3,066 1,070 3,425Gênero -2,003 -2,988 -2,178 -3,162Base 0,492 0,586 0,498 0,977ρ 0,275 0,00
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 28 / 75
Equações de Estimação Generalizadas
Resíduos Modelo Logístico
−3 −2 −1 0 1 2 3
−6−4
−20
2
Percentil da N(0,1)
Res
íduo
de
Pear
son
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 29 / 75
Equações de Estimação Generalizadas
Distância de Cook Modelo Logístico
0 10 20 30 40 50
0.0
0.1
0.2
0.3
0.4
0.5
Unidade Experimental
Dis
tânc
ia d
e C
ook
(18,4)
(28,4)
(53,4)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 30 / 75
Modelos Aditivos Generalizados
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 31 / 75
Modelos Aditivos Generalizados
Modelos Aditivos Generalizados
Definição
Hastie e Tibshirane (1990) propuseram substituir o preditor linear dosMLGs por um preditor aditivo formado por funções não paramétricasf1(x1), . . . , fp(xp) dos valores x1, . . . , xp de variáveis explicativas (porexemplo splines cúbicos).Essa nova classe de modelos de regressão é definida por:
(i) yiind∼ FE(µi , φ), (i = 1, . . . , n),
(ii) µi = g−1(ηi),
em que ηi = α+ f1(x1i) + · · ·+ fp(xpi).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 32 / 75
Modelos Aditivos Generalizados
B-Splines
Definição
As funções f (x) em geral assumem a forma f (x) =∑r
ℓ=1 bℓ(x)γℓ, emque b1(x), . . . , br (x) é a base que depende dos valores de x eγ1, . . . , γr são parâmetros a serem estimados. O logaritmo da funçãode verossimilhança penalizada assume a forma
Lp(θ) = L(θ)− 12
p∑
j=1
λj f⊤j Sj f j ,
em que θ = (α, f⊤1 , . . . , f⊤p )
⊤, f j = (fj(x0j1), . . . , fj(x
0jrj))⊤, Sj é uma matriz
rj × rj que depende dos valores distintos x0j1 < . . . < x0
jrje λj são os
parâmetros de suavização.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 33 / 75
Modelos Aditivos Generalizados
Aplicação
Descrição
Considere os dados apresentados em Neter et al. (1996) sobre o perfildos clientes de uma determinada loja oriundos de 110 áreas de umacidade. O objetivo do estudo é relacionar o número de clientes emcada área (Nclientes) com as seguintes variáveis explicativas em cadaárea: número de domicílios (em mil) (Domic), renda média anual (emmil USD) (Renda), idade média dos domicílios (em anos) (Idade),distância ao concorrente mais próximo (em milhas) (Dist1) e distânciaà loja (em milhas) (Dist2).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 34 / 75
Modelos Aditivos Generalizados
Diagramas de Dispersão
Renda
Clie
nte
s
20000 60000 100000
05
10
20
30
Idade
Clie
nte
s
0 10 20 30 40 50 60
05
10
20
30
Dist1
Clie
nte
s
1 2 3 4 5 6
05
10
20
30
Dist2
Clie
nte
s
2 4 6 8 10
05
10
20
30
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 35 / 75
Modelos Aditivos Generalizados
Aplicação
Modelo Log-linear de Poisson
Supor o seguinte MLG:
(i) Nclientesiind∼ P(µi), (i = 1, . . . , 110),
(ii) logµi =α+ β1Domici + β2Rendai + β3Idadei + β4Dist1i + β5Dist2i .
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 36 / 75
Modelos Aditivos Generalizados
Aplicação
Modelo Log-linear de Poisson
Supor o seguinte MLG:
(i) Nclientesiind∼ P(µi), (i = 1, . . . , 110),
(ii) logµi =α+ β1Domici + β2Rendai + β3Idadei + β4Dist1i + β5Dist2i .
Estimativas
Efeito Parâmetro Estimativa E/E.PadrãoConstante α 2,942 14,21Domicílio β1 0,606 4,27Renda β2 -0,012 -5,54Idade β3 -0,004 -2,09Dist1 β4 0,168 6,54Dist2 β5 -0,129 -7,95
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 36 / 75
Modelos Aditivos Generalizados
Resíduos Modelo Log-linear de Poisson
Percentil da N(0,1)
Com
pone
nte
do D
esvi
o
-2 -1 0 1 2
-20
2
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 37 / 75
Modelos Aditivos Generalizados
Aplicação
Modelo Aditivo de Poisson
Supor o seguinte modelo aditivo:
(i) Nclientesiind∼ P(µi), (i = 1, . . . , 110),
(ii) logµi = α+ f1(Domici) + f2(Rendai) + f3(Idadei)+f4(Dist1i) + f5(Dist2i),
em que f1(x), . . . , f5(x) são splines cúbicos.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 38 / 75
Modelos Aditivos Generalizados
Ajustes Modelo Aditivo de Poisson
20000 40000 60000 80000 120000
−1.0
−0.5
0.0
0.5
1.0
renda
s(re
nda,
1)
0 10 20 30 40 50 60
−1.0
−0.5
0.0
0.5
1.0
idade
s(id
ade,
1)
1 2 3 4 5 6
−1.0
−0.5
0.0
0.5
1.0
dist1
s(di
st1,
3.12
)
2 4 6 8 10
−1.0
−0.5
0.0
0.5
1.0
dist2
s(di
st2,
1)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 39 / 75
Modelos Aditivos Generalizados
Comparação de Ajustes
5 10 15 20 25 30 35
510
1520
2530
Predito ajuste GLM
Pre
dito
aju
ste
GA
M
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 40 / 75
Modelos Não Lineares
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 41 / 75
Modelos Não Lineares
Modelos Não Lineares
Definição
Cordeiro e Paula (1989) propuseram os Modelos Não Lineares deFamília Exponencial, em que o preditor linear dos MLGs é substituídopor um preditor não linear. Wei (1998) agregou novos resultados aesta classe que é definida por:
(i) yiind∼ FE(µi , φ), (i = 1, . . . , n),
(ii) µi = g−1(ηi),
em que ηi = f (x i ;β) com f (x i ;β) sendo uma função não linear em β.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 42 / 75
Modelos Não Lineares
Exemplo
Mistura de Drogas
Modelo proposto por Finney (1978) para avaliar a mistura de duasdrogas A e B:
(i) yiind∼ FE(µi , φ), (i = 1, . . . , n),
(ii) g(µi) = α+ δlog{x1i + ρx2i + k√ρx1ix2i},
em que Y é a resposta, x1 e x2 representam as log-doses das drogasA e B, respectivamente, δ é a inclinação comum na relação log-dose eresposta, ρ é a potência da droga B em relação à doga A e krepresenta a interação entre as duas drogas (k = 0 ausência deinteração, k > 0 sinergismo e k < 0 antagonismo).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 43 / 75
Modelos Não Lineares
Aplicação
Descrição
Diagrama de dispersão entre o peso das lentes dos olhos (em mg) e aidade (em dias) de um tipo de coelho europeu largamente encontradona população selvagem da Austrália (Ratkowsky, 1983).
0 200 400 600 800
5010
015
020
025
0
Idade do coelho(em dias)
Pes
o da
s le
ntes
dos
olh
os d
o co
elho
(em
mg)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 44 / 75
Modelos Não Lineares
Aplicação
Modelo Proposto
Wei (1998) e Possamai (2009) propuseram o seguinte modelo nãolinear para explicar o peso médio das lentes dos olhos dos coelhos emfunção da idade:
(i) yiind∼ NI(µi , φ), (i = 1, . . . , 76),
(ii) µi = αexp{
− βxi+γ
}
ou logµi = µ− βxi+γ
,
em que Yi e xi denotam, respectivamente, o peso das lentes dosolhos e a idade do i-ésimo coelho, α é a assíntota ou o valor máximoesperado para o peso das lentes dos coelhos, β está relacionado como aumento do peso das lentes dado a idade e γ é um tipo de correçãopara a idade do coelho. Note que Var(yi) = φ−1µ3
i .
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 45 / 75
Modelos Não Lineares
Aplicação
Estimativas Modelo Não Linear
Efeito Estimativa E/E.Padrãoµ 5,63 224,96β 128,53 21,09γ 36,78 16,65
Daí podemos estimar a assíntota (tamanho máximo esperado para opeso das lentes) como sendo α̂ = 278, 66(0, 067).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 46 / 75
Modelos Não Lineares
Curva Ajustada
0 200 400 600 800
5010
015
020
025
0
Idade do coelho(em dias)
Pes
o da
s le
ntes
dos
olh
os d
o co
elho
(em
mg)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 47 / 75
Modelos Lineares Generalizados Duplos
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 48 / 75
Modelos Lineares Generalizados Duplos
MLGs Duplos
Definição
Smyth (1989) introduziu os modelos lineares generalizados duploscom modelagem conjunta da média e do parâmetro de precisão (φ) oudispersão (φ−1), os quais são definidos por:
(i) yiind∼ FE(µi , φi), (i = 1, . . . , n),
(ii) µi = g−1(ηi), ηi = x⊤i β,
(iii) φi = h−1(λi), λi = z⊤i γ,
em que x i = (xi1, . . . , xip)⊤ e zi = (zi1, . . . , ziq)
⊤ contêm valores devariáveis explicativas e β = (β1, . . . , βp)
⊤ e γ = (γ1, . . . , γq)⊤ são
parâmetros a serem estimados.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 49 / 75
Modelos Lineares Generalizados Duplos
Aplicação
Descrição
Vamos considerar um estudo desenvolvido na Faculdade de SaúdePública da USP em que 4 formas diferentes de um novo tipo de snackcom baixo teor de gordura saturada e de ácidos graxos (denotadospor B, C, D e E) foram comparados ao longo de 20 semanas com umtipo padrão (denotado por A). Neste novo produto optou-se porsubstituir, totalmente ou parcialmente, o agente responsável pelafixação do aroma do produto, a gordura vegetal hidrogenada por óleode canola. Uma das variáveis de interesse é o comportamento datextura dos produtos através da força necessária para o cisalhamento(Paula, Moura e Yamaguchi, 2004; Paula, 2013b).
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 50 / 75
Modelos Lineares Generalizados Duplos
Força de Cisalhamento pela Semana
2 4 6 8 10 12 14 16 18 20
4060
8010
012
0
Semanas
Cis
alha
men
to
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 51 / 75
Modelos Lineares Generalizados Duplos
Força de Cisalhamento segundo o Grupo
A B C D E
4060
8010
012
0
Grupo
Cis
alha
men
to
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 52 / 75
Modelos Lineares Generalizados Duplos
Tendências
5 10 15 20
4550
5560
6570
Semanas
Cis
alha
men
to M
edio
5 10 15 20
2025
30
Semanas
CV
Cis
alha
men
to
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 53 / 75
Modelos Lineares Generalizados Duplos
Aplicação
Modelo Proposto
Com base nas tendências para a média da força de cisalhamento epara o coeficiente de variação da força de cisalhamento, vamos proporo seguinte modelo:
(i) yijind∼ G(µij , φij),
(ii) µij = β0 + βi + β6semanaj + β7semana2j ,
(iii) log(φij) = γ0 + γi + γ6semanaj + γ7semana2j ,
em que Yijk denota a força de cisalhamento referente à k -ésimaréplica do i-ésimo grupo na j-ésima semana, β1 = 0 e γ1 = 0.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 54 / 75
Modelos Lineares Generalizados Duplos
Aplicação
Estimativas Modelo Gama Duplo
Média PrecisãoEfeito Estimativa E/E.Padrão Estimativa E/E.PadrãoConstante 36,990 11,53 1,560 7,27Grupo B -10,783 -6,40 0,468 2,95Grupo C -3,487 -1,98 0,050 0,31Grupo D -14,829 -9,18 0,815 5,05Grupo E -15,198 -9,54 0,817 5,06Semana 5,198 9,88 0,155 3,91Semana2 -0,189 -8,88 -0,005 -2,99
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 55 / 75
Modelos Lineares Generalizados Duplos
Resíduos para Média Modelo Gama Duplo
−3 −2 −1 0 1 2 3
−4−2
02
Percentil da N(0,1)
Com
pone
nte
do D
esvi
o
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 56 / 75
Modelos Lineares Generalizados Duplos
Resíduos para Precisão Modelo Gama Duplo
−3 −2 −1 0 1 2 3
−6−4
−20
24
Percentil da N(0,1)
Com
pone
nte
do D
esvi
o
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 57 / 75
Modelos Lineares Generalizados Mistos
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 58 / 75
Modelos Lineares Generalizados Mistos
MLGs Mistos
Definição
Breslow e Clayton (1993) propuseram os Modelos LinearesGeneralizados Mistos (MLGs Mistos) em que o preditor linear éformado por um componente fixo (paramétrico) e um componentealeatório (efeitos aleatórios). Supondo que y i = (yi1, . . . , yini )
T
correspondem às ni respostas do i-ésimo indivíduo os MLGs Mistossão definidas por:
(i) yij |b iind∼ FE(µij , φ), (i = 1, . . . , n), (j = 1, . . . , ni),
(ii) µij = g−1(ηij), ηij = x⊤ij β + z⊤ij b i ,
(iii) b iiid∼ Nq(0,D).
em que x i = (xi1, . . . , xip)⊤ e zi = (zi1, . . . , ziq)
⊤ contêm valores devariáveis explicativas, β = (β1, . . . , βp)
⊤ e b i = (bi1, . . . , biq)⊤ são os
efeitos aleatórios.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 59 / 75
Modelos Lineares Generalizados Mistos
Modelo Marginal
Descrição
Sejam fij(yij |b i ,β, φ) e f (b i |D) as f.d.p.’s de yij |b i e b i , respectivamente.Então, a f.d.p. marginal de y = (y1, . . . , yn)
T , em quey i = (yi1, . . . , yimi )
T , fica dada por (McCullogh e Searle, 2001)
f (y|β, φ,D) = Πni=1
∫
IRq{Πmi
j=1fij(yij |b i ,β, φ)}f (bi |D)db i .
O logaritmo da função de verossimilhança marginal fica dado por
L(β, φ,D) =n
∑
i=1
log∫
IRq{Πmi
j=1fij(yij |b i ,β, φ)}f (bi |D)db i .
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 60 / 75
Modelos Lineares Generalizados Mistos
Aplicação
Descrição
Hadgu e Koch(1999) discutem os resultados de um ensaio clínico com109 adultos voluntários com pré-existência de placa dentária. Nesseestudo os indivíduos foram distribuídos de forma aleatória parareceberem um líquido tipo A (34 indivíduos), um líquido tipo B (36indivíduos) e placebo (39 indivíduos). As placas dentárias de cadaindivíduo foram avaliadas e classificadas segundo um escore no iníciodo tratamento, após 3 meses e após 6 meses.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 61 / 75
Modelos Lineares Generalizados Mistos
Perfis Placas Dentárias
Período
Esco
re
0.00.51.01.52.02.53.03.5
0.00.51.01.52.02.53.03.5
0.00.51.01.52.02.53.03.5
Placebo
RINSE A
RINSE B
Início Após 3 meses Após 6 meses
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 62 / 75
Modelos Lineares Generalizados Mistos
Distribuição Inicial Placas Dentárias
2.0 2.5 3.0 3.5
0.0
0.2
0.4
0.6
0.8
1.0
1.2
Placa
Den
sida
de
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 63 / 75
Modelos Lineares Generalizados Mistos
Aplicação
Modelo Gama de Intercepto aleatório
Seja yijk o escore do k -ésimo indivíduo do i-ésimo grupo (placebo,líquido A, líquido B) e j-ésimo período (início do tratamento, após 3meses, após 6 meses), i , j = 1, 2, 3, k = 1, . . . , nij com n1j = 39,n2j = 34 e n3j = 36. Vamos propor o seguinte modelo de interceptoaleatório:
(i) yijk |bkind∼ G(µijk , φ),
(ii) logµijk = ηijk , ηijk = α+ bk + βi + γj + δij ,
(iii) bkiid∼ N(0, σ2
e),
em que bk denota efeito aleatório de indivíduo, βi , γj e δij denotam,respectivamente, os efeitos de líquido, tempo e interação, com β1 = 0,γ1 = 0, δ1j = 0 e δi1 = 0.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 64 / 75
Modelos Lineares Generalizados Mistos
Aplicação
Estimativas Modelo Gama de Intercepto Aleatório
Efeito Parâmetro Estimativa E/E.PadrãoConstante α 0,938 13,95Líquido A β2 0,020 0,21Líquido B β3 -0,026 -0,27Tempo(3M) γ2 -0,409 -5,41Tempo(6M) γ3 -0,424 -5,46A*Tempo(3M) δ22 -0,376 -3,39A*Tempo(6M) δ23 -0,319 -2,93B*Tempo(3M) δ32 -0,419 -3,72B*Tempo(6M) δ33 -0,498 -4,51Efeito aleatório σ2
e 0,064
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 65 / 75
Aplicativos
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 66 / 75
Aplicativos
Aplicativos
Detalhes
O primeiro aplicativo desenvolvido para o ajuste de MLGs GLIM estádesativado. Aplicativos com MLGs e extensões:
S-Plus (http://www.insightful.com)
R (http://www.r-project.org)
SAS (http://www.sas.com)
STATA (http://www.stata.com)
MATLAB (http://www.mathworks.com)
SUDAAN (http://www.rti.org/sudaan)
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 67 / 75
Considerações Finais
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 68 / 75
Considerações Finais
Considerações Finais
Conclusões
Os MLGs trouxeram uma nova notação para a área de Modelos deRegressão e nesses 42 anos receberam várias extensões commodificações na parte aleatória, na estrutura de correlação e nocomponente sistemático com a inclusão, por exemplo, decomponentes não paramétricos, componentes não lineares ecomponentes aleatórios.Todavia, os MLGs na sua forma original continuam sendo aplicadosnum grande número de problemas práticos com excelentes resultados.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 69 / 75
Referências
Sumário
1 Introdução
2 Exemplos MLGs
3 Um Exemplo Simples
4 Contribuições dos MLGs
5 Equações de Estimação Generalizadas
6 Modelos Aditivos Generalizados
7 Modelos Não Lineares
8 Modelos Lineares Generalizados Duplos
9 Modelos Lineares Generalizados Mistos
10 Aplicativos
11 Considerações Finais
12 Referências
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 70 / 75
Referências
Referências
Referências
Box, G. E. P. e Cox, D. R. (1964). An analysis of transformations(with discussion). Journal of the Royal Statistical Society B 26,211-252.
Breslow, N. E. e Clayton, D. G. (1993). Approximate inference ingeneralized linear mixed models. Journal of the AmericanStatistical Association 88, 9-25.
Cordeiro, G. M. e Paula, G. A. (1989). Improved likelihood ratiostatistics for exponential family nonlinear models. Biometrika 76,93-100.
Finney, D. J. (1978). Statistical Methods in Biological Assay, 3rd.Edition. Cambridge University Press, Cambridge.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 71 / 75
Referências
Referências
Referências
Hadgu, A. e Koch, G. (1999). Application of generalizedestimating equations to a dental randomized clinical trial. Journalof Biopharmaceutical Statistics 9, 161-178.
Hastie, T. e Tibshirani, R. (1990). Generalized Additive Models.Chapman and Hall, London.
Jørgensen, B. (1987). Exponential dispersion models (withdiscussion). Journal of the Royal Statistical Society B 49, 127-162.
Liang, K. Y. e Zeger, S. L. (1986). Longitudinal data analysis usinggeneralized linear models. Biometrika 73, 13-22.
McCullagh, P. e Nelder, J. A. (1989). Generalized Linear Models,2nd. Edition. Chapman and Hall, London.
McCulloch, C. E. e Searle, S. R. (2001). Linear and GeneralizedLinear Mixed Models. Wiley, New York.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 72 / 75
Referências
Referências
Referências
Montgomery, D. C.; Peck, E. A. e Vining, G. G. (2001).Introduction to Linear Regression Analysis, Third Edition. JohnWiley, New York.
Myers, R.H.; Montgomery, D. C. e Vining, G. G. (2002).Generalized Linear Models: With Applications in Engineering andthe Sciences. John Wiley, New York.
Nelder, J. A. e Wedderburn, R. W. M. (1972). Generalized linearmodels. Journal of the Royal Statistical Society A 135, 370-384.
Neter, J.; Kutner, M. H.; Nachtsheim, C. J. e Wasserman,W.(1996). Applied Linear Regression Models, 3rd Edition. Irwin,Illinois.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 73 / 75
Referências
Referências
Referências
Paula, G. A., de Moura, A. S. e Yamaguchi, A. M. (2004).Estabilidade Sensorial de Snacks Aromatizados com Óleo deCanola e Gordura Vegetal Hidrogenada, São Paulo, IME-USPRAECEA-04P05.
Paula, G. A. (2013a). Modelos de Regressão: com apoiocomputacional. IME-USP.(http://www.ime.usp.br/∼giapaula/cursospos.htm)
Paula, G. A. (2013b). On diagnostics in double generalized linearmodels. Computational Statistics and Data Analysis 68, 44-51.
Possamai, A. A. (2009). Modelos Não Lineares de FamíliaExponencial Revisitados. Dissertação de Mestrado, IME-USP.
Ratkowsky, D. A. (1983). Nonlinear Regression Modelling. MarcelDekker, New York.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 74 / 75
Referências
Referências
Referências
Smyth, G. K. (1989). Generalized linear models with varyingdispersion. Journal of the Royal Statistical Society B 51, 47-60.
Wedderburn, R. W. M. (1974). Quasi-likelihood functions,generalized linear models and the Gauss-Newton method.Biometrika 61, 439-447.
Wei, B. C. (1998). Exponential Family Nonlinear Models. LectureNotes in Statistics Vol. 130. Springer, New York.
G. A. Paula (IME-USP) Resenha MLGs 2o Semestre 2014 75 / 75