Testes de significância com dados multivariados · HironPereiraFariaseTalitaT.Fernandes...

Testes de significância com dados multivariados

Hiron Pereira Farias e Talita T. Fernandes

Wednesday, January 20, 2016

Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadosWednesday, January 20, 2016 1 / 32

Teste de Hipóteses

Em muitas situações temos interesse em tomar a decisão de aceitar ourejeitar determinada afirmação baseando-se em um conjunto de evidências.

A construção de um teste de hipóteses, para um parâmetro populacional,pode ser colocado do seguinte modo. Existe uma variável X associada adada população e tem-se uma hipótese sobre determinado parâmetro θdessa população. Por exemplo, afirmamos que o verdadeiro valor de θ é θ0 .Colhe-se uma amostra aleatória de elementos dessa população, e com eladeseja-se comprovar ou não tal hipótese.


Qualquer que seja a decisão tomada, estamos sujeitos a cometer erros. Sãodois os erros que podem ser cometidos ao se realizar um teste de hipótese,são eles:

Erro tipo I: rejeitar a hipótese nula quando essa é verdadeira. Chamaremosde α a probabilidade de cometer esse erro, isto é,

α = P(erro tipo I) = P(rejeitar H0|H0 é verdadeira).

Erro tipo II: não rejeitar H0 quando H0 é falsa. A probabilidade de cometeresse erro é denotado por β, logo

β = P(erro tipo II) = P(não rejeitar H0|H0 é falsa).


O objetivo do teste de hipótese é dizer, usando uma estatística θ̂, se ahipótese H0 é ou não aceitável. Essa decisão é tomada através daconsideração de uma região crítica RC. Caso o valor observado daestatística pertença a essa região, rejeitamos H0; caso contrário, nãorejeitamos H0. Esta região é construída de modo que P(θ̂ ∈ RC |H0 éverdadeira) seja igual a α, fixado a priori.


A probabilidade α de cometer um erro de tipo I é um valor arbitrário erecebe o nome de nível de significância ou tamanho do teste. Oresultado da amostra é tanto mais significante para rejeitar H0 quantomenor for esse nível α, ou seja, quanto menor α menor é a probabilidade dese obter uma amostra com estatística (estimativa) pertencente à regiãocrítica, sendo pouco provável a obtenção de uma amostra da populaçãopara a qual H0 seja verdadeira. Geralmente, o valor de α é fixado em 10%,5% ou 1%.


Passos para construção de um teste de hipóteses

1 Estabelecer as hipóteses nula e alternativa;2 Fixar α;3 Definir a forma da região crítica, com base na hipótese alternativa;4 Identificar a distribuição do estimador e obter sua estimativa;5 Concluir o teste com base na estimativa e na região crítica.


P-valor

A idéia consiste em calcular, supondo que a hipótese nula seja verdadeira, aprobabilidade de se obter estimativas mais desfavoráveis ou extremas (à luzda hipótese alternativa) do que a que está sendo fornecida pela amostra.Esta probabilidade será o P-valor, denotado por P.

Valores pequenos de P evidenciam que a hipótese nula é falsa, pois,sendo aamostra nossa ferramenta de inferência sobre a população,ela fornece umaestimativa que teria probabilidade muito pequena de acontecer, se H0 fosseverdadeira. O conceito do que é “pequeno” fica a cargo do pesquisador, queassim decide qual α usar para comparar com o valor P. Daremos agora umadefinição formal de um valor P.

definição: O P-valor é o menor nível de significância que conduz à rejeiçãoda hipótese nula H0 com dados fornecidos pela amostra. Assim, um valor Pcarrega informação sobre o peso da evidência contra H0.


Comparação de valores médios para duas amostras: o casounivariável

Considere os dados na Tabela 1.1 sobre as medidas(em mm) do corpo de 49pardocas fêmeas, após uma forte tempestade. Em que:

X1: comprimento total;

X2: extensão alar;

X3: comprimento do bico e cabeça;

X4: comprimento do úmero;

X5: comprimento da quilha do esterno;

X6: sobreviveu (sob) ou morreu (mor).


Pacotes

rm(list=ls(all=TRUE))library(fBasics)library(xtable)library(doBy)require(biotools)

## ---## biotools version 2.2

pardocas<-read.table("E:/Documents/ESALQ/Hiron/pardocas.txt",h=T,skip=2)pardocas$X6<- factor(c(rep('sob',21),rep('mor',28)))


Leitura

head(pardocas,3)

## X1 X2 X3 X4 X5 X6## 1 156 245 31.6 18.5 20.5 sob## 2 154 240 30.4 17.9 19.6 sob## 3 153 240 31.0 18.4 20.6 sob

tail(pardocas,3)

## X1 X2 X3 X4 X5 X6## 47 153 237 30.6 18.6 20.4 mor## 48 162 245 32.5 18.5 21.1 mor## 49 164 248 32.3 18.8 20.9 mor

str(pardocas)

## 'data.frame': 49 obs. of 6 variables:## $ X1: int 156 154 153 153 155 163 157 155 164 158 ...## $ X2: int 245 240 240 236 243 247 238 239 248 238 ...## $ X3: num 31.6 30.4 31 30.9 31.5 32 30.9 32.8 32.7 31 ...## $ X4: num 18.5 17.9 18.4 17.7 18.6 19 18.4 18.6 19.1 18.8 ...## $ X5: num 20.5 19.6 20.6 20.2 20.3 20.9 20.2 21.2 21.1 22 ...## $ X6: Factor w/ 2 levels "mor","sob": 2 2 2 2 2 2 2 2 2 2 ...

attach(pardocas)


Leitura

str(pardocas)

## 'data.frame': 49 obs. of 6 variables:## $ X1: int 156 154 153 153 155 163 157 155 164 158 ...## $ X2: int 245 240 240 236 243 247 238 239 248 238 ...## $ X3: num 31.6 30.4 31 30.9 31.5 32 30.9 32.8 32.7 31 ...## $ X4: num 18.5 17.9 18.4 17.7 18.6 19 18.4 18.6 19.1 18.8 ...## $ X5: num 20.5 19.6 20.6 20.2 20.3 20.9 20.2 21.2 21.1 22 ...## $ X6: Factor w/ 2 levels "mor","sob": 2 2 2 2 2 2 2 2 2 2 ...

attach(pardocas)


Vetores de Médias e matrizes de covariâncias

Suponha que existem p variávies X1,X2, ...,Xp, sendo consideradas, e queuma amostra de n valores para cada uma destas variáveis está disponível.

x j = x1j + x2j + . . .+ xnjn = 1

n

n∑i=1

xij , j = 1, 2, ..., p (1)

S2j = 1

n − 1

n∑i=1

(xij − x j)2, j = 1, 2, ..., p (2)

cj,k = 1n − 1

n∑i=1

(xij − x j)(xik − xk), k = 1, 2, ..., p (3)

rj,k = cj,ksjsk

, k = 1, 2, ..., p (4)


Mediana

Seja X a variável de interesse e x1, x2, x3, ..., xn valores observados davariável X.Impondo a ordenação

x1 ≤ x2 ≤ x3 ≤ . . . ≤ xn

A mediana é o valor observado que assumi a posição (n+12 ) e será expresso

por:

M = Xp + q|X(p+1) − Xp|. (5)

em que p e a parte inteira e q a parte decimal na divisão de (n + 1) por 2.


Padronização e Desvio Absoluto da Mediana

A Padronização é uma transformação nos valores observados, constuituídasubtraíndo cada valor observado pela média do conjunto e dividida pelodesvio padrão, esta transformação será denotada por z, e expressa por

zj = xij − x jSj

, j = 1, 2, ..., p (6)

O desvio absoluto da mediana (dm) é o valor absoluto da diferença entrecada valor observado da variável e sua mediana

dmj = |xij −Mj |, j = 1, 2, ..., p (7)


Estatística Descritiva

resumo1<-round(basicStats(pardocas[,-6]),2)pardocas.sob<-subset(pardocas,X6=="sob")resumo2<-round(basicStats(pardocas.sob[,-6]),2)pardocas.mor<-subset(pardocas,X6=="mor")resumo3<-round(basicStats(pardocas.mor[,-6]),2)cov_sob<-round(var(pardocas.sob[,-6]),4)cov_mor<-round(var(pardocas.mor[,-6]),4)cor_sob<-round(cor(pardocas.sob[,-6]),4)cor_mor<-round(cor(pardocas.mor[,-6]),4)


ps<-pardocas.sob$X1n1<-length(ps)pm<-pardocas.mor$X1n2<-length(pm)res1<-summaryBy(X1~X6,FUN=c(mean,var),data=pardocas.sob,na.rm=F)res2<-summaryBy(X1~X6,FUN=c(mean,var),data=pardocas.mor,na.rm=F)rbind<-rbind(res1,res2)


−5 0 5 10 15 20 25

0.00

0.02

0.04

0.06

0.08

0.10

0.12

Gráfico das Distribuições f(x)

FIGURA 2

f(x)

f(x) =1

3 2πe

−12(x−10

3)2

f(x) =1

4 2πe

−12(x−10

4)2


X1 X2 X3 X4 X5nobs 49.00 49.00 49.00 49.00 49.00NAs 0.00 0.00 0.00 0.00 0.00

Minimum 152.00 230.00 30.10 17.20 18.60Maximum 165.00 252.00 33.40 19.80 23.101. Quartile 155.00 238.00 30.90 18.10 20.203. Quartile 161.00 245.00 32.00 18.80 21.50

Mean 157.98 241.33 31.46 18.47 20.83Median 158.00 242.00 31.50 18.50 20.70

Sum 7741.00 11825.00 1541.50 905.00 1020.50SE Mean 0.52 0.72 0.11 0.08 0.14

LCL Mean 156.93 239.87 31.23 18.31 20.54UCL Mean 159.03 242.78 31.69 18.63 21.11Variance 13.35 25.68 0.63 0.32 0.98

Stdev 3.65 5.07 0.79 0.56 0.99Skewness 0.14 -0.13 0.37 -0.05 0.23Kurtosis -1.20 -0.69 -0.61 -0.12 -0.37


Médias

Pardocas sobreviventes

Variável X1 X2 X3 X4 X5Médias 157.38 241.00 31.43 18.50 20.81

Pardocas mortas

variável X1 X2 X3 X4 X5Médias 158.43 241.57 31.48 18.45 20.84


Matrizes de variâncias e covariânciasTabela de covariância das pardocas sobreviventes

cov X1 X2 X3 X4 X5X1 11.05 9.10 1.56 0.87 1.29X2 9.10 17.50 1.91 1.31 0.88X3 1.56 1.91 0.53 0.19 0.24X4 0.87 1.31 0.19 0.18 0.13X5 1.29 0.88 0.24 0.13 0.57

Tabela de covariância das pardocas mortas

cov X1 X2 X3 X4 X5X1 15.07 17.19 2.24 1.75 2.93X2 17.19 32.55 3.40 2.95 4.07X3 2.24 3.40 0.73 0.47 0.56X4 1.75 2.95 0.47 0.43 0.51X5 2.93 4.07 0.56 0.51 1.32


Matrizes de correlaçõesTabela de correlções das pardocas sobreviventes

cor X1 X2 X3 X4 X5X1 1.00 0.65 0.64 0.62 0.51X2 0.65 1.00 0.63 0.75 0.28X3 0.64 0.63 1.00 0.62 0.43X4 0.62 0.75 0.62 1.00 0.42X5 0.51 0.28 0.43 0.42 1.00

Tabela de correlações das pardocas mortas

cor X1 X2 X3 X4 X5X1 1.00 0.78 0.68 0.68 0.66X2 0.78 1.00 0.70 0.78 0.62X3 0.68 0.70 1.00 0.83 0.57X4 0.68 0.78 0.83 1.00 0.67X5 0.66 0.62 0.57 0.67 1.00


Shapiro (H0: Os dados provem de uma pop. com dist.normal)

shapiro.test(ps)

#### Shapiro-Wilk normality test#### data: ps## W = 0.93397, p-value = 0.1653

shapiro.test(pm)

#### Shapiro-Wilk normality test#### data: pm## W = 0.93835, p-value = 0.1004Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadosWednesday, January 20, 2016 22 / 32

TESTE F ( H0: As variâncias são iguais)

varianceTest(pm,ps)

#### Title:## F Test of Variances#### Test Results:## PARAMETER:## Hypothesized Ratio: 1## Numerator df: 27## Denumerator df: 20## SAMPLE ESTIMATES:## Ratio of Variances: 1.364## STATISTIC:## F: 1.364## P VALUE:## Alternative Two-Sided: 0.4788## Alternative Less: 0.7606## Alternative Greater: 0.2394## CONFIDENCE INTERVAL:## Two-Sided: 0.5743, 3.0734## Less: 0, 2.6919## Greater: 0.6626, Inf#### Description:## Fri Jan 22 16:15:10 2016


TESTE t de Student (H0: As médias são iguais)

t.test(pm,ps,alternative ="two.sided",mu = 0, paired = FALSE,var.equal = TRUE, conf.level = 0.95)

#### Two Sample t-test#### data: pm and ps## t = 0.99295, df = 47, p-value = 0.3258## alternative hypothesis: true difference in means is not equal to 0## 95 percent confidence interval:## -1.074874 3.170113## sample estimates:## mean of x mean of y## 158.4286 157.3810


Comparação de valores médios para duas amostras: O casomultivariado

Consideremos p variáveis X1,X2, ...,Xp e duas amostras de tamanhos n1 en2. Então há dois vetores de médias amostrais, x̄1 e x̄2 duas matrizes decovariâncias amostrais, C1 e C2.

Assumindo que as matrizes de covariâncias populacionais são as mesmaspara ambas populações, uma estimativa combinada desta matriz é

C = (n1 − 1)C1 + (n2 − 1)C2(n1 + n2 − 2) (8)

A estatística T 2 de Hotteling é então definida como

T 2 = n1n2(x̄1 − x̄2)′C−1(x̄1 − x̄2)(n1 + n2) (9)


Estatística F

Um valor significante para a estatística T 2 evidência de que os dois vetoresde médias populacionais são diferentes. Sob a hipótese de que os vetores demédias populacionais são iguais é verdadeira, então a estatísticatransformada

F = (n1 + n2 − p − 1)T 2

(n1 + n2 − 2)p (10)

segue uma distribuição F com p e (n1 + n2 − p − 1) gl.


Comparação da variação para duas ou mais amostras

O teste M de Box é o mais conhecido para comparar a varição em váriasamostras, ele pode ser usado com uma ou varias variáveis, com duas oumais amostras. Para m amostras, a estatística M é dada pela equação

M =∏m

j=1 |Ci |(ni−1)/2

|C|(n−m)/2 (11)

em que ni é o tamanho da i-ésima amostra, Ci é a covariância amostralpara a i-ésima amostra, C é a matriz de covariâncias combinada

C =

n∑i=1

(ni − 1)Ci

(n −m)


Comparação de médias para várias amostrasQuando há várias variáveis e várias amostras, há quatro teste que sãocomumente usados para testar a hipótese de que todas as amostras vêm depopulações com mesmo vetor médio.

Teste: Lambda de Wilks

Estatística:

Λ = |W||T| (12)

em que,

W: Matriz das somas de quadrados e de produtos cruzados do resíduo;

T: Matriz das somas de quadrados e produtos cruzados dos totais.

B: Matriz das somas de quadrados e produtos de tratamentosHiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadosWednesday, January 20, 2016 28 / 32

Sejam λ1, ..., λp os autovalores da matriz W−1B . Então o lambda deWilks pode também ser expresso como:

Λ =p∏

i=1

1(1 + λi )

(13)

Maior raiz de Roy;

λ1 = max(λ1, λ2, ..., λp) (14)Traço de Pillai;

V =p∑

i=1

λi(1 + λi )

(15)

Traço de Lawley-Hotelling.

U =p∑

i=1λi (16)


Aplicação

Em um ensaio de fertilização em vasos, inteiramente casualizado, com 3tratamentos (A-testemunha; B-turfa fermentada; C-turfa natural) e com 5repetições. Determinaram-se nas plantas colhidas os teores de Nitrogênio(X1) e Fósforo (X2), que constam na tabela1.


read.table("E:/Documents/ESALQ/Hiron/turfas.txt",h=T)

## Trat X1 X2## 1 A 4.63 0.95## 2 A 4.38 0.89## 3 A 4.94 1.01## 4 A 4.96 1.23## 5 A 4.48 0.94## 6 B 6.03 1.08## 7 B 5.96 1.05## 8 B 6.16 1.08## 9 B 6.33 1.19## 10 B 6.08 1.08## 11 C 4.71 0.96## 12 C 4.81 0.93## 13 C 4.49 0.87## 14 C 4.43 0.82## 15 C 4.56 0.91


Testes de significância com dados multivariados · HironPereiraFariaseTalitaT.Fernandes...

Documents

Transcript of Testes de significância com dados multivariados · HironPereiraFariaseTalitaT.Fernandes...