Componentes: Daiane Eliandro Emanuel Franciane João Jerfferson Pedro Henrique Tamires.
Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade...
Transcript of Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade...
Avaliação estatística dos mecanismos de codificação
desenvolvidos
Eliana [email protected]
E equipe (Lúcia, Regiane e Franciane)
Sumário
• Teste de comparação de duas proporções
pareadas
• Análise de correlação entre duas variáveis
• Teste de comparação de duas médias
ÍNDICE KAPPA
0 1 total
0 A B N1
(A+B)
1 C D N2
(C+D)
total N3
(A+C)
N4
(B+D)
n
K= 2(AD – BC) N1N4 + N2N3
Teste Mc Nemar
• Comparar se a discordância tem sentido:
• Compara B com C (discordâncias)
Correlação
543210-1-2-3-4
15
10
5
0
Eixo Horizontal
Eixo
Ver
tical
Diagrama de Dispersão
Covariância
A covariância é uma medida que resume a tendência e a força da relação linear entre duas variáveis.
Covariância entre X e Y: Covar(X,Y)
1/(n-1) *{ Soma [(X - média(X))*(Y - média(Y))]}
Coeficiente de Correlação
Para facilitar a relação entre duas variáveis e evitar a unidade de medida da covariância, foi definido o coeficiente de correlação corr(X,Y) ou r(X,Y) como:
r(X,Y) = covar(X,Y) / [DP(X)*DP(Y)]
Comparação de duas médias: comparação dos modelos dois a dois
O teste de duas médias é realizado para se comparar as médias de duas populações a partir da análise das médias de suas amostras. Em geral faz-se os testes sobre a diferença entre duas médias populacionais:
sendo na maioria dos casos , o que significa que testa-se a igualdade entre as médias
0D
00 D:H
01 D:H
00 D:H
01 D:H
00 D:H01 D:H
As Hipóteses Nula e Alternativa do teste são as seguintes:
Teste bilateral:
Teste unilateral à esquerda:
Teste unilateral à direita:
OBS.: No presente estudo, na comparação dos modelos será considerado o teste bilateral.
Na comparação das médias considera-se dois casos: dados emparelhados (populações correlacionadas) e dados não emparelhados (populações não correlacionadas). Neste caso, será considerada a comparação de dados emparelhados, uma vez que, os modelos propostos serão testados com o mesmo conjunto de documentos.
Duas médias pareadas: teste t
Faz-se testes de comparações de médias para dados emparelhados quando o resultado de duas amostras são relacionados dois a dois, de acordo com algum critério que fornece uma influência entre os vários pares e sobre os valores de cada par. Para cada par definido, o valor da primeira amostra está associado ao valor da segunda amostra.
Dadas duas amostras X1, X2, ..., Xn e Y1, Y2, ..., Yn, sendo as observações pareadas,ou seja, uma amostra de pares, (X1, Y1), (X2, Y2), ..., (Xn, Yn). Definindo-se a v.a. D=X-Y, tem-se a amostra D1, D2, ..., Dn, resultante das diferenças entre os valores de cada par.
Para a aplicação do teste deve-se supor que ambas as amostras são provenientes de populações com distribuição normal, assim, a variável D, supostamente, também tem distribuição normal .
Daí pode-se deduzir que
terá distribuição
Então a estatística de teste será dada por:
onde t tem distribuição t-Student com n-1 graus de liberdade.
Considere
n
ss D
Donde
onde é obtido da tabela da distribuição
t-student, considerando (n-1) graus de liberdade e tomando como o nível de significância do teste.
A regra do teste (teste bilateral) é então rejeitar H0 se
Outra maneira de tomar a decisão final sobre a hipótese nula é comparando o valor-p com um valor pré-fixado (nível de significância), usualmente 0,05. Quando o valor-p é menor que este ponto de corte, o resultado é chamado estatisticamente significante e caso contrário é dito não significante.
O valor-p (ou valor de probabilidade) é a probabilidade de obter um valor da estatística amostral de teste no mínimo tão extremo como o que resulta dos dados amostrais, na suposição da hipótese nula ser verdadeira.
Exemplo: Suponha que deseja-se comparar os modelos 1 e 2 e que a métrica utilizada tenha sido Hamming Loss (hlossj). A tabela a seguir ilustra algumas situações de aplicação de tais modelos.
No caso do teste bilateral o valo-p é a duas vezes a área da estatística de teste.
dj Cj Pj (Modelo 1) Pj (Modelo 2) Xj Yj Dj
d1 A B C A A B C 0,02 0,00 0,02
d2 A B C D A B C D H I A B D 0,04 0,02 0,02
d3 D E D F I D E 0,06 0,00 0,06… … … … … … …d50 F F G F 0,02 0,00 0,02
Sendo
dj: j-ésimo documento;
Cj: conjunto de códigos apropriados para o j-ésimo documento;
Pj (Modelo 1): conjunto de códigos preditos pelo Modelo 1 para o j-ésimo documento;
Pj (Modelo 2): conjunto de códigos preditos pelo Modelo 2 para o j-ésimo documento;
Xj: resultado da métrica obtida para Modelo 1;
Yj: resultado da métrica obtida pelo Modelo 2;
Dj: diferença entre Xj e Yj.
Suponha que:
Para o exemplo as hipóteses a serem testadas são:0210 Delomodelomod:H
0211 Delomodelomod:H
0030
020
030
050
,n
ss
,s
,D
,
DD
D
Assim,
Como t > t49; 0,025 rejeita-se H0, isto é, rejeita-se a hipótese que os modelos são iguais.
Considerando a decisão através do valor-p tem-se:
000010 ,tPpvalor
Como o valor-p < 0,05 então rejeita-se H0.
REFERÊNCIAS
BUSSAB, W. O.; MORETTIN, P. A. Estatística Básica. 5ª edição, Editora Saraiva, 2002.
MORETTIN, L. G. Estatística Básica – Volume 2 – Inferência. Editora Makron Books, 2000.
TRIOLA, M. F. Introdução à Estatística. 7ª edição, Editora LTC, 1999.