Kappa Kappa de Cohen de Cohen
Prof. Ivan Balducci
FOSJC / Unesp
Kappa p/ Avaliar Confiabilidade
Kappa é um teste de acordo
(ou de confiabilidade) inter ou intra-observador que
corrige o acordo obtido por acaso (casual)
(sob hipótese de independência)
Dr. V. Abraira, SEMERGEN, vol. 27, nº 5, mayo 2001, p. 247-249
Representação gráfica do Índice Kappa
= (Po - Pe) / (1 - Pe)
Escala do índice Kappa de Landis & Koch*
Kappa Grau de acordo<0,00 Sem acordo
0,00 - 0,20 Insignificante0,21 - 0.40 Mediano0,41 - 0,60 Moderado0,61 - 0,80 Substancial0,81 - 1,00 Quase Perfeito
* LANDIS, J.R. & KOCH, G.G. The measurement of observer agreement for categorical data. Biometrics, 33(1977)159-174.
<0.4 0.4<>0.75 >0.75
Pobre Bom Excelente
Escala do índice Kappa de Fleiss*
* FLEISS, J.L. (1981). Statistical methods for rates and proportions, 2nd ed. NY.p.216,218.
Kappa de Cohen ?
Representa a proporção de acordos observados além
do acaso em relação do máximo acordo possível além
do acaso.
é usado para avaliar a concordância ou
reprodutibilidade de instrumentos de medida cujo
resultado é categórico ( 2 ou mais categorias).
= (Po - Pe) / (1 - Pe)
Compare as duas tabelas:
médico 1
Sim Não
Médico
2
Sim 1 3
Não 2 94
médico 1
Sim Não
Médico 2
Sim 43 3
Não 2 52
Em ambas tabelas, os médicos concordam 95% das
vezes. Os dois médicos são igualmente confiáveis
nas duas tabelas?
Tabela 1Tabela 2
Cálculo de Kappa
Calculamos o acordo observado (células nas quais os observadores concordam / total das células).
Em ambas tabelas 1 e 2 é 95%.
Calculamos o acordo esperado (Pe) (acordo “by chance”) a partir dos totais marginais.
Como calcular o “n” esperado by chance em cada
célula?
H0: eventos independentes
P(AB) = P(A)P(B)
(A) …médico 2 não = 96/100(B) … médico 1 não = 97/100P(AB) = 96/100 x 97/100P(AB) = ? = 93.12
OBSERVADOS médico 1
Sim Não
médico 2
Sim 1 3 4
Não 2 94 96
3 97 100
ESPERADOS
médico 1
Sim Não
médico 2
Sim 4
Não 96
3 97 100
?
Tabela 1
H0: eventos independentes P(AB) = P(A)P(B)(A) … médico 2 sim = 4/100 e (B) … médico 1 sim = 3/100P(AB) = 4/100 x 3/100 →freq. esperada = (4)(3)/100
P(AB) = 0.12 =
ESPERADO
médico 1
Sim Não
médico 2 Yes 4
Não 93.12 96
3 97 100
(96/100) x 97 = 93.12
Tabela 1
Por subtração, todas as outras células são preenchidas automaticamente. Qualquer célula poderia ter sido escolhida para fazer o cálculo.
ESPERADO
médico 1
Sim Não
médico 2 Sim 0.12 3.88 4
Não 2.88 93.12 96
3 97 10097 - 93.12 = 3.88
4 - 3.88 = 0.12
Tabela 1
Apenas, devido ao acaso, encontram-se em acordo 93.24 das 100 observações.
ESPERADO
médico 1
Sim Não
médico 2 Sim 0.12 3.88 4
Não 2.88 93.12 96
3 97 100
0.12 + 93.12 = 93.24
Pe = 93.24 / 100
Tabela 1
Pe = 93.24/100
= (Po - Pe) / (1 - Pe)
Po = 95/100
Tabela 1
Fórmula Kappa
Acordo observado - Acordo Esperado
1 - Acordo Esperado
= 95% - 93.24% = 1.76% = 0.26
1 - 93.24% 6.76%
Tabela 1
Como interpretar um Kappa igual a 0.26?
Kappa Grau de acordo
<0,00 Sem acordo
0,00 - 0,20 Insignificante
0,21 - 0.40 Mediano
0,41 - 0,60 Moderado
0,61 - 0,80 Substancial
0,81 - 1,00 Quase Perfeito
Tabela 1
Vamos considerar agora a Tabela 2
Tabela 2
= ????
médico 1
Sim Não
Médico 2
Sim 43 3
Não 2 52
45
46
55
54
100+ =
Compare as duas tabelas:
médico 1
Sim Não
Médico
2
Sim 1 3
Não 2 94
médico 1
Sim Não
Médico 2
Sim 43 3
Não 2 52
Em ambas tabelas, os médicos concordam 95% das
vezes. Os dois médicos são igualmente confiáveis
nas duas tabelas?
Tabela 1
= 0,26
Tabela 2 = ????
médico 1
Sim Não
Médico 2
Sim 43 3
Não 2 52
Os médicos concordam 95% das vezes.
(43+52)/100
Tabela 2Qual é o valor de kappa
para essa Tabela 2?
As células que indicam acordo estão em vermelho, e somam 50.4%
REAL
médico 1
Yes Não
médico 2 Sim 20.7 25.3 46
Não 24.3 29.7 54
45 55 100
Pe = 50.4Tabela 2
20.7 = (45)(46)/100 29.7 = (55)(54)/100
Fórmula de :
= Acordo Observado – Acordo Esperado
1 - Acordo Esperado
= 95% - 50.4% = 44.6% = 0.90
1 - 50.4% 49.6%
Kappa = 0.90 é considerado um acordo excelente
Tabela 2
Termos que devem ser familiares
Kappa de CohenAcordo inter, intra-observadores
Índice de reprodutibilidade
Top Related