Kappa Kappa de Cohen de Cohen

Prof. Ivan Balducci

FOSJC / Unesp

Kappa p/ Avaliar Confiabilidade

Kappa é um teste de acordo

(ou de confiabilidade) inter ou intra-observador que

corrige o acordo obtido por acaso (casual)

(sob hipótese de independência)

Dr. V. Abraira, SEMERGEN, vol. 27, nº 5, mayo 2001, p. 247-249

Representação gráfica do Índice Kappa

= (Po - Pe) / (1 - Pe)

Escala do índice Kappa de Landis & Koch*

Kappa Grau de acordo<0,00 Sem acordo

0,00 - 0,20 Insignificante0,21 - 0.40 Mediano0,41 - 0,60 Moderado0,61 - 0,80 Substancial0,81 - 1,00 Quase Perfeito

* LANDIS, J.R. & KOCH, G.G. The measurement of observer agreement for categorical data. Biometrics, 33(1977)159-174.

<0.4 0.4<>0.75 >0.75

Pobre Bom Excelente

Escala do índice Kappa de Fleiss*

* FLEISS, J.L. (1981). Statistical methods for rates and proportions, 2nd ed. NY.p.216,218.

Kappa de Cohen ?

Representa a proporção de acordos observados além

do acaso em relação do máximo acordo possível além

do acaso.

é usado para avaliar a concordância ou

reprodutibilidade de instrumentos de medida cujo

resultado é categórico ( 2 ou mais categorias).

= (Po - Pe) / (1 - Pe)

Compare as duas tabelas:

médico 1

Sim Não

Médico

2

Sim 1 3

Não 2 94

médico 1

Sim Não

Médico 2

Sim 43 3

Não 2 52

Em ambas tabelas, os médicos concordam 95% das

vezes. Os dois médicos são igualmente confiáveis

nas duas tabelas?

Tabela 1Tabela 2

Cálculo de Kappa

Calculamos o acordo observado (células nas quais os observadores concordam / total das células).

Em ambas tabelas 1 e 2 é 95%.

 

Calculamos o acordo esperado (Pe) (acordo “by chance”) a partir dos totais marginais.

Como calcular o “n” esperado by chance em cada

célula?

H0: eventos independentes

P(AB) = P(A)P(B)

(A) …médico 2 não = 96/100(B) … médico 1 não = 97/100P(AB) = 96/100 x 97/100P(AB) = ? = 93.12

OBSERVADOS médico 1

Sim Não

médico 2

Sim 1 3 4

Não 2 94 96

3 97 100

ESPERADOS

médico 1

Sim Não

médico 2

Sim 4

Não 96

3 97 100

?

Tabela 1

H0: eventos independentes P(AB) = P(A)P(B)(A) … médico 2 sim = 4/100 e (B) … médico 1 sim = 3/100P(AB) = 4/100 x 3/100 →freq. esperada = (4)(3)/100

P(AB) = 0.12 =

ESPERADO

médico 1

Sim Não

médico 2 Yes 4

Não 93.12 96

3 97 100

(96/100) x 97 = 93.12

Tabela 1

Por subtração, todas as outras células são preenchidas automaticamente. Qualquer célula poderia ter sido escolhida para fazer o cálculo.

ESPERADO

médico 1

Sim Não

médico 2 Sim 0.12 3.88 4

Não 2.88 93.12 96

3 97 10097 - 93.12 = 3.88

4 - 3.88 = 0.12

Tabela 1

Apenas, devido ao acaso, encontram-se em acordo 93.24 das 100 observações.

ESPERADO

médico 1

Sim Não

médico 2 Sim 0.12 3.88 4

Não 2.88 93.12 96

3 97 100

0.12 + 93.12 = 93.24

Pe = 93.24 / 100

Tabela 1

Pe = 93.24/100

= (Po - Pe) / (1 - Pe)

Po = 95/100

Tabela 1

Fórmula Kappa

Acordo observado - Acordo Esperado

1 - Acordo Esperado

 

= 95% - 93.24% = 1.76% = 0.26

1 - 93.24% 6.76%

Tabela 1

Como interpretar um Kappa igual a 0.26?

Kappa Grau de acordo

<0,00 Sem acordo

0,00 - 0,20 Insignificante

0,21 - 0.40 Mediano

0,41 - 0,60 Moderado

0,61 - 0,80 Substancial

0,81 - 1,00 Quase Perfeito

Tabela 1

Vamos considerar agora a Tabela 2

Tabela 2

= ????

médico 1

Sim Não

Médico 2

Sim 43 3

Não 2 52

45

46

55

54

100+ =

Compare as duas tabelas:

médico 1

Sim Não

Médico

2

Sim 1 3

Não 2 94

médico 1

Sim Não

Médico 2

Sim 43 3

Não 2 52

Em ambas tabelas, os médicos concordam 95% das

vezes. Os dois médicos são igualmente confiáveis

nas duas tabelas?

Tabela 1

= 0,26

Tabela 2 = ????

médico 1

Sim Não

Médico 2

Sim 43 3

Não 2 52

Os médicos concordam 95% das vezes.

(43+52)/100

Tabela 2Qual é o valor de kappa

para essa Tabela 2?

As células que indicam acordo estão em vermelho, e somam 50.4%

REAL

médico 1

Yes Não

médico 2 Sim 20.7 25.3 46

Não 24.3 29.7 54

45 55 100

Pe = 50.4Tabela 2

20.7 = (45)(46)/100 29.7 = (55)(54)/100

Fórmula de :

= Acordo Observado – Acordo Esperado

1 - Acordo Esperado

 

= 95% - 50.4% = 44.6% = 0.90

1 - 50.4% 49.6%

 

Kappa = 0.90 é considerado um acordo excelente

Tabela 2

Termos que devem ser familiares

Kappa de CohenAcordo inter, intra-observadores

Índice de reprodutibilidade