artigo anterior

934Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

Estudo do comportamento dos ndices de Exatido Global, Kappa e Tau, comumente usados para avaliar a classificao de imagens do sensoriamento remoto Geza Coutinho Figueiredo Carlos Antonio Oliveira Vieira Universidade Federal de Viosa UFV Departamento de Engenharia Civil Avenida P. H. Rolfs s/n - Campus UFV - 36570-000 - Viosa - MG, Brasil geizacf@hotmail.com carlos.vieira@ufv.brAbstract: Evaluation of the accuracy plays an important role in the process data analysis of remote sensing products. The evaluation of the accuracy can be obtained through derived measures from a confusion matrix. This article describes some of theses measures, such as Overall Accuracy, Kappa and Tau indexes, which are commonly used to evaluate the classification of remote sensing images. A comparative study about the behavior of these indexes was accomplished and a preliminary discussion is presented. Results show that despite Kappa and Tau indexes are computed following different formulations and assumptions, the present consistently very similar values, which indicates that both measures could indiscriminately be used for remotely sensed accuracy assessment. Palavras-chave: classification images, thematic accuracy, index Kappa, index Tau, accuracy global, classificao de imagens, preciso temtica, ndice Kappa, ndice Tau, exatido global.

1. Introduo A exatido de um mapa indica proximidade de uma determinada medida ao seu valor real, logo, a confiabilidade de um mapa est vinculada a sua exatido. Neste contexto, necessrio realizar algum procedimento estatstico, no produto de uma classificao de imagens digitais, para determinar a acurcia ou exatido desta classificao (Bernardes, 2006). No processo de anlise dos dados do sensoriamento remoto, um passo fundamental a avaliao da preciso temtica. Os usurios necessitam saber quo confiveis so os dados provenientes dos mapas temticos, derivados da classificao de um produto do sensoriamento remoto, e atravs da matriz de confuso possvel derivar medidas e consequentemente verificar erros oriundos do processo de atribuio dos pixels a determinadas classes (Vieira, 2000). A avaliao da acurcia pode ser obtida por meio de coeficientes de concordncia derivados da matriz de confuso, sendo que estes podem ser expressos como concordncia total ou para classes individuais. Congalton (1991) relata que o uso do coeficiente Kappa (K) satisfatrio na avaliao da preciso de uma classificao temtica, pelo fato de levar em considerao toda a matriz de confuso no seu clculo, inclusive os elementos de fora da diagonal principal, os quais representam as discordncias na classificao, diferentemente da exatido global, por exemplo, que utiliza somente os elementos diagonais (concordncia real). Com relao ao coeficiente Kappa, Foody (1992) observou que o grau de concordncia por chance poderia estar sendo superestimado, pelo fato de incluir tambm a concordncia real, e por causa disso a magnitude de Kappa no refletiria a concordncia presente na classificao, apenas descontada a casualidade. Na tentativa de corrigir essa deficincia no clculo do ndice Kappa, Ma e Redmond (1995) propuseram um outro ndice para a medio da preciso da classificao, o ndice Tau (T). Apesar de esses ndices serem amplamente usados pela comunidade cientfica, no existem estudos que indiquem como esses ndices se comportam, quando da variao do nmero de classes informacionais e/ou do nmero de padres de validao - considerando que

5755

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

esses ndices levam em considerao ou o nmero total de classes ou o nmero total de padres de validao; ou mesmo se houver discrepncia entre os valores amostrados, para validao, entre as classes informacionais. Este trabalho tem como objetivo fazer uma descrio dos coeficientes de concordncia que so comumente usados para avaliar a classificao de imagens do sensoriamento remoto e tambm observar o comportamento dos mesmos variando o nmero de classes informacionais na classificao, variando o nmero total de pixels e tambm quando ocorre discrepncia entre o nmero de amostras entre as classes informacionais. Uma motivao para observar esses comportamentos, para estudar se as diferenas entre esses ndices de exatido so constantes ou no dentro dos nveis do desempenho da classificao, e o que isso implica na escolha de qual ndice utilizar. 2. Matriz de confuso (ou matriz de erro) O mtodo padro para avaliao da preciso temtica atualmente tem sido ndices derivados da matriz de confuso. A matriz de confuso fornece a base para descrever a preciso da classificao e caracterizar os erros, ajudando a refinar a classificao. De uma matriz de confuso podem ser derivadas vrias medidas de preciso da classificao, sendo a exatido global uma das mais conhecidas (Foody, 2002). A matriz de confuso formada por um arranjo quadrado de nmeros dispostos em linhas e colunas que expressam o nmero de unidades de amostras de uma categoria particular relativa inferida por um classificador (ou regra de deciso), comparado com a categoria atual verificada no campo (Congalton, 1991). Normalmente abaixo das colunas representa-se o conjunto de dados de referncia que comparado com os dados do produto da classificao que so representados ao longo das linhas. Os elementos da diagonal principal (em negrito) indicam o nvel de acerto, ou concordncia, entre os dois conjuntos de dados. A Tabela 1 mostra a representao de uma matriz de confuso.Tabela 1 Representao matemtica de uma matriz de confuso.

Classificao 1 2 c Total nas colunas n+ i

1 x11 x21 x31 x+1

Dados de referncia 2 c x12 x1c x2c x22 x32 x3c x+2 x+c

Total nas linhas ni + x1+ x2+ Xc+ n

Fonte: Adaptada de Bernardes (2006).

3. Medidas e ndices derivados da matriz de confuso As medidas derivadas da matriz de confuso so: a exatido global, preciso de classe individual, preciso de produtor, preciso de usurio e ndice Kappa, entre outros. A exatido global calculada dividindo a soma da diagonal principal da matriz de erros xii, pelo nmero total de amostras coletadas n, ou seja: (1) n A distribuio da preciso ao longo das categorias individuais no apresentada na preciso global, entretanto a preciso de uma categoria individual obtida atravs da diviso do nmero total de amostras classificadas corretamente naquela categoria pelo nmero total de amostras daquela categoria. Congalton e Green (1999) descrevem os clculos associados com estas medidas. G=

xi =1

c

ii

5756

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

A preciso de produtor e de usurio so maneiras de representar a preciso de uma categoria ou classe individualmente. A preciso de produtor refere-se s amostras que no foram classificadas corretamente como pertencendo quela categoria sendo omitidas de sua categoria correta. E a preciso de usurio indica a probabilidade que um pixel classificado na imagem de fato representa aquela categoria no campo. A anlise de Kappa uma tcnica multivariada discreta usada na avaliao da preciso temtica e utiliza todos os elementos da matriz de confuso no seu clculo. O coeficiente Kappa (K) uma medida da concordncia real (indicado pelos elementos diagonais da matriz de confuso) menos a concordncia por chance (indicado pelo produto total da linha e coluna, que no inclui entradas no reconhecidas), ou seja, uma medida do quanto classificao est de acordo com os dados de referncia. O coeficiente Kappa pode ser calculado atravs da seguinte equao: K = n xii xi + x +ii =1 i =1 c c

n xi + x +i2 i =1

c

(2)

Onde K uma estimativa do coeficiente Kappa; xii o valor na linha i e coluna i; xi + a soma da linha i e x+ i a soma da coluna i da matriz de confuso; n o nmero total de amostras e c o nmero total de classes. Embora o coeficiente Kappa seja muito utilizado na avaliao da exatido de mapeamento, no existe uma fundamentao terica para recomendar quais os nveis mnimos aceitveis deste coeficiente numa classificao. Entretanto, a Tabela 2 apresenta nveis de desempenho da classificao para o valor de Kappa obtido, normalmente aceitos pela comunidade cientfica.Tabela 2 ndice Kappa e o correspondente desempenho da classificao.

ndice Kappa