Listas Encadeadas David Menotti Estruturas de Dados I DECOM – UFOP.
Reconhecimento de Padrões Receiver Operating Characteristics (ROC) David Menotti, Ph.D. ...
Transcript of Reconhecimento de Padrões Receiver Operating Characteristics (ROC) David Menotti, Ph.D. ...
Reconhecimento de Padrões
Receiver Operating Characteristics (ROC)
David Menotti, Ph.D.www.decom.ufop.br/menoti
Universidade Federal de Ouro Preto (UFOP)Programa de Pós-Graduação em Ciência da Computação (PPGCC)
Introdução
• A escolha do limiar de rejeição é um aspecto muito importante na construção de um classificador.– Mudança deste limiar afeta o desempenho do
sistema.– ROC é uma ferramenta muito útil na análise e
comparação de classificadores.
Desempenho
• Dado um classificador com duas saídas, existem saídas possíveis.
DesempenhoTrue Positive
FalsePositive
FalseNegative
True Negative
AB
TP – Classe é A e classificamos como ATN – Classe é B e classificamos como BFP – Classe é B e classificamos como AFN – Classe é A e classificamos como B
Tipos de Erro
• Erro Tipo I– Também conhecido como α-erro ou falso
positivo.– Acontece quando aceita-se como genuína
uma coisa que é falsa.
• Erro Tipo II– Também conhecido como β-erro ou falso
negativo.– Acontece quando rejeitamos algo que deveria
ter sido aceito.
Terminologia
• True Positive Acerto• True Negative Rejeição correta• False Positive Erro Tipo I, falso alarme• False Negative Erro Tipo II• True Positive Rate (TPR) Sensitivity
– TPR = TP/P = TP/(TP+FN)
• False Positive Rate (FPR) (1 – Specificity)– FPR = FP/N = FP/(FP+TN)
• Accuracy (Exatidão)– ACC = (TP+TN)/(P+N)
Gráfico ROC
• Gráfico em duas dimensões– X: FPR, Y: TPR
• Vários pontos são interessantes de serem observados– Conservador (A/B)– Liberal (B/A)
Desempenho Aleatório
• Um classificador que aparece abaixo da diagonal principal é pior que o desempenho aleatório.
Gráfico ROC
• Conservador– Aquele classificador que aceita poucos “False
Positives”, mas consequentemente penaliza bastante o desempenho dos “True Positives”
• Liberal– Aquele classificador que não se importa muito
em aceitar bastante “False Positive”. Por outro lado, seu desempenho nos “True Positives” é muito bom.
Gráfico ROC
• Equal Error Rate– Ponto do gráfico no qual FPR é igual a 1-TPR– Medida de desempenho e comparação
quando não existe um ponto operacional específico.
Exemplo
• Considere 20 amostras:– 10 positivas e 10 negativas.
# Classe Score # Classe Score
1 + 0.90 11 - 0.70
2 + 0.80 12 - 0.53
3 + 0.60 13 - 0.52
4 + 0.55 14 - 0.505
5 + 0.54 15 - 0.39
6 + 0.51 16 - 0.37
7 + 0.40 17 - 0.36
8 + 0.38 18 - 0.35
9 + 0.34 19 - 0.33
10 + 0.30 20 - 0.10
Exemplo (cont)• Após ordenar os dados pelo score, temos o
seguinte gráfico
Note que cada ponto operacional tem um limiar associado.
Exemplo (cont)
• Suponha que a especificação do seu sistema diga que o máximo FPR do seu sistema é 0.10. Qual seria o limiar de rejeição?
• Qual seria a taxa de acerto do sistema?
Para o limiar 0.54, a taxa de reconhecimento seria 70%(5 + 9) / 20 = 0.70
Fawcett (2006).
Classes Desbalanceadas
• Uma propriedade bastante interessante da curva ROC é que ela é insensível a distribuição de classes.
• Taxa de reconhecimento é sensível– Suponha que tenhamos 5 vezes mais
elementos na classe a do que na classe b.– A taxa de reconhecimento pode ser elevada
mas errar quase todos os exemplos da classe b.
Classes Desbalanceadas
• Se a proporção de exemplos positivos e negativos muda na base de teste, a curva ROC não sofre alterações.
• Isso permite uma fácil visualização do desempenho dos classificadores independentemente da distribuição das classes.
Convex-Hull\
• O conceito de convex-hull em ROC possibilita– Descartar
classificadores que não fazem parte do convex-hull
• Classificadores B e D nesse caso não são necessários.
– Gerar novos classificadores
• Através da interpolação.
Fawcett (2006).
Convex-Hull
• Um novo classificador H, pode ser gerado da seguinte maneira.– Gere um número aleatório entre 0 e 1. – Se o número for maior que k, então escolha A, caso contrário,
escolha B.
k =0.5
Um exemplo
• Deseja-se oferecer uma nova apólice de seguros para– 4000 clientes, porém $$$ somente para 800 – (A priori) 6% respondem
• 240 respondem / 3760 não-respondem
• Dois Classificadores– A: (0,10 ; 0,2) 0.2 x 240 + 0,10 x 3760 = 424 candidatos– B: (0,25 ; 0,6) 0.6 x 240 + 0,25 x 3760 = 1084 candidatos
53,01.025,0
1.018,0
kGere um k entre [0,1]Escolha:- A se k > 0,53,- B, caso contrário.
Area Under the Curve (AUC)
• Métrica usada para comparar classificadores.
Classificador B tem uma área maior, logo um desempenho médio melhor.
Fawcett (2006).
Referências Bibliográficas
• Fawcett, An introduction to ROC analysis Pattern Recognition Letters, 27:8-861–874, 2006.
• Provost & Fawcett Robust Classification for Imprecise Environments Machine Learning Journal, 42:3 pp. 203-231, 2001.
• WikipediaReceiver Operating Characteristicen.wikipedia.org/wiki/Receiver_operating_characteristic