Post on 17-Apr-2015
1
Verificação de previsões probabilísticas com o “Brier Score” e diagrama de confiabilidae
Caio A. S. CoelhoCentro de Previsão de Tempo e Estudos Climáticos (CPTEC)
Instituto Nacional de Pesquisas Espaciais (INPE)caio@cptec.inpe.br
INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007
Estrutura da apresentação1. Introdução2. Propriedades e atributos3. Brier score e sua decomposição4. Diagrama de confiabilidade5. Exemplos6. Resumo
2
Introdução
• O futuro é incerto
• Previsões podem ajudar a reduzir possíveis incertezas sobre o futuro
• Verificação de previsões: avaliação da qualidade das previsões produzidas por um sistema de previsões, inferida por pares de amostras de previsões e observações passadas.
– Essencial para o julgamento da qualidade das previsões produzidas por sistemas de previsão de tempo e clima
– Área de pesquisa ativa desde ~1884
– Assunto inter-disciplinar
3
O que é uma boa previsão?
Boa previsão tem:• QUALIDADE• VALOR/UTILIDAE• CONSISTÊNCIA
A. H. Murphy 1993 “What is a good forecast ? An essay on the nature of goodness in weather forecasting”Weather and Forecasting, 8, 281-293.
Atributos de Qualidade:
Confiabilidade Resolução Acurácia… Necessidade de várias
métricas para resumir o desempenho de um conjunto de previsões
4
1. Introduction (I Jolliffe and D Stephenson).
2. Basic Concepts (J Potts).
3. Binary Events (I Mason).
4. Categorical Events (R. Livezey).
5. Continuous Variables (M. Déqué).
6. Verification of Spatial Fields (W. Drosdowsky and H. Zhang).
7. Probability and Ensemble Forecasts (Z. Toth, O. Talagrand, G. Candille, Y. Zhu).
8. Economic Value and Skill (D. Richardson).
9. Forecast Verification: Past, Present and Future (D. Stephenson and I. Jolliffe).
Glossary (D. Stephenson)References. Author Index. Subject Index.
Ian Jolliffe and David Stephenson (Editors)Wiley. ISBN: 0-471-49759-2 254 Pages April 2003
http://www.secam.ex.ac.uk/index.php?nav=693
5
Tipos de previsão
Pares de dados:(F=valor previsto, O=valor observado)
Tipos de valor observado O:• Discreto (ex. binário úmido/seco, > 2 categorias) 0/1, 0/0/1,0/1/0,
1/0/0• Contínuo (ex. temperatura) 25oC• Complexo (ex. campo espacial)
Tipos de valor previsto F:• Previsão determinística (ponto): F é um único valor de O • Previsão probabilística:
– F é um conj. de probabilidades para os valores discretos de O– F é um intervalo probabilístico para os valores de O
(previsão por intervalo)– F é a de distribuição de probabilidade de O
6
Exemplos de previsões probabilísticas
T=25oC
F é um conj. de probabilidades para os valores discretos de O
F: 0.4, 0.3, 0.5, 0.1, 0.6, 0.2O: 1 , 1 , 0 , 1 , 0 , 0
T=15oC T=30oC
F é um intervalo probabilístico para os valores de O (previsão por intervalo) F: 0.7, 0.6, 0.5, 0.8, 0.7, 0.5O: 0 , 1 , 0 , 1 , 1 , 0
F é a de distribuição de prob. de O
7
Índices probabilísticosImaginem os seguinte conjuntos de observações e previsões probabilísticas para a série k=1,2,…,n=6 de eventos binários:
k 1 2 3 4 5 6
o 0 1 1 0 0 0
p 0.7 0.6 0.2 0.8 0.9 0.3
O desempenho da previsão pode ser medido usando índices de destreza (scores) tais como:
Nota: valores pequenos indicam previsões de boa qualidade! Para a previsão perfeita p=o e o índice tem valor zero.
n
kkk scoreBrierop
nBS
1
2)(1
n
kkk scoreAbsoluteMeanop
nA
1
||1
n
kkkkk scorecLogarithmipopo
nC
1
)log)1log()1((1
8
Previsões de tornado: John Finley (1884)Fotografia mais antiga de um tornado28 Agosto 1884sudoeste de Howard (22 milhas), S. Dakota
2803275251
2703268023F=N
1007228F=S
O=NO=S
Porcentagem deacerto=96.6%!!
Gilbert (1884)F=0 98.2%!!
História da NOAA: Coleção do NWS http://www.photolib.noaa.gov/htmls/wea00206.htm
9
Skill Scores
Os índices de destreza (scores) são geralmente apresentados na forma de skill scores aplicando-se a transformação linear:
onde Sref é o valor do índice de uma previsão de referência tal como:
• Previsão de probabilidade constante (ex. usar sempre a frequência climatológica)
• Previsão de probabilidade aleatóriaNota: as previsões de referência acima podem ser entendidas como amostras de uma distribuição de probabilidade (probabilidade constante é um caso especial de distribuição com espessura (dispersão) tendendo a zero)
” Skill scores” tem fácil interpretação:0 baixo desempenho (“no skill”)1 previsão perfeita
1ref
SSS
S
10
Decomposição do Brier Score
1BS0)op(n
1BS
n
1k
2kk
)o1(o)oo(Nn
1)op(N
n
1BS
l
1i
2ii
l
1i
2iii
iNk
ki
i1i oN
1)p|o(po
n
1kko
n
1o
incertezaconfiabilidade resolução
O Brier score pode ser melhorado (reduzido):• prevendo evento com pequena var(o)=o(1-o) (menor incerteza)• aumentando a resolução (ex. combinando previsões)• melhorando a confiabilidade (ex. calibrando previsões)Nota: Costuma-se decompor o Brier score em confiabilidade e resolução para examinar qual componente pode ser melhorada
11
Diagrama de confiabilidade
(pi)
(oi
)
o
12
Exemplo de construção: diagrama de confiabilidade
700 (10%) 0 ( 0%) 7000 0%
800 (15%) 550 ( 10%) 5500 10%
…. …. …. ….
…. …. …. ….
…. …. …. ….
3000 (66%) 3600 ( 80%) 4500 80%
4000 (80%) 4500 ( 90%) 5000 90%
7200 (90%) 8000 (100%) 8000100%
“prev. real”
OBS-Freq( oi )
“prev. perfeita”
OBS-Freq.( oi )
# Prev. Ni
Prev. Prob.(pi)
0
0
0
Amostra de previsões probabilísticas: 22 anos x 3000 pontos de grade = 66000 previsões
Quantas vezes o evento (Tano>0) foi previsto com probabilidade pi?
13
700 (10%) 0 ( 0%) 7000 0%
800 (15%) 550 ( 10%) 5500 10%
…. …. …. ….
…. …. …. ….
…. …. …. ….
3000 (66%) 3600 ( 80%) 4500 80%
4000 (80%) 4500 ( 90%) 5000 90%
7200 (90%) 8000 (100%) 8000100%
“prev. real”
OBS-Freq( oi )
“prev. perfeita”
OBS-Freq.( oi )
# Prev. Ni
Prev. Prob.(pi)
FC-Prob.(pi)
OB
S-F
req
.(oi)
00 100
100
••
•
••
Exemplo de construção: diagrama de confiabilidade Amostra de previsões probabilísticas:
22 anos x 3000 pontos de grade = 66000 previsões
Quantas vezes o evento (Tano>0) foi previsto com probabilidade pi?
14
Diagrama de confiabilidade
Previsões “over-confident” Previsões perfeitas
15
Previsões “under-confident”
Diagrama de confiabilidade
Previsões perfeitas
16
Exemplos
• Temperatura: região tropical• TSM Pacífico equatorial• Precipitação: América do Sul
• Conclusions
17
Exemplo 1: Diagr. de confiabilidade: T>0 DEMETER: 7 modelos acoplados
Produzida Maio, Válida Junho (defasagem 1 mês), 1980 - 2001
18
Exemplo 2: TSM Pacífico Equatorial
310.17Integrada
240.19Conjunto
00.25Climatol p=0.5
BSS
(%)
Brier Score (BS)
Previsão
)0YPr(p tt
Anomalias TSM: Y (°C)Previsões de probabilidade: p
DEMETER: 7 modelos acoplados; defasagem de 6 meses
BSS = [1- BS/BS(clim.)]*100%
Y 0Y Conjunto IntegradaObsObs
19
Brier Score em função da longitude
Assimilação de previsões reduziu (melhorou) o Brier score no Pacífico equatorial leste e oeste
1BS0)op(n
1BS
n
1k
2kk
CON - - - INT
20
Assimilação de previsões melhorou
confiabilidade no Pacífico oeste
resolução no Pacífico leste
Confiabilidade e resolução em função da long.
21
Diagrama de confiabilidade (conjunto)
(pi)
(oi
)
o
22
o
(pi)
(oi)
Diagrama de confiabilidade (INT)
23
Exemplo 3: Brier Skill Score precipitação sobre América do Sul
Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos
limcBS
BS1BSS
)0YPr(p tt
CON INT
DEMETER: 3 modelos acoplados
CON (ECMWF, CNRM, UKMO)
Defasagem (1 mês)
Início: Nov DJF
Previsões retrospectivas: 1959-2001
)0YPr(p tt
24limc
resolresol
limc
confconf
incertresolconf
limc
incert
limc
resol
limc
conf
incertresolconf
limc
BS
BSBSS
BSS
BSBSS
BSSBSSBSS1BSS
BS
BS
BS
BS
BS
BS1BSS
BSBSBSBS
BS
BS1BSS
25
Componente de confiabilidade do BSS
Assimilação de previsões melhorou a confiabilidade em várias regiões
limc
confconf BS
BSBSS
CON INT
26
Componente de resolução do BSS
Assimilação de previsões melhorou a resolução nos trópicos
limc
resolresol BS
BSBSS
CON INT
27
EMP CON INT
Mapas de correlação de anomalias de precip.
Comparável nível determinísticos de desempenhoMelhor qualidade nos trópicos e sudeste da América do Sul
28
Brier Skill Score para precipitação
limcBS
BS1BSS )0YPr(p tt
EMP ENS INTCON
Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos
29
Componente de confiabilidade do BSS
limc
confconf BS
BSBSS
Assimilação de previsões melhorou a confiabilidade em várias regiões
EMP CON INT
30
Componente de resolução do BSS
limc
resolresol BS
BSBSS
Assimilação de previsões melhorou a resolução nos trópicos
EMP CON INT
31
Downscaling de anomalias de precip.
Conjunto de modelos (CON)
3 modelos acoplados (DEMETER)
ECMWF, CNRM, UKMO
Defasagem (1 mês)
Início: Nov DJF
Previsões retrospectivas 1959-2001
32
0.170.74INT
0.220.57CON
Brier Score CorrelaçãoPrevisão
Caixa sul: anomalias de precipitação DJFCON
INT
Assimilação de previsões melhorou substancialmente o desempenho
- - - Observação Previsão
33
Caixa norte: anomalias de precipitação DJF
0.180.63INT
0.210.62CON
Brier Score CorrelaçãoPrevisão
Assimilação de previsões melhorou marginalmente o desempenho
CON
INT
- - - Observação Previsão
34
Resumo1. Verificação da qualidade das previsões é uma componente
básica do processo de previsão
1. Informações sobre a qualidade e incerteza nas previsões são tão importantes quanto as previsões
2. Brier score e sua decomposição permite avaliar diferentes atributos de previsões probabilísticas de eventos binários
1. Brier score pode ser interpretado graficamente com auxílio do diagrama de confiabilidade
1. Confiabilidade das previsões pode ser melhorada através de calibração
1. Resolução das previsões pode ser melhorada através de combinação