1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A....
Transcript of 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A....
![Page 1: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/1.jpg)
1
Verificação de previsões probabilísticas com o “Brier Score” e diagrama de confiabilidae
Caio A. S. CoelhoCentro de Previsão de Tempo e Estudos Climáticos (CPTEC)
Instituto Nacional de Pesquisas Espaciais (INPE)[email protected]
INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007
Estrutura da apresentação1. Introdução2. Propriedades e atributos3. Brier score e sua decomposição4. Diagrama de confiabilidade5. Exemplos6. Resumo
![Page 2: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/2.jpg)
2
Introdução
• O futuro é incerto
• Previsões podem ajudar a reduzir possíveis incertezas sobre o futuro
• Verificação de previsões: avaliação da qualidade das previsões produzidas por um sistema de previsões, inferida por pares de amostras de previsões e observações passadas.
– Essencial para o julgamento da qualidade das previsões produzidas por sistemas de previsão de tempo e clima
– Área de pesquisa ativa desde ~1884
– Assunto inter-disciplinar
![Page 3: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/3.jpg)
3
O que é uma boa previsão?
Boa previsão tem:• QUALIDADE• VALOR/UTILIDAE• CONSISTÊNCIA
A. H. Murphy 1993 “What is a good forecast ? An essay on the nature of goodness in weather forecasting”Weather and Forecasting, 8, 281-293.
Atributos de Qualidade:
Confiabilidade Resolução Acurácia… Necessidade de várias
métricas para resumir o desempenho de um conjunto de previsões
![Page 4: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/4.jpg)
4
1. Introduction (I Jolliffe and D Stephenson).
2. Basic Concepts (J Potts).
3. Binary Events (I Mason).
4. Categorical Events (R. Livezey).
5. Continuous Variables (M. Déqué).
6. Verification of Spatial Fields (W. Drosdowsky and H. Zhang).
7. Probability and Ensemble Forecasts (Z. Toth, O. Talagrand, G. Candille, Y. Zhu).
8. Economic Value and Skill (D. Richardson).
9. Forecast Verification: Past, Present and Future (D. Stephenson and I. Jolliffe).
Glossary (D. Stephenson)References. Author Index. Subject Index.
Ian Jolliffe and David Stephenson (Editors)Wiley. ISBN: 0-471-49759-2 254 Pages April 2003
http://www.secam.ex.ac.uk/index.php?nav=693
![Page 5: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/5.jpg)
5
Tipos de previsão
Pares de dados:(F=valor previsto, O=valor observado)
Tipos de valor observado O:• Discreto (ex. binário úmido/seco, > 2 categorias) 0/1, 0/0/1,0/1/0,
1/0/0• Contínuo (ex. temperatura) 25oC• Complexo (ex. campo espacial)
Tipos de valor previsto F:• Previsão determinística (ponto): F é um único valor de O • Previsão probabilística:
– F é um conj. de probabilidades para os valores discretos de O– F é um intervalo probabilístico para os valores de O
(previsão por intervalo)– F é a de distribuição de probabilidade de O
![Page 6: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/6.jpg)
6
Exemplos de previsões probabilísticas
T=25oC
F é um conj. de probabilidades para os valores discretos de O
F: 0.4, 0.3, 0.5, 0.1, 0.6, 0.2O: 1 , 1 , 0 , 1 , 0 , 0
T=15oC T=30oC
F é um intervalo probabilístico para os valores de O (previsão por intervalo) F: 0.7, 0.6, 0.5, 0.8, 0.7, 0.5O: 0 , 1 , 0 , 1 , 1 , 0
F é a de distribuição de prob. de O
![Page 7: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/7.jpg)
7
Índices probabilísticosImaginem os seguinte conjuntos de observações e previsões probabilísticas para a série k=1,2,…,n=6 de eventos binários:
k 1 2 3 4 5 6
o 0 1 1 0 0 0
p 0.7 0.6 0.2 0.8 0.9 0.3
O desempenho da previsão pode ser medido usando índices de destreza (scores) tais como:
Nota: valores pequenos indicam previsões de boa qualidade! Para a previsão perfeita p=o e o índice tem valor zero.
n
kkk scoreBrierop
nBS
1
2)(1
n
kkk scoreAbsoluteMeanop
nA
1
||1
n
kkkkk scorecLogarithmipopo
nC
1
)log)1log()1((1
![Page 8: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/8.jpg)
8
Previsões de tornado: John Finley (1884)Fotografia mais antiga de um tornado28 Agosto 1884sudoeste de Howard (22 milhas), S. Dakota
2803275251
2703268023F=N
1007228F=S
O=NO=S
Porcentagem deacerto=96.6%!!
Gilbert (1884)F=0 98.2%!!
História da NOAA: Coleção do NWS http://www.photolib.noaa.gov/htmls/wea00206.htm
![Page 9: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/9.jpg)
9
Skill Scores
Os índices de destreza (scores) são geralmente apresentados na forma de skill scores aplicando-se a transformação linear:
onde Sref é o valor do índice de uma previsão de referência tal como:
• Previsão de probabilidade constante (ex. usar sempre a frequência climatológica)
• Previsão de probabilidade aleatóriaNota: as previsões de referência acima podem ser entendidas como amostras de uma distribuição de probabilidade (probabilidade constante é um caso especial de distribuição com espessura (dispersão) tendendo a zero)
” Skill scores” tem fácil interpretação:0 baixo desempenho (“no skill”)1 previsão perfeita
1ref
SSS
S
![Page 10: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/10.jpg)
10
Decomposição do Brier Score
1BS0)op(n
1BS
n
1k
2kk
)o1(o)oo(Nn
1)op(N
n
1BS
l
1i
2ii
l
1i
2iii
iNk
ki
i1i oN
1)p|o(po
n
1kko
n
1o
incertezaconfiabilidade resolução
O Brier score pode ser melhorado (reduzido):• prevendo evento com pequena var(o)=o(1-o) (menor incerteza)• aumentando a resolução (ex. combinando previsões)• melhorando a confiabilidade (ex. calibrando previsões)Nota: Costuma-se decompor o Brier score em confiabilidade e resolução para examinar qual componente pode ser melhorada
![Page 11: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/11.jpg)
11
Diagrama de confiabilidade
(pi)
(oi
)
o
![Page 12: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/12.jpg)
12
Exemplo de construção: diagrama de confiabilidade
700 (10%) 0 ( 0%) 7000 0%
800 (15%) 550 ( 10%) 5500 10%
…. …. …. ….
…. …. …. ….
…. …. …. ….
3000 (66%) 3600 ( 80%) 4500 80%
4000 (80%) 4500 ( 90%) 5000 90%
7200 (90%) 8000 (100%) 8000100%
“prev. real”
OBS-Freq( oi )
“prev. perfeita”
OBS-Freq.( oi )
# Prev. Ni
Prev. Prob.(pi)
0
0
0
Amostra de previsões probabilísticas: 22 anos x 3000 pontos de grade = 66000 previsões
Quantas vezes o evento (Tano>0) foi previsto com probabilidade pi?
![Page 13: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/13.jpg)
13
700 (10%) 0 ( 0%) 7000 0%
800 (15%) 550 ( 10%) 5500 10%
…. …. …. ….
…. …. …. ….
…. …. …. ….
3000 (66%) 3600 ( 80%) 4500 80%
4000 (80%) 4500 ( 90%) 5000 90%
7200 (90%) 8000 (100%) 8000100%
“prev. real”
OBS-Freq( oi )
“prev. perfeita”
OBS-Freq.( oi )
# Prev. Ni
Prev. Prob.(pi)
FC-Prob.(pi)
OB
S-F
req
.(oi)
00 100
100
••
•
••
Exemplo de construção: diagrama de confiabilidade Amostra de previsões probabilísticas:
22 anos x 3000 pontos de grade = 66000 previsões
Quantas vezes o evento (Tano>0) foi previsto com probabilidade pi?
![Page 14: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/14.jpg)
14
Diagrama de confiabilidade
Previsões “over-confident” Previsões perfeitas
![Page 15: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/15.jpg)
15
Previsões “under-confident”
Diagrama de confiabilidade
Previsões perfeitas
![Page 16: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/16.jpg)
16
Exemplos
• Temperatura: região tropical• TSM Pacífico equatorial• Precipitação: América do Sul
• Conclusions
![Page 17: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/17.jpg)
17
Exemplo 1: Diagr. de confiabilidade: T>0 DEMETER: 7 modelos acoplados
Produzida Maio, Válida Junho (defasagem 1 mês), 1980 - 2001
![Page 18: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/18.jpg)
18
Exemplo 2: TSM Pacífico Equatorial
310.17Integrada
240.19Conjunto
00.25Climatol p=0.5
BSS
(%)
Brier Score (BS)
Previsão
)0YPr(p tt
Anomalias TSM: Y (°C)Previsões de probabilidade: p
DEMETER: 7 modelos acoplados; defasagem de 6 meses
BSS = [1- BS/BS(clim.)]*100%
Y 0Y Conjunto IntegradaObsObs
![Page 19: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/19.jpg)
19
Brier Score em função da longitude
Assimilação de previsões reduziu (melhorou) o Brier score no Pacífico equatorial leste e oeste
1BS0)op(n
1BS
n
1k
2kk
CON - - - INT
![Page 20: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/20.jpg)
20
Assimilação de previsões melhorou
confiabilidade no Pacífico oeste
resolução no Pacífico leste
Confiabilidade e resolução em função da long.
![Page 21: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/21.jpg)
21
Diagrama de confiabilidade (conjunto)
(pi)
(oi
)
o
![Page 22: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/22.jpg)
22
o
(pi)
(oi)
Diagrama de confiabilidade (INT)
![Page 23: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/23.jpg)
23
Exemplo 3: Brier Skill Score precipitação sobre América do Sul
Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos
limcBS
BS1BSS
)0YPr(p tt
CON INT
DEMETER: 3 modelos acoplados
CON (ECMWF, CNRM, UKMO)
Defasagem (1 mês)
Início: Nov DJF
Previsões retrospectivas: 1959-2001
)0YPr(p tt
![Page 24: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/24.jpg)
24limc
resolresol
limc
confconf
incertresolconf
limc
incert
limc
resol
limc
conf
incertresolconf
limc
BS
BSBSS
BSS
BSBSS
BSSBSSBSS1BSS
BS
BS
BS
BS
BS
BS1BSS
BSBSBSBS
BS
BS1BSS
![Page 25: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/25.jpg)
25
Componente de confiabilidade do BSS
Assimilação de previsões melhorou a confiabilidade em várias regiões
limc
confconf BS
BSBSS
CON INT
![Page 26: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/26.jpg)
26
Componente de resolução do BSS
Assimilação de previsões melhorou a resolução nos trópicos
limc
resolresol BS
BSBSS
CON INT
![Page 27: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/27.jpg)
27
EMP CON INT
Mapas de correlação de anomalias de precip.
Comparável nível determinísticos de desempenhoMelhor qualidade nos trópicos e sudeste da América do Sul
![Page 28: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/28.jpg)
28
Brier Skill Score para precipitação
limcBS
BS1BSS )0YPr(p tt
EMP ENS INTCON
Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos
![Page 29: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/29.jpg)
29
Componente de confiabilidade do BSS
limc
confconf BS
BSBSS
Assimilação de previsões melhorou a confiabilidade em várias regiões
EMP CON INT
![Page 30: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/30.jpg)
30
Componente de resolução do BSS
limc
resolresol BS
BSBSS
Assimilação de previsões melhorou a resolução nos trópicos
EMP CON INT
![Page 31: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/31.jpg)
31
Downscaling de anomalias de precip.
Conjunto de modelos (CON)
3 modelos acoplados (DEMETER)
ECMWF, CNRM, UKMO
Defasagem (1 mês)
Início: Nov DJF
Previsões retrospectivas 1959-2001
![Page 32: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/32.jpg)
32
0.170.74INT
0.220.57CON
Brier Score CorrelaçãoPrevisão
Caixa sul: anomalias de precipitação DJFCON
INT
Assimilação de previsões melhorou substancialmente o desempenho
- - - Observação Previsão
![Page 33: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/33.jpg)
33
Caixa norte: anomalias de precipitação DJF
0.180.63INT
0.210.62CON
Brier Score CorrelaçãoPrevisão
Assimilação de previsões melhorou marginalmente o desempenho
CON
INT
- - - Observação Previsão
![Page 34: 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fe497959413d8bb701/html5/thumbnails/34.jpg)
34
Resumo1. Verificação da qualidade das previsões é uma componente
básica do processo de previsão
1. Informações sobre a qualidade e incerteza nas previsões são tão importantes quanto as previsões
2. Brier score e sua decomposição permite avaliar diferentes atributos de previsões probabilísticas de eventos binários
1. Brier score pode ser interpretado graficamente com auxílio do diagrama de confiabilidade
1. Confiabilidade das previsões pode ser melhorada através de calibração
1. Resolução das previsões pode ser melhorada através de combinação