Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) Instituto Nacional de...

Caio A. S. CoelhoCentro de Previsão de Tempo e Estudos Climáticos (CPTEC)

Instituto Nacional de Pesquisas Espaciais (INPE)[email protected]

Estrutura da apresentação1. Conceitos e métodos: Niño-3.42. Previsões de precipitação para a América do Sul

Calibração e combinação de previsões

INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007

2

Questões motivadoras

• Porque é necessário?• Qual a melhor maneira de se calibrar?• Como obter estimativas de probabilidade?• Quem deve fazer?

Calibração

Combinação• Porque é necessário?• Atribuir pesos ou fazer seleção de previsões?• Qual a melhor maneira de se combinar?• Quem deve fazer?

3

Esquema conceitual para calibração e combinação de previsões

)y(p

)x(p)x|y(p)y|x(p

i

iiiii

Assimilação de dados“Assimilação de previsões”

)x(p

)y(p)y|x(p)x|y(p

f

fffff

Espaço observacional

Espaço do modelo

4

Verificação

Motivação para a combinação: Previsão por conjunto de modelos

Modelo 1

t=0

t=T

Espaço de fase do sistema climático

5

Verificação

Modelo 1

Modelo 2

t=0

t=T

Espaço de fase do sistema climático

Motivação para a combinação: Previsão por conjunto de modelos

6

Previsão por conjunto de modelos

Sistema de previsões por conjunto de modelos dinâmicos

Solução: Vários-modelos Conjunto

Incertezas: Formulação Condições iniciais

7

Pierre-Simon Laplace(1749-1827)

C)yy(yy MSLSLS

O Pioneiro da combinação

xpya a

p

•

••

•

•

•

•

•

•

•

•• •

•• •

• xy

•

•

)1757,cov(:

:

ichBosSituaçãodaMétodoy

quadradosMíninosy

MS

LS

))(,( xxCConde

Laplace (1818): Combinação de dois estimadores

)xmin( 2

|)xmin(|

inclin. resíduo

8

+ métodos = numéricos

Previsões combinadas apresentammelhor desempenho do que previsõesindividuais?

Em tempos modernos…

Previsões

•••

9

Literatura de combinação de previsões

• Trenkler and Gotu (2000): ~600 publicações

(1970-2000)• Extensivamente aplicada em Economia

e Meteorologia

• Métodos similares são aplicados nas duas áreas

• Previsões combinadas são melhores do que previsões individuais

10

Algumas questões

• Qual a melhor maneira de se combinar?

• Vale a pena incluir todas as previsões disponíveis?

11

DEMETER: previsão por conjunto de modelos acoplados

Índice Nino-3.4 (Y)

Período: 1987-99

Conjunto: 9 membros

Jul -> Dez

Defasagem: 5 meses

DEMETER web page: http://www.ecmwf.int/research/demeter

ECMWFMeteo-France (MF)Max Planck Institut (MPI)),(N~Y 2

tt

12

Previsões do índice Nino-3.4 para Dezembro: sem calibração

]ˆ96.1ˆ,ˆ96.1ˆ[:.I.P%95 tttt

Xt

tt

sˆ

Xˆ

),(N~Y 2tt

13

Calibração e combinação de previsões

:

:

:

:

)()(1

io

M

iiio

wew

F

M

X

tXwwtF

Combinação linear de M previsões X

constantes

modelos

média do conjunto

previsão combinada

14

• Remoção do viés da média do conjunto de modelos (Uem)

• Regressão da média do conjunto de modelos (Rem)

• Regressão do conjunto de modelos (Rall)

Métodos de calibração e combinação

Kharin and Zwiers (2002), J. Climate.

M

1iiio )t(Xww)t(F

Como estimar wo e wi ?

15

Remoção do víes da média do conjunto de modelos (Uem)

3M

1iiio )t(Xww)t(F

••• ••

• •••

••• •••

•••

• ••

PrevisõesModelo 1 (X )Modelo 2 (X )Modelo 3 (X )Média doconjunto demodelos (X’)… t=Tt=1 t=2 …

observações (Y)

(anos)

(C)

'

1

'1XYXY

Tw

T

ttto

M

1w i

owY'X

'o XwUem

1

2

3

3/)XXX(X 321' viés médio

16

Regressão da média do conjunto de modelos (Rem)

3M

1iiio )t(Xww)t(F

• ••

• ••• ••

•• •• •••••

• ••

PrevisõesModelo 1 (X )Modelo 2 (X )Modelo 3 (X )Média doconjunto demodelos (X’)

Y (C)

'1o XwYw

1i wM

1w

)C(X o'

'1o XwwY

'1o XwwmRe

rs

sw

'X

Y1

observações

3/)XXX(X 321'

1

2

3

viés médio

17

Regressão do conjunto de modelos (Rall)

• ••

PrevisõesModelo 1 (X )

Modelo 2 (X )

Modelo 3 (X )

ˆw o

HXY

Regressão linear múltiplaem notação matricial :Y: 1 x n (observações)X: M x n (previsões)

T321 ]XXX[X

3M

1iiio )t(XwwRall

XH)t(Xw3M

1iii

XHYˆ

SSH 1XXYX

1

2

3

18

Previsões combinadas

2iii

n

1i

2i

2mRe

2mRe

)mReY(

n

1s

)s,m(ReN~Y

2iii

n

1i

2i

2Rall

2Rall

)RallY(

n

1s

)s,Rall(N~Y

]XXX[X

)s,Uem(N~Y

321

2X

19

Y: Índice Nino-3.4 observado em Dezembro

X: Previsão de Y (média do conjunto) para Dez.

Thomas Bayes (1701-1761)

Revisão da crença prévia em um evento Y consiste na atualização da prob. de Y

quando nova info. X torna-se disponível.

)xX(p

)Y(p)Y|xX(p)xX|Y(p

Exemplo: média do conjunto (X=x=27C)

Prob. condicional:p(X=x|Y)

Prévia:p(Y)

Posterior:p(Y|X=x)

Método Bayesiano: atualização de informação

20

)C,Y(N~Y b

1TT

111T

obba

)SGCG(CGL

C)LGI()CGSG(D

)]YY(GX[LYY

)S],YY[G(N~Y|X o

Prévia:

Prob. cond.:

Posterior:

1YYXYSSG

YGXGYo T

YYXX GGSSS

)D,Y(N~X|Y a

calibração

Assimilação Bayesiana de Previsões (B)

viés

Coelho (2005)Stephenson et al. (2005)

21

TSM de Julho e Dezembro: Reynolds OI V2 (1950-2001)

Observações do índice Nino-3.4

Índice Nino-3.4 valores médios:Jul: 27.1CDez: 26.5Cr: 0.87

R2 =0.76

tanodoJulhoparaNinoÍndice

tanodoDezembroparaNinoÍndiceY

CNY

t

t

oottott

4.3

4.3

50.114.14),(~| 1201

),(~: 2ototNYprévia t1oot

Coelho et al. (2004)

22

Previsões calibradas e combinadas

Uem

Rall

Rem

B

Porque Rall e B são semelhantes?

23

Previsões em notação Bayesiana

Rem

Uem

B

Rall

PosteriorPréviaProb. condicionalPrevisão

)S,YY(N~Y|X o )S,YX(N~X|Y o

)S],YY[G(N~Y|X o

)S],YY[G(N~Y|X o

)S],YY[G(N~Y|X o

)S,HX(N~X|Y '

)S,HX(N~X|Y '

)D,Y(N~X|Y a

)S,Y(N~Y YY

)S,Y(N~Y YY

),(N~Y 2otot

)( CUniforme

)C,Y(N~Y b

)S],YY[G(N~Y|X o

XY1

XXYXYY SSSS'S

Prévia de BPrévia de

Rem e Rall

Combinação Bayesiana

Prévia:Pr. cond.:

HXY1

XXYXSSH

Regressão de Y em X

24

Medidas de destreza e incerteza

0.39860.27MF (sem correção)

0.49-66915.24MPI (sem correção)

0.39890.22MF (com viés removido)

0.46900.20MF (corrigido por regressão)

0.86461.06MPI (corrigido por regressão)

0.47890.22ECMWF (corrigido por regressão)

0.49910.18ECMWF (com viés removido)

0.49231.52MPI (com viés removido)

0.56770.46Rem

1.79880.25Uem

0.23940.11B

0.38940.12Rall

0.49181.64ECMWF (sem correção)

1.20 01.98Climatologia

Incert.

(C)2“Skill Score”

(%)

“MSE”

(C)2Previsão

Skill Score = [1- MSE/MSE(climatologia)]*100%

25

Conclusões da primeira parte

• Previsões podem ser calibradas e combinadas de várias maneiras

• Previsões combinadas apresentam melhor desempenho do que previsões individuais

• Rall e B apresentaram melhor desempenho para o exemplo do índice Nino-3.4

• Inclusão de previsões de um modelo com viés alto não prejudicou a previsão combinada final

26

Previsões climáticas sazonais:

•

Como são produzidas:• Modelos empíricos/estatísticos• Modelos dinâmicos atmosféricos• Modelos dinâmicos acoplados (oceano+atmosfera)

Previsões das condições climáticas para os próximos (3-6) meses

• • •• • •Nov Dez Jan Fev MarAbr Mai

DJF (Defasagem: 1 mês)

Principais setores usuários:• Agrícola• Hidro-elétrico

0 1 2 3 4 5 6

27

Modelo empíricoPredictores: TSM Atlântico e Pacífico Preditando: Precipitação

Previsões retrospectivas: 1987-2001

Previsões integradas para a América do Sul

Integrada

Reino UnidoUKMO

InternationalECMWF

PaísModelos acoplados

Previsões calibradas e combinadas (modelos acoplados + empírico)

28

O modelo empírico

Y|Z ~ N (M (Z - Zo),T)

TYZ

1ZZYZYY

o

1ZZYZ

SSSST

MZYZM

SSM

Y: Precipitação em DJF

Z: Temp. Superf. Mar (TSM) em Outubro

Model utiliza os três primeiros modos da Análise de Máxima Covariância (AMC) da matriz YT Z.

vnZ

qnY

:

:

qqT :

Y Z

Coelho et al. (2006)

Fontes de dados:

TSM (Reynolds OI v2)

Precipitação (GPCP v2)

29

Modelo empírico (primeiro modo): SCF 71%

TSM em Outubro

Precipitação em DJF

Pacífico tropical (ENOS) e Atlântico: principais fontes de previsibilidade sazonal para a América do Sul

30

Anomaly Correlation Coefficient (ACC) médio

Melhor (maior) destreza em anos de ENOS do que em anos neutros

COM (DEMETER)

31

Modelo empírico (segundo modo): SCF 7.7%Precipitação em DJF

Pacífico tropical, Norte da América do Sul

TSM em Outubro

32

Primeiro modo (71%)

Segundo modo (7.7%)

TSM anom. obs. em Out 2007

Previsão DJF 2007 Corr. DJF

33

),(~ CYNY b

1

111

)(

)()(

))((

SGCGCGL

CLGICGSGD

YYGXLYY

TT

T

obba

)),((~| SYYGNYX o

Prévia:

Pr. Cond.:

Posterior:

1 YYXY SSGGYXGYo

TYYXX GGSSS

),(~| DYNXY a

Calibração e combinação Bayesiana: Assimilação de prev.

qq:D

qn:Y

pn:X

qq:C q1:Yb

pp:S qn:Ya

Matrizes

Assimilação de previsões usa os três primeiros modos da AMC da matriz YT X.

X: previsões (acopl. + empir.)Y: precipitação em DJF

)(

)()|()|(

Xp

YpYXpXYp

34

Assimilação de previsões: primeiro modo (DJF)

Produzida: Nov, Válida: DJF

35

Assimilação de previsões: segundo modo (DJF)

Produzida: Nov, Válida: DJF

36

Segundo modo: 7.5%

INT

Primeiro modo: 78.8%

ECMWF UKMO EMP OBS

Previsão DJF 2007

ECMWF UKMO EMP

Corr. DJF

37

EUROBRISA: A EURO-Brazilian Initiative for improving South American seasonal forecastskey Idea: To improve seasonal forecasts in S. America: a region where there is seasonal forecast skill and useful value.

Aims• Strengthen collaboration and promote exchange of expertise and information between European and S. American seasonal forecasters

• Produce improved well-calibrated real-time probabilistic seasonal forecasts for South America (i.e. combine and calibrate coupled [ECMWF,UKMO,Meteo-France] and empirical forecasts)

• Develop real-time forecast products for non-profitable governmental use (e.g. reservoir management, hydropower production, agriculture and health)

Ambrizzi, Silva DiasBrazilUni. of São Paulo

Uni. of Exeter

UFPR

Météo France

Met Office

INMET

ECMWF

CPTEC

Involved institutions

UK

Brazil

France

UK

Brazil

EU

Brazil

Country

Stephenson

Guetter

Déqué

Moura, Fortes

Graham, Colman

Balmaseda, Doblas-Reyes, Stockdale

Coelho, Cavalcanti, CostaSilva Dias, Pezzi

Partners

New web address: http://www6.cptec.inpe.br/eurobrisa/

Affiliated institutions

CamachoEcuadorCIIFEN

GoddardUSAIRI

BergamaschiBrazilUFRGS

SilveiraBrazilSIMEPAR

38

Atividades do projeto EUROBRISA

• Previsões sazonais probabilísticas com uso de modelos dinâmicos acoplados e empírico

• Produção de previsões objetivamente integradas (calibração e combinação de prev. dinâmicas e empíricas)

• Avaliação do desempenho das previsões empíricas, dinâmicas e integradas (combinadas) usando medidas determinísticas e probabilísticas

• Downscaling dinâmico e estatístico• Estudos de previsibilidade sazonal

Pesquisa e desenvolvimento: previsões climáticas

Impactos (colaboração com usuários)• Hydrologia: Downscaling de previsões climáticas sazonais

para previsão de vazões de rios e uso em modelos hidrológicos

• Agricultura: Investigar viabilidade do uso de previsões climáticas sazonais em atividades de agricultura (por exemplo, previsão de safra)

39http://www6.cptec.inpe.br/eurobrisa/

Real time and verification products

1-month lead precip. forecastsEUROSIP: ECMWF UKMO Meteo-FranceEmpirical (SST based)Integrated (Combined)

40http://www6.cptec.inpe.br/eurobrisa/

41

Empírico IntegradaCorrelação: anomalias de precipitação DJF

Melhor desempenho na região tropical e sudeste da América do Sul

• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões

UKMOECMWF

Exemplo de produto de verificação

42

Empírico Integrada

Brier Skill Score (anomalia pos. ou neg.): precipitação em DJF

UKMOECMWF


43

Empírico Integrada

Ranked probability skill score (três categorias): precipitação em DJF

UKMOECMWF


44

Empírico Integrada

Gerrity score (três categorias): precipitação em DJF

UKMOECMWF


45

Empírico Integrada

ROC skill score (anomalias pos. ou neg.): precipitação em DJF

UKMOECMWF


46

Empírico Integrada

Diagrama de conf. (anom. pos. ou neg.): precipitação DJF

UKMOECMWF


47

Empírico Integrada

Curva ROC (anom. pos. ou neg.): precipitation em DJF

UKMOECMWF


48

Empírico Integrada

Exemplo de produto de previsão:Probabilidade do tercil mais provável:precipitação DJF 2007

Produzida: Nov 2007

ECMWF UKMO

49

Empírico Integrada

Previsão categórica: precipitação DJF 2007

ECMWF UKMO

Produzida: Nov 2007

50

Empírico Integrada

Prob de anom. pos.: precipitação DJF 2007

ECMWF UKMO

Produzida: Nov 2007

51

Empírico Integrada

Prob de precip. no tercil superior: DJF 2007

ECMWF UKMO

Produzida: Nov 2007

52

Empírico Integrada

Prob de precip. no tercil inferior: DJF 2007

ECMWF UKMO

Produzida: Nov 2007

53

•Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes, M. Balmaseda, R. Graham 2007: “Integrated Seasonal Climate Forecasts for South America”. CLIVAR Exchanges No 43, Vol. 12, No 4, 13-19.• Coelho C.A.S., D. B. Stephenson, M. Balmaseda, F. J. Doblas-Reyes and G. J. van Oldenborgh, 2006: “Towards an integrated seasonal forecasting system for South America”. J. Climate., Vol. 19, 3704-3721.•Coelho C.A.S., 2005: “Forecast Calibration and Combination: Bayesian Assimilation of Seasonal Climate Predictions”. PhD Thesis. University of Reading, 178 pp. • Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes and M. Balmaseda, 2005: “From Multi-model Ensemble Predictions to Well-calibrated Probability Forecasts: Seasonal Rainfall Forecasts over South America 1959-2001”. CLIVAR Exchanges No 32, Vol. 10, No 1, 14-20.•Stephenson, D. B., C.A.S. Coelho, F. J. Doblas-Reyes, and M. Balmaseda, 2005:“Forecast Assimilation: A Unified Framework for the Combination of Multi-Model Weather and Climate Predictions.” Tellus A, Vol. 57, 253-264.• Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2004: “Forecast Calibration and Combination: A Simple Bayesian Approach for ENSO”. Journal of Climate. Vol. 17, No. 7, 1504-1516.

• Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2003: “Skill of Coupled Model Seasonal Forecasts: A Bayesian Assessment of ECMWF ENSO Forecasts”. ECMWF Technical Memorandum No. 426, 16pp. Disponível em http://www.cptec.inpe.br/~caio

Mais informações …

Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) Instituto Nacional de...

Documents

Transcript of Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) Instituto Nacional de...