Estudo Comparativo de Modelos de Gerenciamento de Risco de Mercado com uma Carteira Composta por Ativos Típicos de um Fundo de Ações

Autores: Antonio Francisco de Almeida e André Ghirardi

Resumo

O cálculo do Value at Risk (VaR) está sendo bastante utilizado como forma de gerenciar riscos de mercado pelas instituições financeiras, e o Comitê de Basiléia recomenda seu uso como instrumento para a supervisão bancária. Este trabalho compara três modelos de estimativa da volatilidade para o cálculo do VaR (volatilidade calculada pelo desvio padrão, RiskMetricsTM e GARCH). São utilizados três critérios de avaliação para comparar esses três modelos: o backtesting conforme proposto pelo Comitê de Basiléia, uma função de verossimilhança e uma função de perda. Para isso, é utilizada uma carteira composta por quatro ativos (IBOVESPA, PETROBRÁS, TELESP e CDI), onde os movimentos na composição da carteira seguem a lógica de um fundo de ações real de um banco do sistema financeiro nacional.

1- Introdução Alguns problemas recentes com bancos que operam nos mercados internacionais

chamaram a atenção do mundo financeiro para a fragilidade dos controles de riscos, dentre eles: o colapso do Barings Bank da Inglaterra causado por um corretor que abriu um rombo de cerca de US$ 1,4 bilhão, devido a operações fraudulentas no mercado futuro em Cingapura; a quebra do Daiwa Bank, do Japão, onde um operador de títulos públicos na agência em New York conseguiu esconder perdas acumuladas durante onze anos; e mais recentemente, o fundo de “hedge” norte-americano Long-Term Capital Management (LTCM) que foi socorrido em setembro de 1998, após perder US$ 4 bilhões nos mercados globais de capitais. Alguns autores, dentre eles Jorion (1997), defendem que a existência de procedimentos internos de controle de riscos poderiam evitar esses tipos de ocorrências.

Uma categoria de risco financeiro classificada como risco de mercado é aquela associada às oscilações de preços dos ativos (volatilidade). Uma das formas de mensurar o risco de mercado é o cálculo do Value at Risk – VaR. O VaR serve a uma série de propósitos (Jorion, 1997) tais como o fornecimento de informações dos riscos de uma operação, podendo, inclusive, ser utilizado nos relatórios aos acionistas, uma vez que os dados são apresentados em termos de potencial de perdas em moeda (fácil entendimento); pode ser usado para definir limites para as operações, ajudando a decidir aonde alocar o capital disponível; e os dados de VaR podem ser utilizados para relacionar desempenho ao risco. As instituições financeiras estão implementando sistemas de gerenciamento de riscos centralizado, usando o VaR. Além disso, a regulação bancária internacional requer nível de capital mínimo baseado no VaR, segundo os critérios do Comitê de Basiléia1.

1 O Comitê de Basiléia para supervisão bancária criado em 1975 é composto de representantes de autoridades de supervisão bancária e bancos centrais da Bélgica, Canadá, França, Alemanha, Itália, Japão, Luxemburgo, Holanda, Suécia, Suiça, Reino Unido e Estados Unidos, e tem o BIS como sua secretaria permanente.

1

Este trabalho compara três abordagens de cálculo do risco de mercado a partir do VaR (desvio padrão, RiskMetricsTM e GARCH). A comparação entre as três técnicas é feita usando os critérios do procedimento de backtesting, recomendados pelo Comitê de Basiléia, e também pela aplicação de funções objetivo para enriquecer a análise comparativa. Para isso, foi utilizada uma carteira composta de quatro ativos (IBOVESPA, ações PETROBRÁS PN, TELESP PN e CDI), com dados de julho de 1994 a dezembro de 1998, buscando reproduzir, por regressões estatísticas, os retornos de uma carteira real de um fundo de ações de um banco do sistema financeiro nacional.

2- O Cálculo do VaR O VaR é a estimativa da quantidade que poderá ser perdida em uma carteira (conjunto de

investimentos da instituição financeira), em função das oscilações dos preços dos ativos no mercado – considerado como a pior perda esperada, em um intervalo de tempo, sobre condições normais de mercado em um dado intervalo de confiança. Para o cálculo do VaR de apenas um ativo em uma carteira (Jorion, 1997):

tWVaR ∆= ...0 ασ (1) onde, VaR = Value at Risk W0 = Valor aplicado σ = Volatilidade α = Fator de segurança (obtido da tabela da curva de distribuição Normal) ∆t = Tempo da aplicação ou holding period Para o cálculo do VAR de uma carteira com mais de um ativo (Bessada, 1998):

......2...2... 11211222

22

1 +++++= nnnc VaRVaRVaRVaRVaRVaRVaRVaR ρρ (2)

sendo ρin é o coeficiente de correlação entre os ativos “i” e “n”.

2.1- A estimativa da volatilidade pelo desvio padrão

Existem diversas alternativas disponíveis na literatura para o cálculo da volatilidade (σ), dentre elas a que representa uma interpretação quase que natural é a estimativa pelo desvio padrão. Nesse caso, a volatilidade é calculada como o desvio padrão do logaritmo neperiano da taxa de retorno diária (ri) dos preços do ativo (Bessada, 1998).

2_2

11 ∑

−

−=

ii rr

nσ (3)

As equações abaixo apresentam as relações utilizadas para computar os preços e retornos dos ativos:

1

1

−

−−=

t

ttt P

PPR (4)

2

onde: Pt é o preço e Rt é o retorno do ativo no tempo t. Em bases logarítmicas têm-se:

( tt Pp ln= ))

.

(5)

( ) ( 11ln −−=+= tttt ppRr (6)

Um problema em se trabalhar com retornos computados em termos de mudanças relativas (ou diferenças de preços relativas) é que sua modelagem pode conduzir a estimativas de preços negativos, enquanto que ao se trabalhar com os logaritmos dos preços isso não ocorre. Em geral, os modelos de gerenciamento de riscos de mercado medem as mudanças no valor da carteira em termos do logaritmo das variações dos preços dos ativos (retornos computados continuamente). A tabela 1 mostra que na agregação ao longo do tempo é mais conveniente se trabalhar com retornos computados continuamente, pois leva a relações lineares mais simples. Por outro lado, na agregação entre diferentes ativos o uso da expressão para retornos computados por mudanças relativas é mais conveniente do ponto de vista de simplicidade matemática. Dessa forma, assume-se que o retorno da carteira é uma média ponderada dos retornos computados continuamente:

∑=

≅N

iitipt rwr

1 (7)

Tabela 1 – Agregação de retornos Agregação Ao longo do tempo Entre ativos

Retornos computados em termos de mudanças relativas ( )∏

=

−+=T

titiT RR

1

11 ∑=

=N

titipt RwR

1.

Retorno computado continuamente ∑

=

=T

titiT rr

1

= ∑ itr

ipt ewr .ln

Obs: T=tempo final; N=número total de ativos; o índice p refere-se à carteira; o índice i refere-se aos ativos; wi são os percentuais (pesos) aplicados em cada ativo.

2.2 O modelo do RiskMetricsTM

O RiskMetricsTM (ver referências bibliográficas) é um pacote computacional desenvolvido pelo banco JPMorgan que consiste de uma metodologia para estimar o risco de mercado com base no VaR. Um modelo de mensuração do risco tem como objetivo prever as mudanças futuras no valor da carteira, o que geralmente é feito por estimativas dos retornos futuros de cada um dos ativos que a compõem. O RiskMetricsTM utiliza uma classe de modelos que descreve a evolução dos retornos como um caminho randômico (random walk) heterocedástico:

tttt pp εσµ .1 ++= − ; ( 1,0~ Nt )ε (8)

Como rt=pt-pt-1, e µ é o retorno médio, que o RiskMetricsTM assume como igual a zero, tem-se:

tttr εσ .= (9)

3

Percebe-se que no modelo proposto a variância, σt2, é função do tempo, caracterizando

um processo heterocedástico, o que está de acordo com as propriedades das séries temporais dos retornos financeiros, de acordo com observações empíricas.

Dessa forma, o modelo do RiskMetricsTM baseia-se no fato de as variâncias dos retornos serem heterocedásticas (não constantes) e autocorrelacionadas. Além disso, as covariâncias são também autocorrelacionadas, e considera-se, ainda, que os retornos são normalmente distribuídos. Uma forma de capturar as dinâmicas da volatilidade é usar a média móvel exponencial das observações históricas dos retornos, onde as últimas observações recebem os maiores pesos para a estimativa da volatilidade (Exponentially Weighted Moving Average – EWMA). Essa aproximação tem duas vantagens sobre o modelo de pesos igualmente distribuídos ao longo da série (como no modelo citado em 2.1). Primeiro, a volatilidade reage mais rápido a choques no mercado. Segundo, após um choque de preço, a volatilidade declina exponencialmente, na medida em que o peso dessa observação é reduzido com o tempo. Assim, o RiskMetricsTM calcula a volatilidade a partir da seguinte expressão:

( )∑=

−

−−=

T

tt

t rr1

2_1..1 λλσ (10)

O parâmetro λ (0<λ<1) é o fator de decaimento e determina os pesos relativos aplicados às observações dos retornos e a efetiva quantidade de dados usada na estimativa da volatilidade, assim, quanto menor λ, maior o peso nos dados mais recentes. O manual do RiskMetricsTM recomenda o uso de λ=0,94. Uma facilidade do estimador com ponderação exponencial é que ele pode ser apresentado de forma recursiva, assumindo que uma série infinita de dados está disponível e que a média dos retornos é zero:

( ) 2,1

21,11,1 .1. ttttt rλσλσ −+= −+ (11)

O subscrito t+1t é interpretado como a previsão em t+1, a partir das informações disponíveis até o tempo t. O fato de que a estimativa da variância do período depende da variância do período anterior é consistente com a afirmação de que existe autocorrelação nos quadrados dos retornos. O modelo EWMA é usado também para as estimativas de covariâncias e correlações, da mesma forma que as previsões de volatilidade:

( )

−

−−= ∑

=

−_

221

_

1112

12 ...1 rrrr t

T

jt

jλλσ (12)

De forma análoga, a forma recursiva para a expressão acima é dada por:

( ) tttttt rr 212

1,122

1,12 ..1. λσλσ −+= −+ (13)

A estimativa da correlação é obtida pela seguinte expressão:

tttt

tttt

1,21,1

21,12

1,12 . ++

+

+ =σσ

σρ (14)

2.3- O modelo GARCH

4

Os modelos econométricos tradicionais levavam em consideração que a variância do termo distúrbio era constante (Enders, 1995). Uma classe de processos estocásticos denominada de Autoregressive Conditional Heteroskedastic (ARCH) foi introduzida por Engle (1982). Com o objetivo de generalizar os processos ARCH, Bollerslev (1986) apresentou o modelo GARCH – Generalized Autoregressive Conditional Heteroskedastic. Modelos do tipo GARCH permitem capturar movimentos persistentes na volatilidade dos ativos, sem ter de estimar uma grande número de parâmetros (Barcinski et al., 1997). Um processo GARCH(p,q) é dado por:

bxy ttt .'−=ε (15)

∑∑=

−=

− ++=p

iiti

q

iitit hh

11

20 .. βεαα (16)

( tt hN ,0~ )ε (17)

0 e 0 ;0 ii0 ≥≥> βαα (18)

onde, εt é o termo aleatório no tempo t, enquanto que ht é a variância condicional. O processo GARCH permite a inclusão de componentes autoregressivos e de média móvel na variância heterocedástica. O ponto chave dos modelos GARCH é que a variância condicional dos distúrbios da seqüência de yt constitui um processo ARMA (Enders, 1995). Bollerslev (1986) apresentou, ainda, a seguinte condição para que o processo seja estacionário:

111 <+ βα (19)

Bollerslev sugeriu que a estimativa do modelo de regressão GARCH seja feita por máxima verossimilhança, com a seguinte função a ser maximizada:

( ) ( )

( ) ( ) 121

1

..5,0log.5,0

,.

−

=

−

−−=

= ∑

tttt

T

ttT

hhl

lTL

εθ

θθ (20)

Existem muitas extensões dos modelos GARCH, entre elas cita-se o GARCH-M, que tem como motivação o fato de que o retorno esperado de um ativo é função do seu risco. Os modelos TARCH e EGARCH baseiam-se no fato de que movimentos de baixa nos retornos provocam choques maiores na volatilidade do que movimentos de alta (Santos, 1997). O modelo GARCH(1,1) é citado por Carmona (1997) e também por Farias Filho (1997), como a versão mais simples e mais usada dessa família. Vale destacar, que o modelo EWMA descrito no RiskMetricsTM é equivalente a um processo GARCH integrado (IGARCH), sem o termo constante, ou seja, com α1=1-β1 e α0=0.

3- Avaliação dos modelos A comparação de modelos de gerenciamento de riscos não é uma tarefa simples, pois ela depende de fatores como: os ativos que estão sendo utilizados, o período de observação, e o critério de avaliação. Boudoukh et al. (1997), investigaram o desempenho de quatro métodos de gerenciamento de riscos utilizando o erro quadrático médio (MSE) e os coeficientes de regressão das volatilidades estimadas com os quadrados dos retornos de títulos do Tesouro americano. Esse estudo conclui que o método do RiskMetricsTM é superior ao do desvio padrão da série histórica e ao GARCH(1,1).

5

Alexander e Leigh (1997), compararam os mesmos três métodos de gerenciamento de riscos usando dados de índices de ações da Alemanha, França, Grã-Bretanha, Japão e Estados Unidos, além dos preços de troca das moedas desses países com o dólar. Os critérios de avaliação utilizados por esses autores foram a raiz quadrada da média dos desvios entre as volatilidades estimadas e os retornos quadráticos (RMSE), um critério de verossimilhança e o procedimento do backtesting conforme proposto pelo Comitê de Basiléia. Relativamente aos critérios de RMSE e verossimilhança, em aplicações com horizonte de um dia, não foi possível identificar qual o melhor método de gerenciamento de riscos, pois o melhor desempenho era função do ativo selecionado e do critério de avaliação escolhido. No entanto, o critério de avaliação do backtesting revelou que o método GARCH(1,1) apresentou melhor desempenho na maioria dos casos.

Farias Filho (1997), usando o critério RMSE comparou o desempenho do RiskMetricsTM com o GARCH(1,1) usando dados do IBOVESPA de 1996, resultando em uma melhor avaliação para o primeiro modelo. Santos (1997), analisando o comportamento do mercado futuro do IBOVESPA, no período de agosto de 1995 a janeiro de 1997, comparou o modelo ingênuo (desvio padrão), com os modelos do RiskMetricsTM e GARCH(1,1) usando o critério RMSE e outras formas equivalentes2, concluindo que o modelo GARCH apresentou melhor desempenho. No entanto, ao subdividir o período em dois intervalos de tempo menores, Santos identificou que para o primeiro intervalo o modelo GARCH apresentou melhor desempenho, enquanto que no segundo intervalo os diversos critérios utilizados não permitiram afirmar qual o melhor método.

3.1- O Backtesting Bancos adotam freqüentemente modelos de gerenciamento de riscos de mercado como,

por exemplo, as técnicas discutidas anteriormente. Existe, no entanto, um grande desafio para os bancos centrais, e também para as instituições financeiras, em avaliar os modelos de gerenciamento para qualificá-los como adequados ou não. A princípio, o objetivo da autoridade de supervisão não seria estabelecer um modelo de gerenciamento de riscos para as instituições financeiras, o que poderia desestimular a busca por novos modelos mais refinados. Nesse sentido, o Comitê de Basiléia sugeriu, em 1996, o uso de uma estratégia que passou a ser conhecida como modelo interno de controle para por em prova os modelos utilizados pelos bancos, permitindo apenas avaliar se o modelo usado é adequado ou não, sem ter que entrar em detalhes sobre a escolha, construção e determinação dos parâmetros do mesmo. Essa estratégia apoiou-se no procedimento de backtesting.

O backtesting consiste em comparar diariamente os resultados obtidos pela carteira da instituição (lucro ou prejuízo) com as medidas de risco (VaR) realizadas pelo modelo de gerenciamento (Comitê de Basiléia, 1996). A estimativa de perda feita pelo cálculo do VaR deve ser superior ao eventual prejuízo que venha a ocorrer no dia em análise, caso contrário, o modelo estará prevendo uma perda inferior àquela ocorrida, o que poderá ocasionar problemas para a instituição. No entanto, espera-se que uma fração de resultados não satisfaça esse critério, tendo em vista o intervalo de confiança adotado no cálculo do VaR (99% conforme estabelecido pelo Comitê de Basiléia).

O Comitê de Basiléia sugere que as instituições financeiras sejam obrigadas a manter uma determinada quantidade de capital mínimo para cobrir seus riscos de investimento. Dessa forma, 2 Os outros critérios utilizados por Santos (1997) foram o erro absoluto médio, erro quadrático percentual médio e erro absoluto percentual médio.

6

o resultado da avaliação do modelo de gerenciamento de risco de mercado é utilizado no cálculo desse requisito mínimo de capital da instituição. Esse cálculo é feito em função de um fator multiplicador sobre o VaR3. O Comitê de Basiléia recomenda que quanto pior o poder de previsão do modelo de gerenciamento de risco de mercado, ou seja, maior o número de vezes que o risco calculado for menor que a perda efetiva, maior seja o fator multiplicador sobre o VaR, o que redunda em maior requisito mínimo de capital. O fator de multiplicação é distribuído em três zonas: verde, amarela e vermelha, de acordo com a tabela 2. No extremo, a autoridade de supervisão bancária poderia até mesmo desaconselhar o uso de determinado modelo de gerenciamento de risco, caso os resultados do backtesting sejam não satisfatórios.

Para o cálculo do requisito de capital utiliza-se o VaR para um holding period de 10 dias, o que significa que o VaR diário é multiplicado pela raiz quadrada de 10. Além disso, o requisito de capital é o maior valor entre os seguintes números: o VaR do dia anterior ou a média do VaR dos últimos sessenta dias multiplicada pelo fator. Esse fator pode ser acrescido de uma quantidade que é função da avaliação feita pelo backtesting, de acordo com a seguinte tabela:

Tabela 2 – Avaliação do modelo de gerenciamento de risco de acordo com o backtesting Zona Número de exceções em 250

observações Acréscimo no fator de multiplicação

Verde 0 a 4 0

Amarela 5 6 7 8 9

0,4 0,5 0,65 0,75 0,85

Vermelha 10 ou mais 1

O Comitê de Basiléia reconhece que o backtesting possui algumas limitações, dentre elas o fato de que a carteira do banco não se mantém estática de um dia para o outro, havendo variações de posição (compra e venda de ativos) ao longo de um mesmo dia. Assim, o resultado da carteira, lucro ou prejuízo, no dia seguinte não pode ser associado exclusivamente às variações de preços dos ativos da carteira avaliada pelo modelo no dia anterior, o que contaminaria estatisticamente o resultado, já que os modelos de gerenciamento de riscos de mercado consideram a carteira estática (sem mudança na sua composição). Embora essa limitação seja reconhecida pelo Comitê de Basiléia como uma restrição ao uso do backtesting, acredita-se que ao se trabalhar com um horizonte futuro de tempo de apenas um dia, esse problema seja minimizado. Dessa forma, o Comitê sugere a utilização de duas alternativas no cálculo das perdas, facultando a autoridade de supervisão a escolha da mais adequada:

a) as perdas são calculadas imaginando uma carteira hipotética, onde sua composição é mantida constante do início ao fim do dia (podendo variar de um dia para outro);

b) as perdas são calculadas a partir da diferença no valor da carteira entre o fim e o início do dia, o que leva em consideração a compra e venda de ativos.

3 O fator recomendado é igual a 3

7

A primeira alternativa apresenta maior rigor estatístico, enquanto que a segunda permite que seja avaliada a estratégia de negócios da instituição.

Relativamente à freqüência de aplicação do backtesting, o desejo de utilizar o maior número de observações possível deve ser balanceado com a necessidade de estabelecer bases de regulação e fiscalização. O Comitê de Basiléia recomenda que o teste seja aplicado trimestralmente usando os dados observados dos últimos 12 meses. Além disso, o Comitê recomenda também que os modelos de gerenciamento de riscos utilizem um período mínimo de um ano de dados históricos para o cálculo do VaR.

3.2- Funções Objetivo para a avaliação dos modelos Assumindo-se a normalidade condicional e média igual a zero para os retornos, a estimativa da variância é equivalente à estimativa da função densidade de probabilidade dos retornos, e a avaliação da estimativa pode ser feita comparando como a distribuição estimada representa os dados reais. Isso é exatamente o que os métodos de verossimilhança fazem. Assumindo que a distribuição dos retornos é normal e tem média igual a zero, a função logarítmica de verossimilhança, excluído o termo constante, é dada por:

( ) ([∑=

+=N

ttttrLF

1

222 ln/ σσ )]

)

(21)

Na avaliação de cada modelo de gerenciamento de risco, pode ser computada a quantidade da equação (21), para cada ativo, e o valor médio4 para a carteira pode ser calculado. Quanto menor o valor de LF, melhor a avaliação da previsão.

Outra alternativa de avaliação para os modelos é baseada em uma função definida pela raiz quadrada dos erros quadráticos médios (RMSE):

( ) (∑=

−=N

tttrNRMSE

1

222./1 σ (22)

Novamente, quanto menor RMSE, melhor a previsão. Essa alternativa é interessante, tendo em vista o fato de que LF assume normalidade condicional, embora essa consideração possa ser violada (Alexander e Leigh, 1997). Existe um problema no uso de funções como RMSE e LF na avaliação de modelos de gerenciamento de riscos. Esses critérios avaliam a capacidade do modelo em estimar a curva de distribuição dos retornos. No entanto, a grande preocupação com o risco é a capacidade de prever exceções, já que o Value at Risk procura captar os piores cenários. Assim, as caudas da distribuição de probabilidades são mais importantes do ponto de vista de risco.

4- A Carteira utilizada para os testes Com o objetivo de aplicar o procedimento de backtesting em uma carteira que seguisse

uma lógica real de operação do mercado na variação de sua composição, foram utilizados os valores das cotas de um fundo de ações de um banco do sistema financeiro nacional, simulando uma carteira hipotética que reproduzisse da melhor forma o retorno desse fundo. A carteira utilizada para os testes é formada pelo índice IBOVESPA, por ações PETROBRÁS PN, TELESP

4 Embora mais coerente pudesse ser uma média ponderada na composição dos ativos, optou-se nesse trabalho pela média simples, para verificar a capacidade de previsão conjunta das volatilidades pelo modelo.

8

PN e por Certificados de Depósito Interbancários (CDI). A composição dessa carteira foi variada em intervalo regular de tempo (5 dias), escolhido arbitrariamente. O fundo da instituição bancária é composto de no mínimo 51% do volume aplicado em ações, sendo que parcela dos recursos pode ser aplicada em renda fixa, desde que não ultrapasse o limite de 49% do volume aplicado. Dessa forma, com os valores das cotas do fundo, foram realizadas regressões com os dados do IBOVESPA (de julho de 1994 a dezembro de 1998). O coeficiente estimado pelo modelo de regressão foi assumido como a composição hipotética do fundo em IBOVESPA, com restrição de variação entre 0.2 e 1:

IBOVESPAIBOVESPAfundo RENTCRENT .= (21)

Isso significa que o fundo hipotético foi composto de uma carteira com um percentual do investimento em IBOVESPA variando entre 20% e 100% (sendo que essa composição foi alterada de 5 em 5 dias). Para determinar a parcela investida em ações da PETROBRÁS, TELESP e em CDI, foram feitas regressões com os dados de rentabilidades do fundo (RENTfundo) e de várias carteiras hipotéticas (RENTcarthipot), ver equação (22), criadas variando a composição remanescente (100% menos a composição em IBOVESPA), de tal forma que se obtivesse um balanço entre o coeficiente de correlação da regressão (Rmulti) e o parâmetro estimado da regressão (X). O objetivo seria chegar a valores de Rmulti e de X o mais próximo possível de um:

... hipotcartfundo RENTXRENT = (22)

Como resultado das regressões da equação (22), a lógica da composição da carteira foi definida da seguinte forma: CIBOVESPA é obtida do resultado da regressão, de 5 em 5 dias, da equação (21). A composição em ações PETROBRÁS é dada por: CPETROBRÁS=(1-CIBOVESPA).0,2; enquanto que a composição em ações TELESP: CTELESP=(1-CIBOVESPA).0,2; e, finalmente, a composição em renda fixa: CCDI=(1-CIBOVESPA).0,6 = 1-CIBOVESPA-CPETROBRÁS-CTELESP.

A regressão dos retornos do fundo com os retornos da carteira hipotética acima apresentaram Rmulti=0,7417, X=0,7049 e estatística t=36,8. É importante destacar que a regressão dos dados do fundo de ações com o IBOVESPA, para o período de julho de 1994 a dezembro de 1998, resultou em um Rmulti=0,7049, X=0,4862 e t=33,1. A composição da carteira hipotética segundo os parâmetros apresentados garante que não haja menos de 56% do montante investido aplicado em ações ou no índice.

5- Os resultados A carteira hipotética, criada conforme a descrição acima, foi utilizada para os cálculos

diários do VaR, com os dados dos retornos do IBOVESPA, das ações PETROBRÁS PN, TELESP PN e do CDI, no período de julho de 1994 a dezembro de 1998. Os cálculos do VaR foram feitos tomando como base os parâmetros estabelecidos pelo Comitê de Basiléia para o backtesting, conforme seção 3.1. O CDI foi tratado como um ativo sem risco. O backtesting foi aplicado com uma freqüência trimestral, o que resultou em 11 simulações no período, sendo que os dados de julho de 1994 a junho de 1995 foram utilizados para os cálculos dos parâmetros dos modelos relativos à primeira simulação (julho de 1995 a junho de 1996).

Os resultados são apresentados nas tabelas 3 a 6 e nas figuras 1 a 3, que se seguem, sendo que as abreviaturas DP, RM e GH correspondem aos métodos com o desvio padrão médio, RiskMetricsTM e GARCH, respectivamente. Nas tabelas 3 e 4 são apresentados os percentuais de

9

erro, onde o erro é considerado como o número de vezes em que o VaR é menor em valor absoluto do que a perda ocorrida. A posição vendida corresponde à curva relativa aos valores positivos dos retornos (retorno positivo significa prejuízo para quem detém posição vendida, pois indica aumento de preços), enquanto que a posição comprada corresponde à curva relativa aos valores negativos dos retornos. As avaliações correspondem ao período de um ano antes das datas apresentadas nas tabelas.

Tabela 3 – Backtesting – posição vendida (Erro %)

Data da avaliação Modelo Jul

96 Out 96

Jan 97

Abr 97

Jul 97

Out 97

Jan 98

Abr 98

Jul 98

Out 98

Jan 99

DP 1,22 1,62 2,02 3,24 4,44 6,48 8,43 6,77 5,22 4,84 4,51

RM 2,04 1,62 1,61 2,02 2,82 3,24 2,41 1,99 1,20 0,81 0,82

GH 0,00 0,00 0,00 0,40 1,20 2,83 4,82 3,59 2,41 3,63 0,82

Melhor Desemp.

GH GH GH GH GH GH RM RM RM RM RM/ GH

Tabela 4 – Backtesting – posição comprada (Erro %) Data da avaliação Modelo Jul

96 Out 96

Jan 97

Abr 97

Jul 97

Out 97

Jan 98

Abr 98

Jul 98

Out 98

Jan 99

DP 0,00 0,81 1,21 2,43 3,23 6,88 9,23 8,37 8,83 6,45 4,92

RM 1,22 0,40 1,21 0,81 1,21 1,21 1,61 1,59 2,01 3,63 3,28

GH 0,00 0,00 0,00 0,00 0,40 2,01 4,42 4,38 4,42 3,63 3,28

Melhor Desemp.

GH GH GH GH GH RM RM RM RM RM/ GH

RM/ GH

A análise das tabelas 3 e 4 revela claramente a desvantagem do método baseado no desvio padrão dos retornos com pesos distribuídos igualmente, o que era de se esperar, pois a existência de um retorno incomum contamina o cálculo, persistindo durante o período de um ano (250 dias considerados), além disso todas as informações passadas tem o mesmo peso no cálculo da volatilidade. Os métodos do RiskMetricsTM e do GARCH, por apresentarem pesos diferenciados às informações passadas oferecem um clara vantagem sobre a estimativa da volatilidade pelo simples cálculo do desvio padrão. Essas duas tabelas indicam que até a avaliação de julho de 1997, o GARCH apresentou um desempenho superior relativamente ao RiskMetricsTM, sendo que essa tendência foi praticamente invertida no período seguinte, à exceção apenas das últimas avaliações. De acordo com a tabela 2, um número de 10 erros em 250 observações (4%) leva à classificação do modelo na zona vermelha, o que sugere problemas com o mesmo. O modelo baseado no desvio padrão encontra-se nessa zona na maior parte dos períodos investigados (tabelas 3 e 4). O modelo do RiskMetricsTM em momento algum caiu na zona vermelha, enquanto

10

que o modelo GARCH a atingiu três vezes nas avaliações de 1998 (posição comprada), que abrangeram o período correspondente à crise asiática, no quarto trimestre de 1997. A observação das tabelas 5 e 6, no entanto, indica o contrário, revelando que o GARCH foi o melhor modelo nesse período.

A análise das tabelas 5 e 6, não demonstra uma nítida separação de períodos com desempenho superior para qualquer um dos métodos, inclusive, não permite que o método dos desvios padrão possa ser avaliado como tendo um desempenho tão ruim, como o foi pelo critério do backtesting. Esses resultados estão de acordo com o reportado na literatura discutida no item 3 deste trabalho. Vale destacar que a função de verossimilhança e o RMSE calculados de acordo com a equações (21) e (22) são médias dos valores obtidos para cada um dos ativos com risco.

Percebe-se que diferentes critérios de avaliação podem levar a diferentes resultados na análise do desempenho de um método de gerenciamento de riscos. O fato de que as avaliações com as funções objetivos não permitiram uma nítida diferenciação de desempenho de modelos mais sofisticados como o RiskMetricsTM e o GARCH, do modelo baseado apenas nos desvios padrões, é um indicativo de que existe algum problema com esses dois critérios. Como eles procuram avaliar o desempenho ao longo de toda a curva de distribuição de resultados, ao contrário de avaliar os pontos críticos sob o enfoque do risco (caudas da distribuição), ficam impedidos de captar as “fraquezas” do modelo. Além disso, as funções objetivo calculam o desempenho considerando as variâncias de cada ativo e não levam em consideração as covariâncias entre eles.

Tabela 5 – Avaliação pela função de verossimilhança*1 Data da avaliação Modelo Jul

96 Out 96

Jan 97

Abr 97

Jul 97

Out 97

Jan 98

Abr 98

Jul 98

Out 98

Jan 99

DP 3,21 3,26 3,77 2,34 3,51 3,32 3,11 3,14 2,99 2,41 2,35

RM 2,97 3,15 3,72 2,41 3,38 3,21 2,88 3,46 2,99 2,26 2,35

GH 3,30 3,13 3,80 2,41 3,44 3,35 3,16 3,77 3,47 2,30 2,31

Melhor Desemp.

GH DP GH RM/ GH

DP GH GH GH GH DP DP/ RM

*1 Valores multiplicados por –1.

Tabela 6 – Avaliação pelo RMSE*1 Data da avaliação Modelo Jul

96 Out 96

Jan 97

Abr 97

Jul 97

Out 97

Jan 98

Abr 98

Jul 98

Out 98

Jan 99

DP 1,2 0,4 1,2 2,2 0,6 1,2 3,3 3,9 5,4 1,7 1,4

RM 1,3 0,7 1,4 2,2 1,3 2,0 6,3 1,5 5,8 10,1 1,8

GH 0,9 1,8 1,1 2,1 1,0 1,2 2,9 1,2 1,1 3,9 2,3

11

Melhor Desemp.

GH DP GH GH DP DP/GH

GH GH GH DP DP

*1 Valores multiplicados por 1x10-5

As figuras 1 a 3 apresentam as curvas de previsão do VaR (comprada e vendida) para o período de julho de 1995 a dezembro de 1998. A figura 1 deixa evidente a falha do modelo do desvio padrão no cálculo do VaR, com vários pontos fora dos limites de risco de perda. O número de erros para a curva superior correspondeu a 4,30%, enquanto para a inferior esse percentual foi de 4,44% (zona vermelha da tabela 2). Para o RiskMetricsTM, figura 2, os percentuais foram de 1,86% e 1,97% para as curvas superior e inferior, respectivamente, sendo que o modelo GARCH apresentou 1,39% e 1,97%.

Backtesting - Avaliação do período: jul/1995 a dez/1998Modelo do Desvio Padrão

-0.2

-0.1

0

0.1

0.2

11/07/95

11/10/95

11/01/96

11/04/96

11/07/96

11/10/96

11/01/97

11/04/97

11/07/97

11/10/97

11/01/98

11/04/98

11/07/98

11/10/98

dias

VaR

(Bas

e da

Car

teir

a=R$

1)

Figura 1 – Avaliação do Backtesting para modelo do desvio padrão

12

Backtesting - Avaliação do período: jul/1995 a dez/1998Modelo do RiskMetrics

-0.2

-0.1

0

0.1

0.2

11/07/95

11/10/95

11/01/96

11/04/96

11/07/96

11/10/96

11/01/97

11/04/97

11/07/97

11/10/97

11/01/98

11/04/98

11/07/98

11/10/98

dias

VaR

(Bas

e da

Car

teir

a=R$

1)

Figura 2 – Avaliação do Backtesting para modelo do RiskMetricsTM

Backtesting - Avaliação do período: jul/1995 a dez/1998Modelo GARCH(1,1)

-0.2

-0.1

0

0.1

0.2

11/07/95

11/10/95

11/01/96

11/04/96

11/07/96

11/10/96

11/01/97

11/04/97

11/07/97

11/10/97

11/01/98

11/04/98

11/07/98

11/10/98

dias

VaR

(Bas

e da

Car

teir

a=R$

1)

Figura 3 – Avaliação do Backtesting para modelo GARCH(1,1)

13

6- Conclusões A avaliação de modelos de gerenciamento de riscos depende do critério de desempenho

utilizado. Diferentes critérios levam a diferentes interpretações dos modelos. Do ponto de vista do risco, o interessante é que os critérios procurem identificar a ocorrência de falhas nas previsões, importando para avaliação os pontos onde a previsão de perda foi inferior à efetivamente ocorrida (caudas da distribuição de retornos). Critérios de avaliação que procuram captar o desempenho da previsão ao longo de toda a curva de distribuição dos retornos não necessariamente serão os melhores critérios do ponto de vista do risco.

Os resultados sugerem que um mesmo modelo de gerenciamento de risco, avaliado por um mesmo critério, pode apresentar desempenho satisfatório em determinados períodos, enquanto que em outros não. Isso é um grande problema sob o aspecto operacional para os bancos, bem como para a autoridade de supervisão bancária. Para os bancos, é importante que se estabeleçam rotinas constantes de avaliação dos modelos utilizados, sob diferentes critérios, para verificar a acurácia do mesmo. Para a autoridade de supervisão, dentro do enfoque do Comitê de Basiléia, é importante o desenvolvimento de trabalhos quantitativos que permitam revisar periodicamente os fatores de multiplicação na definição da exigência de capital.

Um enfoque que pode ser estudado como alternativa de avaliação é a definição de funções objetivo que ponderem diferentemente os erros para eventos pouco prováveis (caudas da distribuição de probabilidades). Ao invés de ponderar da mesma forma um erro de previsão pequeno ou grande, como o faz o backtesting quando assume o valor 1 se erro e zero se acerto, poder-se-ia atribuir pesos maiores a erros de maior magnitude. Dessa forma, caso a perda supere o VaR calculado em um valor grande, o peso atribuído à essa observação seria maior que aquele atribuído caso o valor do erro fosse pequeno.

Referências Bibliográficas Alexander, C. O., Leigh, C. T.; (1997); “On the Covariance Matrices Used in Value at Risk Models”; The Journal of Derivatives; spring.

Bollerslev, T.; (1986); “Generalized Autoregressive Conditional Heteroskedasticity”; Journal of Econometrics; nº 31; pgs. 307-327.

Barcinski, A., Almeida, B., Garcia, M., Silveira, M.; (1997); “Estimação da Volatilidade do Retorno das Ações Brasileiras – Um Método Alternativo à Família GARCH”; Resenha da BM&F; nº 116; pgs. 21-39.

Bessada, O. M. (1998); “Modelos de Gerenciamento de Risco em Instituições Financeiras”; Anais da 7ª Semana de Contabilidade do Banco Central do Brasil.

Boudoukh, J.; Richardson, M.; Whitelaw, R. F.; (1997); “Investigation of a Class of Volatility Estimators”; The Journal of Derivatives; spring.

Carmona, C. U.; (1997); “Um Estudo do Modelo CAPM com Variâncias não Estacionárias através da Metodologia GARCH-M”; Tese de Doutorado em Engenharia de Produção; PUC – RJ.

Comitê de Basiléia (1996); “Supervisory Framework for the use of Backtesting in Conjunction with the Internal Models Approach to Market Risk Capital Requirements”.

14

15

Enders, W.; (1995); “Applied Econometric Time Series”; John Wiley.

Engle, R. F.; (1982); “Autoregressive Conditional Heteroscdasticity with Estimates of the Variance of United Kingdom Inflation”; Econometrica; Vol. 50; Nº 4; pgs. 987-1007.

Farias Filho, A. C.; (1997); “Avaliação do Value at Risk do Índice Bovespa Usando os Modelos GARCH, TARCH e RiskMetricsTM para se Estimar a Volatilidade”; Dissertação de Mestrado em Administração; Fundação Getúlio Vargas – SP.

Jorion, P. (1997); “Value at Risk: The New Benchmark for Controlling Market Risk”; editora McGraw-Hill.

Manual do RiskMetricsTM; (1996); http://www.jpmorgan.com/RiskManagement.

Santos, J. E.; (1997); “Previsão de Volatiidade no Brasil: RiskMetricsTM, GARCH, Volatilidade Implícita ou uma Combinação desses Modelos? Um Estudo Empírico”; Tese de Doutorado em Administração; Fundação Getúlio Vargas – SP.