UNIVERSIDADE FEDERAL DE JUIZ DE FORA

FACULDADE DE ENGENHARIA

CURSO DE GRADUAÇÃO EM ENGENHARIA COMPUTACIONAL

APLICAÇÃO DE REDES NEURAIS LSTM PARA A PREVISÃO DECURTO PRAZO DE VAZÃO DO RIO PARAÍBA DO SUL

LUCAS COUTINHO VASSALLI

JUIZ DE FORA

2018

UNIVERSIDADE FEDERAL DE JUIZ DE FORA

CURSO DE GRADUAÇÃO EM ENGENHARIA COMPUTACIONAL

APLICAÇÃO DE REDES NEURAIS LSTM PARA A PREVISÃO DECURTO PRAZO DE VAZÃO DO RIO PARAÍBA DO SUL

LUCAS COUTINHO VASSALLI

JUIZ DE FORA

FACULDADE DE ENGENHARIA

2018

APLICAÇÃO DE REDES NEURAIS LSTM PARA A PREVISÃO DECURTO PRAZO DE VAZÃO DO RIO PARAÍBA DO SUL

Trabalho Final de Curso apresentado ao Co-legiado do Curso de Engenharia Computacio-nal da Universidade Federal de Juiz de Fora,como requisito parcial à obtenção do títulode Engenheiro Computacional.

Área de conhecimento: Engenharia Compu-tacional

Orientador: Prof. Dr. Leonardo Goliatt daFonseca

JUIZ DE FORA

FACULDADE DE ENGENHARIA

2018

APLICAÇÃO DE REDES NEURAIS LSTM PARA A PREVISÃO DECURTO PRAZO DE VAZÃO DO RIO PARAÍBA DO SUL

LUCAS COUTINHO VASSALLI

Trabalho Final de Curso submetido à banca examinadora como parte dos requisitosnecessários para a obtenção do grau de bacharel em Engenharia Computacional.

Aprovado em: __/__/____

Por:

Orientador: Prof. Dr. Leonardo Goliatt da Fonseca

Profa. Dra. Flávia de Souza Bastos

Profa. Dra. Michèle Cristina Resende Farage

AGRADECIMENTOS

Agradeço especialmente a meu pai, minha mãe e meu orientador.

“O rio atinge seus objetivos porque aprendeu a contornarobstáculos”.

Lao-Tsé

RESUMO

O uso de métodos de aprendizado de máquina para a previsão de vazão tem se expan-dido na última década e teve sua eficácia mostrada em diversas situações. Eles podemser alimentados por extensos dados disponibilizados pela Agência Nacional de Águas eutilizados em diversas atividades relacionadas ao gerenciamento da água. Esse trabalhoexplora a utilização de redes LSTM (Long Short-Term Memory) para a previsão de vazãoem rios da Bacia Hidrográfica do Paraíba do Sul, um modelo notável pela insensibilidadeà distâncias temporais entre eventos. Ele é apresentado, analisado e comparado, com focona facilidade de reaplicação, demonstração da eficácia e ilustração dos resultados.

LISTA DE ILUSTRAÇÕES

Figura 1 – Mapa da bacia hidrográfica do Rio Paraíba do Sul (ANA) . . . . . . . 10Figura 2 – Estações marcadas no Google Earth . . . . . . . . . . . . . . . . . . . 12Figura 3 – Série histórica da estação de Pindamonhangaba . . . . . . . . . . . . . 13Figura 4 – Série histórica da estação de Campos - Ponte Municipal . . . . . . . . 13Figura 5 – Série histórica da estação de Carangola . . . . . . . . . . . . . . . . . . 14Figura 6 – Esquema de uma rede neural com duas camadas ocultas. . . . . . . . . 14Figura 7 – A unidade LSTM e suas funções detalhadas (Wang; Raj, 2017) . . . . . 16Figura 8 – Valores previstos sobrescritos sobre observados para os primeiros 10000

dias da série . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21Figura 9 – Dia x diferença entre previsto e observado para o conjunto de treino . . 21Figura 10 – Valores previstos x Valores observados para o conjunto de treino . . . . 22Figura 11 – Valores previstos x Valores observados para o conjunto de teste . . . . 22Figura 12 – Valores previstos x Valores observados para treino(azul) e teste(laranja) 23Figura 13 – Valores previstos(laranja) e Valores observados(azul) para o conjunto

de teste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24Figura 14 – Valores previstos x Valores observados para o conjunto de teste . . . . 24Figura 15 – Regressão linear, conjunto teste . . . . . . . . . . . . . . . . . . . . . . 25Figura 16 – Valores previstos(laranja) e observados(azul) . . . . . . . . . . . . . . . 26Figura 17 – Valores previstos x Valores observados . . . . . . . . . . . . . . . . . . 26Figura 18 – Valores previstos em horizonte de 3 dias(laranja) e observados(azul) . 27Figura 19 – Valores previstos em 3 dias de horizonte x Valores observados . . . . . 28Figura 20 – Valores previstos em horizonte de 7 dias(laranja) e observados(azul) . 28Figura 21 – Valores previstos em 7 dias de horizonte x Valores observados . . . . . 29Figura 22 – Comparativo entre LSTM e três modelos de outro estudo . . . . . . . . 30

LISTA DE TABELAS

Tabela 1 – Vazão média e número de entradas das estações . . . . . . . . . . . . . 12Tabela 2 – Descrição das implementações . . . . . . . . . . . . . . . . . . . . . . . 17Tabela 3 – Parâmetros do primeiro modelo . . . . . . . . . . . . . . . . . . . . . . 20Tabela 4 – Resultados do primeiro modelo . . . . . . . . . . . . . . . . . . . . . . 20Tabela 5 – Resultados para 98:2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23Tabela 6 – Resultados do primeiro modelo com dados de chuva . . . . . . . . . . . 23Tabela 7 – Resultados da regressão linear . . . . . . . . . . . . . . . . . . . . . . . 25Tabela 8 – Resultados do modelo com duas camadas LSTM . . . . . . . . . . . . 26Tabela 9 – Resultados para 7 dias . . . . . . . . . . . . . . . . . . . . . . . . . . . 27Tabela 10 – Coeficiente Nash-Sutcliffe de diversos modelos . . . . . . . . . . . . . . 29Tabela 11 – Resultados obtidos em Carangola . . . . . . . . . . . . . . . . . . . . . 32

SUMÁRIO

1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.1 CONTEXTO HISTÓRICO E RELEVÂNCIA DO TEMA . . . . . . . . 91.2 JUSTIFICATIVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.3 OBJETIVOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111.4 ORGANIZAÇÃO DO TRABALHO . . . . . . . . . . . . . . . . . . . . 11

2 MATERIAIS E MÉTODOS . . . . . . . . . . . . . . . . . . . . 122.1 CONJUNTO DE DADOS . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2 REDES NEURAIS DO TIPO LSTM . . . . . . . . . . . . . . . . . . . 142.2.1 Modelo computacional . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.2.2 Descrição das implementações . . . . . . . . . . . . . . . . . . . . . . . 172.2.3 Descrição dos parâmetros da rede . . . . . . . . . . . . . . . . . . . . . 172.3 REGRESSÃO LINEAR . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.4 MEDIDAS DE DESEMPENHO DOS MODELOS . . . . . . . . . . . . 192.4.1 Coeficiente de Eficiência de Nash-Sutcliffe(NSE) . . . . . . . . . . . . . 192.4.2 Raiz do erro quadrático médio(RMSE) . . . . . . . . . . . . . . . . . . 19

3 RESULTADOS E DISCUSSÃO . . . . . . . . . . . . . . . . . . 203.1 UMA CAMADA LSTM E UMA VARIÁVEL DE ENTRADA . . . . . . 203.1.1 Diferente proporção treino:teste . . . . . . . . . . . . . . . . . . . . . . 233.2 INCLUSÃO DAS INFORMAÇÕES DE PRECIPITAÇÃO . . . . . . . . 233.2.1 Regressão Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.3 MODELO LSTM COM DUAS CAMADAS . . . . . . . . . . . . . . . . 263.4 COM HORIZONTE DE PREDIÇÃO . . . . . . . . . . . . . . . . . . . 273.5 EXEMPLO COMPARATIVO . . . . . . . . . . . . . . . . . . . . . . . 293.6 ESTAÇÃO CARANGOLA E VARIAÇÕES NO MODELO . . . . . . . 31

4 CONCLUSÃO E TRABALHOS FUTUROS . . . . . . . . . . . 33

REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

1 INTRODUÇÃO

1.1 CONTEXTO HISTÓRICO E RELEVÂNCIA DO TEMA

A Hidrologia, ciência natural que se ocupa do estudo dos recursos hídricos emtodo o ciclo hidrológico, tem um importante papel para o conhecimento das quantidades,distribuições e características hídricas das diversas regiões, contribuindo para a melhorgestão dos recursos hídricos disponíveis.

O levantamento das informações necessárias à Hidrologia é realizado através deredes de estações hidrométricas, cujas séries de dados têm sua importância proporcional àsua extensão temporal. No Brasil, muitas estações individualizadas têm mais de cem anosde dados, como é o caso da estação pluviométrica de Morro Velho, com registros desde1855, e da estação fluviométrica do rio Negro, em Manaus, com registros de níveis desde1902. As primeiras atividades de coleta de dados hidrológicos de maneira organizada, noentanto, remontam ao início do século passado, mais precisamente em 1920, através daComissão de Estudos de Forças Hidráulicas (Agência Nacional de Águas - ANA, 2009).

A ANA disponibiliza no portal Hidroweb as séries históricas de estações fluvi-ométricas e pluviométricas, de onde foram extraídos dados diários de vazão e chuvarespectivamente, sem os quais este trabalho não seria possível. As estações analisadaspodem ser encontradas na Seção 2.1.

A Bacia Hidrográfica do Rio Paraíba do Sul ocupa uma área de 55.500 km2, abrangeo Vale do Paraíba Paulista (13.900 km2), a Zona da Mata Mineira (20.700 km2) e quasemetade do Estado do Rio de Janeiro (20.900 km2). Apesar da pequena expressão territorial,representa 0,7% do território brasileiro e 6% da região sudeste, é responsável por cercade 10% do PIB nacional, abastecendo, com suas águas, paulistas, fluminenses e mineiros,além dos cerca de nove milhões de habitantes da região metropolitana do Rio de Janeiro,beneficiados com a transposição diária para o rio Guandu (Corrêa; Costa, 2016, apudMachado, 2012).

A bacia do rio Paraíba do Sul tem sido palco para a implantação de uma série deaproveitamentos de usos múltiplos da água, visando à regularização de vazões, o controlede cheias e à geração de energia elétrica. No trecho paulista da bacia, destacam-se osaproveitamentos de potência instalada de Paraibuna/Paraitinga (86 MW), Santa Branca(58MW) e Jaguari (27,6 MW). Os reservatórios de Paraibuna/Paraitinga e Jaguari são osprincipais responsáveis em garantir o abastecimento da região metropolitana do Rio deJaneiro (Marengo; Alves, 2005, apud CBH/PS, 2003).

Mesmo com o importante papel no cenário nacional, a bacia hidrográfica do rio

9

Figura 1 – Mapa da bacia hidrográfica do Rio Paraíba do Sul (ANA)

Paraíba do Sul passa por uma das piores secas desde o início dos registros dos níveisdos rios, em 1930. Como medida para o enfrentamento dessa crise de escassez hídrica, aAgência Nacional de Águas (ANA) vem emitindo resoluções com o objetivo de preservaros estoques disponíveis de água no reservatório equivalente desta Bacia, composto pelosbarramentos de Paraibuna, Santa Branca, Jaguari e Funil (ANA, 2018).

1.2 JUSTIFICATIVA

Muitas atividades associadas ao planejamento e operação de recursos hídricos sebeneficiam de previsões de eventos futuros. Os próprios componentes que constituem aentrada de arquivos hidrológicos representam fatores importantes para o planejamento derecursos, e previsões de curto e longo prazo de fluxo em cursos d’água podem otimizar aoperação e expansão do gerenciamento da água.

Segundo (Shortridge; Guikema; Zaitchik, 2016) enquanto modelos físicos distri-buídos que fielmente representam processos hidrológicos ainda podem ser consideradoso padrão ouro para modelagem de fluxo de água, modelos empíricos podem ser umaferramenta importante onde existem dados limitados sobre os processos físicos da baciamas longas séries temporais de precipitação e vazão (apud Iorgulescu; Beven, 2004). Ao

10

menos em nível prático, esse foi precisamente o caso, sendo possível encontrar séries dechuva e vazão de mais de 80 anos facilmente enquanto modelos físicos requeririam maiorlevantamento de dados, situação que deve se repetir em outras regiões do Brasil.

Sabendo do potencial deste tipo de abordagem e como análise exploratória dautilização de LSTM (Long Short-Term Memory) neste contexto, percebeu-se a necessidadede um trabalho de fácil entendimento e reprodutibilidade com extensa apresentação deresultados, contribuindo tanto na utilização do método como em avaliações prévias dosresultados esperados.

É importante reconhecer que a acurácia sozinha não é necessariamente suficientepara a aplicação de um modelo para dado problema. Modelos não apenas devem seracurados como também adequados para o objetivo (Beven, 2011). Enquanto serãorealizadas comparações com coeficientes de erro de outros modelos, os resultados serãoextensamente apresentados em gráficos para possibilitar diversos tipos de avaliações.

1.3 OBJETIVOS

O presente trabalho tem como principais objetivos:

• Demonstrar a aplicação da técnica de Redes Neurais Recorrentes (RNN) com ca-mada(s) LSTM para a previsão de fluxo de água na região escolhida;

• Comparar os resultados computacionais com séries históricas de vazão e forne-cer dados relativos à precisão do método associados aos principais parâmetros damodelagem;

• Esclarecer as vantagens e insuficiências do método e discutir as principais escolhasassociadas.

1.4 ORGANIZAÇÃO DO TRABALHO

O Capítulo 2 apresenta os dados e métodos utilizados neste trabalho, são descritasas características e funcionalidades dos modelos utilizados;

O Capítulo 3 apresenta os resultados dos modelos computacionais e realiza compa-rações entre eles. São calculados coeficientes de erros para diversos modelos e os resultadosde previsão são extensamente representados graficamente;

O Capítulo 4 traz as conclusões inferidas a partir dos resultados obtidos e analisapossibilidades de expansão deste tema em futuros trabalhos.

11

2 MATERIAIS E MÉTODOS

2.1 CONJUNTO DE DADOS

Os dados usados neste trabalho são das estações fluviométricas de PINDAMO-NHANGABA, CARANGOLA e CAMPOS - PONTE MUNICIPAL, códigos 58183000,58930000 e 58974000, conforme nomenclatura e numeração fornecidas pela ANA. Todaspossuem estações pluviométricas homônimas, de códigos 2141002, 2042000 e 2245048 egeograficamente próximas. A estação de Carangola situa-se no rio de mesmo nome e éafluente do Paraíba do Sul enquanto as demais se situam no próprio Paraíba do Sul.

Figura 2 – Estações marcadas no Google Earth

Google Landsat / Copernicus Data SIO, NOAA, U.S. Navy, NGA, GEBCOearth.google.com, (Julho , 2018)

Tabela 1 – Vazão média e número de entradas das estações

Estação Vazão média (m3/s) EntradasPINDAMONHANGABA 152.94 27413

CARANGOLA 13.02 26184CAMPOS - PONTE MUNICIPAL 763.37 14656

As Figuras 3, 4, e 5 mostram as séries históricas de chuva e vazão utilizadas nestetrabalho. Foram escolhidas estações com grande quantidade de dados porém distintasmédias anuais de vazão para uma melhor verificação do modelo. Os dados não são com-pletos no período em nenhuma das séries, todas terminam em 2016 e começam em 1939,

12

1935 e 1945, estando aproximadamente 97%, 88% e 57% completas para Pindamonhan-gaba, Carangola e Campos - Ponte Municipal respectivamente, com variados graus deconfiabilidade.

Figura 3 – Série histórica da estação de Pindamonhangaba

Figura 4 – Série histórica da estação de Campos - Ponte Municipal

13

Figura 5 – Série histórica da estação de Carangola

2.2 REDES NEURAIS DO TIPO LSTM

Uma Rede de Memória Longa de Curto Prazo, mais conhecida pelo acrônimo deLong Short-Term Memory, LSTM, é uma Rede Neural Recorrente(RNN, de RecurrentNeural Network) composta por unidades LSTM.

Figura 6 – Esquema de uma rede neural com duas camadas ocultas.

A ideia principal é que uma Rede Neural Recorrente pode ser alimentada reversa-mente com dados relevantes ao modelo, no caso séries históricas de vazão e chuva, pararealizar previsões. Podemos, por exemplo, definir que o modelo receberá como entradadados de 20 dias consecutivos de vazão e chuva e retorna a vazão no dia seguinte. Semtreinar o modelo, o resultado será irrelevante. Mas se treinarmos por várias vezes os dadosde chuva e vazão de 20 dias juntamente com a vazão no dia seguinte, espera-se que o

14

modelo seja calibrado para prever a vazão para uma determinada entrada.

O funcionamento disso é baseado em cada neurônio de uma RNN ser conectadoàqueles das camadas anterior e seguinte. Em cada neurônio é atribuido um peso para asentradas recebidas e deles subtraídos um valor conhecido como bias e submetidos a umafunção de ativação, como a função sigmóide, limitada entre [0,1], para representar a ativaçãodo neurônio. São esses pesos que representam o treinamento recebido e portanto constituema memória da rede. Podemos entender que cada neurônio reconhece determinado tipo desituação e para essa situação de entrada, esse neurônio está mais ativado, portanto paraum problema complexo, são utilizadas grandes quantidades de neurônios e camadas. Issorecebe o nome Deep Learning e redes neurais deste tipo são utilizadas para aplicações comoreconhecimento de voz e texto manual. O papel de cada neurônio é a execução de funçõesmatemáticas e não deve ser associado a uma parcela intuitiva de um reconhecimento feitopelo cerébro humano.

Uma definição de RNN proposta por (Elman, 1990) pode ser formulada como:

ht = σ(WhX +Wryt−1) (2.1)

y = σ(Wyht) (2.2)

Onde h recebe o nome estado oculto, W são pesos, X entrada, y saída e σ a funçãosigmoide.

Já uma unidade LSTM é composta de um neurônio e portões de entrada, esqueci-mento e saída. O neurônio é responsável pela memória da rede, representada pela ativaçãobaseada na soma ponderada e os portões são uma forma de, opcionalmente, permitir ainformação. Vamos analisar uma rede LSTM em seus componentes:

• estado oculto: usado para determinar o que esquecer, entrar e sair no passo seguinte

• estado de entrada: combinação do estado oculto e a entrada atual

• estado interno: valores com função de memória

• portão de entrada: decide se a entrada alcança o estado interno

i(t) = σ(W ixx(t) +W ihh(t−1) + bi) (2.3)

• portão de esquecimento: decide se o estado interno desconsidera o anterior

f (t) = σ(W fxx(t) +W fhh(t−1) + bf ) (2.4)

15

• portão de saida: decide se o estado interno é passado à saída e ao estado oculto nopasso seguinte

o(t) = σ(W oxx(t) +W ohh(t−1) + bo) (2.5)

Figura 7 – A unidade LSTM e suas funções detalhadas (Wang; Raj, 2017)

Evidentemente, uma rede LSTM não é construída de forma a se assemelhar aosprocessos físicos envolvendo o escoamento da água na bacia hidrográfica. Chamamosesta análise portando de caixa-preta, requisitando menor número de dados. Os principaisfatores parametrizáveis serão avaliados na Seção 2.2.3.

16

2.2.1 Modelo computacional

Para realizarmos simulações, foi utilizado o pacote Keras, uma biblioteca redesneurais, além das bibliotecas Pandas para estruturação dos dados, Matplotlib para aconstrução de gráficos, scikit-learn para regressão linear e normalização dos dados eNumPy pela estrutura de vetor e funções matemáticas. Todos na última versão disponívelem 15 de junho de 2018 no Python Package Index(PyPI), para a linguagem de programaçãoPython 3.6. Todos os softwares utilizados são livres e de código aberto.

2.2.2 Descrição das implementações

Foram feitas implementações distintas para a adição de algumas funcionalidades,pois adicionam complexidade ao modelo e podem resultar em perda de desempenhodesnecessária ou dificuldade na verificação da corretude. Estas propostas serão comparadasao longo deste trabalho. A Tabela 2 apresenta a descrição dos modelos utilizados nessetrabalho.

Tabela 2 – Descrição das implementações

Modelo Descriçãolstm-1 indica um modelo cuja entrada é apenas dados de vazão, e faz

predições apenas para vazão do dia seguinte. Uma única entradapode conter dados de um número variável de dias. Os tiposseguintes utilizam esse modelo como base e adiciona funcionali-dades.

lstm-2 inclui entrada de dados de chuva para o mesmo período de vazão.lstm-stacked utiliza duas camadas LSTM ocultas.lstm-horizonte é capaz de prever uma quantidade variável de dias no futuro. Usa

o valor previsto para prever o dia seguinte.

2.2.3 Descrição dos parâmetros da rede

Os parâmetros da rede LSTM são descritos abaixo.

• Estação fluviométrica: identificado pelo código da estação fornecido pela ANA,representa a origem dos dados de vazão, que é o principal dado para treino e oobjetivo de predição. Presente em todos os modelos.

• Estação pluviométrica: também identificado pelo código da estação fornecido pelaANA, representa a origem dos dados de chuva, utilizado juntamente com os dadosde vazão na tentativa de aumentar o poder preditivo do modelo. Durante os testes,foram utilizadas as estações pluviométricas mais próximas geograficamente dasfluviométricas associadas.

17

• Amostras de treino: o número de entradas utilizadas para treinar o modelo.

• Amostras de teste: o número de entradas utilizadas para testar o modelo.

• Épocas: o conjunto de treino é alimentado à rede tantas vezes quanto o número deépocas.

• Tamanho batch: o batch é o conjunto de entradas que a rede neural irá processar antesde ajustar os pesos do modelo. É muito impactante na velocidade do treinamento.

• Número de Neurônios: representa o número de unidades LSTM.

• Dias anteriores: quantos dias consecutivos compõem uma única entrada. Pode serentendido como o tamanho da janela que se desloca à medida que os dados são lidos.

• Horizonte de predição: até quantos dias após à entrada serão feitas previsões.

• Função de Perda: a principal função de qualquer rede neural é minimizar perdas, épor seus erros que ela aprende. Essa é a função utilizada para determinar quão ruimestá a resposta da rede durante o treino, um exemplo seria o erro médio quadrático.

• Otimizador: um método numérico usado na otimização, para encontrar um mínimoda função (entrada, peso) → (saída), normalmente usa-se um esquema iterativoonde em cada passo se toma a direção negativa do gradiente calculado durante aalimentação reversa da rede.

• Função de ativação: A função pela qual passa os valores de entrada de um neurôniosubmetidos ao peso, cujo resultado representa o estado de ativação do neurônio. Demaneira geral, os melhores resultados foram obtidos pela utilização da ativação padrãodo Keras, tangente hiperbólica (tanh), com diferenças negligenciáveis para a funçãosigmóide. No entando, para os modelos capazes de prever ao horizonte, algumasentradas causavam sucessivos decréscimos de valor, quase totalmente corrigido pelautilização da função de ativação ReLU (rectified linear unit), sempre positiva. Esseparâmetro é portanto, tratado como fixo em cada implementação.

tanh(x) = e2x − 1e2x + 1 , −1 < tanh(x) < 1 (2.6)

ReLU(x) = max(0, x), 0 ≤ ReLU(x) <∞ (2.7)

2.3 REGRESSÃO LINEAR

Regressão linear é uma equação para se estimar a condicional (valor esperado)de uma variável y, dados os valores de algumas outras variáveis x. Este modelo foi

18

implementado para avaliar a correlação entre vazão e chuva em estações próximas bemcomo ser um modelo mais simples de mesmo objetivo para extrair comparações.

Foi realizada uma regressão simples (uma variável), com o modelo LinearRegressiondo pacote scikit-learn, que utiliza o Método dos Mínimos Quadrados, que procura encontraro melhor ajuste para um conjunto de dados tentando minimizar a soma dos quadradosdas diferenças entre o valor estimado e os dados observados ajustando apenas um fatorlinear em relação à variável de entrada e outro fator independente.

2.4 MEDIDAS DE DESEMPENHO DOS MODELOS

Foram escolhidos dois dos mais utilizados parâmetros de erro para avaliar a precisãodo modelo e facilitar comparações com outros trabalhos.

2.4.1 Coeficiente de Eficiência de Nash-Sutcliffe(NSE)

O Coeficiente de Eficiência de Nash-Sutcliffe é utilizado para avaliar o poderpreditivo de modelos hidrológicos. É definido como:

NSE = 1−n∑(

Yi − Yi

)2

n∑(Yi − Y

)2 (2.8)

Onde Yi e Yi são os valores previstos e medidos da variável de critério, Y é a médiados valores medidos Y e n é o número de amostras de teste. A eficiência Nash–Sutcliffepode variar entre −∞ e 1.

2.4.2 Raiz do erro quadrático médio(RMSE)

A raiz do erro quadrático médio frequentemente utilizada para medir a diferençaentre valores previstos por um modelo e observados, também chamado resíduo. É dadopor:

RMSE =

√√√√ n∑(Yi − Yi)2

n(2.9)

Onde Yi são os valores previstos, Yi os observados e n o número de amostras. Éuma das medidas mais comuns para erro em trabalhos sobre modelos de previsão.

19

3 RESULTADOS E DISCUSSÃO

3.1 UMA CAMADA LSTM E UMA VARIÁVEL DE ENTRADA

O primeiro resultado deste trabalho será baseado no modelo mais simples, utilizandoapenas a série histórica de vazão como entrada, chamado aqui simplesmente lstm-1.Utilizaremos a série da estação fluviométrica Pindamonhangaba no rio Paraíba do Sul comentradas de 1939 até 2016 totalizando 27413 dias. Os dados foram divididos em treinoe teste na proporção 67:33, com o treino na primeira fração. A vazão média no períodoanalisado é de 152.94 metros cúbicos por segundo.

Tabela 3 – Parâmetros do primeiro modelo

Dias Dias Épocas Batch Número de Dias Função Otimizadortreino teste Neurônios Anteriores de perda18366 9047 35 20 40 14 MSE Adam

Parâmetros descritos na Subseção 3.2

Excepcionalmente para este modelo, foram feitas previsões para o conjunto detreino e os resultados serão exibidos extensivamente em forma de gráficos.

Tabela 4 – Resultados do primeiro modelo

RMSE Teste NSE Teste RMSE Treino NSE Treino20.36 0.9144 11.44 0.978137

A considerável discrepância entre os resultados obtidos no conjunto de treino e testeindica que a rede se adaptou consideravelmente melhor para o conjunto que foi treinada edado o espaço de tempo que os conjuntos representam, pode ser indicativo de mudançasna dinâmica do rio ou da forma de medição. Esse aparenta ser o caso, e não tiramos aquifortes indícios de que o modelo tenha tendência de sofrer sobreajuste, o que tentaremosmostrar no exemplo seguinte.

Os gráfico de vazão absoluta mostrado na Figura 8 mostra a série histórica naestação entre 1939 e 1966, com os dados previstos sobrescritos pelos observados em coresdistintas pela recomendação (Hastie; Tibshirani; Friedman, 2016), mas ainda com málegibilidade, ainda que adequadamente mostre a série. Os gráficos seguintes fornecerãomaior distinção entre observado e previsão.

A Figura 9 mostra a substração dos valores previstos pelos observados para asentradas usadas no treino do modelo. Enquanto ela mostra os valores absolutos de erro, afigura 10 mostra com maior clareza para qual nível de entrada o erro está sendo cometidoe portanto gráficos deste segundo tipo serão apresentados nos exemplos seguintes.

20

Figura 8 – Valores previstos sobrescritos sobre observados para os primeiros 10000 dias da série

Figura 9 – Dia x diferença entre previsto e observado para o conjunto de treino

É possível notar uma maior dispersão na Figura 11 que na Figura 10, mostrandoo pior resultado do modelo para o conjunto de teste. Ainda assim, os dados foramconsiderados satisfatórios.

21

Figura 10 – Valores previstos x Valores observados para o conjunto de treino

Figura 11 – Valores previstos x Valores observados para o conjunto de teste

22

3.1.1 Diferente proporção treino:teste

Se fizermos a proporção treino:teste 98:2, obtemos o seguinte resultado para osmesmos parâmetros:

Tabela 5 – Resultados para 98:2

RMSE Teste NSE Teste RMSE Treino NSE Treino10.28 0.9429 14.84 0.9609

Figura 12 – Valores previstos x Valores observados para treino(azul) e teste(laranja)

Esse exemplo utilizou uma proporção muito pequena para o conjunto de teste paraavaliar a discrepância de resultados entre os conjuntos do exemplo anterior, mostrandoque para este caso treinar a rede até um valor próximo do atual pode trazer considerávelbenefício em resultados mais práticos. Resultados semelhantes foram observados paraoutros modelos e esse será o único modelo explicitado graficamente com essa abordagem.

3.2 INCLUSÃO DAS INFORMAÇÕES DE PRECIPITAÇÃO

Utilizando os mesmos parâmetros do modelo anterior com dados de chuva dePindamonhangaba, foi observado uma ligeira melhora nos coeficientes de erro.

Tabela 6 – Resultados do primeiro modelo com dados de chuva

RMSE Teste NSE Teste19.83 0.9187

23

Figura 13 – Valores previstos(laranja) e Valores observados(azul) para o conjunto de teste

Figura 14 – Valores previstos x Valores observados para o conjunto de teste

24

Para os exemplos analisados, o uso dos dados de chuva é questionável. Enquantoem nenhum dos testes seu uso trouxe resultados significativamente piores, mal podemosdizer que a melhora foi consistente, mesmo desconsiderando custos computacionais.

Não trazer resultados negativos, no entanto, pode ser considerado um bom resultado.A chuva é, inegávelmente, um fator importante nos processos físicos envolvidos. Seconsiderarmos a ampla disponibilidade destes dados juntamente com um maior nível deconhecimento do processo de escoamento da água, selecionando dados de uma ou maisregiões de drenagem relevantes, é amplamente possível que o modelo receba melhorasignificativa.

3.2.1 Regressão Linear

Também utilizando dados de chuva, apresentamos aqui o resultado do modelo deregressão linear para o mesmo conjunto.

Tabela 7 – Resultados da regressão linear

RMSE NSE4578.62 0.052591

Figura 15 – Regressão linear, conjunto teste

Esse resultado mostra que os valores de vazão não se ajustam linearmente demaneira satisfatória com os dados de chuva da mesma região, e muito provavelmente nemem outra ordem de análise, tudo que pode ser observado é uma leve correlação entre osfatores o que explica uma possível melhora marginal pela utilização da chuva no modeloLSTM.

25

3.3 MODELO LSTM COM DUAS CAMADAS

Esse exemplo utiliza os mesmos parâmetros anteriores, com os 40 neurônios divididosem duas camadas com 20 neurônios em cada uma delas.

Tabela 8 – Resultados do modelo com duas camadas LSTM

RMSE Teste NSE Teste20.80 0.9104

Figura 16 – Valores previstos(laranja) e observados(azul)

Figura 17 – Valores previstos x Valores observados

Adicionar uma camada oculta não demonstrou resultados positivos. Os coeficientesde erro foram, em geral, levemente piores, e como pode ser observado pela grande quanti-

26

dade de pontos abaixo do eixo x=y na metade direta da Figura 17, a rede neural adquiriuuma tendência de prever para baixo, especialmente para valores altos.

3.4 COM HORIZONTE DE PREDIÇÃO

Devido à sua simplicidade, bons resultados e reaplicabilidade, o modelo escolhidocomo base desta análise com horizonte de previsão é aquele que utiliza apenas dados devazão e uma camada LSTM. Funciona fazendo previsão sobre previsão (e dados anteriores),cada uma para o dia seguinte, seguindo a mesma lógica de funcionamento.

Tabela 9 – Resultados para 7 dias

Dia RMSE Teste NSE Teste1 19.814 0.9326942 33.617 0.9326943 42.528 0.7936054 47.976 0.7643075 51.662 0.7257196 54.316 0.6831707 56.385 0.643025

Devido à utilização do modo stateful do Keras, o tamanho batch foi fixado em 1para simplicidade e assegurar a corretude. Isso acabou gerando um modelo mais lento erefinado e explica os melhores coeficientes obtidos para o primeiro dia.

Figura 18 – Valores previstos em horizonte de 3 dias(laranja) e observados(azul)

27

Na Figura 19 já é possível observar como os pontos tendem a se distanciar do eixox=y. É esperado que, para mais previsões sucessivas maior seja o erro propagado, e o erroainda parece relativamente simétrico ao eixo.

Figura 19 – Valores previstos em 3 dias de horizonte x Valores observados

Figura 20 – Valores previstos em horizonte de 7 dias(laranja) e observados(azul)

Já nas Figuras 20 e 21, é possível notar uma tendência de previsão para baixo,principalmente associadas a valores observados mais altos, mas ainda visível para menores.Isso era ainda mais notório utilizando a ativação tanh e foi parcialmente corrigido utilizandoReLU, e ainda assim faz-se necessário colocar restrição de valores negativos ou mínimosno modelo.

28

Figura 21 – Valores previstos em 7 dias de horizonte x Valores observados

3.5 EXEMPLO COMPARATIVO

Vamos comparar o modelo deste trabalho com um estudo comparativo de modelosde aprendizado de máquina na mesma região de estudo, por (Gorodestskaya; Goliatt;Ribeiro, 2018). Este trabalho utilizou dados da estação Campos - Ponte Municipal entre1990 e 2016, fazendo previsão de vazão em até 7 dias por três diferentes métodos deaprendizado de máquina, Multi-task ElasticNet (LM), Random Forest (RF) e RedesNeurais Artificiais (ANN), e também utilizou o coeficiente de Nash-Sutcliffe como uma desuas métricas.

Notadamente, este estudo utilizou apenas parte do período disponível, aproximada-mente 5000, enquanto temos um total de 14656. Utilizamos uma divisão treino:teste de67:33, enquanto o estudo comparativo faz validação cruzada 5-fold.

Tabela 10 – Coeficiente Nash-Sutcliffe de diversos modelos

Dia LSTM LM RF ANN1 0.9303 0.9161 0.9056 0.90782 0.8336 0.7709 0.7822 0.76673 0.7848 0.6471 0.6883 0.64964 0.7573 0.5700 0.6269 0.57215 0.7209 0.5176 0.5899 0.51416 0.6796 0.4778 0.5616 0.46967 0.6401 0.4481 0.5325 0.4350

29

É importante notar que, nos outros exemplos os coeficientes de erros foram obtidosem uma única execução do modelo, de forma que coincidam com os graficos apresentados.Aqui, foi feita a média de 10 execuções sem fixação de parâmetros aleatórios, para as quaiso coeficiente NSE apresentou um desvio padrão de 0.0015 para Dia 1, 0.0019 para o Dia3 e 0.0040 para o Dia 7. No entando, devido à menor quantidade de dados, a LSTM semostrou altamente sensível à sub-ajuste e pequenas alterações dos parâmetros causaramgrande perda de poder preditivo no conjunto de teste, gerando a cada execução errosem distribuição bimodal. Portanto é importante notar que a rede precisa ser muito bemparametrizada em exemplos como esse. Os parâmetros aqui usados, no entanto, foram osmesmos do exemplo anterior, que foram selecionados a partir dos resultados obtidos aquide maneira a produzir melhor efeito comparativo, foi adicionado aqui apenas restrição devalores negativos.

A Figura 22 mostra os gráficos apresentados por (Gorodestskaya; Goliatt; Ribeiro,2018) e abaixo, o mesmo conjunto de dados como teste da LSTM treinada com os demaisvalores da série.

Figura 22 – Comparativo entre LSTM e três modelos de outro estudo

30

3.6 ESTAÇÃO CARANGOLA E VARIAÇÕES NO MODELO

Como última forma de representação dos resultados obtidos e para detalhar ainfluência de uma maior quantidade de parâmetros, apresentamos aqui uma tabela baseadano arquivo histórico csv construído neste trabalho, para a estação de Carangola sobre orio de mesmo nome, afluente do Paraíba do Sul.

Esse rio teve vazão média de 13.02 m3/s durante o período completo, considera-velmente menor que os outros analisados, e para ele foram obtidos os piores resultados,com diferenças no NSE próximas de 0.1 para análises semelhantes. A Tabela 11 traz osresultados obtidos para diversas variações pontuais nos parâmetros com o objetivo demostrar sua influência.

31

Tabe

la11

–Resultado

sob

tidos

emCaran

gola

Métod

oTr

eino

Teste

Épocas

Batch

Neurônios

Janela

Perda

Otim

izad

orRMSE

NSE

lstm1

17529

8641

3050

2014

mae

adam

6.40

0.8265

lstm2

17529

8641

3050

2014

mae

adam

6.33

0.8300

stacked

17529

8641

3050

2014

mae

adam

6.46

0.8233

regrlin

17543

8641

184

0.2182

lstm1

3274

1599

3050

2014

mae

adam

5.61

0.8502

lstm2

3274

1599

3050

2014

mae

adam

5.85

0.8376

stacked

3274

1599

3050

2014

mae

adam

5.63

0.8429

regrlin

3288

1599

194

0.0774

lstm

23274

1599

30100

2014

mae

adam

5.86

0.8372

lstm2

3274

1599

300

100

2014

mae

adam

5.73

0.8444

lstm2

3274

1599

10100

2014

mae

adam

6.51

0.7993

lstm2

3274

1599

3100

2014

mae

adam

7.54

0.7305

lstm2

3274

1599

30100

100

14mae

adam

5.89

0.8459

lstm2

3274

1599

30100

514

mae

adam

5.94

0.8328

lstm2

3274

1599

30100

114

mae

adam

15.6

-0.1622

lstm2

3274

1592

30100

2021

mae

adam

5.92

0.8346

lstm2

3274

1606

30100

207

mae

adam

5.96

0.8307

lstm2

3274

1612

30100

201

mae

adam

5.63

0.8488

lstm2

3274

1599

30100

2014

mse

adam

6.063

0.8260

lstm2

3274

1599

30100

2014

logcosh

adam

6.04

0.8268

lstm2

3274

1599

30100

2014

sqhing

ead

am309

-45438

lstm2

3274

1599

30100

2014

map

ead

am16.8

-0.3405

lstm2

3274

1599

30100

2014

kld

adam

259

-318.3

lstm2

3274

1599

30100

2014

cosprox

adam

97.5

-44.03

lstm2

3274

1599

30100

2014

mae

adad

elta

6.16

0.8202

lstm2

3274

1599

30100

2014

mae

adam

ax6.28

0.8128

lstm2

3274

1599

30100

2014

mae

RMSp

rop

5.80

0.8406

lstm2

3274

1599

30100

2014

mae

Ada

grad

6.21

0.8175

32

4 CONCLUSÃO E TRABALHOS FUTUROS

Os resultados foram considerados muito satisfatórios. A partir de comparações comoutros modelos, foi possível obter medidas de desempenho melhores e fornecer resultadosmais precisos. O maior destaque observado da LSTM foi sua resiliência, especialmente paragrandes conjuntos de dados. O uso de parâmetros ou entradas ruins pode ser suplantadopor sua capacidade de aprendizado e muitas vezes em que se espera obter resultados piores,as mudanças acabam ignoradas pela estrutura da rede.

Provavelmente uma utilização inteligente dos dados de chuva ou quaisquer outrosdados que afetam os processos físicos de escoamento seria a maior melhoria possível parao modelo apresentado, enquanto a escassez de dados históricos representa o pior caso deuso desse modelo.

Para os casos analisados e considerando a vasta abrangência da Rede Hidrome-teorológica Nacional, os modelos utilizados se mostraram poderosas ferramentas para aprevisão de vazão e possuem vasta aplicabilidade no território nacional. A partir dosmodelos e resultados aqui apresentados, podemos possível concluir que o uso de LSTMé adequado para variados casos considerando a precisão alcançada e a facilidade em suautilização.

33

REFERÊNCIAS

Agência Nacional de Águas. Inventário das Estações Pluviométricas. 2009.

ANA. Sala de Situação. 2018. Disponível em: <http://www3.ana.gov.br/portal/ANA-/sala-de-situacao/paraiba-do-sul/paraiba-do-sul-saiba-mais>.

BEVEN, Kevin. Rainfall-Runoff Modelling: The Primer. [S.l.]: Wiley-Blackwell,2011.

CORRÊA, Cintia de A; COSTA, Alexanter J T. Usos na bacia hidrográfica do paraíbado sul: Considerações acerca da escassez de água, inundações e Área de preservaçãopermanente no trecho fluminense. Revista de Geografia (Recife), v. 33, n. 3, p. 62,2016.

GERS, F.A.; SCHMIDHUBER, J.; CUMMINS, F. Learning to forget: continual predictionwith lstm. 9th International Conference on Artificial Neural Networks: ICANN’99, p. 850–855, 1999.

GORODESTSKAYA, Y G.G. Tavares; GOLIATT, L.; RIBEIRO, C. B. M. Comparaçãode modelos de aprendizado de máquina para a previsão de curto prazo de vazão do rioparaíba do sul. 2018.

HASTIE, Trevor; TIBSHIRANI, Robert; FRIEDMAN, Jerome. The Elements ofStatistical Learning: Data Mining, Inference, and Prediction. [S.l.]: Springer,2016.

IORGULESCU, I; BEVEN, K J. Nonparametric direct mapping of rainfall-runoffrelationships: An alternative approach to data analysis and modeling? Water ResourcesResearch, American Geophysical Union, v. 40, n. 8, 2004.

MARENGO, José A.; ALVES, L. M. Tendências hidrológicas da bacia do rio paraíba dosul. Revista Brasileira de Meteorologia, 2005.

RASOULI, Kabir; HSIEH, William W.; CANNON, Alex J. Daily streamflow forecastingby machine learning methods with weather and climate inputs. Journal of Hydrology,Elsevier BV, v. 414, p. 284–293, 2012.

SHORTRIDGE, Julie E; GUIKEMA, Seth D; ZAITCHIK, Benjamin F. Machinelearning methods for empirical streamflow simulation: a comparison of model accuracy,interpretability, and uncertainty in seasonal watersheds. Hydrology and Earth SystemSciences, Copernicus GmbH, v. 20, n. 7, p. 2611, 2016.

Wang, H.; Raj, B. On the Origin of Deep Learning. ArXiv e-prints, fev. 2017.

34