Métricas de avaliação são utilizadas para analisar a performance de modelos. Na hidreologia, duas métricas amplamente utilizadas são as de Nash-Sutcliffe Efficiency (NSE) e de Kling-Gupta Efficiency (KGE).
Mas do que se trata cada uma delas? Como elas podem nos ajudar a avaliar a performance do nosso modelo e a interpretar o seu resultado?
O NSE tem um foco na leitura do erro quadrático médio e compara a magnitude dos erros de previsão do modelo com a variabilidade natural dos dados observados. Ele é calculado pela fórmula:
NSE = 1 – \frac{\sum_{i=1}^{N}(S_i- O_i)^2}{\sum_{i=1}^{N} (O_i- \bar{O})^2}
O NSE compara o erro do modelo com a variabilidade dos dados em torno da média. Um valor de NSE = 1 indica um ajuste perfeito, enquanto NSE = 0 significa que o modelo não é melhor do que simplesmente usar a média dos dados observados como previsão. Como o NSE se concentra apenas no erro entre os valores estimados e observados, comparando a soma dos erros quadráticos ao desvio dos valores observados em relação à sua média, isso significa que o NSE foca exclusivamente em quantificar o erro absoluto, sem considerar outros aspectos importantes como a correlação entre os valores simulados e os observados ou a variabilidade dos dados.
O NSE é muito sensível a outliers porque ele usa o erro quadrático na sua fórmula, o que significa que valores extremos podem impactar fortemente a avaliação do desempenho do modelo, pois o erro é elevado ao quadrado. Além disso, o NSE é conhecido por penalizar fortemente modelos que não capturam bem a média dos valores observados. Porém, o NSE também não leva em consideração de maneira explícita a variabilidade dos dados. Isso pode resultar em um bom NSE, mesmo se o modelo não estiver capturando corretamente as flutuações dos dados observados.
Dito isso, como o NSE depende fortemente do erro quadrático médio, ele pode não ser ideal em situações onde a distribuição dos erros é assimétrica, ou quando erros maiores precisam ser penalizados mais levemente. Além disso, o NSE pode falhar em avaliar adequadamente modelos que preveem extremos ou variabilidades com precisão.
Por outro lado, o KGE (Gupta et al.,2009) avalia o desempenho de um modelo levando em consideração três componentes-chave:
Correlação (r): Mede o quanto os valores estimados e observados estão linearmente relacionados, ou seja, a capacidade do modelo de captar o padrão geral dos dados.
Viés relativo (β): Compara a média dos valores estimados com a média dos valores observados, indicando se o modelo tende a superestimar ou subestimar sistematicamente.
Variabilidade relativa (α): Mede a relação entre a variabilidade (coeficiente de variação) dos valores estimados e observados, o que reflete se o modelo captura bem a flutuação dos dados ao longo do tempo.
Sua equação, com as componentes supracitadas, pode ser vista abaixo:
KGE = 1 – \sqrt{(r-1)^2+(β-1)^2+(α-1)^2}
onde r é o coeficiente de correlação de Pearson; β é o erro relativo, ou β = \frac{\mu_s}{\mu_0}; e α é a variabilidade relativa, ou α = \frac{\sigma_s}{\sigma_0}.
Uma biblioteca muito boa para calcular tanto o NSE quanto o KGE é a HydroErr, para Python. Em outro momento, irei fazer uma postagem sobre as melhores bibliotecas e pacotes para estudos hidrológicos.
Limitações do NSE e Vantagens do KGE:
- Sensibilidade a outliers e variabilidade:
O NSE é muito sensível a grandes erros (outliers), porque ele usa o erro quadrático na sua fórmula. Isso significa que valores extremos podem impactar fortemente a avaliação do desempenho do modelo, distorcendo a qualidade geral. Além disso, o NSE é conhecido por penalizar fortemente modelos que não capturam bem a média dos valores observados.
O KGE, por outro lado, equilibra a avaliação do desempenho de maneira mais distribuída entre a correlação, o viés e a variabilidade, não sendo tão influenciado por outliers. Isso permite uma avaliação mais estável, mesmo em casos onde há grandes flutuações nos dados.
- Captura da variabilidade dos dados:
O NSE foca principalmente no erro médio e não leva em consideração de maneira explícita a variabilidade dos dados. Isso pode resultar em um bom NSE, mesmo se o modelo não estiver capturando corretamente as flutuações dos dados observados.
O KGE, por outro lado, inclui a variabilidade relativa como um componente explícito. Isso é crucial em muitos contextos (como modelagem hidrológica ou ambiental), onde capturar a variabilidade ao longo do tempo é tão importante quanto prever a média correta.
- Interpretação dos resultados:
NSE: Uma das limitações do NSE é que ele pode produzir resultados negativos, o que dificulta sua interpretação. Um NSE negativo significa que o modelo é pior do que usar simplesmente a média dos dados observados como previsão. No entanto, a gravidade do “quão ruim” o modelo é pode não ser intuitiva. Além disso, valores de NSE próximos de zero ainda podem resultar em um ajuste inadequado.
KGE: O KGE varia de -∞ a 1, mas com uma interpretação mais simples. Um valor de KGE = 1 indica um ajuste perfeito, e quanto mais o KGE se afasta de 1, pior é o desempenho do modelo. O fato de o KGE incorporar múltiplos componentes facilita a identificação de onde o modelo está errando (seja em correlação, viés ou variabilidade), enquanto o NSE fornece uma visão agregada e menos informativa.
- Flexibilidade e aplicabilidade:
NSE: Como o NSE depende fortemente do erro quadrático médio, ele pode não ser ideal em situações onde a distribuição dos erros é assimétrica, ou quando erros maiores precisam ser penalizados mais levemente. Além disso, o NSE pode falhar em avaliar adequadamente modelos que preveem extremos ou variabilidades com precisão.
KGE: O KGE é mais flexível e aplicável em uma gama mais ampla de situações. Por exemplo, em séries temporais complexas ou em modelos ambientais/hidrológicos, ele é mais confiável porque leva em conta múltiplas dimensões do desempenho do modelo, não apenas o erro absoluto.
Por fim, a tabela abaixo reúne um resumo de informações sobre o NSE e o KGE:
Vale lembrar que, com o passar dos anos, vários estudos foram sendo desenvolvidos para avaliar adaptações de ambas as fórmulas, bem como a criação de outros índices. O próprio KGE partiu de um estudo feito para encontrar uma alternativa para o tradicional coeficiente NSE.
Referências Bibliográficas:
Nash, J. E., & Sutcliffe, J. V. (1970). River flow forecasting through conceptual models part I – A discussion of principles. Journal of Hydrology, 10(3), 282-290.
Gupta, H. V., Kling, H., Yilmaz, K. K., & Martinez, G. F. (2009). Decomposition of the mean squared error and NSE performance criteria: Implications for improving hydrological modelling. Journal of Hydrology, 377(1-2), 80-91.