The good, the bad and the outliers: automated detection of errors and outliers from groundwater hydrographs

Abstract

Suspicious groundwater-level observations are common and can arise for many reasons ranging from an unforeseen biophysical process to bore failure and data management errors. Unforeseen observations may provide valuable insights that challenge existing expectations and can be deemed outliers, while monitoring and data handling failures can be deemed errors, and, if ignored, may compromise trend analysis and groundwater model calibration. Ideally, outliers and errors should be identified but to date this has been a subjective process that is not reproducible and is inefficient. This paper presents an approach to objectively and efficiently identify multiple types of errors and outliers. The approach requires only the observed groundwater hydrograph, requires no particular consideration of the hydrogeology, the drivers (e.g. pumping) or the monitoring frequency, and is freely available in the HydroSight toolbox. Herein, the algorithms and time-series model are detailed and applied to four observation bores with varying dynamics. The detection of outliers was most reliable when the observation data were acquired quarterly or more frequently. Outlier detection where the groundwater-level variance is nonstationary or the absolute trend increases rapidly was more challenging, with the former likely to result in an under-estimation of the number of outliers and the latter an overestimation in the number of outliers.

Résumé

Les observations suspectes du niveau des eaux souterraines sont fréquentes et peuvent survenir pour de nombreuses raisons, allant d’un processus biophysique imprévu aux défauts de forage et aux erreurs de gestion de données. Les observations imprévues peuvent fournir de précieuses informations qui remettent en questions les prévisions existantes et peuvent être considérées comme des valeurs aberrantes, tandis que les défauts de suivi et de traitement des données peuvent être considérés comme des erreurs, et, si ignorées, peuvent compromettre l’analyse des tendances et la calibration des modèles hydrogéologiques. Idéalement, des valeurs aberrantes et des erreurs doivent être identifiées, mais à ce jour il s’agit d’un processus subjectif qui n’est. pas reproductible et qui est. inefficace. Cet article présente une approche permettant d’identifier de manière objective et efficaces de multiples types d’erreurs et de valeurs aberrantes. L’approche ne nécessite que l’hydrogramme des niveaux d’eaux souterraines observés, ne requiert aucune attention particulière concernant l’hydrogéologie, des paramètres d’influence (par exemple les pompages) ou la fréquence du suivi, et est. disponible gratuitement dans la boîte à outils HydroSight. Dans ce cas, les algorithmes et les modèles de séries chronologiques sont détaillés et appliqués à quatre piézomètres possédant des dynamiques variées. La détection des valeurs aberrantes était la plus fiable lorsque les données d’observation étaient acquises trimestriellement ou plus fréquemment. La détection des valeurs aberrantes où la variance du niveau d’eaux souterraines est. non stationnaire ou la tendance absolue augmente rapidement était plus difficile, la première pouvant entraîner une sous-estimation du nombre de valeurs aberrantes et la dernière une surestimation du nombre de valeurs aberrantes.

Resumen

Las observaciones sospechosas del nivel de agua subterránea son comunes y pueden surgir por muchas razones que van desde un proceso biofísico imprevisto hasta errores por fallas en la perforación o en el manejo de los datos. Las observaciones imprevistas pueden aportar valiosas ideas que desafían las expectativas existentes y pueden considerarse valores atípicos, mientras que las fallas en el monitoreo y en el manejo de datos pueden considerarse errores y, si se ignoran, pueden comprometer el análisis de tendencias y la calibración del modelo de agua subterránea. Idealmente, se deben identificar los valores atípicos y los errores, pero hasta la fecha esto ha sido un proceso subjetivo que no es reproducible y es ineficiente. Este artículo presenta un enfoque para identificar objetiva y eficientemente múltiples tipos de errores y valores atípicos. El enfoque sólo requiere el hidrograma de agua subterránea observado, no requiere consideración especial de la hidrogeología, de los impulsos (por ejemplo, el bombeo) o de la frecuencia de monitoreo, y está libremente disponible en la caja de herramientas de HydroSight. Aquí, los algoritmos y el modelo de serie temporal se detallan y se aplican a cuatro pozos de observación con variables dinámicas. La detección de valores atípicos fue más confiable cuando los datos de observación se adquirieron trimestralmente o con mayor frecuencia. La detección de valores atípicos en que la varianza del nivel del agua subterránea no es estacionaria o la tendencia absoluta aumenta rápidamente era más difícil, ya que la primera probablemente daría lugar a una subestimación del número de valores atípicos y la última a una sobreestimación del número de valores atípicos.

摘要

可疑的地下水位观测结果很常见,有多种原因可造成意料之外的生物物理过程、钻孔故障及资料管理误差。意料之外的观测结果可提供宝贵的启示,这些启示挑战已有的期望值,可被认为是异常值,而监测和数据处理故障可被认为是误差,如果忽略不计,这些异常值和误差可危害趋势分析和地下水模型校正。理想的是,异常值和误差应当辨别出来,但到目前为止,这一直是个凭经验的过程,这个过程是不可复制的,也是低效的。本文介绍了一种客观、有效地辨别多种类型的误差和异常值的方法。该方法只需要观测的地下水位图,不需要特别考虑水文地质条件、驱动因素(例如抽水)或者监测频率,在HydroSight工具箱免费获得。在此,详述了算法和时间序列模型,并应用到四个具有不同动力学的观测孔中。当每个季度或者更频繁地需要观测数据时,异常值的检测最可靠。地下水位变化非稳定或者绝对趋势快速增加的地方,异常值检测更具挑战,前者可能导致异常值数量的低估,后者可能导致异常值数量的高估。

Resumo

Observações suspeitas sobre o nível das águas subterrâneas são comuns e podem surgir por diversas razões que vão desde um processo biofísico imprevisto até a falha no furo e erros de gerenciamento de dados. As observações imprevistas podem fornecer informações valiosas que desafiam as expectativas existentes e podem ser considerados dados discrepantes, enquanto o monitoramento e as falhas no tratamento de dados podem ser considerados erros e, se ignorados, podem comprometer a análise de tendências e a calibração de modelo de águas subterrâneas. Idealmente, dados discrepantes e erros devem ser identificados, mas até agora este tem sido um processo subjetivo que não é reprodutível e é ineficiente. Este artigo apresenta uma abordagem objetiva e eficiente para identificar múltiplos tipos de erros e dados discrepantes. A abordagem requer apenas o hidrograma de águas subterrâneas observado, não requer nenhuma consideração particular da hidrogeologia, as forçantes (p.ex. bombeamento) ou a frequência de monitoramento, e é disponível gratuitamente na caixa de ferramentas HydroSight. Aqui, os algoritmos e modelos de séries temporais são detalhados e aplicados em quatro furos de observação com diferentes dinâmicas. A detecção de dados discrepantes foi mais confiável quando os dados de observação foram adquiridos trimestralmente ou mais frequentemente. A detecção de dados discrepantes em que a variância do nível da água subterrânea não é estacionária ou a tendência absoluta aumenta rapidamente foi mais desafiadora, com a primeira provavelmente resultando em uma subestimação do número de dados discrepantes e a última uma sobre-estimava no número de dados discrepantes.