Выявление одиночных аномалий в данных об энергопотреблении с использованием методов машинного обучения без учителя

Обложка

Цитировать

Полный текст

Аннотация

Описаны исследования по выявлению одиночных аномалий в данных об энергопотреблении на примере двух разных наборов данных. Рассмотрены способы построения типовых шаблонов энергопотребления и представлен авторский способ построения типового суточного профиля энергопотребления. Для проведения численных экспериментов авторами был выбран 21 метод машинного обучения без учителя, подходящий для выявления одиночных аномалий. По результатам численных экспериментов были отмечены методы, наиболее удачно справившиеся с задачей выявления одиночных аномалий. Особое внимание в работе уделялось методам, не требующим дополнительных параметров, и современным перспективным методам на базе искусственных нейронных сетей. Лучшими алгоритмами по результатам испытаний оказались статистические алгоритмы, основанные на построении гистограмм. Одной из главных проблем, затронутых в работе, является проблема настройки параметра contamination для каждого рассмотренного алгоритма. Одним из решений данной проблемы являются использование пороговых алгоритмов. Показано, что если исходный алгоритм выявляет аномалии недостаточно хорошо (параметр contamination не настроен), то применение пороговых алгоритмов может существенно повысить точность обнаружения аномалий. Отмечены пороговые алгоритмы, использование которых для задач анализа аномалий в данных об энергопотреблении чаще других обеспечивает повышение точности. Применять пороговые алгоритмы можно как к результатам работы отдельных алгоритмов выявления аномалий, так и к результатам работы ансамблей алгоритмов, полученных с использованием различных стратегий комбинирования.

Об авторах

Олег Юрьевич Марьясин

Ярославский государственный технический университет

Email: maryasin2003@list.ru
Ярославль

Леонид Игоревич Тихомиров

Ярославский государственный технический университет

Email: lenusscik@yandex.ru
Ярославль

Список литературы

  1. МАРЬЯСИН О.Ю., ЛУКАШОВ А.И., ТИХОМИРОВ Л.И.Обнаружение аномальных отклонений от типового профи-ля энергопотребления // Математические методы в техникеи технологиях. – 2022. – №8. – P. 108–113.
  2. О внесении изменений в некоторые акты ПравительстваРоссийской Федерации по вопросам совершенствования ор-ганизации учета электрической энергии. ПостановлениеПравительства Российской Федерации от 29 июня 2020 г. –№950. – 32 с.
  3. ALMARDENY Y., BOUJNAH N., CLEARY F. A NovelOutlier Detection Method for Multivariate Data // IEEE Trans.on Knowledge and Data Engineering. – Vol. 32. – 2020. –P. 1–13.
  4. BURGESS C.P., HIGGINS I., PAL A. et al. Understandingdisentangling in β-VAE // arXiv:1804.03599v1. – 2018. –P. 1–11.
  5. CHANDOLA V., BANERJEE A., KUMAR V. AnomalyDetection: A Survey // ACM Computing Surveys. – 2009. –Vol. 41. – P. 1–58.
  6. DUMOULIN V., BELGHAZI I., POOLE B. et al. Adversariallylearned inference // arXiv:1606.00704v3. – 2017. – P. 1–18.
  7. GitHub – KulikDM/pythresh: Outlier Detection Thresholding. –URL: https://github.com/KulikDM/pythresh (дата обращения:30.08.2024).
  8. GitHub – yzhao062/pyod: A Python Library for Outlier andAnomaly Detection, Integrating Classical and Deep LearningTechniques. – URL: https://github.com/yzhao062/pyod (датаобращения: 30.08.2024).
  9. GOLDSTEIN M., DENGEL A. Histogram-based Outlier Score(HBOS): A fast Unsupervised Anomaly Detection Algorithm //Conference KI-2012. – 2012. – P. 1–6.
  10. GULATI M., ARJUNAN P. LEAD1.0: A large-scale annotateddataset for energy anomaly detection in commercial buildings //arXiv:2203.17256v1. – 2022. – P. 1–5.
  11. HABEN S., SINGLETON C., GRINDROD P. Analysis andclustering of residential customers energy behavioral demandusing smart meter data // IEEE Trans. on Smart Grid. – 2016. –Vol. 1. – P. 136–144.
  12. HIMEUR Y., GHANEM K., ALSALEMI A. et al. Artificialintelligence based anomaly detection of energy consumptionin buildings: A review, current trends and new perspectives //Applied Energy. – 2021. – Vol. 287. – P. 1–26.
  13. KINGMA D.P., WELLING M. Auto-Encoding VariationalBayes // Int. Conf. on Learning Representations. – 2013. –P. 1–14.
  14. LI C., LIU H., CHEN C. et al. ALICE: Towards UnderstandingAdversarial Learning for Joint Distribution Matching //arXiv:1709.01215v2. – 2017. – P. 1–22.
  15. LI K., MA Z., ROBINSON D. et al. Identification of typicalbuilding daily electricity usage profiles using Gaussian mixturemodel-based clustering and hierarchical clustering // AppliedEnergy. – 2018. – Vol. 231. – P. 331–342.
  16. LI K., YANG R.J., ROBINSON D. et al. An agglomerativehierarchical clustering-based strategy using Shared NearestNeighbours and multiple dissimilarity measures to identifytypical daily electricity usage profiles of university librarybuildings // Energies. – 2019. – Vol. 174. – P. 735–748.
  17. LINDEMANN B., MASCHLER B., SAHLAB N. et al. Asurvey on anomaly detection for technical systems using LSTMnetworks // Computers in Industry. – 2021. – Vol. 131. – P. 1–11.
  18. LI S., HAN Y., YAO X. et al. Electricity theft detection inpower grids with deep learning and random forests // Journalof Electrical and Computer Engineering. – 2019. – P. 1–12.
  19. LIU X., DING Y., TANG H. et al. A data mining-based framework for the identification of daily electricityusage patterns and anomaly detection in building electricityconsumption data // Energy and Buildings. – 2021. – Vol. 231. –P. 1–22.
  20. LI Z., ZHAO Y., BOTTA N. et al. COPOD: Copula-BasedOutlier Detection // arXiv:2009.09463v1. – 2020. – P. 1–6.
  21. LI Z., ZHAO Y., HU X. et al. ECOD: UnsupervisedOutlier Detection Using Empirical Cumulative DistributionFunctions // arXiv:2201.00382v3. – 2022. – P. 1–13.
  22. MARYASIN O.YU., TIHOMIROV L. Analysis of Point andCollective Anomalies in Energy Consumption Data // Int.Russian Automation Conf. (RusAutoCon–2023). – 2023. –P. 431–436.
  23. PEVNY T. Loda: Lightweight on-line detector of anomalies //Mach Learn. – 2016. – Vol. 102. – P. 275–304.
  24. RAJABI A., ESKANDARI M., GHADI M.J. et al. Acomparative study of clustering techniques for electrical loadpattern segmentation // Renewable and Sustainable EnergyReviews. – 2020. – Vol. 120. – P. 1–20.
  25. RASANEN T., KOLEHMAINEN M. Feature-Based Clusteringfor Electricity Use Time Series Data // Int. Conf. on Adaptiveand Natural Computing Algorithms. – 2009. – P. 401–412.
  26. RUFF L., VANDERMEULEN R.A., GORNITZ N. et al.Deep One-Class Classification // 35th Int. Conf. on MachineLearning. – 2018. – P. 1–10.
  27. SCHLEGL T., SEEBOCK P., WALDSTEIN S.M. et al.Unsupervised anomaly detection with generative adversarialnetworks to guide marker discovery // Int. Conf. on InformationProcessing in Medical Imaging. – 2017. – P. 146–157.
  28. SIAL A., SINGH A., MAHANTI A. Detecting anomalousenergy consumption using contextual analysis of smart meterdata // Wireless Networks. – 2019. – P. 1–18.
  29. Thresholding Outlier Detection Scores with PyThresh. –URL: https://towardsdatascience.com/thresholding-outlier-detection-scores-with-pythresh-f26299d14fa (дата обращения:30.08.2024).
  30. VERLEYSEN M., FRANCOIS D. The curse of dimensionalityin data mining and time series prediction // Int. Work-Conf. onArtificial Neural Networks. – 2005. – P. 758–770.
  31. WANG X., ZHAO T., LIU H., HE R. Power consumptionpredicting and anomaly detection based on long short-termmemory neural network // IEEE 4th Int. Conf. on CloudComputing and Big Data Analysis. – 2019. – P. 487–491.
  32. ZENATI H., ROMAIN M., FOO C.S. et al. AdversariallyLearned Anomaly Detection // arXiv:1812.02288v1. – 2018. –P. 1–11.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».