Экстраполяция байесовского классификатора при неизвестном носителе распределения смеси двух классов
- Авторы: Лукьянов К.С.1,2,3, Яськов П.А.4,5, Перминов А.И.1,3, Коваленко А.П.6, Турдаков Д.Ю.1,3
-
Учреждения:
- Институт системного программирования им. В.П. Иванникова РАН
- Московский физико-технический институт (национальный исследовательский университет)
- Исследовательский центр доверенного искусственного интеллекта ИСП РАН
- Математический институт им. В.А. Стеклова Российской академии наук
- Национальный исследовательский технологический университет "МИСиС"
- Академия криптографии РФ
- Выпуск: Том 79, № 6 (2024)
- Страницы: 57-82
- Раздел: Статьи
- URL: https://bakhtiniada.ru/0042-1316/article/view/281941
- DOI: https://doi.org/10.4213/rm10208
- ID: 281941
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
В работе представлен метод, направленный на повышение надежностибайесовского классификатора. Метод заключается в добавлениик обучающей выборке из смеси распределений двух исходных классовискусственно сгенерированных наблюдений из третьего, “фонового” класса,равномерно распределенного на компакте, содержащем неизвестныйноситель исходной смеси. Такая модификация позволяет приблизитьк заданному (в нашем случае к нулевому) уровню значениедискриминантной функции вне носителя распределения обучающих данных.Добавление варианта решения “Отказ от классификации”, принимаемогоклассификатором при достаточно малых значениях дискриминантнойфункции, приводит к локальному повышению его надежности. В частности,такой подход позволяет решить несколько проблем:отказаться от обработки данных, сильно отличающихся от обучающих;выявлять аномальные значения во входных данных; отказаться отпринятия решений в “пограничных” областях при разделении на классы.В статье приводится теоретическое обоснование оптимальностипредлагаемого классификатора. Практическая ценность методадемонстрируется на задачах классификации изображенийи временных рядов.Также предложена методика выделения доверенных областей,которую можно использовать для выявления аномальных данных,случаев смещения параметров распределения классов, выделения областейпересечения распределений исходных классов. На основе доверенныхобластей введены количественные показатели надежности иэффективности классификатора.Библиография: 23 названия.
Об авторах
Кирилл С. Лукьянов
Институт системного программирования им. В.П. Иванникова РАН; Московский физико-технический институт (национальный исследовательский университет); Исследовательский центр доверенного искусственного интеллекта ИСП РАН
Email: lukyanov.k@ispras.ru
Павел Андреевич Яськов
Математический институт им. В.А. Стеклова Российской академии наук; Национальный исследовательский технологический университет "МИСиС"
Email: yaskov@mi-ras.ru
Scopus Author ID: 36635347000
ResearcherId: S-2745-2016
кандидат физико-математических наук
Андрей Игоревич Перминов
Институт системного программирования им. В.П. Иванникова РАН; Исследовательский центр доверенного искусственного интеллекта ИСП РАН
Email: perminov@ispras.ru
ORCID iD: 0000-0001-8047-0114
А. П. Коваленко
Академия криптографии РФ
Email: a.p.kovalenko@yandex.ru
Денис Юрьевич Турдаков
Институт системного программирования им. В.П. Иванникова РАН; Исследовательский центр доверенного искусственного интеллекта ИСП РАН
Email: turdakov@ispras.ru
ORCID iD: 0000-0001-8745-0984
Список литературы
- A. Jishan, R. C. Green II, “Cost aware LSTM model for predicting hard disk drive failures based on extremely imbalanced S.M.A.R.T. sensors data”, Eng. Appl. Artif. Intell., 127 (2024), 107339, 11 pp.
- A. Caron, C. Hicks, V. Mavroudis, A view on out-of-distribution identification from a statistical testing theory perspective, 2024, 8 pp.
- Peng Cui, Jinjia Wang, “Out-of-distribution (OOD) detection based on deep learning: a review”, Electronics, 11:21 (2022), 3500, 19 pp.
- L. Devroye, L. Györfi, G. Lugosi, A probabilistic theory of pattern recognition, Appl. Math. (N. Y.), 31, Reprint of the 1996 original, Springer-Verlag, New York, 2013, xvi+636 pp.
- S. M. Djurasevic, U. M. Pesovic, B. S. Djordjevic, “Anomaly detection model for predicting hard disk drive failures”, Appl. Artif. Intell., 35:8 (2021), 549–566
- A. Farago, G. Lugosi, “Strong universal consistency of neural network classifiers”, IEEE Trans. Inform. Theory, 39:4 (1993), 1146–1151
- D. Hendrycks, K. Gimpel, A baseline for detecting misclassified and out-of-distribution examples in neural networks, 2016 (v1 – 2016), 12 pp.
- J. Jithish, B. Alangot, N. Mahalingam, Kiat Seng Yeo, “Distributed anomaly detection in smart grids: a federated learning-based approach”, IEEE Access, 11 (2023), 7157–7179
- A. Klein, Backblaze: Hard drive data and stats,
- Lingdong Kong, Shaoyuan Xie, Hanjiang Hu, Lai Xing Ng, B. Cottereau, Wei Tsang Ooi, “Robodepth: Robust out-of-distribution depth estimation under corruptions”, Adv. Neural Inf. Process. Syst., 36 (2023), 1–45
- Bo Li, Peng Qi, Bo Liu, Shuai Di, Jingen Liu, Jiquan Pei, Jinfeng Yi, Bowen Zhou, “Trustworthy AI: from principles to practices”, ACM Comput. Surveys, 55:9 (2023), 177, 46 pp.
- Jeremiah Zhe Liu, S. Padhy, Jie Ren, Zi Lin, Yeming Wen, G. Jerfel, Z. Nado, J. Snoek, D. Tran, B. Lakshminarayanan, “A simple approach to improve single-model deep uncertainty via distance-awareness”, J. Mach. Learn. Res., 24 (2023), 42, 63 pp.
- A. B. Nassif, M. Abu Talib, Q. Nasir, F. M. Dakalbab, “Machine learning for anomaly detection: a systematic review”, IEEE Access, 9 (2021), 78658–78700
- M. Perello-Nieto, T. D. M. E. S. Filho, M. Kull, P. Flach, “Background check: a general technique to build more reliable and versatile classifiers”, 2016 IEEE 16th international conference on data mining (ICDM), IEEE, 2016, 1143–1148
- R. Pinciroli, L. Yang, J. Alter, E. Smirni, “Lifespan and failures of SSDs and HDDs: similarities, differences, and prediction models”, IEEE Trans. Depend. Secure Comput., 20:1 (2023), 256–272
- K. Rasheed, A. Qayyum, M. Ghaly, A. Al-Fuqaha, A. Razi, J. Qadir, “Explainable, trustworthy, and ethical machine learning for healthcare: a survey”, Comput. Biol. Med., 149 (2022), 106043, 23 pp.
- Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, R. Dutta, R. Schaeffer, Sang T. Truong, Simran Arora, M. Mazeika, D. Hendrycks, Zinan Lin, Yu Cheng, S. Koyejo, Dawn Song, Bo Li, DecodingTrust: a comprehensive assessment of trustworthiness in GPT models, 2024 (v1 – 2023), 110 pp.
- Qibo Yang, Xiaodong Jia, Xiang Li, Jianshe Feng, Wenzhe Li, Jay Lee, “Evaluating feature selection and anomaly detection methods of hard drive failure prediction”, IEEE Trans. Reliab., 70:2 (2021), 749–760
- Hang Yu, Weixu Liu, Jie Lu, Yimin Wen, Xiangfeng Luo, Guangquan Zhang, “Detecting group concept drift from multiple data streams”, Pattern Recognition, 134 (2023), 109113, 11 pp.
- He Zhang, Bang Wu, Xingliang Yuan, Shirui Pan, Hanghang Tong, Jian Pei, “Trustworthy graph neural networks: aspects, methods, and trends”, Proc. IEEE, 112:2 (2024), 97–139
- Jing Zhang, Yuchao Dai, Mochu Xiang, Deng-Ping Fan, P. Moghadam, Mingyi He, C. Walder, Kaihao Zhang, M. Harandi, N. Barnes, Dense uncertainty estimation, 2021, 15 pp.
- Mingyu Zhang, Wenqiang Ge, Ruichun Tang, Peishun Liu, “Hard disk failure prediction based on blending ensemble learning”, Appl. Sci., 13:5 (2023), 3288, 22 pp.
- Zhilin Zhao, Statistical methods for out-of-distribution detection, PhD thesis, Univ. Technology Sydney, 2023, 107 pp.
Дополнительные файлы
