Application of machine learning method to analyse incomplete data

Full Text

Введение

Несмотря на разнообразие подходов и методов обработки данных логический анализ позволяет выявить причинно-следственные связи и зависимости между различными переменными в данных, найти скрытые закономерности и тенденции в данных, которые могут быть незаметны при другом анализе.

Объединение различных методов логического анализа позволяет учесть больше аспектов данных, снизить влияние шума и выбросов и получить более точные прогнозы. Различные методы, используемые в комплексном анализе, могут выявлять как линейные, так и нелинейные взаимосвязи между переменными, что важно для сложных систем [1].

Исследование применяет машинное обучение для анализа характеристик селевых потоков на Северном Кавказе, используя имеющийся кадастр селей [2] с данными о генезисе, типе селя, площади бассейна, уклоне русла, длине реки, высоте истока и объеме выноса (табл. 1).

 

Таблица 1. Характеристики селевых потоков

Table 1. Mudflow characteristics

№	Название водотока	Генезис селя	Тип селя	Площадь бассейна, S, км2	Средний уклон русла, α, ‰	Длина реки, L, км	Высота истока, H, м абс.	Объем максимального единовременного выноса, W, м³	Максимальный объем твердых отложений селя, W, м³ (аналитическим методом)	Повторяемость 1 раз в n лет/ даты схода
1	Кичмалка	Д*	ВК	152,7	30	36	1909	10000	147240	1–2/ 31.05.93
2	Рхыкол	Д	ВК	9,8	52	10	1440	100000	81946	1–2/–
3	Кызылкол	Д	ВК	14,1	220	4,5	1520	50000	52140	1–5/–
4	Тазакол	Д	ВК	11,3	150	5	1525	50000	43200	1–5/–
5	Лахран	Д	ВК	22,2	102	5	1629	20000	35712	1–5/–
6	Большой Лахран	Д	ВК	21,8	190	6	1642	50000	53400	1–5/–
Примечание: Д – дождевой, ВК – водокаменный

 

Работа направлена на демонстрацию способности машинного обучения выявлять закономерности и создавать эффективные модели для классификации и прогнозирования селей. Анализ позволит углубить понимание процессов формирования селей, определить ключевые факторы риска и в конечном счете создать прогнозные модели для оценки последствий и управления селеопасными территориями. Полученные результаты имеют практическую ценность для инженерной и научной деятельности [3, 4].

Анализ данных

Задача состоит в разработке модели прогнозирования и классификации селей, основанной на логическом анализе данных. Цель анализа – выявление общих правил, порождающих эти зависимости, отбор наиболее информативных переменных и классификация типов селей.

Анализ кластеризации выявил слабую структуру в данных, разделив их на три группы, характеризующиеся различными физическими свойствами и типами селевых потоков.

Эти группы демонстрируют некоторые интересные закономерности.

Группа 1 отличается большими бассейнами и низким уклоном, что нетипично для селевых потоков. Это может свидетельствовать о более медленных и постепенных процессах формирования селей в этой группе.

Группы 0 и 2 различаются по высоте источника селей и объему селевых масс, но имеют схожий генезис и тип селей. Возможно, эти группы связаны с определенными географическими условиями, например, с особым рельефом или климатом.

Модель многопараметрической регрессии, построенная для прогнозирования целевой переменной, оказалась неэффективной. Высокое значение MSE (92477727488,7331) свидетельствует о значительных ошибках прогнозирования, а низкое значение R-квадрата (0,1235) указывает на крайне низкую объясняющую способность модели [5, 6].

Линейная модель неадекватно описывает нелинейные взаимосвязи между предикторами и целевой переменной, что является основной причиной неудовлетворительных результатов. В качестве меры по преодолению этой проблемы была применена категоризация числовых данных [2, 7, 8].

Категориальные данные

Преобразование непрерывных данных в категориальные позволяет учитывать нелинейные зависимости путем разбиения данных на интервалы, в которых взаимосвязи могут быть аппроксимированы линейными. Такой подход повышает устойчивость моделей к выбросам и шуму, упрощая интерпретацию результатов (табл. 2). Вместо анализа непрерывного спектра значений модель оперирует более компактным набором дискретных категорий, что упрощает сравнение и анализ.

 

Таблица 2. Диапазон значений для дискретизации

Table 2. Range of values for discretization

Группа	Площадь бассейна, S, км2	Средний уклон русла, α, ‰	Длина реки, L, км	Высота истока, H, м абс.	M1, м3	M2, м3
Малый (0)	0 – 12,64	0 – 44,52	0 – 1492,8	0 – 1492,8	0 – 8300	0 – 71811,96
Средний (1)	12,64 – 58,45	44,52 – 105,76	1492,80 – 1644,48	1492,80 – 1644,48	8300 – 38800	71811,96 – 102840,08
Большой (2)	58,45 – +¥	105,76 – +¥	1644,48 –+¥	1644,48 – +¥	38800 – +¥	102840,08 –+¥

 

Теперь задача регрессии, описанная в предыдущем разделе, сводится к задаче классификации, поскольку целевая переменная становится категориальной. И задача может быть описана следующим образом [2, 9]:

$X=\{x_1,x_2\mathrm{,...,}{x}_n\},x_i\in \{\mathrm{0,}\mathrm{1,...,}{k}_i-1\}.$

В нашей системе входными данными будут являться n=6, а выходными m=387:

$\left(\begin{array}{cccc}{x}_1\left(y_1\right)& x_2\left(y_1\right)& \mathrm{...}& x_n\left(y_1\right)\\ x_1\left(y_2\right)& x_2\left(y_2\right)& \mathrm{...}& x_n\left(y_2\right)\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ x_1\left(y_m\right)& x_2\left(y_m\right)& \mathrm{...}& x_n\left(y_m\right)\end{array}\right)\to \left(\begin{array}{c}{y}_1\\ y_2\\ \mathrm{...}\\ y_m\end{array}\right)$ (1)       

Методы решения

Вместо того, чтобы предсказывать непрерывное значение объема максимального единовременного выноса «М1», мы теперь предсказываем, к какой из трех категорий (50, 51 или 52) относится «М1». После построения модели классификации с использованием дерева решений мы получили впечатляющие результаты, представленные в табл. 3.

 

Таблица 3. Результат классификации объема максимального единовременного выноса

Table 3. Result of classification of the maximum one-time removal volume

Метрика   Объем выноса (м3)	Recall (чувствительность)	Precision (точность)	Accuracy (правильность)	F1-мера
Малый (50)	1	1	1	1
Средний (51)	1	1	1	1
Большой (52)	1	1	1	1

 

Логические методы анализа – это построение ассоциативных правил и логического классификатора [10, 11].

Метод построения ассоциативных правил – это метод обнаружения скрытых взаимосвязей и закономерностей в больших объемах данных. Он фокусируется на поиске наборов элементов, которые часто встречаются вместе в данных. Этот метод обычно используется для анализа данных о транзакциях, где каждая запись представляет собой отдельную транзакцию.

В данной работе использовался алгоритм FP-Growth – это эффективный алгоритм для поиска ассоциативных правил в больших объемах данных. Он основан на построении специального дерева (FP-дерева), которое содержит часто встречающиеся элементы и их взаимосвязи. Алгоритм FP-Growth обходит это дерево, а не все данные целиком, что значительно ускоряет процесс поиска правил с высокой поддержкой. В итоге он находит все правила, удовлетворяющие заданным порогам поддержки и достоверности, значительно быстрее и эффективнее, чем другие алгоритмы, такие как Apriori [12].

После работы алгоритма самые важные ассоциативные правила представлены в табл. 4.

 

Таблица 4. Самые важные ассоциативные правила

Table 4. The most important association rules

№	Antecedents (причина)	Consequents (следствие)
232619	(D, GK, 11, 62)	(40, 32, 51, 22)
200538	(40, 11, 62)	(D, 32, 22, GK)
200510	(40, GK, 11, 62)	(D, 32, 22)
230187	(40, 32, 61, 51, 11, VK)	(C-D, 20)
230216	(40, 32, 61, 11, VK)	(C-D, 51, 20)

 

Анализ пяти выявленных закономерностей, используя методы булевой алгебры [9], показывает, что грязекаменные сели, даже при средней площади бассейна, отличаются значительным объемом максимального единовременного выноса и высоким содержанием твердых отложений.

Построение логического классификатора

Каждая строка (1) является зависимостью и может быть представлена следующим правилом:

${\&}_{j=1}^m{x}_j\left(y_i,\right)\to y_i.$          (2)                           

Эти правила описывают зависимость конкретного выноса твердых отложений от остальных параметров данного селевого потока [8].

Представим их в следующей дизъюнктивной форме:

$\underset{j=1}{\overset{m}{\vee }}\overline{x_j\left(y_i\right)}\vee y_i,$  (3)

а зависимость всех исследуемых селевых потоков от своих параметров как

$f(x,y)=\underset{i=1}{\overset{n}{\&}}\underset{j=1}{\overset{m}{\vee }}\overline{x_j\left(y_i\right)}\vee y_i.$  (4)

В нашем случае  $f\left(X\right)=\underset{j=1}{\overset{387}{\&}}\left(\underset{i=1}{\overset{7}{\&}}{x}_i\to P\left(y_j\right)\right)$

$\begin{array}{c}{x}_1\in \{\text{D},L,\text{C}-D,\};x_2\in \{VK,\text{GK}; \hspace{0.33em}}{x}_3\in \{\mathrm{10,,11,12}\};x_4\in \{\mathrm{20,21,22}\};\\ x_5\in \left\{\mathrm{30,31,32}\right\};x_6\in \left\{\mathrm{40,41,42}\right\};x_7\in \left\{\mathrm{50,51,52}\right\}.\end{array}$

$P\left(60\right)=\left\{\begin{array}{c}0приy_i=61или62\\ 1приy_i=60\end{array}\right.;P\left(61\right)=\left\{\begin{array}{c}0приy_i=60или62\\ 1приy_i=61\end{array}\right.;$

$P\left(62\right)=\left\{\begin{array}{c}0приy_i=60или61\\ 1приy_i=62\end{array}\right..$

Из огромного количества полученных правил (93 237) были отобраны наиболее значимые, в основном правила, содержащие категории 60, 61 или 62. Для упрощения и обобщения информации схожие правила были объединены, что сократило общее количество правил без потери ключевой информации [9].

В результате часть картины полученных правил изображена на рис. 1.

 

Рис. 1. Результирующие правила (здесь обозначения: «|»-« »; «,»- «&»)

Fig. 1. Resulting rules (here the notations are: «|»-« »; «,»- «&»)

 

Данные можно проинтерпретировать следующим образом: сели с малым объемом твердых отложений (60) – это преимущественно небольшие грязекаменные дождевые потоки с низкой интенсивностью. Сели со средним объемом (61) характеризуются преобладанием дождевого генезиса, но включают как грязекаменные, так и водокаменные сели преимущественно со средними и крупными бассейнами. Сели с большим объемом (62) чаще всего вызваны ливневыми дождями (L-D) и связаны с крупными бассейнами и руслами.

Заключение

В результате можно утверждать, что логический анализ данных позволяет выделить набор фундаментальных правил, которые объясняют основные закономерности и взаимосвязи в данных. Эти правила являются основой исследуемой области, способствуют более глубокому пониманию ее природы и оптимизируют поиск решений.

Результаты исследования показывают, что даже неполные и неточные данные могут стать основой для создания эффективных моделей прогнозирования, что дает возможности в области управления рисками и повышения безопасности в зонах, подверженных селевым потокам. Это подчеркивает потенциал интеллектуальных аналитических систем для эффективного управления рисками и минимизации негативных последствий селевых процессов.

About the authors

L. А. Lyutikova

Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences

Author for correspondence.
Email: lylarisa@yandex.ru
ORCID iD: 0000-0002-5819-9396
SPIN-code: 1679-7460

Institute of Applied Mathematics and Automation, Candidate of Physical and Mathematical Sciences, Head of the Department of Neural Networks and Machine Learning

Russian Federation, 360000, Nalchik, 89 A Shortanov street

References

Supplementary files