Solving approximation problems: Implementing a neuro-fuzzy network model based on a Bayesian logical-probabilistic approach

Full Text

Введение. Нейросетевой подход к решению задач анализа данных получил широкое распространение, а примеры использования нейронных сетей в системах искусственного интеллекта (включая так называемые генеративные модели) общеизвестны и выглядят впечатляюще. Эффективность применения нейронных сетей в подобных задачах обусловлена тем, что они являются универсальными аппроксиматорами, способными после обучения реализовать на заданном наборе данных любую непрерывную функциональную зависимость.

Менее известны среди непрофессионалов успехи применения в области искусственного интеллекта гибридных нейронных сетей, в которых нейросетевой подход распространяется на системы нечеткого вывода. В России одним из показательных примеров работ в этом направлении является монография [1]. Авторы данной статьи придерживаются классификации гибридных сетей, применяемой современными зарубежными исследователями [2, 3] и признанной в нашей стране. Различают гибриды двух типов: нечеткие нейронные сети, структура которых сходна с классическими нейронными сетями, но сами нейроны являются нечеткими, то есть имеют нечеткие входы и выходы и/или нечеткие веса, и нейро-нечеткие сети (ННС).

Как нейронная сеть особого гибридного типа ННС, с одной стороны, представляет собой нечеткую систему, обладающую способностью формировать выходные сигналы на основе фаззификации значений входных сигналов, использования базы нечетких правил и механизма нечеткого вывода (НВ), а далее дефаззификации полученных результатов. С другой стороны, она организована в многослойную нейронную структуру, состоящую как из параметрических, так и из непараметрических слоев, нейроны в которых выполняют расчетные операции в соответствии с выбранной моделью НВ. Благодаря адаптивной настройке значений параметров, задаваемых для нейронов параметрических слоев, сеть способна настраиваться таким образом, чтобы результирующие выходные значения соответствовали ожидаемым, что делает ее способной к обучению.

Известно, что объединение в гибридных системах нейросетевого и нечеткого подходов позволяет как привнести в системы нечеткого вывода способность к обучению и параллелизм вычислений, присущие нейронным сетям, так и усилить интеллектуальные возможности нейронных сетей использованием лингвистически интерпретируемых нечетких правил выработки решений и знаний экспертов. Однако, по мнению авторов, эти преимущества наиболее проявляются в нечетких нейронных сетях. В то же время в ННС аппарат НВ теряет свою семантическую природу, нечеткая терминология лишается своей смысловой значимости, а нечеткие правила упрощаются и приобретают, скорее, формальный характер: лингвистические переменные и функции принадлежности их термов используются просто как элементы модели нейронной сети. В результате такая нейросетевая структура становится самодовлеющей, способной самостоятельно (без создания базы правил экспертами) решать задачи, связанные с аппроксимацией функций нескольких переменных.

Количество новых гибридных сетей и их модификаций постоянно растет. Подробные актуальные обзоры, посвященные гибридным сетям различных типов, тенденциям, проблемам и перспективам их применения, представлены в [2, 3]. В [4] сделан обзор применяемых для таких сетей техник обучения. Имеются многочисленные примеры использования ННС, свидетельствующие об актуальности и интенсивности современных исследований и разработок в этой области искусственного интеллекта. ННС зарекомендовали себя как мощный инструмент, обеспечивающий эффективное решение задач прогнозирования, диагностики, автоматического управления и регулирования, а также других, связанных с анализом и обработкой данных. В ряде работ демонстрируются возможности решения задач прогнозирования временных рядов [5], состояния кабельных линий [6], энергопотребления зданий [7], поверхностного натяжения в материалах [8]. Пример использования ННС для решения задачи классификации показан в работе [9], а для решения задачи анализа и оценки проектных решений – в [10]. ННС успешно применяются в промышленной сфере: в [11, 12] демонстрируется применение ННС в управлении и регулировании, а в [13] - для оптимизации параметров производственного процесса.

Структуре многослойной ННС на основе байесовской логико-вероятностной модели (БЛВ-модели) НВ и ее апробации посвящены работы [14–16]. Предложенная сетевая структура сопоставима с известными ННС Такаги–Сугено–Канга (TSK) и Ванга–Менделя [17], в частности, с широко применяемой моделью ANFIS (Adaptive Neuro-Fuzzy Inference System), также основанной на модели НВ TSK. Особую популярность ANFIS получила в связи с наличием ее готовой реализации в пакете MATLAB (https://www.mathworks.com/help/fuzzy/neuro-adaptive-learning-and-anfis.html).

В данной статье демонстрируется практическое применение разработанной программы для создания и обучения ННС на основе БЛВ-модели НВ, ориентированных на решение конкретных задач аппроксимации функций нескольких переменных на реальных и синтетических данных, что позволяет оценить их аппроксимационные способности и эффективность обучения в сравнении с инструментом для создания и обучения сетей ANFIS из MATLAB.

ННС на основе БЛВ-модели

БЛВ-модель НВ предложена в [18]. Позднее она исследована и программно реализована авторами, получено Свидетельство о государственной регистрации программы для ЭВМ RU 2021662943. Опыт этой программной реализации использован при разработке программы для создания и обучения ННС на основе БЛВ-модели НВ. Нейросетевая интерпретация БЛВ-модели НВ и структурная схема ННС на ее основе представлены в [14, 15]. Остановимся кратко на функциональности нейронов, распределенных по слоям сети. Следует отметить, что в процессе программной реализации модели ННС учтены полученные предварительные результаты обучения и внесены полезные изменения в функциональное описание некоторых слоев сети.

Структура сети включает семь слоев, три из которых (первый, третий и шестой) являются параметрическими (рис. 1). Первый слой нейронов выполняет фаззификацию каждой входной переменной x_n, $n=\overline{\mathrm{1,}N}$, то есть расчет значения функции принадлежности (ФП) для каждого j-го терма, $j=\overline{\mathrm{1,}{M}_n}$ , каждой n-й входной лингвистической переменной (ЛП), причем, в отличие от представления структуры ННС в [14, 15], в программной реализации в качестве ФП используется частный случай (b = 1) обобщенной гауссовой функции:

$g_{j,n}\left(x_n;c_{j,n},{\sigma }_{j,n}\right)=e^{-\frac{{\left(x_n-c_{j,n}\right)}^{2b}}{{\sigma }_{j,n}^2}}$, (1)

которая при некоторых значениях показателя степени b может определять треугольную и трапецеидальную ФП. Центры c = (c_1,1, …, с_{j, n}, …) и коэффициенты ширины σ = (s_1,1, …, s_{j, n}, …) гауссовых ФП являются параметрами первого слоя ННС.

Рис. 1. Структура ННС на основе БЛВ-модели НВ, где ФВЛ – функции вероятностной логики

Fig. 1. Structure of NFN based on Bayesian logical probabilistic model of fuzzy inference with functions of probabilistic logic

Второй слой нейронов рассчитывает условные вероятности P(e|H_k), k = 1, …, K, на основе базы нечетких правил, трансформированной в набор функций вероятностной логики. Эти функции в качестве аргументов принимают значения ФП g_{j, n}, рассчитанные нейронами первого слоя сети. Отметим, что в качестве алгоритма генерации базы нечетких правил для программной реализации ННС выбран алгоритм сеточного разбиения, чем обусловлен простой вид формулы для расчета условной вероятности k-м нейроном второго слоя:

$P\left(e\text{|}{H}_k\right)={\prod }_{n=1}^N{g}_{j,n}\left(x_n;c_{j,n},{\sigma }_{j,n}\right).$ (2)

Нейроны третьего слоя выполняют взвешивание значений условных вероятностей параметрами-весами нечетких правил w = (w₁, …, w_k). Нейрон четвертого слоя суммирует взвешенные условные вероятности. Нейроны пятого слоя по формуле, основанной на формуле Байеса, формируют апостериорное распределение вероятностей:

$P\left(H_k\text{|}e\right)=\frac{w_{k}P\left(e\text{|}{H}_k\right)}{{\displaystyle {\sum }_{l=1}^K{w}_{l}P\left(e\text{|}{H}_l\right)}},$ (3)

где K – число термов выходной ЛП (байесовских гипотез H_k), соответствующих числу функций вероятностной логики (оценивающих степень истинности свидетельств в пользу каждой гипотезы); w_k – вес k-го правила, w_k ∈[0; 1].

Нейроны шестого слоя и нейрон-сумматор седьмого слоя отвечают за дефаззификацию выходной переменной. Итоговая оценка $\hat{y}$ значения выходной переменной y вычисляется по формуле

$\widehat{y}=\underset{k=1}{\overset{K}{}}{\tilde{y}}_{k}P\left(H_k\text{|}e\right),$ (4)

где P(H_k|e) – элемент апостериорного распределения вероятностей (3); ${\tilde{y}}_k$ – характерное значение соответствующего терма выходной ЛП. При этом, в отличие от структуры ННС в [14, 15], в качестве параметров шестого слоя в программной реализации сети выступают не коэффициенты α_k, предназначавшиеся для вычисления значений ${\tilde{y}}_k$ как выпуклых комбинаций граничных точек соответствующих термам интервалов на шкале выходной переменной, а непосредственно характерные значения $\tilde{y}=\left({\tilde{y}}_1,\dots ,{\tilde{y}}_K\right)$ термов выходной ЛП. Результат работы сети – число $\hat{y}$, аппроксимирующее значение некоторой функции $y=f\left(x_1,\dots ,x_N\right).$

Таким образом, параметрами ННС на основе БЛВ-модели НВ, которые уточняются и обновляются в процессе обучения сети, являются:

• центры c и коэффициенты ширины σ гауссовых ФП (первый слой нейронов);
• веса нечетких правил w (третий слой нейронов);
• характерные значения термов выходной ЛП $\tilde{y}$ (шестой слой нейронов).

Компоненты векторов c, σ и w отнесем к нелинейным параметрам, поскольку они используются в нелинейных функциях (1) и (3), а $\tilde{y}$ - к линейным, так как они используются в линейной функции (4).

Алгоритмы, используемые при построении и обучении ННС на основе БЛВ-модели НВ

Для полноценной работы с ННС необходимы алгоритмы двух типов. Во-первых, алгоритмы начального формирования ее структуры, которые на основе имеющегося набора данных, выбранного вида ФП и указанного количества термов входных ЛП выполняют генерацию нечетких правил. Во-вторых, алгоритмы ее обучения, выполняющие обновление параметров выражений (1–4) таким образом, чтобы после каждой эпохи обучения сети (одного цикла полного прохода по обучающему набору данных) уменьшалось значение функции потерь:

$L\left(y_i,{\widehat{y}}_i\left(x_i;c,,w,\tilde{y}\right)\right)=\frac{1}{2}{\left(y_i-{\widehat{y}}_i\right)}^2,$ (5)

где y_i и ${\widehat{y}}_i$ представляют соответственно целевое и предсказанное значения для i-й строки данных x_i = (x₁, …, x_N) из обучающего набора, $i=\overline{\mathrm{1,}Z}$, где Z – число строк набора. Обучение заканчивается либо по завершении определенного числа эпох, либо по достижении заданной величины функции потерь L.

Для начального формирования структуры ННС был выбран алгоритм сеточного разбиения, поскольку он доступен в MATLAB и несложен в реализации, а для обучения выбраны алгоритм обратного распространения ошибки (АОРО), основанный на градиентном спуске (ГС), и гибридный алгоритм (ГА) [16], адаптированные для учета особенностей ННС на основе БЛВ-модели НВ. Как показывает практика работы с ANFIS в MATLAB, ГА обеспечивает более быструю сходимость обучения, чем АОРО.

Алгоритм сеточного разбиения

Суть данного алгоритма состоит в равномерном распределении термов каждой n-й входной ЛП, $n=\overline{\mathrm{1,}N},$ по шкале значений соответствующей входной переменной. Так, если ФП для термов входной ЛП определяются как гауссовы (1), то шкала делится на s_n + 1 равных интервалов, где s_n – выбранное количество термов, и далее в качестве центров c_{j, n} выбираются значения точек соприкосновения этих интервалов, а в качестве коэффициентов ширины ${\sigma }_{j,n}$ – длины интервалов. С помощью аналогичного разбиения шкалы выходной переменной на K + 1 равных интервалов выбираются и ${\tilde{y}}_k$ – характерные значения термов выходной ЛП. Количество характерных значений K соответствует количеству правил, посылка каждого из которых формируется как конъюнкция утверждений вида ЛП_n = Терм_j, где j – индекс терма n-й входной ЛП. При этом число K равно мощности N-кратного декартова произведения терм-множеств входных ЛП.

Алгоритм сеточного разбиения прост в реализации, имеет высокую скорость работы, однако создает избыточное количество правил, что увеличивает вычислительную сложность.

Алгоритм обратного распространения ошибки

Процесс обучения ННС направлен на минимизацию значения функции (5) путем итеративной коррекции параметров нейронов параметрических слоев ННС. В адаптации АОРО для его применения при обучении ННС на основе БЛВ-модели НВ ключевым элементом является выработка правила обновления параметров сети $c,\sigma ,w,\tilde{y}$ на основе ГС при минимизации функции L. Для обновления каждого параметра θ ННС при ее обучении используется выражение

${\theta }^{*}=\theta -{\eta }_{\theta }\frac{\partial L}{\partial \theta },$ (6)

где θ^* – новое значение параметра; θ – его текущее значение; ${\eta }_{\theta }$ – темп изменения параметра; $\frac{\partial L}{\partial \theta }$ – частная производная функции (5) по этому параметру, найденная с использованием цепного правила. В таблице 1 представлены конкретные варианты правила (6), используемые для обновления параметров HHC в ходе обучения.

Таблица 1

Правила обновления параметров ННС

Table 1

Rules for updating NFN parameters

Здесь ${\lambda }_{\tilde{y}}, {\lambda }_w, {\lambda }_c,{\lambda }_{\sigma }$ – произвольно подбираемые размеры шага изменения соответствующего параметра сети в ходе обучения ННС. Наряду с числом используемых эпох обучения, пороговым значением функции потерь (5) и направлением градиента в ГС они рассматриваются как параметры обучения ННС.

Осуществляется контроль за тем, чтобы значения весов правил в процессе обучения не выходили за установленный диапазон [0, 1]. Для их изменения используется метод спроецированного градиентного спуска [19], а само новое значение веса определяется как $w_k^{\text{*}}=\max \left(\min \left(w_k^{\text{*}}\mathrm{,1}\right)\mathrm{,0}\right).$

Порядок обновления значений параметров ${\tilde{y}}_k$ и $w_k$ не имеет значения, так как производные $\frac{\partial L}{\partial {\tilde{y}}_k}$ и $\frac{\partial L}{\partial w_k}$ не зависят друг от друга. Это позволяет выполнять их обновление параллельно и независимо, что обеспечивает гибкость в оптимизации функции потерь и упрощает реализацию алгоритма.

Преимуществами АОРО являются высокая эффективность для небольших сетей и простота реализации, однако при его применении возможны проблемы, связанные с попаданием в локальные минимумы, а также он довольно медленный при использовании на сетях с большим числом параметров.

Гибридный алгоритм обучения

Этот алгоритм сочетает в себе как ГС, так и метод наименьших квадратов. Алгоритм ГС применяется для тонкой настройки нелинейных параметров c, σ и w, обеспечивая эффективное снижение общей ошибки (5). В то же время метод наименьших квадратов идеально подходит для быстрой и точной корректировки линейных параметров $\tilde{y}$ благодаря его способности к минимизации ошибок в линейно зависимых данных [17].

Для адаптации ГА часть уже реализованного алгоритма АОРО изменена таким образом, что при обратном проходе не выполняется изменение линейных параметров $\tilde{y}$ с помощью ГС. Вместо этого в начале каждой эпохи обучения осуществляется прямой проход по всему обучающему набору данных и с помощью метода наименьших квадратов линейные параметры $\tilde{y}$ обновляются путем решения системы линейных алгебраических уравнений

$\tilde{y}={\left(P^{T}P\right)}^{-1}{P}^{T}Y,$

где вектор целевых значений Y содержит реальные выходные данные обучающего набора, а матрица P формируется на основе значений выходов пятого слоя сети – апостериорных вероятностей (3), рассчитанных для всех обучающих примеров.

Таким образом, метод наименьших квадратов направлен на нахождение оптимального вектора характерных значений , минимизируя функцию потерь (5). После завершения этого шага происходит обновление нелинейных параметров c, σ и w в результате обратных проходов по каждой строке набора данных, как в АОРО.

Главными преимуществами ГА являются быстрая сходимость (особенно для набора данных с линейными зависимостями) и высокая точность обучения. Недостаток заключается в повышенной по сравнению с АОРО вычислительной сложности.

Метрики оценки качества обученной сети

Для оценки точности и эффективности ННС в задачах аппроксимации в программе используются перечисленные далее известные метрики качества [19, 20].

• MSE (Mean Squared Error – среднеквадратическая ошибка). Измеряет среднюю квадратичную разницу между предсказанными ${\widehat{y}}_i$ и реальными значениями y_i, оценивая общую точность модели. Метрика особенно полезна для выявления больших ошибок, так как квадратичная функция штрафует их более сильно.
• RMSE (Root Mean Squared Error – корень из среднеквадратической ошибки). Обеспечивает оценку ошибки в тех же единицах, что и исходные данные. В дальнейшем будем ориентироваться на эту ошибку для сравнения предложенной модели ННС с ННС ANFIS из пакета MATLAB, поскольку в ней по умолчанию используется именно эта метрика.
• MAE (Mean Absolute Error – средняя абсолютная ошибка). Рассчитывает среднее абсолютное отклонение предсказанных значений ${\widehat{y}}_i$ от фактических y_i, являясь мерой линейной точности.
• MAPE (Mean Absolute Percentage Error – средняя абсолютная процентная ошибка). Выражает MAE в процентах, что полезно для оценки относительной точности без привязки к масштабу данных.
• R² (коэффициент детерминации). Указывает на долю дисперсии зависимой переменной y, объясненную моделью, оценивая ее предсказательную силу.

Включение данных метрик в программу обусловлено их способностью к комплексной оценке точности, стабильности и адаптивности ННС к новым данным. Полезными для оценки качества обученной сети в контексте аппроксимации также являются скорректированный коэффициент детерминации R²_adj, симметричная средняя абсолютная процентная ошибка SMAPE, взвешенная абсолютная процентная ошибка WAPE, средняя абсолютная масштабированная ошибка MASE. В дальнейшем планируется внедрить их в программу.

Функциональные возможности программы

Разработанная программа обеспечивает построение и обучение ННС на основе БЛВ-модели НВ, которые позволяют эффективно решать задачи аппроксимации функций нескольких переменных. Функциональные возможности программы и поддерживающий их реализацию графический интерфейс пользователя сопоставимы с инструментом ANFIS из пакета MATLAB.

Для разработки программы использован язык Java. Выбор обусловлен не только опытом работы авторов с ним, но и его кроссплатформенностью. К тому же последние версии среды исполнения значительно улучшили производительность (в том числе разработан высокопроизводительный вариант виртуальной машины Java – GraalVM), а язык предоставляет разработчику обширный API и множество библиотек, которые значительно упрощают разработку сложных приложений с продвинутым пользовательским интерфейсом.

Построение сети

Программа поддерживает использование трех типов наборов данных: обучающий, валидационный и тестовый. Для построения сети используется обучающий набор. Пользователь указывает обучающий набор данных, количество термов входных ЛП и начальное значение весов w. На этой основе программа, используя алгоритм сеточного разбиения, автоматически создает нечеткие правила, необходимые для формирования структуры ННС, и определяет начальные значения параметров сети c, σ, $\tilde{y}$.

В программе не поддерживается возможность редактирования правил, сгенерированных на этапе построения сети, причем правила содержат только просто реализуемую операцию конъюнкции. Однако на практике использования в сетях типа ANFIS лишь конъюнкции в нечетких правилах достаточно для получения точного результата в решаемых задачах, что подтверждается не только работой автора сети ANFIS [21], но и широким использованием этой модели в большом количестве приложений.

Обучение сети

Для начала обучения нужно выбрать алгоритм обучения (АОРО или ГА), ввести целевое значение ошибки и количество эпох обучения сети. Во время обучения программа отображает динамические графики изменения ключевых метрик качества аппроксимации (http://www.swsys.ru/uploaded/image/2025-1/1.jpg), а также графики изменения значений параметров сети. Пользователь может в любой момент приостановить обучение сети, продолжить этот процесс или завершить его.

В программе реализована возможность настройки параметров обучения, позволяющая отключать и включать обновление параметров для каждого параметрического слоя ННС, менять шаги их изменения, выбирать направление градиента и стратегию изменения значений параметров обучения (шагов изменения параметров сети) во время обучения, а также вручную настраивать параметры стратегий обучения (http://www.swsys.ru/uploaded/image/2025-1/2.jpg).

В программе поддерживаются две стратегии изменения значений параметров обучения. Одна из них – классическая, используемая в MATLAB. Суть ее в том, что при уменьшении ошибки на протяжении четырех эпох значение шага увеличивается, а если ошибка претерпевает две последовательные комбинации из одного увеличения и одного уменьшения, шаг уменьшается. Вторая стратегия – возврат значений параметров на определенное задаваемое число эпох назад при увеличении ошибки.

Проверка сети

После завершения обучения сеть подлежит проверке с использованием наборов данных для валидации и тестирования, что позволяет оценить ее способность к обобщению и точность предсказаний на новых данных. Валидационный набор данных, который не участвует в обучении сети, позволяет настраивать параметры обучения и предотвращает ее переобучение. Тестовый набор аналогично валидационному состоит из данных, не участвующих в обучении, и предназначен для окончательной проверки обобщающей способности обученной сети после тонкой настройки и валидации, имитируя ее реальное применение [20]. Для проверки сети нужно выбрать один из предварительно загруженных наборов данных. Если набор данных корректен, то результаты, включая значения ключевых метрик, отобразятся в специализированном текстовом поле графического интерфейса программы.

Пользователь может проверять работу сети на собственных данных, вводя значения входных переменных для получения дефаззифицированного результата. Это позволяет проводить непосредственную проверку эффективности обученной ННС на специфичных для конкретного пользователя данных, упрощая процесс ее тестирования и адаптации под индивидуальные нужды. Результат расчета на основе текущих значений параметров сети отображается в специальном текстовом поле, включающем также и оценку ошибки вычисления в виде границ доверительного интервала ± RMSE.

Пользователь имеет возможность сохранить текущее состояние сети со всеми значениями параметров, чтобы в дальнейшем можно было к нему вернуться. При экспорте и выборе опции «Совместимость» сеть будет экспортирована в формат, совместимый с авторской программой для решения задач нечеткого вывода на основе БЛВ-модели.

Примеры создания сетей, ориентированных на решение практических задач аппроксимации

Для исследования возможностей предложенной модели ННС выбрано несколько наборов данных: два набора (Boston Housing Dataset – BH и Auto MPG – AM), взятых с репозиториев для исследователей в области машинного обучения и анализа данных Delve Datasets и UCI Machine Learning Repository, и два синтетических набора данных (СНД1 и СНД3), сформированных на основе вычисления заданной функции с последующим зашумлением.

Характеристика наборов данных

1. Набор данных BH (https://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html) содержит информацию о различных характеристиках жилых домов в окрестностях Бостона, включая среднее количество комнат в доме, уровень преступности, налоги на недвижимость и многое другое. Всего в наборе используются 14 характеристик, включая выходную переменную – сведения об их цене.
2. Набор данных AM (https://archive.ics.uci.edu/dataset/9/auto+mpg) описывает различные характеристики автомобилей и содержит 9 переменных.

Наборы BH и AM имеют большую размерность, из-за чего их обработка проблематична даже в MATLAB: при попытке создать HHC на основе полного набора данных возникает нехватка памяти. Это связано с тем, что сложность ННС экспоненциально зависит от количества термов ЛП, построенных на основе входных переменных. Так как входные переменные в разной степени влияют на результат, было принято решение о сокращении размерности НД до двух входных переменных для AM и трех входных для BH, а также одной выходной переменной. Для этого была использована техника сокращения размерности пространства признаков на основе корреляционного анализа взаимосвязи между входными переменными и целевой переменной. Кроме того, были удалены строки с отсутствующими значениями переменных.

3. СНД1 сгенерирован на основе вычисления функции одной переменной f(x) = – 4x³ + 8x² + 5x – 1, x∈[–1,5; 3]. К результатам вычисления f(x) добавлен гауссов шум с распределением N(0;1) для имитации реальных условий измерений.
4. СНД3 сгенерирован на основе функции трех переменных f(x, y, z) = x² – 4y + 5z + 2, x, y, z∈[–4; 4]. К значениям функции f(x, y, z) добавлен гауссов шум с распределением N(0; 0,5) для имитации реальных условий измерений.

Итоговые характеристики используемых для создания и обучения ННС наборов данных приведены в таблице 2.

Таблица 2

Характеристики наборов данных, используемых для создания и обучения ННС

Table 2

Characteristics of datasets for creating and training NFN

Результаты обучения ННС

Сравниваются результаты обучения ННС на основе БЛВ-модели НВ и ННС типа ANFIS с одинаковыми значениями количества термов входных ЛП, равными трем. Для описания термов ЛП используются гауссовы ФП (1). Для обучения применяется ГА, так как он демонстрирует наилучшую скорость обучения для обеих моделей.

Для сравнения качества обучения сетей используется метрика качества RMSE, поскольку, с одной стороны, она позволяет адекватно оценить шум в данных, а с другой, это единственная метрика, доступная как в MATLAB, так и в разработанной авторами программе. Зависимость RMSE от числа использованных эпох обучения на начальном периоде обучения, когда наблюдается активное уменьшение ошибки, иллюстрируется графиками. Итоговая сходимость, достигнутая на сравниваемых моделях, характеризуется минимальными изменениями RMSE в последующих эпохах и представлена в виде итоговых значений в соответствующих таблицах.

Пример Boston Housing. График на рисунке 2 и таблица 3 иллюстрируют изменение RMSE на первых 50 эпохах обучения ННС. Отмечается значительное улучшение RMSE после обучения обеих моделей ННС. График подтверждает их схожесть по эффективности и темпу обучения. Однако на тестовом наборе данных ННС на основе БЛВ-модели НВ демонстрирует большее значение RMSE, что указывает на более высокую способность ANFIS к обобщению на новых данных. Тем не менее близость значений RMSE на обучающем и валидационном наборах подчеркивает большой потенциал ННС на основе БЛВ-модели НВ в качестве инструмента аппроксимации сложных функциональных зависимостей.

Рис. 2. График изменения RMSE для набора BH на первых 50 эпохах обучения

Fig. 2. Diagram of RMSE variation for the Boston Housing dataset during the first 50 training epochs

Таблица 3

Сравнение ННС по метрике RMSE для набора BH

Table 3

Comparison of NFNs by RMSE metric for the Boston Housing dataset

На рисунке 3 приведены графики изменения значения RMSE по мере увеличения числа эпох обучения с использованием алгоритмов АОРО и ГА для обучения ННС ANFIS (а) и ННС на основе БЛВ-модели НВ (б). Графики показывают, что при использовании ГА для обучения ANFIS RMSE быстро уменьшается и стабилизируется на низком уровне, в то время как при использовании АОРО уменьшение происходит медленнее и не достигает таких низких значений. Аналогичная тенденция наблюдается и для ННС на основе БЛВ-модели НВ, где ГА также обеспечивает более быстрое и эффективное снижение RMSE по сравнению с АОРО. Это подтверждает эффективность применения ГА для обучения ННС, поскольку он объединяет преимущества ГС и метода наименьших квадратов, позволяющие более эффективно находить оптимальные значения нелинейных и линейных параметров нейронов сети в процессе ее обучения.

Рис. 3. Графики изменения RMSE на наборе BH для алгоритмов обучения АОРО и ГА: а) для ННС ANFIS; б) для ННС на основе БЛВ-модели НВ

Fig. 3. Diagrams of RMSE variation on the Boston Housing dataset for error backpropagation and hybrid training algorithms: a) for ANFIS NFN; б) for NFN based on the Bayesian logical probabilistic model of fuzzy inference

Пример Auto MPG. Результаты обучения ННС на этом наборе приведены в таблице 4.

Таблица 4

Сравнение ННС по метрике RMSE для набора AM

Table 4

Comparison of NFN using RMSE metric for the auto MPG

Видно, что разница значений RMSE у обеих моделей ННС невелика как на начальном этапе, так и после обучения, что свидетельствует о сравнимом качестве аппроксимации данных обеими моделями. При этом ННС на основе БЛВ-модели НВ в отличие от ANFIS демонстрирует тенденцию уменьшения значения этого показателя в ходе обучения.

Пример СНД1. Результаты обучения сетей приведены в таблице 5.

Таблица 5

Сравнение ННС по метрике RMSE для СНД1

Table 5

Comparison of NFN by RMSE metric for synthetic dataset 1

Анализ результатов показывает, что обе модели ННС достигли значительного уменьшения RMSE по итогам обучения. График изменения RMSE (http://www.swsys.ru/uploaded/image/2025-1/3.jpg) демонстрирует стабильное улучшение качества аппроксимации для обеих моделей по мере их обучения. По завершении этапа обучения ННС на основе БЛВ-модели НВ достигает более высокого качества, чем ANFIS. Согласно данным таблицы 5, она показывает лучшие результаты на всех типах наборов данных, что подтверждает ее высокую адаптивность и способность к аппроксимации нелинейных зависимостей в условиях шума.

Пример СНД3. Результаты обучения сетей приведены в таблице 6.

Таблица 6

Сравнение ННС по метрике RMSE для СНД3

Table 6

Comparison of NFN by RMSE metric for synthetic dataset 3

На СНД3 было проведено множество экспериментов с обучением ННС на основе БЛВ-модели НВ и подбора наилучших значений параметров обучения. В таблице 6 представлен результат с наименьшей полученной ошибкой, достигнутый при лимите эпох 2 500, начальных шагах для весов правил и параметров ФП 0,00005 и 0,0005 соответственно, при количестве термов входных ЛП, равном 3, и начальных весах правил 0,5. Параметры, установленные для обучения ННС ANFIS (количество термов входных ЛП – 3, количество эпох - 10 000), при этом не менялись.

График (http://www.swsys.ru/uploaded/image/2025-1/4.jpg) показывает, что ННС на основе БЛВ-модели НВ достигает стабильно низких значений ошибки быстрее, чем ANFIS, что свидетельствует в пользу предложенного подхода.

Из таблицы 6 видно, что ANFIS показывает лучшие результаты на тестовом наборе данных по сравнению с предложенной моделью ННС. Тем не менее результаты говорят и о высоком потенциале ННС на основе БЛВ-модели НВ как универсальном аппроксиматоре сложных функциональных зависимостей.

Несмотря на то, что для ННС на основе БЛВ-модели НВ при работе с СНД3 не удалось получить значение RMSE, меньшее 0,7, скорее всего, это возможно при подборе подходящей стратегии обучения, поскольку ННС данного типа имеет больше параметрических слоев, чем ANFIS, и поэтому может быть настроена более гибко. Однако такая настройка ведет к возрастанию сложности обучения и требует тщательного подбора значений таких параметров обучения, как шаги изменения параметров сети ${\lambda }_{\theta }.$ Это критически важно для обеспечения сходимости, следовательно, требует дополнительных исследований и экспериментов для достижения наилучших результатов.

По мнению авторов, ННС как гибридная система, объединяющая нейросетевой и нечеткий подходы, имеет особые перспективные достоинства в контексте исследований в области искусственного интеллекта. Поскольку в ходе обучения ННС меняются сгенерированные при ее создании параметры ФП термов ЛП, а также веса правил, по завершении ее обучения нейронная структура ННС реализует нечеткие правила, подобные правилам предметных экспертов и релевантные той задаче, на решение которой ориентирована данная ННС. После оптимизации эти правила могут быть извлечены из ННС и представлены в лингвистически интерпретируемом виде, что позволяет объяснить закономерности, выявленные ННС в предъявленном ей наборе данных. Это открывает возможности использования ННС в актуальном направлении исследований технологий искусственного интеллекта, известном как объяснимый искусственный интеллект и ставящем целью разработку интеллектуальных систем, решения которых могут быть объяснены человеком [22].

Заключение

В статье рассмотрена модель ННС на основе БЛВ-модели НВ. Представлен разработанный авторами программный инструмент по созданию и обучению ННС этого типа, который предназначен для решения задач, сводимых к аппроксимации функциональных зависимостей, а также для исследования эффективности и возможностей использования ННС на основе БЛВ-модели НВ при решении таких задач. Эксперименты по построению ННС на основе БЛВ-модели НВ с использованием программы показали следующее.

• ННС, обученные с помощью алгоритма обучения ГА, достигают лучших результатов аппроксимации, чем при использовании АОРО, что связано с объединением в ГА преимуществ градиентного спуска и метода наименьших квадратов. При этом скорость обучения ННС зависит от степени линейности зависимости выходной переменной от входных. Если в данных присутствует нелинейность, то ННС обучается медленнее даже при использовании ГА.
• Шаги изменения нелинейных параметров ННС (весов нечетких правил и параметров ФП входных ЛП) должны быть сравнимы друг с другом и не превышать 0,01, а шаг для линейных параметров выходной ЛП должен изменяться в пределах 0,1–1, чтобы обновление параметров сети выполнялось согласованно и ошибка постоянно уменьшалась в процессе обучения.

В целом проведенные эксперименты позволяют сделать оптимистичные выводы о способности ННС этого типа к обучению и решению практических задач в областях, в которых обычно применяются ННС типа ANFIS, а также о сопоставимой эффективности этих сетей.

В дальнейшем планируется продолжить исследование способов согласования параметров обучения, в том числе использование стратегий с асинхронным изменением шагов обучения. Помимо этого, предполагается расширить набор доступных в программе типов ФП и алгоритмов генерации правил (например, основанных на методах кластеризации данных, а также на генетических алгоритмах) и обучения сети, метрик оценок качества обучения сети, а также дополнить список стратегий обучения. Кроме того, планируется задействовать методы оптимизации баз нечетких правил для улучшения производительности ННС и провести сравнение этих методов для оценки их эффективности при решении различных задач. Для этого могут быть задействованы генетические алгоритмы, методы роя частиц и другие подходы автоматической оптимизации нечетких правил.

Необходимо отметить, что у авторов вызывает интерес и такое возможное направление использования ННС на основе БЛВ-модели НВ, как объяснимый искусственный интеллект.

About the authors

Georgy A. Khamchichev

Author for correspondence.
Email: gyqn@yandex.ru

Postgraduate Student

Gulnara I. Kozhomberdieva

Email: kgi-liizht@yandex.ru

Cand. of Sci. (Engineering), Associate Professor

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. Structure of NFN based on Bayesian logical probabilistic model of fuzzy inference with functions of probabilistic logic

Download (127KB)

Indexing metadata

3. Fig. 2. Diagram of RMSE variation for the Boston Housing dataset during the first 50 training epochs

Download (84KB)

Indexing metadata

4. Fig. 3. Diagrams of RMSE variation on the Boston Housing dataset for error backpropagation and hybrid training algorithms: a) for ANFIS NFN; б) for NFN based on the Bayesian logical probabilistic model of fuzzy inference

Download (98KB)

Indexing metadata