Применение нейронных сетей архитектуры LSTM для моделирования волатильности фондового рынка

Полный текст

Введение

В последнее десятилетие фондовый рынок смог привлечь множество участников, что обусловлено простотой доступа к нему, а также процессами глобализации и интеграции между государствами. Отчасти развитию этих процессов способствовала масштабная цифровизация. Параллельно с увеличением внимания к торговым площадкам бурное развитие наблюдалось и в мире информационных технологий, в особенности в сфере искусственного интеллекта и машинного обучения. Многие исследователи ищут способы применения нейросетевых технологий для решения различного рода управленческих и бизнес-задач, таких как формирование оптимального портфеля ценных бумаг, прогнозирование фондовых рынков, моделирование и имитация поведения участников рынка, ценообразование и др. Применение инновационных методов для решения этих задач требует тщательного исследования, а полученные результаты – компетентного сравнения с результатами классических моделей на стыке финансов и математики.

Не теряющей актуальности является задача моделирования волатильности фондового рынка. Ее решение с достаточно высокой степенью точности позволит получать достоверные прогнозы динамики рынков и использовать их для повышения эффективности управленческих решений. Волатильность на фондовых рынках является непрерывным процессом. Особое внимание участников и исследователей рынков привлекают периоды повышенной волатильности, к которым относятся ипотечный кризис 2008 г., валютный кризис в России 2014 г., кризис, вызванный пандемией COVID-19 в 2020 г. и др. Существует большое количество математических методов и статистических моделей для прогнозирования волатильности, которая на практике выражается финансовыми временными рядами. К таким методам относятся модели классов ARIMA и GARCH, включающие базовые (классические) алгоритмы и их разнообразные модификации, в том числе модели с длинной памятью (фрактальные). В настоящем исследовании нами поставлена задача моделирования динамики фондового рынка (на примере развитого рынка США) для предсказания уровня его волатильности при помощи современного инструментария – нейронной сети, а также задача сравнения по точности прогноза указанного метода с более традиционными моделями, а именно авторегрессионной моделью ARIMA и ее модификацией с длинной памятью ARFIMA.

Стоит отметить ряд преимуществ использования нейронных сетей в задаче прогнозирования волатильности, которыми был обусловлен их выбор в качестве метода моделирования [10]. Во-первых, нейронные сети способны извлекать из данных нетипичные признаки и адаптироваться к данным различной структуры, а неоднородность, как известно, характерна для финансовых временных рядов (см. эффекты кластеризации волатильности [8] и чередование участков рядов различной фрактальной размерности [15]). Во-вторых, нейросети обладают свойством учета сложных нелинейных зависимостей в структуре данных. Это важно, так как текущие значения финансовых рядов зачастую нелинейно зависят как от прошлых значений, так и от множества экзогенных факторов [7].

Таким образом, гипотеза нашего исследования состоит в том, что нейронная сеть позволяет получать прогнозы с меньшей ошибкой в сравнении с более классическими статистическими моделями (ARIMA, ARFIMA) при моделировании волатильности фондового рынка США.

Материалы и методы

В качестве данных в исследовании используются скорректированные цены закрытия фондового индекса S&P 500 (код инструмента SPY). Рассмотрена динамика значений индекса за период с 01.01.2020 по 01.09.2023, частота составляет один день. Источником данных послужил провайдер рыночной информации Yahoo Finance. В результате была сформирована выборка данных объемом 649 наблюдений.

На текущий момент из моделей глубокого обучения на фондовых рынках могут применяться следующие алгоритмы: рекуррентные нейронные сети (RNN), сверточные нейронные сети (CNN), многослойные персептроны, гибридные нейронные сети, автоэнкодеры, нейрогенетические сети, или нейронные сети нечеткого вывода, функционирующие на основе правил нечеткой логики [2; 11].

Для целей моделирования финансовых временных рядов наибольшее распространение получили RNN [2]. Наиболее популярным алгоритмом среди RNN является модель долгой краткосрочной памяти (long short-term memory network, LSTM) [4]. LSTM обучается на основе принципа обратного распространения ошибки. Особенность архитектуры LSTM-сети состоит в том, что в ней вместо нейронов присутствуют «клетки памяти», состоящие из трех частей: входа, выхода и самой зоны памяти. Зоны входа и выхода, по сути, выполняют функции аксона и дендрита обычного нейрона, в то время как зона памяти отвечает за обучение и запоминание нужной информации из данных, подаваемых на зону входа. Таким образом, в настоящем исследовании для решения задачи прогнозирования волатильности индекса S&P 500 нами была выбрана нейронная сеть архитектуры LSTM как наиболее широко используемая и доказавшая свою эффективность [3]. В качестве конкурирующих методов использованы такие модели, как интегрированная модель авторегрессии – скользящего среднего (Autoregressive Integrated Moving Average, ARIMA) и дробно-интегрированная модель авторегрессии – скользящего среднего (Autoregressive Fractionally Integrated Moving Average, ARFIMA). ARIMA(p, d, q) является моделью с краткосрочной памятью, в то время как ARFIMA(p, d, q) допускает нецелое значение показателя интегрированности d, что позволяет моделировать эффекты долгосрочной (длинной) памяти. Эти модели широко исследованы и описаны в научной литературе (см., например, [14]).

Для оценивания качества полученных прогнозов при интерпретации результатов нами использованы следующие метрики точности прогнозирования: среднеквадратическая ошибка MSE и средняя абсолютная ошибка MAE [9].

Процесс обучения всех трех алгоритмов реализован на смоделированной исторической волатильности индекса S&P 500, которая получена при помощи модели экспоненциальной обобщенной авторегрессионной условной гетероскедастичности (Exponential Generalized Autoregressive Conditional Heteroskedasticity, EGARCH). Подход, состоящий в сглаживании исходного рыночного ряда с помощью модели, описан в работе Н. И. Берзона и Е. А. Сулицкого [13]. Он позволяет повысить точность моделирования и прогнозирования, поэтому нами было решено обучать нейросеть не на исходных, а на модельных данных. EGARCH(p, q) является модификацией классической модели GARCH(p, q), в отличие от базовой версии обладающей способностью учитывать асимметричные эффекты между положительной и отрицательной доходностью моделируемого актива. Приведем общую формулу модели EGARCH(p, q):

$\begin{array}{c}{x}_t={\epsilon }_t,\\ \ln \left({\sigma }_t^2\right)=a_0+\sum _{i=1}^p{a}_i(\left|{\epsilon }_{t-1}\right|+{\gamma }_i{\epsilon }_{t-i})+\sum _{j=1}^q{\beta }_j\ln \left({\sigma }_{t-j}^2\right),\end{array}$ (1)

где x_t – значение временного ряда в момент времени t; s_t – условное стандартное отклонение (условная волатильность) в момент времени t; p – порядок модели компонентов ARCH; a₀, a₁, a₂, … , a_p – параметры модели компоненты ARCH; q – порядок модели компонентов GARCH; β₁, β₂, … , β_q – параметры модели компоненты GARCH; ε_t – стандартизированные остатки.

Величины порядков p, q модели определены нами по информационному критерию Акаике (AIC). Способ задания распределения остатков также выбран с помощью данного критерия.

Выбор описанной модификации GARCH-модели обусловлен тем, что волатильность на рынке оказывается выше после поступления негативной информации (отрицательная доходность), чем после поступления позитивной информации (положительная доходность). Данный асимметричный признак называется эффектом левериджа. Таким образом, на основании результатов ряда исследований и экспериментов [1; 13] можно утверждать, что модель EGARCH(p, q) является эффективным инструментом оценки условной волатильности.

Настройка и калибровка нейронной сети LSTM

Настройка архитектуры нейронной сети включает в себя несколько ключевых этапов.

На первом этапе исходные данные должны быть нормализованы для исключения проблемы «взрывных» градиентов. Нормализация данных реализована при помощи следующей формулы:

$\widehat{x}=\frac{x-\min \left(x\right)}{\max \left(x\right)-\min \left(x\right)},$ (2)

где x – исходный ряд условной волатильности.

Следующим шагом является разделение данных на обучающую и тестовую выборки. В рамках исследования было решено разделить данные в соотношении 9:1, в результате объем обучающей выборки составил 584 наблюдения, а тестовой – 65 наблюдений. Тогда интервал дат для обучающей выборки составляет с 01.01.2021 по 25.05.2023, а временной интервал для тестовой выборки – с 26.05.2023 по 01.09.2023.

На втором этапе определяются основные параметры нейронной сети LSTM (так называемый тюнинг): количество слоев и нейронов, механизм оптимизации, функция потерь и метрики для оценки качества модели, вид регуляризации алгоритма для исключения проблемы переобучения модели, настройка гиперпараметров (скорости обучения), а также задается функция активации и количество эпох обучения.

Обоснуем выбор параметров для построения модели LSTM.

1. Алгоритм оптимизации. Наиболее используемыми методами оптимизации являются алгоритмы Adam, Adamax, Adadelta, Adagrad, SGD, RMSProp [5]. Нами выбран алгоритм оптимизации Adam (Adaptive Moment Estimation), что обусловлено сочетанием в нем как накопления движения, так и более медленного обновления весов для типовых признаков, что, в свою очередь, позволяет отчасти решить проблему переобучения. Кроме того, алгоритм Adam адаптивно определяет скорость обучения, что решает вопрос подбора гиперпараметров. Еще одним достоинством Adam является то, что он комбинирует метод моментов и адаптивное обучение, благодаря чему позволяет эффективно работать как с большими, так и с малыми градиентами.

2. Функция потерь. При работе с временными рядами в сфере искусственного интеллекта и машинного обучения принято использовать функции потерь вида «среднеквадратическая ошибка» (Mean Squared Error, MSE) или «средняя абсолютная ошибка» (Mean Absolute Error, MAE) [7]. Входными данными для нейросети и других прогнозных моделей в нашем случае являются натуральные логарифмы оценок стандартного отклонения ряда, полученных с помощью модели EGARCH(1, 1). Исходные значения находятся в диапазоне от 0,005 до 0,025, то есть близки к нулю. Это определяет выбор функции потерь в пользу MSE, а не MAE, так как величина MAE может быть неопределенной либо бесконечной в случае, если истинное значение какого-либо наблюдения равно или близко к нулю. Формула функции потерь имеет следующий вид:

$MSE=\frac{1}{n}\sum {(x_i-{\widehat{x}}_i)}^2,$ (3)

где MSE – среднеквадратическая ошибка (функция потерь); n – количество примеров в наборе данных; x_i – фактическое значение целевой переменной для i-го наблюдения; ${\widehat{x}}_i$ – предсказанное значение целевой переменной для i-го наблюдения.

Другим преимуществом метрики MSE как функции потерь является то, что эта величина представляет собой средний квадрат отклонения исходных и предсказанных значений, следовательно, большие ошибки будут приводить к высоким штрафам, что минимизирует влияние крупных выбросов и позволяет более эффективно обучить модель.

3. Функция активации. В архитектурах нейронных сетей используется целый ряд линейных и нелинейных функций активации, таких как линейная, сигмоида, гиперболический тангенс, ReLU (Rectified Linear Unit), Leaky ReLU, Softmax [6]. Нами выбрана функция активации вида «гиперболический тангенс» (tanh) по следующим причинам: динамика исходных данных условной волатильности является нелинейной; tanh помогает LSTM-сети в контексте сохранения и передачи информации, так как LSTM-сеть имеет механизмы для хранения и обновления информации о предыдущих состояниях (с использованием забывающего затухания и входных и выходных ворот); функция активации tanh является вычислительно более эффективной по сравнению с другими функциями активации. Общий вид функции активации tanh следующий:

$f\left(x\right)=\frac{e^x-e^{-x}}{e^x+e^{-x}}.$ (4)

4. Количество слоев и нейронов LSTM-сети и механизмы регуляризации Dropout и L2. Эти параметры сформированы при помощи механизма GridSearch с применением метода кросс-валидации. Определение наилучшего сочетания параметров выполнено методом перебора, при этом использовались следующие наборы параметров:

• количество слоев LSTM (2, 3, 4, 5);
• количество нейронов на слое LSTM (50, 75, 100);
• уровень Dropout – доля нейронов, которые будут случайно отключены во время обучения (0,2; 0,4; 0,6);
• уровень L2 регуляризации – коэффициент, умножаемый на сумму квадратов всех весов параметров LSTM-сети, прибавляемый к функции потерь по время обучения (0,001; 0,01; 0,1).

Таким образом, общее количество комбинаций параметров (различных вариантов LSTM-сетей) составило 4 ∙ 3 ∙ 3 ∙ 3 = 108, среди которых отбиралась наилучшая комбинация по минимальному значению MSE.

Стоит обратить внимание на то, что включение в архитектуру выстраиваемой LSTM-сети механизмов регуляризации является важным шагом к исключению проблемы переобучения модели. Инструменты Dropout и L2 можно использовать как отдельно, так и комбинируя их в одной нейронной сети. В нашем случае L2-регуляризация встраивалась на первый LSTM-слой и выходной плотный (Dense) слой; Dropout, в свою очередь, является отдельным слоем нейронной сети, располагающимся после первого LSTM-слоя.

5. Количество эпох обучения. Данный параметр позволяет управлять соотношением скорости и качества обучения сети. Мы остановились на величине 200, что является некоторым компромиссом, позволяющим достичь приемлемых величин точности и длительности обучения модели.

В результате проведенных вычислительных экспериментов было установлено, что наилучшей точностью обладает LSTM-сеть со следующими параметрами: количество слоев – 4, количество нейронов на каждом LSTM-слое – 50, уровень Dropout равен 0,6, уровень L2-регуляризации – 0,1.

В следующем разделе представлены результаты моделирования.

Апробация модели

Обучение нейронной сети и все этапы моделирования выполнены с использованием языка программирования Python 3 в среде Google Colaboratory. При построении моделей использованы библиотеки arch, keras и tensorflow, statsmodels, а также rpy2 (для использования реализации ARFIMA-модели, доступной для языка R).

На рис. 1 представлена архитектура спроектированной LSTM-сети.

 

Источник: составлено авторами.

Рис. 1. Разработанная архитектура LSTM-сети

Fig. 1. The designed architecture of the LSTM network

 

Как можно заметить, в представленной нейронной сети используется четыре LSTM-слоя, Dropout-слой после первого LSTM-слоя и плотный Dense-слой на выходе. Общее количество параметров составляет 50 851, все параметры были обучены, пропуски отсутствуют.

Динамика функции потерь MSE по время обучения приведена на рис. 2.

 

Источник: составлено авторами.

Рис. 2. Динамика функции потерь MSE в период обучения LSTM-сети

Fig. 2. Dynamics of the MSE loss function during the LSTM network training period

 

Отметим, что явной тенденции к снижению функции потерь MSE во время обучения на 200 эпохах не наблюдается (см. рис. 2). Это связано с адекватной работой механизмов регуляризации Dropout и L2, которые не позволяют модели LSTM переобучаться, сохраняя величину MSE во время обучения на достаточно стабильном уровне.

После обучения LSTM-сети на данных обучающей выборки был реализован прогноз волатильности на тестовой выборке (рис. 3).

 

Источник: составлено авторами.

Рис. 3. Прогноз волатильности с помощью LSTM-сети

Fig. 3. Volatility forecast with the LSTM network

 

Графический анализ рис. 3 позволяет сделать вывод о том, что прогноз LSTM-сети в целом отражает тренд динамики волатильности на тестовом диапазоне данных. Можно предположить, что построенная нейронная сеть адекватно воспринимает данные вне обучающего набора, которые обладают неизвестной природой. Для подтверждения сформулированной гипотезы далее перейдем к сравнению и интерпретации метрик ошибок LSTM-сети и других моделей прогнозирования временного ряда волатильности.

Сравнение моделей и обсуждение результатов

Чтобы проверить выдвинутую гипотезу исследования, выполним сравнение LSTM-сети с моделями ARIMA и ARFIMA по качеству моделирования, используя метрики MSE и MAE (таблица).

 

Сравнение точности прогноза волатильности LSTM, ARIMA и ARFIMA моделей

Comparison of volatility forecast accuracy among LSTM, ARIMA, and ARFIMA models

Модель	LSTM-сеть	ARIMA	ARFIMA
MSE (обучающая выборка)	0,018	0,041	0,035
MSE (тестовая выборка)	0,010	0,173	0,171
MAE (обучающая выборка)	0,010	0,143	0,123
MAE (тестовая выборка)	0,074	0,274	0,219
Источник: составлено авторами.

 

По итогам анализа таблицы можно сделать вывод, что LSTM-сеть имеет наименьшие значения MSE и MAE как на обучающей, так и на тестовой выборках, то есть LSTM-сеть наилучшим образом выявила закономерности в данных, что позволило ей сделать более точные прогнозы. Причинами таких преимуществ являются следующие: LSTM-сеть способна учитывать более сложные зависимости и структуры в данных, чем ARIMA и ARFIMA, что особенно важно при работе с временными рядами с нелинейными и долгосрочными зависимостями; LSTM-сеть имеет более гибкую и сложную архитектуру и может быть настроена для оптимального прогнозирования при правильном и адекватном подборе гиперпараметров.

Стоит также отметить, что заявленное многими авторами (см., например, работы [12; 14; 16]) превосходство модели с длинной памятью ARFIMA перед ARIMA в задаче прогнозирования финансовых временных рядов в очередной раз подтвердилось, притом что не было проведено исследование фрактальных свойств моделируемого ряда.

К ограничениям проведенного исследования можно отнести следующие:

• для получения базового моделируемого ряда использовалась только одна модель – EGARCH(1, 1), отобранная исходя из теоретических соображений, другие модели не рассматривались;
• модель ARFIMA обучалась с настройками алгоритма по умолчанию, в то время как, согласно результатам некоторых исследований [14], в качестве точной оценки параметра d может быть использована оценка фрактальной размерности ряда методом DFA, что могло бы повысить качество моделирования;
• данные моделировались только на одном временном промежутке; применение метода скользящего окна с усреднением результатов могло бы повысить достоверность полученных результатов.

Невзирая на описанные ограничения, результаты проведенного исследования дают основания считать, что нейронные сети архитектуры LSTM являются перспективным методом прогнозирования волатильности фондовых рынков, позволяя получать более точные прогнозы в сравнении с «традиционными» методами.

Заключение

По итогам проведенных экспериментов на данных фондового рынка США можно утверждать, что выдвинутая гипотеза подтвердилась: нейронная сеть (на примере LSTM-сети) позволяет получать прогнозы волатильности, обладающие более высокой точностью в сравнении с авторегрессионными моделями ARIMA и ARFIMA. Несомненно, применение нейронных сетей в задачах моделирования и прогнозирования фондовых рынков заслуживает самого пристального внимания. Перспективными направлениями дальнейших исследований в этой области можно считать следующие:

• изучение влияния на точность прогнозирования нейронной сети использования в качестве входных данных оценок фрактальной размерности временного ряда, что позволит отнести такую модель к фрактальным методам прогнозирования финансовых рядов;
• применение LSTM-сети в качестве прогнозирующего алгоритма при формировании инвестиционных портфелей и сравнение ее с другими исследованными в рамках данной задачи моделями;
• разработка и тестирование альтернативных LSTM-сети архитектур искусственного интеллекта для решения задачи прогнозирования волатильности фондового рынка;
• сравнение эмпирической эффективности в рамках решения задачи прогнозирования волатильности и динамики финансовых временных рядов при помощи LSTM-сети с методами прогнозирования плотности распределения вероятностей динамики будущих данных.

Об авторах

Дмитрий Александрович Патласов

Пермский государственный национальный исследовательский университет

Автор, ответственный за переписку.
Email: dmitriypatlasov@gmail.com
ResearcherId: 1111799

аспирант кафедры информационных систем и математических методов в экономике

Россия, 614068, г. Пермь, ул. Букирева, д. 15

Роберт Викторович Гарафутдинов

Пермский государственный национальный исследовательский университет

Email: rvgarafutdinov@gmail.com
Scopus Author ID: 57315408800
ResearcherId: A-9122-2019

кандидат экономических наук, доцент кафедры информационных систем и математических методов в экономике

Россия, 614068, г. Пермь, ул. Букирева, д. 15

Список литературы

Дополнительные файлы