Метод трансферного обучения для дообучения нейронных сетей под особенности набора данных в задаче верификации диктора

Предметом исследования являются нейронные сети, дообученные с использованием метода трансферного обучения под особенности набора данных. Объектом исследования являются методы машинного обучения, используемые для решения задач верификации по голосу. Цель исследования заключается в повышении эффективности нейронных сетей в задаче голосовой верификации. В данной работе для процесса дообучения были подготовлены три набора данных на разных языках: на английском, на русском и на китайском. Также с использованием современных и предварительно обученных моделей ResNetSE34L и ResNetSE34V2 было проведено экспериментальное исследование, направленное на повышение эффективности нейронных сетей в задаче верификации диктора по произвольной фразе. Особое внимание уделялось оптимизации параметров обучения нейронных сетей с помощью метода тонкой настройки.  Методология проведения исследования включает в себя оценку эффективности дообучения нейронных сетей под особенности набора данных в задаче верификации диктора, опираясь на значение равной ошибки 1-ого и 2-ого рода. Также был проведен ряд экспериментов, в ходе которых варьировались параметры и применялась техника замораживания слоев. Максимальное понижение равной ошибки 1-ого и 2-ого рода при использовании английского набора данных было достигнуто при помощи подбора эпох и скорости обучения, ошибка уменьшилась на 50%. Аналогичный подбор параметров при использовании русского набора данных уменьшил ошибку на 63,64%. При дообучении с использованием китайского набора данных наименьшее значение было достигнуто в эксперименте с замораживанием полносвязнного слоя, изменении скорости обучения и оптимизатора – ошибка снизилась на 16,04%. Полученные результаты могут использоваться при проектировании и разработке систем голосовой верификации и в образовательных целях. Также был сделан вывод, что метод трансферного обучения является эффективным при дообучении нейронных сетей под особенности набора данных, так как в подавляющем количестве экспериментов было достигнуто понижение EER, что говорит о повышении точности распознавания диктора.

трансферное обучение, тонкая настройка, набор данных, верификация диктора, распознавание диктора, извлечение признаков, обработка речи, нейронные сети, глубокое обучение, распознавание образов