Мера косинусного сходства для обработки неоконченных предложений (на примере изучения образа патриота)

В условиях интенсивного развития науки об обработке естественного языка возникает вопрос об интеграции инновационных технологий в рабочие процессы социологов. Социальные учёные нередко сталкиваются с необходимостью обработки текстовых данных, полученных как в рамках собственных исследовательских проектов, так и в сети интернет. Очевидно, что использование в качестве базы данных доступных онлайн-источников выдвигает повышенные требования к техникам и процедурам обработки корпуса документов огромного объёма, нередко превышающего несколько сот тысяч строк. Однако не остаётся за рамками внимания работа с материалами авторских социологических исследований гораздо меньшего объёма, которые часто требуют значительных трудовых и временны́х ресурсов, если их обрабатывать вручную. В этом случае возникает проблема согласованности кодирования текстов группой исследователей, где особую роль играет субъективное мнение специалистов при обобщении или группировке данных. В статье показаны возможности и ограничения использования меры косинусного сходства для анализа текстовых данных, полученных методом неоконченных предложений. Эмпирической базой исследования послужили материалы, полученные в ходе изучения образа патриота в одном из московских вузов в марте 2025 г. Всего в исследовании приняло участие 70 студентов. В работе представлена обработка ответов на стимульное предложение, которое респондентам нужно было завершить своими словами: «Патриот всегда…». Результаты расчёта меры косинусного сходства показали, что данная метрика может выступать полезным инструментом в первичном поиске близких по содержательному контенту утверждений. В случае сомнений и необходимости проверки выводов или решения проблемы согласованности коллективного кодирования использование меры семантической близости может выступить в качестве значимого дополнительного количественного показателя для определения тематической направленности высказывания каждого из респондентов. Так, применяя оценку косинусного сходства, можно сгруппировать тексты, наиболее близкие по семантической нагрузке, тем самым приближая к пониманию общей структуры изучаемого образа и тезауруса участников исследования. В заключении делается вывод о современных требованиях к подготовке специалистов социально-гуманитарного профиля, что порождает новые методологические вопросы и открывает дискуссии об оптимальной интеграции технологических достижений в области обработки естественного языка в аналитические практики социальных учёных и исследователей.

метод неоконченных предложений, семантическое сходство, косинусное сходство, языковая модель BERT, образ патриота