Искусственный интеллект в деятельности психолога: пример анализа вербальных прогнозов. Часть 1

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Актуальность исследования определяется необходимостью разработки методологии использования систем искусственного интеллекта для расширения возможностей человека, в частности, применительно к решению задач классификации качественных данных на основе использования больших языковых моделей (Large Language Models, LLM). Целью описанного в настоящей, первой статье (цикл из двух статей) исследования, стало представление методического подхода, реализующего использование больших языковых моделей для классификации индивидуальных вербальных прогнозов о возможных и невозможных событиях в будущем. Китайские участники (n = 149, дали 447 прогнозов) посредством системы Венцюсин (问卷星 / SoJump) порождали описания событий по указанным трем условиям: возможные – невероятные – невозможные. Полученный корпус открытых ответов на китайском языке был проанализирован с использованием пяти современных LLM: GPT-4, Claude 3.5, Qwen 2.5-72B, Gemini Pro 1.5 и Llama 3.1-70B. После процедуры обучения каждой модели было поручено проанализировать ответы по нескольким семантическим параметрам. Анализ ответов пяти больших языковых моделей (Claude 3.5 Sonnet, GPT-4, Gemini Pro, LLaMA 3 и Qwen) выявил как значительные общие черты, так и заметные различия в их подходах к анализу вербальных прогнозов (китайских участников исследования). Интегративная метамодель синтезировала результаты в единую рубрику, что позволило провести тестирование надежности внутри каждой модели и сравнительный анализ между моделями. Выявленные различия в реализованных моделями аналитических подходах свидетельствуют о том, что, хотя эти модели обладают общими возможностями в определении основных тем и паттернов семантических единиц, представленных в вербальных прогнозах участников, они демонстрируют разные сильные стороны в выделяемых ими аспектах анализа текстов, что существенно расширяет возможности психолога-исследователя. Полученные высокие показатели надежности (согласованности между и внутри моделей) свидетельствуют о потенциале технологий искусственного интеллекта в прикладной научной деятельности в области “смешанных” методов.

Об авторах

С. А. Корнилов

Московский государственный университет им. М.В. Ломоносова

Автор, ответственный за переписку.
Email: sa.kornilov@gmail.com
125009, г. Москва, ул. Моховая, д. 11, стр. 9, Россия

Т. В. Корнилова

Московский государственный университет им. М.В. Ломоносова

Email: tvkornilova@mail.ru
125009, г. Москва, ул. Моховая, д. 11, стр. 9, Россия

В. Цзыи

Московский государственный университет им. М.В. Ломоносова

Email: ziyiw480@gmail.com
125009, г. Москва, ул. Моховая, д. 11, стр. 9, Россия

Список литературы

  1. Взорин Г.Д., Ушаков Д.В. Образы Человека: от “фасеточного видения” – к Homo Complexus // Образовательная политика. 2023. Т. 94, № 2. С. 8–19. doi: 10.22394/2078-838X-2023-2-8-18.
  2. Знаков В.В. Теоретические основания психологии возможного // Вестник Санкт-Петербургского университета. Психология. 2022. Т. 12. № 2. С. 122–131. doi: 10.21638/spbu16.2022.202.
  3. Корнилова Т.В. Интеллектуально-личностный потенциал человека в условиях неопределенности и риска. СПб.: Нестор-История, 2016.
  4. Корнилова Т.В., Тихомиров О.К. Принятие интеллектуальных решений в диалоге с компьютером. М.: Издательство МГУ, 1990.
  5. Bender E.M., Koller A. Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data / In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020. Р. 5185–5198. Association for Computational Linguistics.
  6. Bran A.M., Cox S., Schilter O., Baldassari C. et al. Augmenting large language models with chemistry tools // Nature Machine Intelligence. 2024. V. 6(5). P. 525–535. doi: 10.1038/s42256-024-00832-8.
  7. Brown T., Mann B., Ryder N. et al. Language models are few-shot learners // In Advances in Neural Information Processing Systems. 2020. V. 33. Р. 1877–1901.
  8. Buhr C.R., Smith H., Huppertz T. et al. ChatGPT Versus Consultants: Blinded Evaluation on Answering Otorhinolaryngology Case–Based Questions // Journal of Medi- cal Internet Research Medical Education. 2023. V. 9. P. e49183. doi: 10.2196/491839.
  9. Engelbart D.C. Augmenting Human Intellect: A conceptual framework. Summary Report AFOSR-3233. Stanford Research Institute, 1962.
  10. Hutchins E. Cognition in the Wild. MIT Press, 1995.
  11. Krippendorff K. Content analysis: An introduction to its methodology (4th ed.). Sage Publications, 2018.
  12. Liu S., Fang Y. Use Large Language Models for Named Entity Disambiguation in Academic Knowledge Graphs / In Proceedings of the 2023 3rd International Conference on Education, Information Management and Service Science (EIMSS 2023). NY: Atlantis Press, 2023. Р. 681–691.
  13. Liu M.D., Salganik M.J. Successes and Struggles with Computational Reproducibility: Lessons from the Fragile Families Challenge / Successes and Struggles with Computational Reproducibility. Technical Report. 2019. OSF.io. https://osf.io/preprints/socarxiv/ g3pdb/.
  14. Miles M.B., Huberman A.M., Saldaña J. Qualitative data analysis: A methods sourcebook (3rd ed.). Sage Publications, 2014.
  15. Nasution A.H., Onan A. ChatGPT Label: Comparing the Quality of Human-Generated and LLM-Generated Annotations in Low-Resource Language NLP Tasks // IEEE Access. 2024. V. 12. Р. 71876–71900.
  16. Newell A., Simon H.A. Human problem solving. 1972. Prentice-Hall.
  17. Ouyang L., Wu J., Jiang X. et al. Training language models to follow instructions with human feedback. 2022. arXiv preprint arXiv:2203.02155.
  18. Saldaña J. The Сoding Manual for Qualitative Researchers (3rd ed.). 2016. Sage Publications.
  19. Wong M.-F. et al. EuclidNet: Deep Visual Reasoning for Constructible Problems in Geometry. Advances in Artificial Intelligence and Machine Learning; 2023. Research 3 (1). P. 839–852.
  20. Zhou R., Chen L.Y.K. Is LLM a Reliable Reviewer? A Comprehensive Evaluation of LLM on Automatic Paper Reviewing Tasks / In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). 2024. Р. 9340–9351.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Российская академия наук, 2025

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».