ChatGPT в англоязычном академическом письме: признаки машинной генерации текста в обзорах литературы студентов бакалавриата и магистратуры

Обложка

Цитировать

Полный текст

Аннотация

В эпоху стремительного развития технологий искусственного интеллекта (ИИ) остро встает проблема недобросовестного использования студентами средств ИИ для генерации англоязычных научных работ или их фрагментов с последующим представлением их как авторского продукта. Эта проблема усугубляется отсутствием надежного инструментария для установления признаков машинного происхождения таких текстов. В настоящем исследовании на основе результатов предварительного качественного и количественного анализа 45 сгенерированных ChatGPT-3.5 англоязычных обзоров литературы к научным проектам ( research proposals ) предпринята попытка выявить отличительные характеристики таких текстов и определить их присутствие в англоязычных обзорах литературы, подготовленных студентами бакалавриата и магистратуры двух российских вузов. На первом этапе исследования в рамках анализа искусственно сгенерированных текстов и небольшой выборки работ магистрантов ( N = 12) было установлено, что многие характеристики искусственно сгенерированных обзоров литературы в ярко выраженной форме проявились в студенческих текстах, что позволило рассматривать их в качестве признаков машинной генерации текста. Одним из таких признаков явилась аномально высокая повторяемость одних и тех же абстрактных слов и оборотов в искусственно сгенерированных и студенческих текстах. На этом этапе исследования с помощью корпусного менеджера AntConc был проведен количественный анализ частотности употребления таких оборотов в искусственно сгенерированных текстах и составлен список наиболее частотных слов и оборотов (обозначенных в работе как «обороты из языка ChatGPT»), указывающих на машинное происхождение текста. На втором этапе исследования первоначальные выводы о признаках машинной генерации текстов были подкреплены, уточнены и дополнены на основе качественного и количественного анализа объединенной выборки из 47 англоязычных обзоров литературы магистрантов и бакалавров. По результатам анализа работ было выявлено десять признаков машинной генерации текста, относящихся к структурно-содержательным и языковым аспектам подготовки англоязычных обзоров литературы, которые описываются и иллюстрируются в работе. Полученные результаты, выводы и рекомендации могут быть полезны широкому кругу читателей, в особой мере педагогам и ученым, принимающим участие в обучении написанию англоязычных научных работ, экспертизе и рецензировании таких работ, а также осуществляющим руководство научными проектами на английском языке.

Об авторах

Вера Аркадьевна Дугарцыренова

Национальный исследовательский университет «Высшая школа экономики»

Автор, ответственный за переписку.
Email: vdugartsyrenova@hse.ru
ORCID iD: 0000-0002-7476-7461
SPIN-код: 9368-4699

кандидат педагогических наук, доцент Школы иностранных языков

Российская Федерация, 101000, Москва, ул. Мясницкая, д. 20

Список литературы

  1. Arzyutova, S.N. (2023). ChatGPT using in English language teaching. Humanitarian Studies. Pedagogy and Psychology, (16), 39–47. (In Russ.) https://doi.org/10.24412/2712-827X-2023-16-39-47
  2. Voronin, A.N., & Palenova, V.V. (2024). The future of psychology: Is effective interaction with ChatGPT possible? RUDN Journal of Psychology and Pedagogics, 21(3), 831–857. (In Russ.) https://doi.org/10.22363/2313-1683-2024-21-3-831-857
  3. Lopanova E.V., & Savina, N.V. (2024). On the problem of using neural networks in students’ educational activities. Education Research Environment, 1(1), 23–40. (In Russ.) https://doi.org/10.23859/3034-1760.2024.33.52.002
  4. Cherkasova, M.N., & Taktarova, A.V. (2024). Artificially generated academic text (а linguopragmatic aspect). Philology. Theory & Practice, 17(7), 2551–2557. (In Russ.) https://doi.org/10.30853/phil20240363
  5. ChatGPT Generative Pre-trained Transformer, C., & Zhavoronkov, A. (2022). Rapamycin in the context of Pascal’s Wager: Generative pre-trained transformer perspective. Oncoscience, 9, 82–84. https://doi.org/10.18632/oncoscience.571
  6. Choi, E.P.H., Lee, J.J., Ho, M.-H., Kwok, J.Y.Y., & Lok, K.Y.W. (2023). Chatting or cheating? The impacts of ChatGPT and other artificial intelligence language models on nurse education. Nurse Education Today, 125, 105796. https://doi.org/10.1016/j.nedt.2023.105796
  7. Dalgıç, A., Yaşar, E., & Demir, M. (2024). ChatGPT and learning outcomes in tourism education: The role of digital literacy and individualized learning. Journal of Hospitality, Leisure, Sport & Tourism Education, 34, 100481. https://doi.org/10.1016/j.jhlste.2024.100481
  8. Deng, J., & Lin, Y. (2023). The benefits and challenges of ChatGPT: An overview. Frontiers in Computing and Intelligent Systems, 2(2), 81–83. https://doi.org/10.54097/fcis.v2i2.4465
  9. Dergaa, I., Chamari, K., Zmijewski, P., & Ben Saad, H. (2023). From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing. Biology of Sport, 40(2), 615–622. https://doi.org/10.5114/biolsport.2023.125623
  10. Else, H. (2023). Abstracts written by ChatGPT fool scientists. Nature, 613(7944), 423–423. https://doi.org/10.1038/d41586-023-00056-7
  11. Gao, C.A., Howard, F.M., Markov, N.S., Dyer, E.S., Ramesh, S., Luo, Y., & Alexander T. Pearson, A.T. (2023). Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers. npj Digital Medicine, 6, 75. https://doi.org/10.1038/s41746-023-00819-6
  12. González, R., Poenaru, D., Woo, R., Trappey, A. F., Carter, S., Darcy, D., Encisco, E., Gulack, B., Miniati, D., Tombash, E., & Huang, E.Y. (2024). ChatGPT: What every pediatric surgeon should know about its potential uses and pitfalls. Journal of Pediatric Surgery, 59(5), 941–947. https://doi.org/10.1016/j.jpedsurg.2024.01.007
  13. Huang, J., & Tan, M. (2023). The role of ChatGPT in scientific communication: Writing better scientific review articles. American journal of cancer research, 13(4), 1148–1154.
  14. Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779
  15. Lingard, L. (2023). Writing with ChatGPT: An illustration of its capacity, limitations & implications for academic writers. Perspectives on Medical Education, 12(1), 261–270. https://doi.org/10.5334/pme.1072
  16. Pavlik, J.V. (2023). Collaborating with ChatGPT: Considering the implications of generative artificial intelligence for journalism and media education. Journalism & Mass Communication Educator, 78(1), 84–93. https://doi.org/10.1177/10776958221149577
  17. Rafiq, S., Nawaz, A., & Afzal, A. (2025). The future of AI in academic writing: A case study of undergraduate and postgraduate assessments. Dialogue Social Science Review, 3(1), 1280–1297.
  18. Rahimi, F., & Abadi, A.T.B. (2023). ChatGPT and publication ethics. Archives of Medical Research, 54(3), 272–274. https://doi.org/10.1016/j.arcmed.2023.03.004
  19. Rudolph, J., Tan, S., & Tan, S. (2023). ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? Journal of Applied Learning & Teaching, 6(1), 342–363. https://doi.org/10.37074/jalt.2023.6.1.9
  20. Sallam, M. (2023). ChatGPT utility in healthcare education, research, and practice: Systematic review on the promising perspectives and valid concerns. Healthcare, 11(6), 887. https://doi.org/10.3390/healthcare11060887
  21. Stokel-Walker, C. (2023). ChatGPT listed as author on research papers: Many scientists disapprove. Nature, 613(7945), 620–621. https://doi.org/10.1038/d41586-023-00107-z
  22. Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1), 26. https://doi.org/10.1007/s40979-023-00146-z

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».