The use of the Criterion automated assessment system in teaching students of language specialties to write essays in a foreign language: the results of an experimental test

封面

如何引用文章

全文:

详细

Importance. Modern artificial intelligence (AI) tools are able to take on some of a foreign language teacher’s functions, thereby optimizing the learning process. One of these is the teacher’s function of checking and evaluating students’ written papers (essays). There are works in the scientific literature describing step-by-step methods of teaching students to write essays in a foreign language, including individual extracurricular practice of students with an AI tool during the completion of the essay’s draft version. Based on receiving evaluative feedback from the AI tool, students can refine their essays in linguistic, structural and substantive aspects. The Criterion automated assessment system for written papers is one of the modern AI tools that can be used in teaching. However, checking the effectiveness of this system is not the subject of a separate study. The purpose of the study is to clarify the stages of teaching students of language specialties to write essays in a foreign language using evaluative feedback from the Criterion automated assessment system and to test the effectiveness of this technique during experimental training.Materials and Methods. The study participants are 2nd year students of the specialty 45.05.01 “Translation and Translation Studies” of the Lipetsk State Technical University (control group = 25 and experimental group = 25). The students of the control group studied according to the traditional essay teaching methodology, excluding the use of AI tools, and the experimental group participants studied according to an innovative methodology, including individual extracurricular practice of students with the Criterion system in order to receive evaluative feedback for the completion of the essay. The following aspects of control are: a) the lexical side of written speech; b) the grammatical side of written speech; c) the organizational structure of the work; d) the content of the work.Results and Discussion. It is proved that the innovative method of teaching students to write essays, based on the integration of the Criterion automated essay assessment system into the learning process, is more effective than the traditional method in mastering students a) the organizational structure of the essay (t = 2.82 at p = 0.004) and b) the content side of creative work (t = 3.05 at p = 0.002). However, statistical analysis of the results do not confirm the advantage of the innovative technique in the formation of lexical (t = 1.44 at p = 0.08) and grammatical (t = 1.36 at p = 0.09) speech skills of students of a language university.Conclusion. The novelty of the research consists in developing the stages of teaching students to write an essay based on practice with the Criterion automated control system in order to receive evaluative feedback for the completion of the essay. The results obtained can be used in the methodology of teaching secondary school students and university students in teaching writing.

作者简介

A. Pribytkova

Lipetsk State Pedagogical P. Semenov-Tyan-Shansky University

Email: Anechka86@mail.ru
ORCID iD: 0000-0003-2561-6656

PhD (Education), Associate Professor of Linguistics and Intercultural Communication Department

42 Lenin St., Lipetsk, 398020, Russian Federation

T. Tormyshova

Lipetsk State Technical University

Email: tatyanalip@list.ru
ORCID iD: 0009-0005-2435-7359

PhD (Education), Associate Professor of Foreign Languages Department

30 Moskovskaya St., Lipetsk, 398055, Russian Federation

O. Khaustov

Lipetsk State Technical University

编辑信件的主要联系方式.
Email: o.khaustov@mail.ru
ORCID iD: 0009-0002-6947-4397

PhD (Education), Associate Professor of Foreign Languages Department

30 Moskovskaya St., Lipetsk, 398055, Russian Federation

参考

  1. Sysoyev P.V. (2023). Artificial intelligence in education: awareness, readiness and practice of using artificial intelligence technologies in professional activities by university faculty. Vysshee obrazovanie v Rossii = Higher Education in Russia, vol. 32, no. 10, pp. 9-33. (In Russ.) https://doi.org/10.31992/0869-3617-2023-32-10-9-33, https://elibrary.ru/tzytkm
  2. Sysoyev P.V. (2023). Artificial intelligence technologies in teaching a foreign language. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 6-16. (In Russ.) https://elibrary.ru/qfmzhw
  3. Avramenko A.P., Akhmedova A.S., Bulanova E.R. (2023). Chatbot technology as a means of forming foreign language grammatical competence in self-study. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 2, pp. 386-394. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
  4. Perminova G.V. (2023). Using chatbot ChatGPT in the process of teaching German as a second foreign lan-guage. Inostrannye yazyki v shkole = Foreign Languages at School, no. 8, pp. 46-54. (In Russ.) https://elibrary.ru/rkuvac
  5. Sysoyev P.V., Filatov E.M., Sorokin D.O. (2023). Chatbots in foreign language teaching: current issues and prospects for forthcoming research. Vestnik Moskovskogo universiteta. Seriya 19: Lingvistika i mezh-kul’turnaya kommunikatsiya = Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 3, pp. 46-59. (In Russ.) https://doi.org/10.55959/MSU-2074-1588-19-26-3-3, https://elibrary.ru/moyjhp
  6. Kharlamenko I.V. (2023). Chatbots in teaching English. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 55-59. (In Russ.) https://elibrary.ru/lebneu
  7. Perdana I., Farida M. (2019). Online grammar checkers and their use for EFL writing. Journal of English Teach-ing, Applied Linguistics, and Literatures, vol. 2, no. 2, pp. 67-76. http://dx.doi.org/10.20527/jetall.v2i2.7332
  8. Dembsey J.M. (2017). Closing the grammarly gaps: a study of claims and feedback from an online grammar program. The Writing Center Journal, vol. 36, no. 1, pp. 63-100. https://doi.org/10.7771/2832-9414.1815
  9. Jayavalan K., Razali A.B. (2018). Effectiveness of online grammar checker to improve secondary students’ English narrative essay writing. International Research Journal of Education and Sciences, vol. 2, no. 1, pp. 1-6.
  10. Manap M.R., Ramli N.F., Kassim A.A.M. (2019). Web 2.0 automated essay scoring application and human ESL essay assessment: a comparison study. European Journal of English Language Teaching, vol. 5, no. 1, pp. 146-162. http://dx.doi.org/10.5281/zenodo.3461784
  11. Sysoyev P.V., Filatov E.M. (2023). ChatGPT in students’ research: to forbid or to teach? Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 2, pp. 276-301. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-2-276-301, https://elibrary.ru/sphxkz
  12. Sysoev P.V., Filatov E.M. (2024). Method of teaching students’ foreign language creative writing based on eva-luative feedback from artificial intelligence. Perspektivy nauki i obrazovaniya = Perspectives of Science and Education, no. 1 (67), pp. 115-135. (In Russ.) https://doi.org/10.32744/pse.2024.1.6, https://elibrary.ru/tmstly
  13. Sysoyev P.V., Filatov E.M., Sorokin D.O. (2024). Obratnaya svyaz’ v obuchenii inostrannomu yazyku: ot in-formatsionnykh tekhnologii k iskusstvennomu intellektu [Feedback in foreign language teaching: from informa-tion technology to artificial intelligence]. Yazyk i kul’tura = Language and Culture, no. 65, pp. 242-261. (In Russ.) https://doi.org/10.17223/19996195/65/11
  14. Wang J., Brown M.S. (2007). Automated essay scoring versus human scoring: a comparative study. Journal of Technology, Learning, and Assessment, vol. 6, no. 2, pp. 1-29.
  15. Guo K., Wang D. (2023). To resist it or to embrace it? Examining ChatGPT’s potential to support teacher feed-back in EFL writing. Education and Information Technologies, pp. 1-29. https://doi.org/10.1007/s10639-023-12146-0
  16. Tormyshova T.Yu., Ryazantseva T.Yu., Sukhanova N.I. (2024). Teaching students of linguistics to write essays in a foreign language based on working with the Criterion automated assessment system. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 1, pp. 99-108. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-1-99-108, https://elibrary.ru/pdgnzr
  17. Sysoyev P.V. (2024). Ethics and AI-plagiarism in an academic environment: students’ understanding of com-pliance with author’s ethics and the problem of plagiarism in the process of interaction with generative artificial intelligence. Vysshee obrazovanie v Rossii = Higher Education in Russia, vol. 33, no. 2, pp. 31-53. (In Russ.) https://doi.org/10.31992/0869-3617-2024-33-2-31-53
  18. Kretov D.V. (2023). Metodika obucheniya studentov yazykovykh spetsial’nostei inoyazychnomu pis’mennomu rechevomu vyskazyvaniyu na osnove metoda vzaimnoi otsenki (angliiskii yazyk, yazykovoi vuz): avtoref. dis. … kand. ped. nauk [The Methodology of Teaching Students of Language Specialties to a Foreign Language Written Speech Utterance Based on the Method of Mutual Assessment (English, Language University). PhD (Education) diss. abstr.]. Moscow, 26 p. (In Russ.)
  19. Khmarenko N.I. (2023). Obuchenie studentov inoyazychnoi pis’mennoi rechi na osnove pedagogicheskoi tekh-nologii «Obuchenie v sotrudnichestve» s ispol’zovaniem IKT (angliiskii yazyk, yazykovoi vuz): avtoref. dis. … kand. ped. nauk [Teaching Students Foreign Language Writing on the Basis of Pedagogical Technology “Learn-ing in Cooperation” Using ICT (English, Language University). PhD (Education) diss. abstr.]. Tambov, 25 p. (In Russ.)

补充文件

附件文件
动作
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».