Автоматизация создания фондов оценочных средств по образовательным программам, реализуемым университетом

Полный текст

Введение. В современном образовательном процессе одним из ключевых аспектов является определение уровня достижения результатов обучения и/или освоения образовательной программы (ОП), установленных ОП по соответствующему направлению подготовки или специальности, как в рамках аккредитационной экспертизы, при контрольно-надзорной деятельности, так и в рамках внутренней системы оценки качества образования [1-2]. Однако, процесс создания фондов оценочных средств (ФОС) традиционными методами часто сопряжен с рядом проблем, таких, как трудоемкость, неоднозначность критериев оценки и ограниченная адаптивность к потребностям участников образовательного процесса [3]. Актуальность данного исследования обусловлена изменениями в Российском законодательстве применительно к процедурам государственной аккредитации, контрольно-надзорной деятельности и требованиями федеральных государственных образовательных стандартов [4].

Для усовершенствования учебного процесса в вузе возникает необходимость автоматизации создания оценочных материалов, формирования и управления фондами оценочных средств, обеспечивающих оценку достижения запланированных результатов обучения (компетенций, индикаторов достижения компетенций, знаний, умений, навыков и/или практического опыта) по образовательной программе в целом или отдельным ее компонентам [5-6]. Автоматизация процессов в образовании становится неотъемлемой частью современной педагогической практики [7]. Особенно актуальным это является как в контексте создания оценочных материалов по дисциплинам учебных планов, так и формирования фонда оценочных средств по образовательной программе [8]. Использование автоматизированных систем при создании оценочных материалов и формировании фондов оценочных средств открывает перед преподавателями новые возможности для более точной и объективной оценки уровня подготовки обучающихся, а перед администрацией образовательных учреждений – возможность независимой оценки качества по образовательной программе [9]. Это также способствует уменьшению влияния человеческого фактора в процессе оценки, что повышает надежность и справедливость процедуры.

Целью исследования являются проектирование и разработка информационной системы для создания оценочных материалов, формирования и управления фондами оценочных средств, а также внедрение данной системы в образовательный процесс. Предполагается, что использование современных информационных технологий позволит значительно улучшить качество оценки достижений запланированных результатов обучения (компетенций, индикаторов достижения компетенций, знаний, умений, навыков и/или практического опыта) по образовательной программе и сделает процесс обучения более эффективным и адаптивным к потребностям участников образовательного процесса. Результатом исследования является комплекс административных и технических решений, направленных на решение задачи автоматизации формирования фондов оценочных средств с целью повышения качества образования и оптимизации учебного процесса.

1. Постановка задачи. На сегодняшний день, в связи с изменениями законодательства в сфере образования, в первую очередь в процедурах государственной аккредитации и контрольно-надзорной деятельности [10], на первый план выходит процедура оценки качества образовательной деятельности и подготовки обучающихся по образовательной программе. Данная процедура, согласно требованиям федеральных государственных образовательных стандартов, должна включать в себя системы внутренней и внешней оценки, которые позволяли бы проанализировать качество подготовки обучающихся, как в рамках промежуточной аттестации, так и при проведении государственной или профессионально-общественной аккредитации. Иначе говоря, современные фонды оценочных средств должны позволять проводить независимую оценку не только знаний, умений по отдельным дисциплинам, но и формирование индикаторов достижения компетенций и/или компетенций в целом, которые отражены в рабочей программе дисциплины (РПД).

Таким образом, задачей является создание системы, которая позволяла бы оценивать результаты обучения в процессе освоения отдельных дисциплин (профессиональных модулей), практик или образовательной программы в целом; контролировать и управлять процессом формирования компетенций, приобретения обучающимися необходимых знаний, умений, навыков (ЗУН) и/или практического опыта; определять уровень сформированности компетенций, установленных соответствующей программой. При этом должны соблюдаться ключевые принципы:

• валидности (соответствия целям и планируемым результатам обучения);
• надежности (использование единообразных методов, критериев, шкал оценивания);
• своевременности (поддержание развивающей обратной связи, использование формирующего оценивания).

Первоначально, создаваемые профессорско-преподавательским составом оценочные материалы необходимо распределить по уровням сложности:

Базовый уровень сложности – вопросы для оценки знаний терминологии, фактов, параметров, теории, принципов. Как правило, это вопросы с выбором ответа либо комбинированные вопросы.

Повышенный уровень сложности – вопросы для оценки умений применять знания при решении типовых задач, проводить сопоставление, устанавливать последовательность. Как правило, это комбинированные вопросы либо вопросы с развернутым ответом.

Высокий уровень сложности – вопросы для оценивания навыков в нестандартной ситуации, решение нетиповых задач, алгоритмы, доказательства, обоснования. Это вопросы на установление последовательности, соответствия, вопросы с развернутым ответом и т.п.

На основе распределенных по уровням сложности вопросов необходимо создать банк вопросов, который также будет разделен по компетенциям. Далее, для составления и последующего прохождения диагностического тестирования, банк вопросов необходимо загрузить в используемую в вузе систему управления обучением (LMS). Схема процесса создания ФОС представлена на рис. 1.

 

Рис. 1. Схема построения вопросов

 

Однако, при любой принятой системе составления ФОС на первый план выходит проблема управления созданными банками вопросов, а также возможность быстрого создания теста уже не по одной конкретной дисциплине, а по компетенции, которая может формироваться с помощью целого набора дисциплин. Таким образом, задачей является создание такой информационной системы, которая позволила бы:

• создавать учебные дисциплины;
• создавать и связывать с дисциплинами компетенции;
• создавать банк вопросов в соответствии с блоком ЗУН;
• создавать готовый для независимой оценки качества документ ФОС.

Поэтому, для решения поставленной задачи, вполне естественным видится применение одного из существующих инструментов, как части создаваемой системы.

В качестве примера рассмотрим такие платформы, как Quizlet [11], Quizizz [12] и Edmodo [13]. Одним из ключевых элементов этих систем являются банки вопросов, которые позволяют формировать задания на основе заранее определенных компетенций. Основными преимуществами этих систем являются:

• возможности для интерактивного обучения;
• удобный интерфейс;
• простота в создании вопросов.

В то же время, несмотря на наличие различных систем, многие из них имеют значительные недостатки, которые могут ограничивать их эффективность, например:

• большинство систем не позволяют настроить вопросы под специфические требования курса или программы, что может привести к тому, что задания не будут полностью соответствовать заявленным компетенциям;
• многие платформы не предоставляют достаточные инструменты для анализа результатов, что затрудняет выявление проблем в обучении и корректировку учебного процесса на основе полученных данных;
• не все системы поддерживают различные форматы вопросов, что ограничивает возможности преподавателей в создании разноплановых заданий;
• большинство платформ являются зарубежными разработками и их применение в сфере государственного образования прямо запрещено Постановлением Правительства РФ от 11 октября 2023 г. № 1678 [14].

В свою очередь, системы управления обучением (LMS (Learning Management System)), которые становятся неотъемлемой частью современного образовательного процесса [15] и представляют собой программные платформы, обеспечивающие планирование, реализацию, отслеживание, а также оценку учебных процессов, позволяют преподавателям создавать и управлять учебными материалами, а учащимся – получать доступ к курсам в любое время. Такие системы отвечают требованиям быстро меняющегося образовательного стандарта, обеспечивая гибкость и доступность, необходимые для успешного освоения знаний.

В частности, платформа LMS Moodle (Moodle Pty Ltd, 2023), которая активно используется в целях дистанционного обучения в качестве основного или дополнительного ресурса для обучения и информационной поддержки в таких крупнейших вузах страны, как Московский государственный университет (МГУ), Национальный исследовательский ядерный университет «МИФИ» (НИЯУ МИФИ), Новосибирский государственный университет, Московский физико-технический институт (МФТИ) и других. В системе Moodle представлен широкий выбор типов вопросов для создания оценочных материалов. Например, такие, как: множественный выбор, пропущенное слово, упорядочение, соответствие, короткий ответ. Данные типы вопросов, в зависимости от контекста, могут соответствовать всем трем уровням сложности. Для высокого уровня сложности есть возможность формировать вопросы по типу «эссе».

2. Решение задачи. В рамках исследования представлены ключевые аспекты технических решений и общей схемы функционирования системы автоматизации создания оценочных материалов, формирования и управления фондами оценочных средств (ФОС). Разработанные технические решения являются неотъемлемой частью представленной системы, анализируется структура и взаимосвязь компонентов системы. Далее, опишем применяемые технические решения и общую схему функционирования разрабатываемой системы ФОС.

Одной из основных задач является парсинг (автоматизированный сбор и систематизация данных) учебных планов в формате .plx. Данный тип файла был разработан в Южно-Российском государственном университете экономики и сервиса (ЮРГУЭС) при внедрении первого поколения Государственных образовательных стандартов (ГОС). Файлы .plx, содержащие учебные планы, представляют собой иерархический структурированный документ, информация в котором представлена в виде тегов и атрибутов, при этом теги имеют различный уровень вложенности. Кроме того, теги одной группы (например, дисциплины, компетенции и т.п.) имеют уникальный код, что позволяет связывать их с тегами других групп, например, <ПланыКомпетенцииДисциплины>. Основными элементами учебных планов в контексте файлов .plx являются:

• <Документ> – содержит код уровня образования, название и шифр основной образовательно программы (ООП), уровень обучения;
• <ПланыНовыеЧасы> – код вида работы, код объекта, количество часов, курс и семестр;
• <ПланыСтроки> – название и код дисциплины, код ООП;
• <ПланыКомпетенции> – название и шифр компетенции или индикатор компетенции в зависимости от уровня вложенности;
• <ПланыКомпетенцииДисциплины> – связываетй посредством кодов компетенции и дисциплины между собой.

Одним из существующих программных алгоритмов для анализа учебных планов (УП) является проведение декомпозиции плана относительно заложенных компетенций и их индикаторов [2]. Данное решение может быть масштабировано для использования в различных образовательных организациях, так как информационная система "Планы" на сегодняшний день является одной из наиболее распространенных для проектирования, хранения компонентов образовательных программ и работы с ними. Однако, указанные решения также содержат недостатки, например:

• требует дополнительных усилий для освоения и внедрения в образовательные организации;
• могут возникать сложности при интеграции данного метода в существующие системы управления образовательным процессом;
• не исключены ошибки в анализе, особенно в случае неправильного ввода данных или интерпретации результатов;
• необходимость в доступе к специализированным программным средствам.

С технической точки зрения, учебные планы в формате PLX представляют собой модифицированный формат XML, который является языком разметки. Он используется для хранения и передачи данных, а информация представлена в формате тегов (с атрибутами). В данном исследовании парсинг выполняется средствами библиотеки языка программирования Python - BeautifulSoup (Python Software Foundation, 2023). Алгоритм парсинга состоит из следующих этапов:

• Создание функций для перебора всех необходимых тегов и атрибутов в циклах, таких, как: “КодФормыОбучения”, “КодВидаРаботы”, “ПланыКомпетенции”, “ПланыКомпетенцииДисциплины” и т.д.
• Обработка полученных данных при помощи функций языка программирования Python.
• Передача обработанных данных в созданные словари и списки в циклах.
• Перебор данных в словарях и списках и их дальнейшая передача в базу данных при помощи SQL запросов (Structured Query Language).

После парсинга файла информация передается в базу данных PostgreSQL 14 (PostgreSQL Global Development Group, 2023). Далее, в системе LMS Moodle, при помощи SQL запросов создаются категории на основе года набора, направления подготовки/ специальности, формы обучения и профиля/специализации/программы, а также курсы на основе дисциплин из учебного плана.

После этого этапа преподаватель получает доступ к шаблонам, созданным при помощи Python-библиотеки Jinja2 (Pallets Project, 2023), являющейся де-факто стандартом при написании веб-приложений довольно популярной встроенной системы шаблонов Django (Django Software Foundation, 2023) в формате .docx, для визуализации шаблонов, которые содержат в себе различные типы вопросы для тестирования и проверки формирования компетенций у обучающихся. Затем преподаватель загружает заполненный шаблон в информационную систему, которая при помощи Python-модуля xml.etree.ElementTree (Python Software Foundation, 2023) и .php-скриптов получает данные и преобразует  их в формат банка вопросов, который систематически разделяется по различным компетенциям. На рис. 2 представлена схема, которая является графическим отображением процесса функционирования программы.

 

Рис. 2. Процесс функционирования программы

 

Таким образом, спроектирована и реализована система, позволяющая автоматизировать процесс создания ФОС по дисциплинам учебных планов, а также представляющая собой инструмент для быстрого формирования банка вопросов в разрезе не учебных дисциплин, а компетенций учебного плана.

3. Обсуждение результатов. Алгоритм работы при формировании ФОС может быть представлен в следующем виде: 1) при помощи веб-интерфейса преподаватель входит в информационную систему; 2) заполнение шаблона с вопросами по дисциплинам, к которым привязаны индикаторы достижения компетенций, установленные образовательной программой; этот шаг позволяет структурировать процесс составления ФОС и последующую оценку освоения компетенций на более системном уровне; 3) загрузка заполненного шаблона в информационную систему и последующее создание банка вопросов в платформе LMS Moodle.

Банк вопросов разделен по индикаторам/компетенциям, указанным в шаблоне, что облегчает оценку качества подготовки обучающихся в соответствии с поставленными образовательными целями и требованиями. Кроме того, преподаватель имеет возможность автоматизированно создать документ ФОС для использования его в рамках независимой внутренней или внешней оценки качества образовательной деятельности, в том числе в целях проведения диагностического тестирования при процедуре государственной аккредитации. Этот документ содержит как вопросы, распределенные по формируемым компетенциям, в соответствии с учебным планом, так и информацию о результатах обучения, а также критериях оценивания с учетом уровня сложности вопросов, что способствует формированию системы объективной и детализированной оценки качества подготовки обучающихся. На рис. 3 представлена схема информационных потоков, которая отражает работу системы для автоматизации создания и дальнейшего управления фондами оценочных средств.

 

Рис. 3. Общая схема информационных потоков

 

Наличие информационной системы, поддерживающей процесс создания оценочных материалов, формирования и управления ФОС, является ключевым элементом для эффективной работы преподавателей и администрации учебного заведения. Автоматизация этого процесса позволяет существенно сократить временные и трудовые затраты на подготовку оценочных материалов, облегчает мониторинг и анализ оценок студентов, а также усиливает прозрачность системы оценки компетенций. Использование платформы LMS Moodle для создания банка вопросов, разделенного по компетенциям, дает возможность более точно и целенаправленно оценивать уровень освоения образовательной программы. Это способствует выявлению слабых мест в обучении и позволяет принимать меры по их устранению, повышая тем самым результативность образовательного процесса. Таким образом, наличие вышеописанной информационной системы является важным компонентом современной образовательной среды, способствующим повышению качества обучения.

Заключение. В ходе проведенного исследования была спроектирована и разработана информационная система для создания оценочных материалов, формирования и управления фондами оценочных средств, что позволило значительно улучшить качество оценки подготовки обучающихся и сделать процесс обучения более эффективным и адаптивным к потребностям участников образовательного процесса, в том числе повысить качество образования и оптимизировать учебный процесс.

Современные информационные технологии, использованные при разработке системы, открывают новые возможности для более точной и объективной оценки сформированности компетенций по реализуемым образовательным программам, а также способствуют уменьшению влияния человеческого фактора в процессе оценки, что повышает надежность и справедливость процедуры.

Проведенное исследование подтверждает актуальность и важность автоматизации процессов в образовании. Внедрение автоматизированной системы для создания и управления фондами оценочных средств является важным шагом в направлении улучшения качества образования и эффективности образовательного процесса. Однако, необходимо продолжать исследования в этой области для дальнейшего усовершенствования системы и расширения ее функциональности.

Об авторах

Роман Вячеславович Алексеев

Институт систем энергетики им. Л.А. Мелентьева СО РАН

Автор, ответственный за переписку.
Email: alekseevrv@ex.istu.edu
ORCID iD: 0009-0000-5374-2081

аспирант, программист центра электронного обучения

Россия, ул. Лермонтова, 130, Иркутск, 664033

Никита Дмитриевич Лукьянов

Иркутский национальный исследовательский технический университет

Email: lukyanovnd@istu.edu
ORCID iD: 0000-0002-8826-3424
SPIN-код: 8971-7440

кандидат технических наук, доцент, руководитель центра электронного обучения

Россия, ул. Лермонтова, 83, Иркутск, 664074

Список литературы

Дополнительные файлы