Эволюция возможностей больших языковых моделей в юридической сфере: метаанализ четырех экспериментальных исследований

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Представлен метаанализ четырех экспериментальных исследований проекта «Норм!», направленный на систематическое изучение эффективности больших языковых моделей в юридической сфере. Исследование охватывает сравнительный анализ младших и старших моделей, оптимизацию системных промптов и тестирование многоагентных архитектур на задачах по российскому семейному и гражданскому праву. Ключевым открытием стало выявление нелинейной зависимости между архитектурной сложностью и качеством результатов: переход от простых к сложным системам обеспечивает незначительный прирост качества (15–40%) при экспоненциальном росте ресурсных затрат (в 10–15 раз). Флагманские модели GPT-4.1 и Gemini 2.5 Pro демонстрируют превосходство по качеству (9,04 и 8,52 балла), однако экономически оптимальными остаются младшие БЯМ с коэффициентами эффективности до 130.3. Универсальной проблемной зоной для всех архитектур являются задачи, требующие интегративного анализа множественных правовых норм. Результаты формируют научно обоснованные рекомендации для различных сценариев внедрения: от массовых консультационных сервисов до специализированных юридических применений, определяя перспективы развития гибридных архитектур в правовой практике.

Об авторах

Роман Викторович Душкин

Национальный исследовательский ядерный университет «МИФИ»

Автор, ответственный за переписку.
Email: drv@aia.expert
ORCID iD: 0000-0003-4789-0736
SPIN-код: 1371-0337

старший преподаватель, кафедра 22 «Кибернетика»

Россия, г. Москва

Владимир Николаевич Подопригора

Российский экономический университет имени Г.В. Плеханова

Email: Podoprigora.VN@rea.ru
ORCID iD: 0000-0001-6485-8135
SPIN-код: 9587-1028

кандидат экономических наук, руководитель лаборатории

Россия, г. Москва

Алексей Алексеевич Кузьмин

ООО «Экосистемные цифровые решения»

Email: a.kuzmin@edisai.tech

генеральный директор

Россия, г. Москва

Кирилл Романович Душкин

ООО «А-Я эксперт»

Email: dkr@aia.expert

аналитик

Россия, г. Москва

Список литературы

  1. Душкин Р.В. Искусственный интеллект. М.: ДМК-Пресс, 2019. 280 с. ISBN: 978-5-97060-787-9.
  2. Lai J., Gan W., Wu J. et al. Large language models in law: A survey // AI Open. 2024. URL: https://www.sciencedirect.com/science/article/pii/S2666651024000172 (data of accesses: 13.10.2023).
  3. Ma S., Chen C., Chu Q. et al. Leveraging large language models for relevance judgments in legal case retrieval // arXiv preprint arXiv:2403.18405. 2024. URL: https://arxiv.org/abs/2403.18405 (data of accesses: 13.10.2023).
  4. Paul V. Automation in legal: The increasing role of AI // Medium. 2024. URL: https://medium.com/@vincentpaulai/automation-in-legal-the-increasing-role-of-ai-70724ef0b225 (data of accesses: 13.10.2023).
  5. Magesh V., Surani F., Dahl M. et al. Hallucination-free? Assessing the reliability of leading AI legal research tools // arXiv preprint arXiv:2405.20362. 2024. URL: https://arxiv.org/abs/2405.20362 (data of accesses: 13.10.2023).
  6. The future of artificial intelligence in the legal industry: Opportunities, challenges, and ethical considerations // Legal Stuff. URL: https://medium.com/@legal.stuff.notion/the-future-of-artificial-intelligence-in-the-legal-industry-opportunities-challenges-and-ethical-61c3198b425a (data of accesses: 13.10.2023).
  7. Корнеенков А.А., Янов Ю.К., Рязанцев С.В. и др. Метаанализ клинических исследований в оториноларингологии // Вестник оториноларингологии. 2020. Т. 85. № 2. С. 26–30. doi: 10.17116/otorino20208502126.
  8. Душкин Р.В. Обзор подходов и методов искусственного интеллекта // Радиоэлектронные технологии. 2018. № 3. С. 85–89.
  9. Румянцев П.О., Саенко У.В., Румянцева У.В. Статистические методы анализа в клинической практике. Ч. 1. Одномерный статистический анализ // Проблемы эндокринологии. 2009. Т. 55. № 5. С. 48–55. doi: 10.14341/probl200955548-55.
  10. Душкин Р.В. Почему за гибридными ИИ-системами будущее // Экономические стратегии. 2018. № 6 (156). С. 84–93.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Этапы проведения метаанализа БЯМ в юридической сфере

Скачать (299KB)
3. Рис. 2. Сравнительный анализ качества и экономической эффективности младших БЯМ: a – качество ответов младших БЯМ в юридической сфере; b – экономическая эффективность младших БЯМ

Скачать (223KB)
4. Рис. 3. Сравнительный анализ эффективности различных системных промптов для GPT-4o mini: a – качество ответов различных системных промптов; b – экономическая эффективность промптов; c – потребление токенов различными агентами. Агент: 1 – универсальный; 2 – специализированный; 3 – модифицированный; 4 – переобученный

Скачать (273KB)
5. Рис. 4. Сравнительный анализ производительности старших БЯМ по общим показателям и уровням сложности: a – производительность старших БЯМ в юридической сфере; b – производительность топ-3 БЯМ по уровням сложности Уровень: 1 – простой; 2 – вторичный; 3 – комбинация; 4 – коллизия; 5 – проблемный

Скачать (312KB)
6. Рис. 5. Сравнительный анализ архитектур МАС по качеству, потреблению ресурсов и эффективности: a – качество ответов различных архитектур МАС; b – потребление токенов архитектурами МАС; c – экономическая эффективность архитектур МАС Вариант: 1 – простой; 2 – с диспетчером; 3 – модифицированный; 4 – ансамбль; 5 – с жюри

Скачать (263KB)


Ссылка на описание лицензии: https://www.urvak.ru/contacts/

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».