Сравнительный анализ производительности больших языковых моделей старшего поколения при решении юридических задач различной сложности

В статье представлен сравнительный анализ производительности семи крупных языковых моделей (Perplexity Sonar, Claude 4.0 Sonnet, OpenAI GPT-4.1, Gemini 2.5 Pro, Grok 3, DeepSeek v3 и Qwen3-235B-A22B) при решении 25 юридических задач пяти уровней сложности, разработанных на основе норм Семейного и Гражданского кодексов Российской Федерации. Для оценки качества ответов использовалась автоматизированная система на базе Claude 4.0 Sonnet, выступавшая в роли «экзаменатора» и выставлявшая оценки по десятибалльной шкале с краткими пояснениями. Основными метриками эксперимента стали средний балл (Mean Score), суммарное потребление токенов (Token Usage), экономическая стоимость прогона всех вопросов (Cost per Experiment) и коэффициент эффективности (отношение качества к затратам).

Сравнительный анализ монолитных моделей выявил лидерство GPT-4.1 и Gemini 2.5 Pro по среднему качеству, особенно на простых и коллизионных задачах, тогда как средний уровень сложности (комбинация норм) остался наиболее проблемным для всех моделей. Экономические расчёты подтвердили, что при масштабировании юридических ИИ-систем критически важно учитывать баланс между скоростью, точностью и стоимостью генерации. Результаты исследования позволяют вырабатывать практические рекомендации по выбору архитектур и моделей для корпоративных и государственных применений в области юридического консультирования.