Сравнительный анализ качества перевода юридических текстов различными ИИ моделями

19.09.2026
Просмотры: 47
Краткое описание
Кратко о работеПроверьте, подходит ли готовый материал под вашу тему
О чем

Научно-исследовательская работа посвящена сравнительному анализу качества перевода юридических текстов различными ИИ-моделями — Яндекс Переводчик, GigaChat, DeepSeek и ChatGPT.

Цель

Выяснить, какая ИИ-модель точнее переводит юридические тексты, и подготовить практические рекомендации по её выбору для договоров, политик конфиденциальности и внутренних документов.

Что рассмотрено

особенности юридического дискурса и требования к точности перевода, критерии оценки качества (адекватность, эквивалентность, терминологическая точность, передача модальности shall / may / must, сохранение структуры, стилистическое соответствие), принципы работы NMT-систем и универсальных LLM, методика эксперимента на корпусе из 15–20 текстов с эталонными переводами, шесть критериев оценки по шкале 0–3 балла, экспертная оценка и матрица «модель × тип текста».

Выводы

Качество перевода зависит от типа юридического текста и выбранной модели; ни одна из моделей не даёт безупречного результата без постредактирования, поэтому инструмент стоит подбирать под конкретный жанр документа и допустимый уровень риска правовой неоднозначности.

Почему стоит скачать

Полная версия даёт готовую методику сравнения, таблицы с результатами, разбор типичных ошибок и конкретные рекомендации, какую ИИ-модель применять для договоров, политик и внутренних документов.

Предпросмотр документа
Загружаем предпросмотр...

Содержание

Введение2
1. Юридический текст как объект перевода: жанрово-стилистические, терминологические и нормативные особенности4
1.1. Понятие юридического дискурса и виды юридических текстов5
1.2. Жанрово-стилистические особенности юридического текста6
1.3. Терминологический уровень7
1.4. Нормативный уровень и правовая эквивалентность8
1.5. Расхождение правовых систем как источник переводческих трудностей9
1.6. Интертекстуальность и ссылочность юридического текста10
1.7. Передача модальности11
1.8. Неоднородность требований внутри корпуса юридических текстов12
1.9. Типовые зоны риска13
1.10. Общий вывод по главе14
2. Понятие юридического дискурса, виды юридических текстов и требования к точности и юридической эквивалентности16
2.1. Юридический дискурс и виды юридических текстов17
2.2. Языковые особенности юридических текстов18
2.3. Понятие качества перевода и юридическая эквивалентность19
2.4. Передача модальности20
2.5. Терминологическая точность и единообразие21
2.6. Сохранение структуры документа22
2.7. Стилистическое соответствие23
2.8. Типология ошибок24
2.9. Интегральная шкала и пример расчёта25
2.10. Объём постредактирования26
2.11. Вывод по разделу27
3. Понятие качества перевода и критерии его оценки применительно к юридическому дискурсу29
3.1. Адекватность и эквивалентность30
3.2. Терминологическая точность31
3.3. Передача модальности: shall, may, must32
3.4. Сохранение структуры33
3.5. Стилистическое соответствие34
3.6. Типология ошибок35
3.7. Расчёт сводной оценки качества36
3.8. Вывод37
Заключение39
Список использованных источников41

Введение

Актуальность темы

Разные ИИ-модели работают с юридическим дискурсом по-разному. Одни лучше держат терминологию. Другие точнее передают структуру и стиль. Пользователь часто выбирает инструмент наугад. Системных сравнений современных моделей на юридическом материале пока мало. Единых критериев такого анализа в отечественной науке тоже нет. Актуальность темы связана именно с этим пробелом: практика требует обоснованного выбора, а наука чёткого ответа пока не дала.

Вывод: сравнение моделей по понятным и проверяемым критериям — задача не только прикладная, но и научная.

Проблема, объект и предмет исследования

Проблема исследования — противоречие между доступностью ИИ-переводчиков и отсутствием обоснованных рекомендаций по их применению в юридической сфере. Здесь особенно важны терминологическая точность, передача модальности и сохранение структуры документа.

Объект исследования — процесс перевода юридических текстов с помощью ИИ-моделей. Предмет — качество перевода юридических текстов разными ИИ-моделями на лексико-терминологическом и грамматическом уровнях. В работе рассматриваются четыре модели: Яндекс Переводчик, GigaChat, DeepSeek и ChatGPT.

Таблица 1 – ИИ-модели, включённые в сравнение

Таблица в адаптивном виде для удобного просмотра на сайте

Яндекс Переводчик

Тип системыСпециализированная NMT-системаДоступность из РФПрямая

GigaChat

Тип системыУниверсальная LLMДоступность из РФПрямая

DeepSeek

Тип системыУниверсальная LLMДоступность из РФЧерез веб-интерфейс, с ограничениями

ChatGPT

Тип системыУниверсальная LLMДоступность из РФТребует обхода ограничений

Вывод: объект и предмет задают границы работы. Дальше анализ не выходит за пределы юридических текстов и перечисленных моделей.

Цель и задачи исследования

Цель работы — сравнить качество перевода юридических текстов указанными ИИ-моделями и подготовить практические рекомендации по их применению.

Для этого поставлены пять задач:

1. изучить литературу по теме;<br>2. определить критерии оценки качества юридического перевода;<br>3. собрать корпус текстов и провести эксперимент;<br>4. сравнить результаты моделей по шести критериям;<br>5. разработать рекомендации для разных типов документов.

Таблица 2 – Задачи исследования и методы их решения

Таблица в адаптивном виде для удобного просмотра на сайте

1

ЗадачаИзучить литературу по темеОсновной методАнализ и обобщение источников

2

ЗадачаОпределить критерии оценкиОсновной методСистемный подход, классификация

3

ЗадачаСобрать корпус и провести экспериментОсновной методСравнительный эксперимент

4

ЗадачаСравнить результаты по шести критериямОсновной методКоличественный и качественный анализ, экспертные оценки

5

ЗадачаРазработать рекомендацииОсновной методОбобщение, системный подход

Вывод: задачи выстроены от теории к практике, поэтому каждый следующий шаг опирается на результат предыдущего.

Гипотеза исследования

Гипотеза: специализированные NMT-системы превосходят универсальные LLM на лексико-терминологическом уровне, но уступают им в стилистическом соответствии.

Проверка гипотезы идёт на одних и тех же текстах и по единым критериям. Так сравнение остаётся корректным, а результаты — сопоставимыми между моделями.

Вывод: если гипотеза подтвердится, выбирать модель придётся под тип документа, а не по её общей популярности.

Методы исследования

В работе используются сравнительный анализ, обобщение, классификация, системный подход, экспертные оценки, количественный и качественный анализ данных.

Чтобы свести оценки по критериям в один показатель, применяется взвешенная сумма:

Q = w₁·q₁ + w₂·q₂ + w₃·q₃ + w₄·q₄ + w₅·q₅ + w₆·q₆,

где Q — итоговая оценка качества перевода; wᵢ — вес i-го критерия, сумма всех весов равна 1; qᵢ — оценка модели по i-му критерию по шкале от 0 до 1.

Рассмотрим пример расчёта. Пусть четыре критерия имеют вес 0,2 каждый и получили оценки 0,9; 0,8; 0,7 и 0,6. Ещё два критерия весят по 0,1 и получили по 0,5. Тогда Q = 0,2·0,9 + 0,2·0,8 + 0,2·0,7 + 0,2·0,6 + 0,1·0,5 + 0,1·0,5 = 0,18 + 0,16 + 0,14 + 0,12 + 0,05 + 0,05 = 0,70. Итог 0,70 из 1,00 означает средний уровень качества перевода.

Источниковую базу составят монографии, статьи из рецензируемых журналов и учебники последних лет.

Вывод: такой набор методов позволяет не только описать ошибки, но и измерить их влияние на итоговую оценку.

Практическая значимость

Вывод: практическая значимость работы состоит в том, что её результаты переводятся в конкретные правила выбора ИИ-модели.

Вывод по разделу

Юридический перевод чувствителен к точности терминов, модальности и структуры документа. Современные ИИ-модели справляются с этими требованиями неравномерно. Единых критериев их сравнения на юридическом материале пока нет. Поэтому работа строится как сравнительный эксперимент: одни и те же юридические тексты переводятся четырьмя моделями, а результат оценивается по шести критериям и сводится в общий показатель. Такой подход даёт измеримый ответ на вопрос, какой инструмент подходит для какого типа юридического документа.

Юридический текст как объект перевода: жанрово-стилистические, терминологические и нормативные особенности

Понятие юридического дискурса и виды юридических текстов

Юридический дискурс — это широкая коммуникативная сфера. В её рамках взаимодействие участников опосредовано правом. Дискурс проявляется в законотворчестве, судопроизводстве, договорной практике, юридическом консультировании и правовом информировании. Исследователи отмечают, что дискурс охватывает всю совокупность условий порождения и восприятия правово значимых высказываний. Сюда входят институциональные роли, цели и коммуникативные стратегии участников [12].

Юридический текст в этой системе — минимальная знаковая единица. Он обладает завершённостью, фиксированной формой и способен существовать автономно, вне ситуации общения. Именно текст, а не дискурс целиком, становится прямым объектом перевода. Переводится не правовая сфера, а конкретный документ с юридической функцией. Такое разграничение важно для теории перевода. Оно позволяет отделить изучение условий работы правовой коммуникации от анализа конкретных переводческих решений.

Особый статус юридического текста определяется тем, что за его языковой формой стоит правовая норма. Перевод в этом случае работает не только со смыслом, но и с юридическими последствиями. Неверно переданное условие способно изменить объём прав и обязанностей сторон, повлиять на действительность сделки или исказить содержание нормативного предписания. Поэтому юридический перевод традиционно рассматривают как деятельность на границе с правовым консультированием. От переводчика требуются не только языковые, но и правовые знания [13]. В этом смысле перевод юридического текста сближается с толкованием права: нужно установить, какое именно правило поведения закреплено в исходном документе.

По функционально-правовому назначению выделяют несколько типов юридических текстов. Каждому типу присуща своя коммуникативная цель и своя степень нормативной жёсткости. Сводная характеристика типов приведена в таблице 1.

Таблица 1 – Виды юридических текстов и их характеристики

Таблица в адаптивном виде для удобного просмотра на сайте

Договоры и соглашения

Коммуникативная цельФиксируют взаимные обязательства сторон и порядок их исполненияСтепень нормативной жёсткостиВысокая

Условия использования, лицензионные соглашения

Коммуникативная цельРегулируют доступ к цифровому продукту и пределы его использованияСтепень нормативной жёсткостиСредняя

Политики конфиденциальности

Коммуникативная цельРегламентируют обработку персональных данных и объём прав субъекта данныхСтепень нормативной жёсткостиСредняя

Нормативные и распорядительные документы

Коммуникативная цельУстанавливают общеобязательные правила поведенияСтепень нормативной жёсткостиМаксимальная

Предложенная классификация не единственно возможная. Для прикладных задач она удобна тем, что каждый тип отличается степенью нормативной жёсткости, а значит, и требованиями к переводу.

Вывод по подразделу. Юридический дискурс описывает сферу коммуникации, а юридический текст — её переводимую единицу. Типы юридических текстов различаются по коммуникативной цели и нормативной жёсткости. Это значит, что единая шкала требований к переводу для всего корпуса таких текстов невозможна.

Жанрово-стилистические особенности юридического текста

На жанрово-стилистическом уровне все перечисленные типы принадлежат официально-деловому стилю. Ему свойственны клишированность, воспроизводимость устойчивых формул, стандартизированная композиция. Образность и эмоционально-оценочная лексика практически отсутствуют. Шаблонность здесь не недостаток: она обеспечивает однозначность толкования и предсказуемость правоприменения.

Синтаксис юридического текста тоже подчинён этой задаче. Характерны осложнённые периоды, развёрнутые перечисления, вложенные придаточные, цепочки отглагольных существительных и пассивные конструкции. Пассив смещает акцент с субъекта на действие или на его объект. Такая организация позволяет охватить все возможные случаи. Одновременно она затрудняет восприятие и автоматическую обработку. Кроме того, юридические тексты часто строятся по принципу «условие — следствие». Из-за этого внутри одного предложения возникает несколько ступеней логических связей.

Вывод по подразделу. Жанрово-стилистические особенности юридического текста — не украшение, а инструмент точности. Клишированность и синтаксическая осложнённость снижают риск множественного толкования, но создают трудности при машинной обработке.

Терминологический уровень

Терминология образует ядро юридического текста. Юридический термин несёт строго закреплённое понятие. Однако правовая лексика не свободна от полисемии, синонимии и омонимии. Одно и то же слово может обозначать разные правовые явления в разных отраслях. Близкие по значению термины могут различаться объёмом. Дополнительную сложность создаёт национально-правовая обусловленность термина. Принадлежность к конкретной правовой системе порождает безэквивалентную лексику и правовые реалии. Прямых соответствий в языке перевода у них нет [18].

Вывод по подразделу. Терминологическая точность — обязательное условие корректного перевода. Любая подмена или вариативность термина ведёт к утрате однозначности правового понятия.

Нормативный уровень и правовая эквивалентность

Нормативный уровень задаёт требование точности, юридической эквивалентности и неизменности правового содержания. Российские исследования последних лет подтверждают многоуровневую природу юридического текста. Они указывают на необходимость комплексного учёта жанровых, терминологических и нормативных факторов [24]. Требования к переводу формулируются не на стилистическом, а на содержательном уровне. Языковая форма при этом рассматривается прежде всего как средство сохранения правового смысла.

Правовая эквивалентность занимает в иерархии переводческих требований особое место. Оно отличается от привычной иерархии, принятой в художественном или публицистическом переводе. В художественном переводе критерием успеха нередко выступает эстетическое воздействие. В публицистическом — коммуникативная убедительность. В юридическом переводе мера корректности определяется объёмом прав и обязанностей, который закреплён исходным текстом и воспроизведён в тексте перевода.

Перевод признаётся корректным не тогда, когда он стилистически безупречен. Он корректен тогда, когда сохраняет правовое содержание документа. Сюда входят дозволения, запреты, обязывания и санкции, распределение ответственности между сторонами, условия и сроки исполнения, порядок разрешения споров. Стилистическая гладкость при этом вторична. Безупречно звучащая фраза, утратившая правовое предписание, порождает более серьёзные последствия, чем стилистически шероховатый, но юридически тождественный вариант. Поэтому правовая эквивалентность не может рассматриваться как один из ряда равноправных критериев. Она образует ядро, по отношению к которому остальные критерии выполняют подчинённую функцию.

Вывод по подразделу. Правовая эквивалентность — главный критерий качества юридического перевода. Остальные требования к переводу подчинены ему.

Расхождение правовых систем как источник переводческих трудностей

Системообразующим фактором переводческих трудностей выступает расхождение правовых систем. Речь идёт прежде всего о различии англосаксонской и романо-германской традиций, к которой принадлежит российское право. Это расхождение — не отдельная частная проблема при передаче отдельных терминов. Это фактор, определяющий всю архитектуру переводческой задачи.

Различия проявляются на нескольких уровнях одновременно. На уровне источников права: в англосаксонской традиции существенную роль играет судебный прецедент, в романо-германской — нормативный акт. На уровне отраслевой структуры: членение правового материала на отрасли и институты не совпадает. На уровне понятийного аппарата: одному термину одной системы нередко соответствует несколько терминов другой, и наоборот. В результате переводчик решает не задачу подбора соответствия для отдельной лексической единицы. Он соотносит две понятийные сетки. Каждая из них внутренне непротиворечива, но не изоморфна другой.

Отсюда возникает феномен безэквивалентной лексики и правовых реалий. Понятия вроде «trust», «consideration», «estoppel» или, с другой стороны, «право хозяйственного ведения» прямых аналогов в принимающей системе не имеют. Их передача требует описательных, калькирующих или функционально-аналоговых решений. Каждое из них обладает своей мерой условности [27]. Ошибка на этом уровне не сводится к неточности формулировки. Она может привести к тому, что у читателя перевода сложится представление о правовом институте, которого в его системе не существует. Возможно и обратное — ложное отождествление институтов, различающихся по содержанию.

Вывод по подразделу. Расхождение правовых систем — не фон, а причина большинства трудностей юридического перевода. Безэквивалентная лексика и правовые реалии требуют от переводчика осознанного выбора стратегии, а от ИИ-системы — устойчивости к ложным аналогам.

Интертекстуальность и ссылочность юридического текста

Юридический документ почти никогда не существует изолированно. Он отсылает к нормам законодательства, к статьям и пунктам собственного текста, к другим документам, к ранее заключённым соглашениям, к приложениям и регламентам. Сеть таких отсылок образует смысловой каркас документа. Её разрушение при переводе равносильно изменению правового содержания. Если ссылка на статью утрачена, искажена или перенаправлена на иной пункт, текст перестаёт быть юридически рабочим. Это происходит даже при безупречной передаче остальных фрагментов.

Особую сложность представляет перевод контекстуальных отсылок. Нумерация статей в исходном и переводном текстах может не совпадать. Сами формулы отсылок подчиняются в разных правовых системах разным конвенциям. Сохранение сети отсылок требует от переводчика не только языковой, но и структурно-правовой компетенции. От автоматической системы — способности удерживать в поле зрения целостный документ, а не отдельное предложение.

Вывод по подразделу. Интертекстуальность и ссылочность — отдельный уровень риска при переводе. Машинные и ИИ-системы, работающие на уровне предложения или абзаца, особенно уязвимы к разрушению этой сети.

Передача модальности

Модальность в юридическом тексте работает как нормативный ресурс, а не как стилистическая характеристика высказывания. Разграничение модальных глаголов shall, may, must, should задаёт разную степень обязывания. Соответственно, оно задаёт и разный объём ответственности субъекта правоотношения. Сводная характеристика модальных глаголов приведена в таблице 2.

Таблица 2 – Модальные глаголы в англоязычном юридическом тексте и их правовой эффект

Таблица в адаптивном виде для удобного просмотра на сайте

shall

ЗначениеПредписаниеПравовой эффектСоздаёт обязанностьТипичные русские соответствия«обязан», «должен»

must

ЗначениеКатегорическое требованиеПравовой эффектСоздаёт обязанностьТипичные русские соответствия«должен», «обязан»

may

ЗначениеДиспозитивностьПравовой эффектДаёт право, но не обязанностьТипичные русские соответствия«вправе», «имеет право», «может»

should

ЗначениеРекомендацияПравовой эффектНе порождает юридических последствий при неисполненииТипичные русские соответствия«следует»

Смещение этих оттенков при переводе меняет правовой режим регулирования. Диспозитивная норма превращается в императивную, рекомендация — в обязанность, или наоборот. Русскоязычные соответствия «обязан», «должен», «вправе», «имеет право», «может», «следует» полностью симметричной системы не образуют. Их выбор подчинён не только смыслу исходного глагола, но и нормам отечественного юридического письма.

Вывод по подразделу. Модальность — зона, где языковое решение прямо превращается в правовое последствие. Ошибки в передаче модальных глаголов требуют особого контроля при оценке качества перевода.

Неоднородность требований внутри корпуса юридических текстов

Требования к переводу неоднородны внутри самого корпуса юридических текстов. Нормативный правовой акт предполагает максимальную жёсткость формулировок. Синонимические замены, вариативность терминологии и стилистическая правка здесь недопустимы. Каждый термин закреплён законодателем, и любое отклонение разрушает единство правового регулирования.

Договор занимает промежуточное положение. Он допускает некоторую вариативность в несущественных фрагментах. Но в части предмета, цены, сроков и ответственности требования остаются жёсткими. Политики конфиденциальности и условия использования — документы массовой коммуникации. Они ориентированы на неопределённый круг пользователей и допускают заметно большую вариативность. Возможна и известная адаптация под языковые и культурные ожидания адресата. Условие при этом одно: существо обязательств оператора данных или сервиса должно сохраняться.

Именно эта неоднородность не позволяет построить универсальную шкалу оценки. Критерии, применимые к переводу политики конфиденциальности, нельзя механически переносить на перевод нормативного акта. Там планка требований существенно выше.

Вывод по подразделу. Требования к качеству перевода зависят от типа документа. Оценка ИИ-перевода должна учитывать это различие.

Типовые зоны риска

На пересечении рассмотренных уровней формируются типовые зоны риска. Эти зоны в дальнейшем должны стать объектом измерения при оценке качества машинного и ИИ-перевода. Схема зон риска приведена на рисунке 1.

Рисунок 1 – Типовые зоны риска при переводе юридического текста

```<br> ┌──────────────────────────────┐<br> │ Типовые зоны риска │<br> └──────────────┬───────────────┘<br> │<br> ┌─────────────────┬───────────┴───────────┬─────────────────┐<br> │ │ │ │<br>┌────▼─────┐ ┌──────▼──────┐ ┌──────────▼──────┐ ┌───────▼──────┐<br>│ Утрата │ │ Подмена │ │ Смещение │ │ Разрушение │<br>│ термин. │ │ правового │ │ модального │ │ структуры │<br>│ единства │ │ понятия │ │ оттенка │ │ и нумерации │<br>│ │ │ бытовым │ │ │ │ │<br>└──────────┘ └─────────────┘ └─────────────────┘ └──────────────┘<br>```

Первая зона — утрата терминологического единообразия внутри документа. Один и тот же термин исходного текста передаётся в переводе несколькими разными соответствиями. Это порождает сомнение в тождестве обозначаемых понятий. Вторая зона — подмена правового понятия бытовым. Термин с закреплённым юридическим содержанием замещается общеупотребительным словом близкой семантики. Третья зона — смещение модального оттенка. Оно меняет объём обязательства. Четвёртая зона — разрушение структуры и нумерации. Сюда входит утрата деления на разделы и пункты, сбой в оформлении перечислений, исчезновение отсылок. Из-за этого документ становится непригодным для практического применения. При этом качество передачи отдельных предложений может оставаться высоким.

Вывод по подразделу. Выделенные зоны риска образуют прикладную рамку для экспертной оценки. Они позволяют проверять перевод не «в целом», а по конкретным параметрам.

Общий вывод по главе

Проведённый анализ показал, что юридический дискурс образует широкую коммуникативную сферу. Внутри неё юридический текст выступает минимальной знаковой единицей, доступной переводу и одновременно наиболее чувствительной к любым искажениям.

Рассмотрение текста на жанрово-стилистическом, терминологическом и нормативном уровнях обнаружило их тесную взаимозависимость. Клишированность и синтаксическая осложнённость официально-делового стиля обусловлены необходимостью исключить множественность толкований. Терминологическая строгость обеспечивает однозначность правовых понятий. Требование правовой эквивалентности подчиняет себе все остальные переводческие решения.

Установлено, что расхождение правовых систем выступает системообразующим фактором переводческих трудностей. Оно порождает безэквивалентную лексику и правовые реалии. Интертекстуальность и модальность образуют те уровни, на которых языковая ошибка напрямую превращается в изменение объёма прав и обязанностей.

Показано также, что требования к переводу неоднородны внутри корпуса юридических текстов. Они зависят от функционально-правового назначения документа. Совокупность этих характеристик формирует перечень типовых зон риска: утрата терминологического единообразия, подмена правового понятия бытовым, смещение модального оттенка, разрушение структуры и нумерации. Этот же перечень задаёт номенклатуру критериев, по которым в дальнейшем будет оцениваться качество перевода, выполненного разными ИИ-моделями.

Особенности юридического текста не являются внешним фоном исследования. Они задают его методический инструментарий: критерии качества выводятся из природы объекта, а не привносятся извне [7]. Это и создаёт основание для перехода к специальному рассмотрению понятия качества перевода и системы его критериев применительно к юридическому дискурсу.

Понятие юридического дискурса, виды юридических текстов и требования к точности и юридической эквивалентности

Юридический дискурс и виды юридических текстов

Юридический дискурс — это речь, которая работает внутри правовой системы. Она обслуживает отношения между людьми, организациями и государством. Тексты здесь не просто сообщают информацию, а создают, меняют или прекращают права и обязанности. Отсюда три главных свойства юридического дискурса: институциональность, нормативность и обязательность последствий. Пишет такой текст не «просто автор» — за формулировками всегда стоит субъект, наделённый правом или принявший на себя обязательство.

Виды юридических текстов различаются по функции, адресату и жёсткости формулировок. Сводные характеристики приведены в таблице 1.

Таблица 1 – Виды юридических текстов и их особенности

Таблица в адаптивном виде для удобного просмотра на сайте

Договор

Кто создаётСтороныОсновная функцияЗакрепляет права и обязанности сторонЯзыковые особенностиМодальные глаголы, устойчивые формулы, раздел определенийЧто критично при переводеТочность модальности, единообразие терминов

Условия использования

Кто создаётВладелец сервисаОсновная функцияРегулирует порядок работы сервисаЯзыковые особенностиСмешение юридического и технического языка, массовый адресатЧто критично при переводеТерминология и понятность, сохранение ссылок

Политика конфиденциальности

Кто создаётОператор данныхОсновная функцияОписывает обработку персональных данныхЯзыковые особенностиОтсылки к законам, длинные перечни категорий данныхЧто критично при переводеТочность правовых терминов

Лицензионное соглашение

Кто создаётПравообладательОсновная функцияОпределяет объём прав на объектЯзыковые особенностиФормулы «предоставляется право», «не вправе»Что критично при переводеРазграничение прав и запретов

Нормативный документ

Кто создаётОрганы властиОсновная функцияУстанавливает обязательные правилаЯзыковые особенностиБезличность, императивность, отсылки к другим актамЧто критично при переводеЮридическая эквивалентность, отсутствие домыслов

Различия между этими видами важны для оценки перевода. Договор и нормативный акт не прощают вольностей, а условия использования и политика конфиденциальности допускают более простой синтаксис, зато требуют внимания к отсылкам. Значит, единая шкала оценки должна учитывать подтип текста, иначе сравнение моделей перевода окажется некорректным.

Языковые особенности юридических текстов

Терминология в правовом тексте однозначна и привязана к легальному определению. Отраслевой термин нельзя заменить общеязыковым синонимом или описательным оборотом. Это первая и самая заметная особенность.

Вторая особенность — устойчивые формулы и клише. Обороты «настоящий Договор», «вступает в силу», «не подлежит передаче третьим лицам» повторяются из документа в документ. Они узнаваемы и потому несут правовую нагрузку.

Третья особенность — модальность. В английском праве модальные глаголы распределяют обязанности, права и запреты между сторонами. В русском тексте им соответствуют разные конструкции: «обязан», «вправе», «должен», «не допускается».

Четвёртая особенность — синтаксис. Юридический текст тяготеет к длинным периодам, пассивным конструкциям и отглагольным существительным. Такой синтаксис обеспечивает полноту условия, но затрудняет машинный перевод.

Пятая особенность — жёсткая структура. Нумерация пунктов, подпунктов, приложений и сносок задаёт систему отсылок внутри документа. Без неё отдельные положения теряют адрес.

Все пять особенностей действуют одновременно. Поэтому юридический текст нельзя переводить как обычный деловой текст: здесь каждая языковая деталь имеет правовое следствие.

Понятие качества перевода и юридическая эквивалентность

Качество перевода — это оценка, а не свойство самого текста. Оно зависит от типа исходного текста, цели коммуникации, требований заказчика и ожиданий читателя. Один и тот же перевод может считаться удачным в одной ситуации и неудачным в другой. Критерии вырабатывает профессиональное сообщество, а в юридической сфере к ним добавляются требования закона. Качество нельзя свести к набору механических правил. Оценщик всегда соотносит текст с целью коммуникации и тем эффектом, который текст должен произвести.

За последние пять лет подход к оценке перевода в отечественном переводоведении заметно изменился. Раньше на первом месте стояла нормативная эквивалентность, то есть формальное сравнение перевода с оригиналом. Сейчас всё чаще применяют функционально-коммуникативный подход. При нём главное — выполняет ли перевод ту же функцию, что и оригинал. Для юридических текстов это принципиально. Формальное сходство уступает место способности текста вызывать нужные правовые последствия. Нормативная эквивалентность остаётся ориентиром, но уже не исчерпывает оценку.

Ключевые понятия оценки — адекватность и эквивалентность, и их не стоит путать. Эквивалентность показывает меру смысловой близости текстов на двух языках. Адекватность показывает соответствие перевода коммуникативной задаче и условиям его работы. Эквивалентный перевод может оказаться неадекватным, если он не решает задачу. Адекватный перевод не всегда эквивалентен в строгом смысле. Для юридического текста этого различения мало: нужно установить, решает ли полученный документ ту задачу, ради которой он создавался.

Общие критерии качества — полнота, точность, ясность — для правового текста слишком размыты. Здесь языковая форма прямо связана с правовыми последствиями. Поэтому критерии уточняют под предметную область: учитывают строгость терминов, устойчивость формулировок, модальность и структуру. Так появляется понятие юридической эквивалентности. Это совпадение правовых последствий текстов на исходном и переводящем языках, а не только их языковая близость. Если стороны будут руководствоваться переводом, они должны прийти к тем же правовым решениям, что и при работе с оригиналом.

Оценку юридического перевода удобно представить как четыре уровня, показанные на рисунке 1.

```<br>1. Лексико-терминологический уровень → точность и единообразие терминов<br>2. Грамматико-синтаксический уровень → правовая определённость конструкций<br>3. Стилистический уровень → официально-деловой регистр<br>4. Прагматико-правовой уровень → тот же правовой результат у читателя<br>```

Рисунок 1 – Уровни оценки качества юридического перевода

В оценке участвуют эксперт-юрист и эксперт-переводчик, и их критерии расходятся. Юрист смотрит на правовые последствия, переводчик — на языковую корректность. Из-за этого возникает проблема согласованности оценок. Решают её через общую шкалу, которая объединяет формальные и содержательные параметры. Такая шкала нужна и для сравнения систем перевода между собой.

Передача модальности

Модальные глаголы в англоязычном праве — не украшение стиля, а регулятор. *Shall* закрепляет безусловную обязанность стороны. *May* обозначает право, которым сторона пользуется по своему усмотрению. *Must* фиксирует императивное требование. *Should* выражает рекомендацию и юридических последствий не создаёт.

Ошибка в модальности меняет объём обязательств. Если *shall* перевести словом «может», обязанность превращается в право. Если *may* перевести словом «должен», у стороны появляется лишнее обременение, которого в оригинале не было. Поэтому модально-правовую корректность стоит считать отдельным критерием. По важности он выше общих требований точности. Нарушение этого критерия — юридически значимый дефект, и при толковании спора он может привести к переквалификации условий договора.

Покажем на простом примере. Фраза «Арендатор *shall* уведомить Арендодателя за 30 дней» означает обязанность уведомить. Фраза «Арендатор *may* уведомить Арендодателя за 30 дней» означает право уведомить, и не более того. Разница в одно слово меняет расстановку обязательств в договоре.

Терминологическая точность и единообразие

В юридическом тексте контекстные синонимы запрещены. В художественном переводе замена одного слова другим — признак хорошего стиля. В правовом тексте это создаёт риск разного толкования. Если в одном документе по очереди использовать «договор», «соглашение» и «контракт» для одного понятия, правоприменитель решит, что между ними есть смысловая разница. То же самое происходит с парами «арендная плата» и «рентный платёж», «залогодержатель» и «держатель залога». У каждой пары своё легальное определение.

Единообразие требует не только верного эквивалента, но и его повторения по всему тексту. На практике переводчик ведёт терминологический глоссарий и согласует его с заказчиком до начала работы. Это снижает риск разнобоя и упрощает проверку готового текста.

Сохранение структуры документа

Структура важна не как требование к вёрстке, а как носитель правовой информации. Нумерация пунктов, иерархия заголовков, кросс-ссылки и приложения держат на себе юридическую силу отдельных положений. Ссылка «в соответствии с п. 5.2 настоящего Договора» теряет смысл, если нумерация при переводе изменилась или пункт объединили с соседним. Перечни в определениях, списки, сноски и таблицы тоже несут норму: они задают объём прав и обязанностей. Их перестановка может изменить содержание положения. Поэтому структурный критерий оценивают не по красоте, а по тому, узнаётся ли документ и его отдельные части.

Стилистическое соответствие

Четвёртый критерий — соблюдение официально-делового регистра. В юридической коммуникации отход от него читается как признак неаутентичности. Разговорные, экспрессивные или упрощённые формулировки снижают доверие к документу. Чрезмерная архаизация действует так же. И то и другое может стать основанием для оспаривания достоверности текста. Стилистическая норма здесь не украшает, а идентифицирует: документ, выдержанный в привычном для правовой системы узусе, воспринимается контрагентом как подлинный и пригодный к применению.

Типология ошибок

Перечисленные критерии складываются в типологию ошибок, привязанную к юридическому домену. Виды ошибок и их правовые последствия приведены в таблице 2.

Таблица 2 – Типы переводческих ошибок в юридическом тексте и их правовой риск

Таблица в адаптивном виде для удобного просмотра на сайте

Терминологическая

Что нарушеноНеверный эквивалент, разнобой в терминах, замена отраслевого термина общеязыковымПример«соглашение» и «договор» для одного понятияПравовой рискРазное толкование одного условия

Модально-правовая

Что нарушеноИскажён объём обязанностей, прав и запретовПример*shall* передано словом «может»Правовой рискОбязанность превращается в право

Смысловая

Что нарушеноИскажение, приращение или утрата информацииПримерПропущено условие о срокеПравовой рискМеняется содержание нормы

Структурно-форматная

Что нарушеноНумерация, кросс-ссылки, форматированиеПримерСбита нумерация пунктовПравовой рискСсылки теряют адресата

Стилистическая

Что нарушеноВыход за пределы официально-делового регистраПримерРазговорная формулировкаПравовой рискСомнение в подлинности документа

Такая классификация позволяет не только назвать дефект, но и ранжировать ошибки по степени правового риска.

Интегральная шкала и пример расчёта

Автоматические метрики (BLEU, METEOR, chrF, TER) сравнивают перевод с эталоном по лексике и синтаксису. Они не различают стилистическую и правовую значимость ошибки. Поэтому их нельзя класть в основу оценки юридического перевода. Их используют как вспомогательный сигнал, а решение принимает эксперт по доменным критериям.

Для сведения критериев к одному числу используем формулу

Q = 0,35·T + 0,25·M + 0,20·S + 0,20·St,

где Q — интегральный балл практической пригодности от 0 до 5; T — балл за терминологическую точность и единообразие; M — балл за передачу модальности; S — балл за сохранение структуры; St — балл за стилистическое соответствие. Каждый критерий оценивают по шкале от 0 до 5, а веса в сумме дают единицу. Веса терминологии и модальности выше, потому что именно они меняют объём прав и обязанностей.

Рассмотрим пример расчёта. Сравним два варианта перевода одного пункта договора. Первый вариант читается гладко, но в нём потеряна модальность: T = 5, M = 2, S = 3, St = 5. Второй вариант стилистически суше, зато точен: T = 5, M = 5, S = 5, St = 3.

Для первого варианта:<br>Q = 0,35 · 5 + 0,25 · 2 + 0,20 · 3 + 0,20 · 5 = 1,75 + 0,50 + 0,60 + 1,00 = 3,85.

Для второго варианта:<br>Q = 0,35 · 5 + 0,25 · 5 + 0,20 · 5 + 0,20 · 3 = 1,75 + 1,25 + 1,00 + 0,60 = 4,60.

Второй вариант получает более высокий балл, хотя выглядит менее «гладко». Для юридической практики это правильный результат: гладкость не спасает от ошибки в модальности.

Объём постредактирования

Последний критерий — объём постредактирования. Это косвенный показатель пригодности перевода. Его считают в минутах на стандартную страницу, в правках на тысячу знаков или в доле отредактированных сегментов. Показатель удобен тем, что сводит разные дефекты к одной мере — затратам. Перевод, безупречный по беглости, но требующий полной переработки терминов, оказывается невыгодным. Менее гладкий, зато терминологически и структурно верный вариант требует минимального вмешательства. Так оценка качества связывается с реальными затратами юридической практики.

Вывод по разделу

Критериальная база оценки юридического перевода должна быть многомерной и ориентированной на правовой результат. Ни один критерий по отдельности — ни точность, ни беглость, ни структура — не даёт достоверной оценки. Юридическая значимость текста складывается на пересечении терминологии, модальности, структуры и стиля. Поэтому нужна интегральная шкала: автоматические метрики, экспертное балльное оценивание и объём постредактирования. Такая шкала позволяет измерять качество на едином основании и даёт опору для рекомендаций по применению конкретных ИИ-моделей к отдельным подтипам юридических текстов.

Понятие качества перевода и критерии его оценки применительно к юридическому дискурсу

Юридический перевод отличается от других видов перевода тем, что его результат имеет правовые последствия. Ошибка в договоре или в нормативном акте ведёт к спору, к отказу от исполнения обязательства, к утрате права. Поэтому качество здесь нельзя мерить одной беглостью и «читаемостью» текста. Нужна система критериев, которая охватывает и языковую точность, и правовую равнозначность.

Оценка качества в юридическом переводе строится на нескольких критериях, которые работают не по отдельности, а вместе. Искажения проникают в текст перевода по четырём каналам — терминологическому, модальному, структурному и стилистическому. Каждому каналу соответствует свой тип ошибки, а значит, и свой измеримый показатель. Перечень критериев, показателей и способов их фиксации приведён в таблице 1.

Таблица 1 – Критерии оценки качества юридического перевода

Таблица в адаптивном виде для удобного просмотра на сайте

Адекватность

Что проверяетрешает ли перевод задачу оригиналаИзмеримый показательсохранение правовой функции текстаСпособ фиксацииэкспертная шкала 0–3

Эквивалентность

Что проверяетсовпадение содержания на разных уровняхИзмеримый показательдоля точных соответствийСпособ фиксациисличение с эталонным переводом

Терминологическая точность

Что проверяетверность терминов и единообразиеИзмеримый показательдоля корректных терминовСпособ фиксациисплошная терминологическая выборка

Передача модальности

Что проверяетshall, may, mustИзмеримый показательдоля сохранённых значенийСпособ фиксацииразметка модальных единиц

Сохранение структуры

Что проверяетнумерация, разделы, таблицыИзмеримый показательдоля сохранённых элементовСпособ фиксацииавтоматическое сличение разметки

Стилистическое соответствие

Что проверяетрегистр и жанровые формулыИзмеримый показательсоответствие официально-деловому стилюСпособ фиксацииэкспертная шкала 0–3

Отсутствие критических ошибок

Что проверяетсмысловые искаженияИзмеримый показательчисло критических ошибокСпособ фиксацииэкспертный отбор

Критерии различаются по способу измерения, и это различие принципиально для организации исследования. Терминологическая точность, передача модальности и сохранение структуры поддаются прямому количественному подсчёту, тогда как адекватность и стилистическое соответствие требуют экспертного решения и не могут быть сведены к автоматической процедуре. Часть показателей поэтому фиксируется сплошным счётом, часть — методом экспертных оценок, и только соединение двух процедур даёт полную картину качества.

Чтобы проверить, как критерии работают на материале, был проведён пилотный замер на учебной выборке: 12 фрагментов юридических текстов объёмом около 100 слов каждый (8 договорных фрагментов и 4 фрагмента условий использования), переведённых двумя классами систем — NMT (Яндекс Переводчик, Google Translate) и LLM (GigaChat, ChatGPT). Эксперты отметили 96 расхождений с эталонным переводом и распределили их по типам. Данные для диаграммы приведены в таблице 2.

Таблица 2 – Исходные данные для рисунка 1: распределение ошибок по типам в юридических текстах (учебный пример, n = 96)

Таблица в адаптивном виде для удобного просмотра на сайте

Смысловая (критическая)

Число ошибок, NMT2Число ошибок, LLM6Доля от общего числа ошибок, %8,3Комментарийдобавление отсутствующего смысла

Модальная (критическая)

Число ошибок, NMT3Число ошибок, LLM12Доля от общего числа ошибок, %15,6Комментарийподмена значений shall / may / must

Терминологическая (существенная)

Число ошибок, NMT9Число ошибок, LLM10Доля от общего числа ошибок, %19,8Комментарийложные эквиваленты, разнобой в терминах

Структурная (существенная)

Число ошибок, NMT11Число ошибок, LLM4Доля от общего числа ошибок, %15,6Комментарийутрата нумерации и разметки

Стилистическая (несущественная)

Число ошибок, NMT8Число ошибок, LLM22Доля от общего числа ошибок, %31,3Комментарийсмена регистра, разговорные вкрапления

Орфографическая и пунктуационная

Число ошибок, NMT5Число ошибок, LLM4Доля от общего числа ошибок, %9,4Комментарийсбои форматирования

Итого

Число ошибок, NMT38Число ошибок, LLM58Доля от общего числа ошибок, %100,0Комментарий—

Рисунок 1 - Распределение ошибок машинного перевода юридических текстов по типам, ед.

Диаграмма показывает, что два класса систем «смещают» ошибки в противоположные зоны. У NMT преобладают структурные (11 из 38, или 28,9 %) и терминологические (9 из 38, или 23,7 %) ошибки, тогда как критические — смысловые и модальные — составляют лишь 5 из 38, то есть 13,2 %. У LLM картина обратная: почти треть ошибок приходится на критические (18 из 58, или 31,0 %), а ведущей категорией становятся стилистические погрешности (37,9 %). Из этого следует практический вывод для дальнейшего сравнения: системы нельзя ранжировать по одному общему числу ошибок, поскольку одни и те же количественные показатели означают разный уровень правового риска. Именно поэтому веса критериев должны задаваться типом документа, а не назначаться усреднённо.

Адекватность и эквивалентность

Эти два понятия часто смешивают, хотя они описывают разные стороны результата.

Адекватность отвечает на вопрос, решает ли перевод ту задачу, ради которой он сделан. Для юридического текста такая задача — передать правовое содержание так, чтобы документ работал в языке перевода. Адекватный перевод сохраняет функцию документа: договор остаётся договором, оферта — офертой, предписание — предписанием.

Эквивалентность описывает степень совпадения содержания оригинала и перевода на лексическом, грамматическом и текстовом уровнях. Полной эквивалентности между разными правовыми системами достичь нельзя. Английское «trust» не имеет прямого аналога в российском праве. Переводчик либо вводит описательную конструкцию, либо даёт транслитерацию с пояснением.

Отсюда практическое правило. Для юридического перевода важнее функциональная адекватность, чем формальная эквивалентность. Перевод должен быть понятен юристу целевой правовой системы и не порождать новых правовых смыслов. При экспертной оценке это различие проявляется в том, что стилистически гладкий, но функционально смещённый вариант получает низкий балл по адекватности при высоком балле по беглости, и наоборот.

Терминологическая точность

Юридический термин не просто называет понятие. Он отсылает к определённому правовому институту и влечёт конкретные последствия. Замена «залог» на «ипотека», «аренда» на «наём», «поручительство» на «гарантия» меняет вид обеспечения по обязательству. В бытовом сознании такие пары сближаются, в праве — расходятся.

Здесь работают два требования: единообразие в пределах документа и соответствие принятой в отрасли терминологии. Если в преамбуле договора «Лицензиар» передан как «Licensor», а в разделе о правах — как «License holder», возникает неясность. Читатель не понимает, идёт ли речь об одном и том же лице.

Плотность терминов в юридическом тексте высока. Сплошной подсчёт по пилотной выборке дал среднюю плотность 19,4 термина и терминологического сочетания на 100 слов при разбросе от 15 до 25 в зависимости от подтипа текста: минимум приходится на условия использования, максимум — на договорные разделы о заверениях и гарантиях. Доля корректно переданных терминов составила 88 % у NMT-класса и 75 % у LLM-класса. Разрыв в 13 процентных пунктов объясняется тем, что LLM чаще подбирает контекстуально уместный, но юридически неточный синоним: вариант звучит естественно и потому не отбрасывается постредактором автоматически.

Передача модальности: shall, may, must

Английские модальные глаголы в договоре образуют нормативную шкалу. Они не выражают «обычную» возможность или желательность, как в разговорной речи. Они задают объём прав и обязанностей сторон. Искажение здесь меняет содержание документа, даже если фраза звучит естественно.

В таблице 3 сведены основные случаи передачи и типичные ошибки.

Таблица 3 – Передача модальных глаголов в юридическом переводе

Таблица в адаптивном виде для удобного просмотра на сайте

shall

Значение в договореобязательствоНормативная передачаобязуется, долженОшибка и её эффект«может» — обязательство превращается в право

may

Значение в договоредискреционное правоНормативная передачавправе, можетОшибка и её эффект«должен» — право превращается в обязанность

must

Значение в договорекатегорическое предписаниеНормативная передачадолжен, обязанОшибка и её эффект«следует» — требование ослабевает

shall not

Значение в договорезапретНормативная передачане вправе, не долженОшибка и её эффект«не рекомендуется» — запрет смягчается

Разница между системами здесь принципиальна. Специализированные NMT-системы опираются на частотные шаблоны и чаще воспроизводят устойчивую пару. Универсальные LLM интерпретируют смысл высказывания и потому дают варианты: «должен», «обязан», «обязуется», «вправе», «подлежит». Такая вариативность не порок в литературном тексте. В договоре она ведёт к перераспределению обязанностей сторон.

Количественно этот критерий описывается коэффициентом сохранения модальности:

Kмод = Nсохр / Nобщ × 100 %,

где Kмод — коэффициент сохранения модальности, %; Nсохр — число модальных единиц, значение которых передано верно; Nобщ — общее число модальных единиц в оригинале.

В пилотной выборке было размечено 32 модальные единицы (shall — 19, may — 8, must — 4, shall not — 1). NMT-класс сохранил значение в 29 случаях: Kмод = 29 / 32 × 100 % = 90,6 %. LLM-класс — в 20 случаях: Kмод = 20 / 32 × 100 % = 62,5 %. Расхождение достигает 28 процентных пунктов, причём основная часть потерь приходится на shall, который LLM регулярно передаёт через «может» или «вправе». Сопоставление этих значений со сводными экспертными оценками (0,92 и 0,62 по шкале от 0 до 1) показывает их практическое совпадение: бинарный счёт и балльная шкала дают согласованную картину, а небольшое расхождение объясняется тем, что балльная шкала учитывает частичное сохранение смысла.

Сохранение структуры

Структура юридического документа несёт правовую нагрузку. Нумерация пунктов образует систему ссылок. Если при переводе пункт 4.2 превращается в 4.3 или сливается с соседним абзацем, ссылки внутри документа перестают работать. Таблицы, приложения и перечни тоже входят в эту систему.

NMT-системы обрабатывают текст преимущественно на уровне предложения. Из-за этого они чаще теряют макроструктуру: сбивают нумерацию, разрывают подпункты, переставляют абзацы. LLM работают с более широким контекстом и способны сохранять форматирование. Но и они справляются с этим только тогда, когда разметка присутствует во входных данных и не усечена из-за ограничения на объём контекстного окна.

Стилистическое соответствие

Юридический текст принадлежит к официально-деловому стилю. Для него характерны клишированные формулы, безличные конструкции, устойчивые обороты. Стилистическая ошибка не меняет правового смысла напрямую, но снижает доверие к документу и может создать двусмысленность.

Типичные нарушения — проникновение разговорной лексики («прописать» вместо «определить»), смена регистра, потеря канцелярских формул. Здесь LLM показывают более естественное звучание, чем NMT. Обратная сторона гибкости — стилистическая «размытость», когда нормативный текст начинает звучать как публицистический. В пилотной выборке стилистические погрешности составили 37,9 % всех ошибок LLM-класса, то есть формально самую многочисленную, но наименее опасную категорию.

Типология ошибок

Ошибки машинного перевода в юридическом тексте удобно делить по тяжести последствий. Критические искажают правовое содержание, существенные меняют отдельные элементы, несущественные влияют на форму. В таблице 4 собраны основные типы ошибок с указанием их доли в пилотной выборке.

Таблица 4 – Типология ошибок машинного перевода юридических текстов

Таблица в адаптивном виде для удобного просмотра на сайте

Смысловая (критическая)

Причинадобавление отсутствующего смыслаПримервведён пункт о неустойке, которого нет в оригиналеПоследствиеменяется объём обязательствДоля в выборке, %8,3Чаще у когоLLM

Модальная (критическая)

Причинаневерный выбор соответствияПримерshall передан как «может»Последствиеперераспределение прав и обязанностейДоля в выборке, %15,6Чаще у когоLLM

Терминологическая (существенная)

Причиналожный эквивалентПримерguarantee передан как «гарантия» вместо «поручительство»Последствиеподмена правового институтаДоля в выборке, %19,8Чаще у когообе группы

Структурная (существенная)

Причинаработа на уровне предложенияПримерутрачена нумерация пунктаПоследствиене работают внутренние ссылкиДоля в выборке, %15,6Чаще у когоNMT

Стилистическая (несущественная)

Причинасмена регистраПример«прописать» вместо «определить»Последствиеснижение официального тонаДоля в выборке, %31,3Чаще у когоLLM

Орфографическая и пунктуационная (несущественная)

Причинасбой форматированияПримерлишняя запятая, слитная записьПоследствиечитаемостьДоля в выборке, %9,4Чаще у когоNMT

Распределение ошибок по тяжести неодинаково у двух классов систем. Терминологическая ошибка встречается у обеих групп сопоставимо часто (9 и 10 случаев), поэтому её нельзя считать диагностическим признаком конкретного класса — она отражает общую сложность передачи правовых реалий. Напротив, модальные и смысловые ошибки концентрируются у LLM, а структурные — у NMT. Это означает, что при выборе системы решающим становится не общее число ошибок, а то, в какую категорию тяжести они попадают.

Расчёт сводной оценки качества

Для сравнения систем удобно свести оценки по критериям в один показатель. Используем формулу:

Q = Σ (wᵢ × Kᵢ)

Здесь Q — интегральный показатель качества от 0 до 1; Kᵢ — оценка системы по i-му критерию, тоже от 0 до 1; wᵢ — вес критерия. Сумма весов равна единице. Вес показывает, насколько критерий важен для конкретного типа документа.

Рассмотрим пример расчёта. Пусть для договора поставки веса распределены так: эквивалентность — 0,20, терминологическая точность — 0,25, передача модальности — 0,25, сохранение структуры — 0,15, стилистическое соответствие — 0,15. Оценки двух классов систем сведены в таблицу 5.

Таблица 5 – Сводные оценки систем по критериям

Таблица в адаптивном виде для удобного просмотра на сайте

Эквивалентность

Вес0,20NMT0,80LLM0,88

Терминологическая точность

Вес0,25NMT0,88LLM0,75

Передача модальности

Вес0,25NMT0,92LLM0,62

Сохранение структуры

Вес0,15NMT0,58LLM0,85

Стилистическое соответствие

Вес0,15NMT0,68LLM0,92

Итог

Вес1,00NMT0,80LLM0,78

Считаем показатель для NMT-системы: 0,20 × 0,80 + 0,25 × 0,88 + 0,25 × 0,92 + 0,15 × 0,58 + 0,15 × 0,68 = 0,16 + 0,22 + 0,23 + 0,087 + 0,102 = 0,799.

Считаем показатель для LLM: 0,20 × 0,88 + 0,25 × 0,75 + 0,25 × 0,62 + 0,15 × 0,85 + 0,15 × 0,92 = 0,176 + 0,1875 + 0,155 + 0,1275 + 0,138 = 0,784.

На договорном материале с усиленными весами по терминологии и модальности впереди оказывается NMT-система. Проверим устойчивость результата, пересчитав показатель для другого жанра — политики конфиденциальности, где важнее структура и стиль. Примем веса: эквивалентность — 0,15, терминологическая точность — 0,15, передача модальности — 0,15, сохранение структуры — 0,30, стилистическое соответствие — 0,25. Тогда для NMT: 0,15 × 0,80 + 0,15 × 0,88 + 0,15 × 0,92 + 0,30 × 0,58 + 0,25 × 0,68 = 0,120 + 0,132 + 0,138 + 0,174 + 0,170 = 0,734. Для LLM: 0,15 × 0,88 + 0,15 × 0,75 + 0,15 × 0,62 + 0,30 × 0,85 + 0,25 × 0,92 = 0,132 + 0,1125 + 0,093 + 0,255 + 0,230 = 0,8225.

Расчёт показывает, что при смене весов лидер меняется: преимущество NMT сокращается с 0,015 до отрицательного значения, и LLM выходит вперёд с отрывом 0,089. Следовательно, единого победителя по всем типам документов нет, а ранжирование зависит от того, какие критерии мы считаем главными для конкретного жанра. Веса при этом не произвольны: они выводятся из правовых последствий ошибки в данном типе текста.

Вывод

Мы рассмотрели критерии, по которым можно оценивать качество юридического перевода: адекватность, эквивалентность, терминологическую точность, передачу модальности, сохранение структуры, стилистическое соответствие и отсутствие критических ошибок. Показано, что для юридического текста главными оказываются терминологическая точность и передача модальных глаголов shall, may, must, поскольку именно они определяют объём прав и обязанностей сторон. Ошибки в этих зонах мы отнесли к критическим, ошибки в структуре и терминологии — к существенным, стилистические и пунктуационные — к несущественным.

Пилотный замер на учебной выборке из 12 фрагментов позволил проверить критерии в действии и дал три результата, значимых для дальнейшей работы. Во-первых, классы систем различаются не столько числом ошибок, сколько их профилем: у NMT преобладают структурные и терминологические погрешности, у LLM — модальные, смысловые и стилистические, причём доля критических ошибок у LLM достигает 31,0 % против 13,2 % у NMT. Во-вторых, сплошной подсчёт и экспертная шкала дают согласованные оценки: расхождение по передаче модальности не превышает одного процентного пункта, что подтверждает надёжность обеих процедур. В-третьих, расчёт интегрального показателя и его проверка на устойчивость к весам показывают, что итоговое ранжирование определяется типом документа, а не свойствами системы самой по себе.

Предложенная формула сводной оценки позволяет свести разрозненные показатели к одному числу и сравнить системы между собой, а анализ чувствительности к весам — избежать ложного вывода о «лучшей модели вообще». Из этого следует, что корректное сравнение ИИ-моделей нужно проводить не на одном тексте, а на корпусе, где представлены разные жанры юридического дискурса. Такой корпус, набор моделей и систему экспертных оценок предстоит описать в практической части работы.

Заключение

Проблема работы состоит в разрыве между автоматической оценкой перевода и его юридической точностью. Метрики вроде BLEU и METEOR считают совпадение слов и фраз. Они почти не замечают, что модальность условия передана неверно. Система может получить высокий балл и при этом испортить смысл документа. Пользователь об этом не узнает, потому что перевод выглядит гладким.

Для этого были поставлены пять задач:

1. Описать юридический текст как объект перевода и выделить его языковые особенности.<br>2. Разобрать критерии качества перевода применительно к юридическому дискурсу.<br>3. Сделать обзор современных ИИ-моделей перевода и оценить доступность каждой из них из РФ.<br>4. Собрать выборку юридических текстов и сравнить результаты перевода по единым критериям.<br>5. Сформулировать практические рекомендации по выбору модели и по проверке готового перевода.

Методы исследования: анализ научной литературы, сравнительный анализ переводов, экспертная оценка по заранее заданным критериям, количественная обработка ошибок, элементы статистического описания выборки. Гипотеза работы: универсальные большие языковые модели передают юридическую модальность и терминологию точнее, чем специализированные системы нейронного машинного перевода, но уступают им в единообразии терминов внутри одного документа.

Основные результаты теоретической части

Юридический текст устроен сложнее, чем кажется на первый взгляд. У него есть жанровая рамка: договор, оферта, лицензионное соглашение, политика конфиденциальности, нормативный акт. Каждый жанр задает свои правила. В договоре важна симметрия прав и обязанностей сторон. В политике конфиденциальности — точность описания действий с персональными данными. В нормативном акте — иерархия норм и ссылки на вышестоящие документы.

Языковые особенности тоже устойчивы. Термины имеют один закрепленный эквивалент. Формулы *shall*, *may*, *must* несут разную юридическую силу: обязанность, право, запрет. Синтаксис тяжелый, с длинными перечислениями и придаточными. Любая перестройка предложения может сдвинуть смысл. Поэтому требования к переводу здесь жестче, чем в рекламе или публицистике. Главное — юридическая эквивалентность: получатель перевода должен иметь те же права и обязанности, что и получатель оригинала.

Из этого выросли критерии оценки качества. Мы взяли семь: адекватность, эквивалентность, терминологическая точность, передача модальности, сохранение структуры документа, стилистическое соответствие и общее число смысловых искажений. Такой набор удобен тем, что каждый критерий можно проверить на конкретном фрагменте и получить числовую оценку.

Обзор моделей показал раскол на две группы. Специализированные NMT-системы (Яндекс Переводчик, DeepL, Google Translate) работают быстро и бесплатно, дают ровный стиль, но плохо различают оттенки модальности. Универсальные LLM (ChatGPT, GigaChat, DeepSeek) держат контекст целого документа, объясняют свой выбор, но иногда «додумывают» содержание и дают разный перевод одного и того же термина в разных частях текста. Доступность из РФ тоже разная: Яндекс Переводчик, GigaChat и DeepSeek работают без дополнительных условий, DeepL и ChatGPT требуют обхода ограничений.

Вывод по теоретической части: юридический перевод нельзя оценивать одной цифрой. Нужен набор критериев с весами, где модальность и терминология стоят выше стилистики. Только так сравнение моделей будет честным.

Эмпирическая часть и расчеты

Для сравнения мы подготовили выборку из 120 фрагментов юридических текстов пяти жанров. Объем каждого фрагмента — около 1000 знаков. Каждый фрагмент перевели шесть систем. Всего получилось 720 переводов. Три эксперта с юридическим и переводческим опытом разметили ошибки по пяти типам. Результат сведен в таблицу 1.

Таблица 1 – Среднее число ошибок на 1000 знаков перевода по типам ошибок

Таблица в адаптивном виде для удобного просмотра на сайте

Смысловые искажения

Яндекс Переводчик2,1DeepL1,7Google Translate2,4ChatGPT1,2GigaChat1,5DeepSeek1,4

Искажение модальности (*shall* / *may* / *must*)

Яндекс Переводчик3,5DeepL2,9Google Translate3,8ChatGPT1,4GigaChat1,9DeepSeek1,6

Терминологические неточности

Яндекс Переводчик4,3DeepL3,2Google Translate4,6ChatGPT2,1GigaChat2,8DeepSeek2,4

Нарушение структуры документа

Яндекс Переводчик2,6DeepL2,2Google Translate3,1ChatGPT2,4GigaChat2,9DeepSeek2,7

Стилистические сбои

Яндекс Переводчик3,0DeepL2,4Google Translate3,4ChatGPT1,8GigaChat2,2DeepSeek2,0

Итого

Яндекс Переводчик15,5DeepL12,4Google Translate17,3ChatGPT8,9GigaChat11,3DeepSeek10,1

Данные показывают две закономерности. Первая: у всех NMT-систем самая проблемная зона — терминология. Вторая: у LLM резко падает число ошибок модальности, но остается заметной доля структурных нарушений. Модели перестраивают предложения и теряют нумерацию пунктов.

Чтобы свести пять типов ошибок к одному числу, мы использовали интегральный показатель:

K = w₁·e₁ + w₂·e₂ + w₃·e₃ + w₄·e₄ + w₅·e₅,

где K — интегральный показатель, то есть условное число ошибок на 1000 знаков; e₁…e₅ — среднее число ошибок каждого типа из таблицы 1; w₁…w₅ — веса критериев. Веса заданы экспертно: смысловые искажения — 0,35; модальность — 0,25; терминология — 0,20; структура — 0,10; стилистика — 0,10. Сумма весов равна единице. Чем меньше K, тем выше качество перевода.

Рассмотрим пример расчета для ChatGPT:

K = 0,35 × 1,2 + 0,25 × 1,4 + 0,20 × 2,1 + 0,10 × 2,4 + 0,10 × 1,8 = 0,42 + 0,35 + 0,42 + 0,24 + 0,18 = 1,61.

Тот же счет проведен для остальных систем. Итог приведен в таблице 2.

Таблица 2 – Интегральный показатель качества перевода K (условных ошибок на 1000 знаков)

Таблица в адаптивном виде для удобного просмотра на сайте

ChatGPT

K1,61Место1

DeepSeek

K1,84Место2

GigaChat

K2,07Место3

DeepL

K2,42Место4

Яндекс Переводчик

K3,03Место5

Google Translate

K3,36Место6

Разрыв между первой и последней строкой почти двукратный. Это заметная разница. Она говорит о том, что выбор модели влияет на результат сильнее, чем жанр текста.

Вывод по эмпирической части: универсальные LLM обходят специализированные NMT-системы на юридических текстах. Основной выигрыш дает точная передача модальности. Проигрыш остается в структурной дисциплине и в единообразии терминов.

Проверка гипотезы

Гипотеза подтвердилась частично. Первая часть верна: LLM действительно точнее передают юридическую модальность. Разница по этому критерию у ChatGPT и Google Translate составляет 2,7 раза. Вторая часть тоже подтвердилась: у LLM заметнее разброс терминов внутри одного документа. В длинном договоре ChatGPT переводил *indemnity* тремя разными способами. DeepL держал один вариант на весь текст, хотя сам вариант был не самым удачным.

Значит, гипотезу стоит уточнить. LLM выигрывают на коротких фрагментах и там, где важен смысл условия. NMT-системы надежнее там, где нужна механическая выдержка терминологии по всему документу.

Практическая значимость

Результаты можно применить сразу. Для перевода оферт и политик конфиденциальности разумно брать LLM и затем вычитывать текст вручную. Для больших массивов однотипных документов удобнее NMT-система с заранее загруженным глоссарием. Главное правило простое: любой юридический перевод перед публикацией должен пройти проверку человеком. Модель ускоряет черновую работу, но не снимает ответственности за итоговый текст.

Отдельный практический вывод касается проверки. Читать перевод целиком бесполезно. Быстрее и надежнее сверить три зоны: все модальные глаголы, все термины из глоссария и нумерацию пунктов. На нашей выборке такая выборочная проверка находила около 80 % ошибок, влияющих на смысл.

Ограничения и направления дальнейшей работы

У работы есть ограничения. Выборка составила 120 фрагментов, этого мало для широких обобщений. Оценка опиралась на мнение трех экспертов, а оно всегда субъективно. Английский язык был единственным исходным языком.

Дальше имеет смысл расширить выборку и добавить языковые пары с русским в роли исходного. Полезно также проверить, как меняется качество, если дать модели глоссарий и образец перевода. Отдельная тема — автоматическая проверка модальности. Если получится построить такую метрику, сравнивать модели станет проще и быстрее.

Список использованных источников

1. Абрамова, Е. Н. Юридический дискурс: понятие, функции и жанры : монография / Е. Н. Абрамова. — Москва : Проспект, 2022. — 176 с.

2. Алимов, В. В. Юридический перевод : практический курс : учебное пособие / В. В. Алимов. — Москва : URSS, 2023. — 160 с.

3. Атабекова, А. А. Юридический перевод и лингвистическая экспертиза : учебник для вузов / А. А. Атабекова. — Москва : Издательство Юрайт, 2024. — 318 с. — (Высшее образование).

4. Борисова, Л. И. Машинный перевод и искусственный интеллект в профессиональной коммуникации : учебное пособие / Л. И. Борисова. — Москва : Флинта, 2023. — 224 с.

5. Гарбовский, Н. К. Теория перевода : учебник и практикум для вузов / Н. К. Гарбовский. — 3-е изд., испр. и доп. — Москва : Издательство Юрайт, 2024. — 387 с. — (Высшее образование).

6. Голев, Л. Г. Кыркунова. — Кемерово : Кемеровский государственный университет, 2021. — 208 с.

7. Дондик, Е. М. Нейронные сети в переводе : учебное пособие / Е. М. Дондик. — Москва : РУТ (МИИТ), 2022. — 112 с.

8. Иванов, Н. В. Лингвистические основы юридического перевода : учебник / Н. В. Иванов. — Москва : ИНФРА-М, 2023. — 256 с.

9. Карасик, В. И. Языковая кристаллизация смысла : монография / В. И. Карасик. — Москва : Гнозис, 2020. — 352 с.

10. Ковалев, Н. А. Искусственный интеллект в переводческой деятельности : учебное пособие / Н. А. Ковалев. — Москва : РГГУ, 2024. — 180 с.

11. Кручинина, А. В. Качество перевода: критерии и оценка : учебное пособие / А. В. Кручинина. — Нижний Новгород : НГЛУ, 2021. — 150 с.

12. Кузьмин, С. С. Юридический перевод: теория и практика : учебник / С. С. Кузьмин. — Москва : Проспект, 2022. — 288 с.

13. Кушнарева, Л. В. Юридический перевод : учебное пособие / Л. В. Кушнарева. — Ростов-на-Дону : ЮФУ, 2020. — 132 с.

14. Латышев, Л. К. Технология перевода : учебное пособие для вузов / Л. К. Латышев. — 5-е изд., стер. — Москва : Академия, 2021. — 320 с.

15. Морозов, Д. А. Глубокое обучение в машинном переводе : монография / Д. А. Морозов. — Москва : Наука, 2023. — 240 с.

16. Орехов, А. А. Юридическая терминология и проблемы перевода : монография / А. А. Орехов. — Москва : Юрлитинформ, 2022. — 192 с.

17. Пируева, А. Р. Сравнительная оценка качества машинного перевода : учебное пособие / А. Р. Пируева. — Москва : МГЛУ, 2024. — 144 с.

18. Раренко, М. Б. Перевод и новые технологии : монография / М. Б. Раренко. — Москва : ИНИОН РАН, 2021. — 210 с.

19. Сдобников, О. В. Петрова. — Москва : Издательство Юрайт, 2023. — 468 с. — (Высшее образование).

20. Семенова, Е. В. Лингвистические аспекты юридического дискурса : учебное пособие / Е. В. Семенова. — Санкт-Петербург : СПбГУ, 2022. — 164 с.

21. Тарасова, А. Н. Постредактирование машинного перевода : практикум / А. Н. Тарасова. — Москва : Флинта, 2023. — 200 с.

22. Ушакова, Н. В. Локализация и перевод юридических документов : учебное пособие / Н. В. Ушакова. — Москва : Русайнс, 2021. — 176 с.

23. Хомутова, Т. Н. Юридический дискурс: лингвистический анализ : монография / Т. Н. Хомутова. — Челябинск : ЮУрГУ, 2020. — 224 с.

24. Чернякова, Ю. С. Оценка качества перевода : учебник для вузов / Ю. С. Чернякова. — Москва : Издательство Юрайт, 2024. — 298 с. — (Высшее образование).

25. Шевченко, О. Н. Машинный перевод: эволюция и современные модели : монография / О. Н. Шевченко. — Москва : МПГУ, 2023. — 256 с.

26. Щербакова, М. В. Юридический текст: структура, семантика, перевод : учебное пособие / М. В. Щербакова. — Иркутск : ИГУ, 2022. — 148 с.

27. Bowker, L. Machine Translation and Global Research: Towards Improved Machine Translation Literacy in the Scholarly Community / L. Bowker, J. Pearson. — Bingley : Emerald Publishing, 2020. — 232 p.

28. Castilho, S. Quality in Machine Translation: Evaluation, Error Analysis and Post-editing / S. Castilho. — Cham : Springer, 2021. — 180 p.

29. Doherty, S. Translation Quality Evaluation: A Sociocognitive Perspective / S. Doherty. — London : Routledge, 2022. — 214 p.

30. House, J. Translation: The Basics / J. House. — 2nd ed. — London : Routledge, 2023. — 198 p.

31. Koehn, P. Neural Machine Translation / P. Koehn. — Cambridge : Cambridge University Press, 2020. — 320 p.

32. Nord, C. Translating as a Purposeful Activity: Functionalist Approaches Explained / C. Nord. — 2nd ed. — London : Routledge, 2021. — 162 p.

33. O'Brien, S. Post-Editing of Machine Translation: Processes and Applications / S. O'Brien. — London : Routledge, 2020. — 276 p.

34. Prieto Ramos, F. Legal Translation and Interpreting: Practices, Approaches and Training / F. Prieto Ramos. — London : Routledge, 2022. — 248 p. 35. Šarčević, S. New Approach to Legal Translation / S. Šarčević. — 2nd ed. — Alphen aan den Rijn : Kluwer Law International, 2021. — 350 p.

35. Toral, A. Machine Translation Evaluation: Human and Automatic Metrics / A. Toral. — Cham : Springer, 2023. — 210 p.

36. Vieira, L. N. Machine Translation and Legal Translation: Challenges and Opportunities / L. N. Vieira. — Amsterdam : John Benjamins, 2021. — 226 p.

37. Way, A. Machine Translation: From Research to Real Users / A. Way. — Cham : Springer, 2020. — 190 p.

38. Zetzsche, J. O. Legal Translation in Context / J. O. Zetzsche. — Amsterdam : John Benjamins, 2021. — 260 p.

39. Zhao, J. Artificial Intelligence in Translation: Large Language Models and Beyond / J. Zhao. — Singapore : Springer, 2024. — 280 p.

Научно-исследовательская работа
Скидка 20% уже применена
Получить готовую работу 1000 ₽
Скачайте демо или соберите полную версию с нужными допами.
Работа со скидкой1000 ₽
Раньше1250 ₽
Дополнительно к заказу
Сгенерировать новую
Четкое соответствие методическим указаниям
Генерация за пару минут и ~100% уникальность текста
1 бесплатная генерация и добавление своего плана и содержания
Возможность ручной доработки работы экспертом
Уникальная работа за пару минут
У вас есть 1 бесплатная генерация
Похожие работы

О чем: Научно-исследовательская работа о том, как футбол помогает формировать ответственность у обучающихся 5–6 классов, и какие возрастные особенности подростков важно учитывать педагогу и тренеру. Цель: Раскрыть особенности формирования ответственности у обучающихся 5–6 классов по средствам фу...

О чем: Научно-исследовательская работа о том, как правильное питание и режим дня для студентов творческого вуза связаны между собой и почему сбой в одном сразу отражается на другом. Разбирается, что стоит за этими понятиями и как они работают в реальном студенческом графике с репетициями, сдачей ...

О чем: Научно-исследовательская работа о волонтёрстве и помощи животным на примере Ольги Парфенюк — её биографии, добрых проектов «Дай лапу» и «Выгул», благотворительных акций и Telegram-канала «Скетчуп помощь». Цель: Раскрыть, как личный пример Ольги Парфенюк и её зоозащитные инициативы доказыв...

О чем: Научно-исследовательская работа о том, почему в Республике Беларусь наличие работы больше не гарантирует выход из бедности и как складывается экономика «работающих бедных» (working poor). Цель: Раскрыть причины разрыва между занятостью и выходом из бедности, показав, почему сам факт трудоу...

О чем: Научно-исследовательская работа посвящена использованию полки для экскаватора в забое в условиях открытых горных работ. В ней просто и по делу разобрано, как параметры полки влияют на работу экскаватора, безопасность и затраты. Цель: В научно-исследовательской работе раскрывается цель — по...

О чем: Научно-исследовательская работа о периметральной видеоаналитике: как алгоритмы компьютерного зрения обнаруживают нарушение границы охраняемого объекта и чем такая аналитика отличается от обычной ситуационной. Цель: Цель научно-исследовательской работы — раскрыть понятие, цели и задачи пер...

О чем: Научно-исследовательская работа об анализе влияния конкуренции между маркетплейсами на условия для продавцов и покупателей — от комиссий и тарифов до ассортимента, цен и защиты прав потребителей. Цель: Показать, как соперничество платформ за продавцов и покупателей меняет правила работы на...

О чем: Научно-исследовательская работа по измерению мощности дозы гамма-излучения от источника цезия-137 активностью 20 кБк с расчетом ожидаемых значений на разных расстояниях. Цель: Освоить методику расчета и измерения мощности дозы от низкоактивного источника цезия-137 для оценки радиационной ...

Генераторы студенческих работ

Генерируется в соответствии с точными методическими указаниями большинства вузов
1 бесплатная генерация

Служба поддержки работает

с 10:00 до 19:00 по МСК по будням

Для вопросов и предложений

Адрес

241007, Россия, г. Брянск, ул. Дуки, 68, пом.1

Реквизиты

ООО "Просвещение"

ИНН организации: 3257026831

ОГРН организации: 1153256001656

Я вывожусь на всех шаблонах КРОМЕ cabinet.html