7 октября 2024

eur = 104.74 -0.12 (-0.12 %)

btc = 63 389.00$ 1 453.30 (2.35 %)

eth = 2 483.01$ 66.99 (2.77 %)

ton = 5.33$ 0.14 (2.61 %)

usd = 94.87 -0.16 (-0.16 %)

eur = 104.74 -0.12 (-0.12 %)

btc = 63 389.00$ 1 453.30 (2.35 %)

Форум

Яндекс представил новую версию машинного перевода

2 минуты на чтение
Яндекс представил новую версию машинного перевода

Читать первым в Telegram-канале «Код Дурова»

Большая языковая модель YandexGPT подготовила эталонные примеры текстов, на которых обучили нейросеть в Яндекс Переводчике, сообщили в пресс-службе Яндекса.

Это позволило сервису точнее понимать контекст, распознавать фразеологизмы и ориентироваться в профессиональной лексике. Он лучше справляется с длинными и сложными текстами, лучше определяет взаимосвязи внутри предложений и между ними.

Также выросло качество перевода статей узконаправленной тематики:

Изображение: Яндекс
Например, сервис теперь поймёт по контексту, что речь идёт о языке программирования или фондовом индексе, и оставит их названия без перевода.

Обновлённая технология используется для перевода текстов с английского на русский язык в Яндекс Переводчике, Поиске, а также в переводе видео в Браузере.

  • Технологию машинного перевода Яндекс мспользует на основе нейросетей с 2018 года. Нейросеть в Переводчике обучалась только на парах текстов — оригиналах и их переводе на другой язык.
  • Так она училась видеть взаимосвязи между ними и подражать им.
  • Нейросеть, работающая в сервисе, легковесная: это позволяет ей справляться с большим количеством пользовательских запросов в реальном времени.
Большая языковая модель YandexGPT способна генерировать сложные, лексически и стилистически разнообразные тексты, в том числе со специфической терминологией. Поэтому компания использовала её потенциал для создания эталонных примеров, чтобы расширить датасет и повысить его качество. Так нейросеть в Переводчике не утратила скорость своей работы, но стала умнее.

Яндекс заявил, что для генерации эталонных обучающих примеров компания разработала специализированную модель семейства YandexGPT, адаптировав её под задачи перевода:

Изображение: Яндекс
Сначала модель во время этапа pretraining проанализировала множество текстов на английском и русском языках и изучила правила лексики, морфологии и синтаксиса. Следующим этапом шла тонкая настройка языковой модели (supervised finetuning) под задачи перевода. Затем на этапе reinforcement learning AI-тренеры оценивали качество перевода YandexGPT и ранжировали её ответы от лучших к худшим.

Компания утверждает, что работу дообученной нейросети в Переводчике оценивали методом Side by Side (SbS). Асессоры, владеющие русским и английским, сравнивали пары длинных и сложных текстов, переведённых при помощи двух версий технологии, и выбирали лучший вариант:

  • В 57% случаев новая версия справлялась лучше.

Заглавное изображение: Яндекс

Сейчас читают

Картина дня

5 октября, 2024
5 октября, 20243 минуты на чтение
Фото Влад Войтенко
Влад Войтенко
3 минуты на чтение
[ Новости ]
[ Статьи ]
Личный опыт работы
Блоги 273