Тестировщики Google признались, что оценивали ответы чат-бота Bard наугад

1 минута на чтение
Тестировщики Google признались, что оценивали ответы чат-бота Bard наугад

Подрядчики Google в проекте по оценке ответов чат-бота Bard из-за нехватки времени часто ставили оценки на ответы ИИ по сложным запросам наугад.

Сотрудникам Appen было поставлено задание в краткие сроки помочь Google отфильтровать неправильные ответы и научить чат-бота связности и точности. Обычно эти люди занимаются оценкой поисковых алгоритмов техногиганта и рекламных объявлений, отображаемых в выдаче, а также отфильтровывают опасные сайты, чтобы они не оказались в выдаче.

В рамках своей работы подрядчики видели запрос чат-боту от пользователя для чат-бота вместе с двумя возможными ответами ИИ. Они должны были оценить, какой ответ лучше. При необходимости сотрудники также могли уточнить в отдельном текстовом поле, почему они выбрали один ответ вместо другого, чтобы помочь чат-боту понимать, какие именно атрибуты следует искать в приемлемых ответах.

Зачастую тестировщикам нужно было выбрать за минуту правильный ответ на генерацию от Bard по запросам на разную тематику. В большинстве случаев из-за сложности ответа или непонимания темы сотрудники не могли осмысленно подойти к оценке и выбирали наугад правильную форму ответа, чтобы перейти к следующей задаче и выполнить нужный объём работ вовремя, поскольку Google не платила им за переработки и поставила сжатые временные рамки на задачу.

В итоге часть ответов чат-бота не была проверена должным образом. По мнению сотрудников Appen, более скрупулёзный анализ ответов Bard требует по несколько часов, так как, в случае неправильного ответа, подрядчикам нужно было в развёрнутом виде письменно обозначить неточности в ответах чат-бота и передать эту информацию в Google.

Читать первым в Telegram-канале «Код Дурова»

Важные новости коротко — от GigaChat Max 
1-bg-изображение-0
img-content-1-изображение-0

GigaChat Max: коротко о главном

Как изменился Код Дурова вместе с GigaChat Max?

Узнай о всех возможностях в FAQ-статье 
ace5efcf-6000-4180-aea1-2cf9c0c1ce81-изображение-010827fb3-c8c6-438f-ae6f-b0af58ba929e-изображение-1bbd14036-d9e9-4867-bc06-bff7bda7646f-изображение-2

GigaChat Max: коротко о главном

CMF представила наушники Buds 2a, Buds 2 и Buds 2 Plus. Цены в России

Полная версия 
74bd9822-9531-4c79-8cf3-b7ab78d7fbe4-изображение-0

GigaChat Max: коротко о главном

ВКонтакте упростила получение верификации

Полная версия 

Реализовано через GigaChat Max 

Сейчас читают
Карьера
Блоги 345
билайн
Газпромбанк
Т-Банк
МТС
X5 Tech
Сбер
Яндекс Практикум
Ozon Tech
Циан
Банк 131