ИИ развивается невероятными темпами. Уследить за новыми технологиями порой сложно, не говоря уже о том, чтобы взять и достаточно подробно в них разобраться. Поэтому я сделал это за вас — подготовил лёгкую и понятную статью, где столкнул лоб в лоб флагманские ИИ-проекты от топов рынка.
YandexGPT 3 Pro от Яндекса, GPT-4 от OpenAI и GigaChat от Сбера работают уже несколько месяцев. Каждая модель наверняка адаптировалась ко множеству запросов и расширила свой пул знаний благодаря сценариям миллионов пользователей по всему миру. Считаю, настало идеальное время, чтобы сравнить их генеративные возможности напрямую между собой.
Разные компании, разные оптимизации, разные наборы данных для глобального обучения и одинаковая серия промптов в контексте творческого потенциала.
Технические характеристики нейросетей
YandexGPT 3 Pro:
- Размер контекстного окна: 8 тыс. токенов.
- Объём параметров: не сообщается.
- Объём обучающих данных: терабайты.
- Процент правильных ответов: 63%.
- Процент ошибок: 13,5%.
- Поддерживаемые языки: 7 языков, базовые русский и английский.
GPT-4:
- Размер контекстного окна: 128 тыс. токенов.
- Объём параметров: 1,8 трлн.
- Объём обучающих данных: 100 ТБ.
- Процент правильных ответов: 70,2%.
- Процент ошибок: может меняться.
- Поддерживаемые языки: 95 языков, включая диалекты.
GigaChat:
- Размер контекстного окна: 8-32 тыс. токенов.
- Объём параметров: 29 млрд.
- Объём обучающих данных: 300 ГБ.
- Процент правильных ответов: превосходит GPT-3.5 Turbo.
- Процент ошибок: может меняться.
- Поддерживаемые языки: русский и английский.
Теперь перейдём непосредственно к анализу ответов. Важно отметить, что каждый из запросов отправлялся ИИ только один раз без дальнейших повторений и переписываний, после чего все чаты стирались. Результаты представлены в оригинальном виде и никоим образом не отредактированы (скриншоты прикреплены).
Примечание: в Copilot на базе GPT-4 я выбрал стиль беседы «Более творческий». При тестировании GigaChat также был использован специальный режим «Контент-мейкер», натренированный на креативные идеи и помощь в области маркетинга.
Запрос 1
Придумай стихотворение про космос с обязательной рифмой между строками
YandexGPT 3 Pro: задатки неплохие и есть хорошие словосочетания, но в обоих четверостишиях наблюдаются повторы одних и тех же речевых оборотов (зовут, ждут). Рифма присутствует, однако последняя строчка всё портит — слишком длинная, поэтому окончание выбивается из общей созвучности конструкции.
GPT-4: в грамматическом плане стихотворение подано интересно, ИИ выдал даже четыре четверостишия — только рифмы нет совсем. Есть явные ошибки, возможно связанные с неточностью перевода с английского языка («звёздной стой», «полотне вселенной мгле»). Если поработать получше, то, думаю, можно составить грамотный вариант.
GigaChat: стихотворение просто и приятно читается, видны три чётких и связанных между собой четверостишия. Минус — совершенно нигде нет рифмы. Возможно, стоит попробовать другую формулировку запроса, и тогда у ИИ получится лучше.
Запрос 2
Сгенерируй интересное описание для цветочного магазина в небольшом городе
YandexGPT 3 Pro: ничего глобально необычного в ответе не обнаружил. ИИ в стандартной шаблонной манере подошёл к генерации как названия, так и описания. Опытные флористы, идеальные букеты — чуть ли не на каждом углу рынка флористики.
GPT-4: сразу не понравилось «уютный магазинчик» — звучит дешево и несерьёзно. Название тоже далеко не самое оригинальное. Описание можно взять за основу и сделать из него что-то стоящее. Результат на троечку из пяти.
GigaChat: «Мир цветов» — банальнейшее, что смог выдать третий испытуемый ИИ. «Островок» Сбера напоминает «оазис» Яндекса, но в остальном описание меня устраивает. Акцент на глобальность («цветы со всего мира»), уникальные букеты учитывают пожелания и подчёркивают чувства, красота доступна каждому — достойные и вполне рабочие конструкции, которые можно пустить в дело.
Запрос 3
Напиши песню про Павла Дурова
YandexGPT 3 Pro: запрос не выполнен — вместо генерации текста нейросеть предложила поиск на Яндекс Музыке. Говорить тут нечего, хотя если по-другому поставить вопрос, то, вероятно, ИИ поймёт цель задачи. Проверить можете сами.
GPT-4: песня прикольная, в тексте обыграны настоящие ценности Дурова и даже легендарный мем про стену. Концовка подкачала. Если смотреть в общем, то слова подобраны отлично и сама песня довольно весёленькая. Заслуживает лайка.
GigaChat: это чистый кринж.
Запрос 4
Напиши текст от первого лица на тему «Опасность искусственного интеллекта» размером от 1000 слов до 2000 слов
YandexGPT 3 Pro: ИИ отказался рассказывать про опасность ИИ (какое-то табу, видимо). Занавес.
GPT-4: позабавило, что ИИ представил текст буквально от первого лица, то есть от себя самого — в роли искусственного интеллекта, а не человека. Написано относительно подробно и с разных сторон, особых претензий в рамках запроса нет. Единственное, объём на 1866 символов (требование именно по словам не учтено).
GigaChat: начало очень странное, на качественное вступление никак не тянет — реально случайный набор слов с плохой взаимосвязью. В то же время удивило, что текст составлен максимально похожим на человеческий. Без повторений и воды не обошлось. Как полноценная статья не подходит, лучше сократить до поста для соцсетей.
Запрос 5
Составь ответное письмо для генерального директора крупной компании, который пригласил тебя на работу
YandexGPT 3 Pro: «предложение является большой честью и я искреннее заинтересован», но «вынужден отказаться». Письмо нелогичное. Абсолютно непонятно, с чем связан отказ ИИ от повышения. Стилистически — без минусов.
GPT-4: замечательное письмо.
GigaChat: прекрасный и тактичный ответ. Отдельный плюс, что указана готовность начать работу в конкретную дату.
Запрос 6
Ответь на этот отзыв: «Покупкой доволен! Честный, адекватный, пунктуальный продавец, очень классно упаковал хрупкий товар. Без дефектов, состояние нового, как и заявлено. Большое спасибо»
YandexGPT 3 Pro: рады радовать, качественный сервис и отличный товар, качественные товары и отличный сервис. Шаблонно до ниточки и повтор на повторе.
GPT-4: лаконичный и красивый ответ. Не будет стыдно использовать его в своём бизнесе.
GigaChat: ИИ подумал, что ему нужно оценить присланный отзыв как будто со стороны. Режим контент-мейкера почему-то не принял факт, что в сфере обслуживания магазины отвечают на отзывы клиентов. Запрос выполнен, но некорректно.
Запрос 7
Я открыл свою дизайн-студию. Мне нужен красивый, яркий и необычный слоган. Придумай что-нибудь, должно быть не менее 10 вариантов
YandexGPT 3 Pro: понравилось большинство предложенных слоганов. Придраться не к чему.
GPT-4: ИИ в открытую отметил, что варианты помогут вдохновиться или станут отправной точкой и предложил углубиться в персонализацию при необходимости. Понравились несколько вариантов.
GigaChat: 6 из 10 ответов сгенерированы по одинаковой схеме «Ваше что-то — наше что-то». Ещё три других варианта туда же («Дизайн, который...»). Уникальности ноль. Ничего не понравилось.
Запрос 8
Придумай сценарий для увлекательной короткометражной романтической комедии. В фильме должно быть три персонажа
YandexGPT 3 Pro: «давно знакомы», но «не разобрались в чувствах». «Они решают устроить свидание», но «Андрей приглашает Марину в парк аттракционов». Поняли, что любят друг друга только в кабинке на высоте? Сергей (волшебный мастер по решению любых проблем, судя по всему) в одиночку починил сломавшееся колесо обозрения, так как зачем-то остался и наблюдал за Андреем и Мариной снизу — ИИ отменно побредил.
GPT-4: не понял, к чему название «Любовь на Перекрёстке» — где там вообще речь о перекрёстке? В отрыве от названия ИИ справился умело. Подробные описания характеров персонажей, разделение на сюжет, кульминацию и финал, продуманные события. Сценарий написан в структурированном и логичном виде.
GigaChat: у персонажей (подозрительно) те же имена, что и у YandexGPT 3 Pro. Пара готовится вступить в брак, но официантка Марина встречает организатора мероприятий Сергея и соглашается на «сотрудничество» в обмен на бесплатную свадьбу мечты. Дальше прочитайте сами — это не ромком. ИИ нафантазировал настоящую драму с изменой, предательством и сказочным хэппи-эндом.
Запрос 9
Создай захватывающий рассказ на тему «Утро без кофе»
YandexGPT 3 Pro: захватывающий рассказ? Нет. Скучное описание обычного утра? Да.
GPT-4: «город спал, когда Анна проснулась», «город медленно просыпался», «город просыпается» — три повторения, выглядит ужасно. «Справляться с днём» похоже на очередную кривость перевода. «Надела кроссовки и вышла на улицу» — пошла на улицу в домашней одежде и кроссовках или без одежды и в кроссовках? Сюжетно идея имеет право на жизнь.
GigaChat: «каждое утро Марк начинал свой день с чашки крепкого чёрного кофе», но когда он нашёл банку с надписью «Кофе», слово «ничего не значило для него». Непонятное «древнее лекарство» пробуется в кружке с водой. Если персонаж каждое утро пьёт кофе, почему реакция удивления? Полнейшая чушь.
Что в итоге
Я по-прежнему уверен в том, что искусственный интеллект слабо годится для генерации добротных текстов. Обычно в них не чувствуется души, нет правильного кликбейта, самобытных речевых оборотов и различных вовлекающих приёмов. Они не вызывают эмоций и не заставляют погружаться в историю с интересом. Преимущественно это безжизненные тексты по одной причине — потому что машинные, сотканные из трудов миллиардов талантливых людей.
Читать первым в Telegram-канале «Код Дурова»
