Разбор семейства виртуальных ассистентов Салют от Сбера — три персонажа, три характера

В рамках конференции СберКонф состоялась презентация виртуальных ассистентов Салют. Это первое в мире семейство AI-ассистентов, которое включает в себя три различных персонажа с разным характером — Сбер, Афина и Джой.

Уникальность продукта заключается в том, что можно выбирать того ассистента, который ближе всего по духу. У каждого из них есть свои имя, голос, характер и манера общения. Они не только отвечают на вопросы пользователя, но и интересуются вкусами, предпочтениями и фактами из жизни человека. Это позволяет ассистентам побольше узнать человека, чтобы использовать знания при последующем общении.

Главное отличие всех персонажей — внимание к пользователю. Ведь это то, что добавляет человечности в общение. Семейство Салют — это ассистенты, которые делают жизнь удобнее, — заявил CEO SberDevices Константин Круглов.

И что самое важное — помимо речи, которая преобладает уникальными эмоциями, ассистенты способны распознавать жесты. Они также могут управлять сенсорным интерфейсом или с помощью пульта. С ними можно и еду заказать, и деньги на карту перевести, и просто поболтать.

Для этого достаточно произнести слово «Салют!». Да-да, это не только название семьи ассистентов. Слово произносится очень легко, к тому же — это понятное международное приветствие, пусть и не сильно распространённое в ежедневном речевом обиходе россиян.

Знакомство с ассистентами

Сбер

Это зелёный лава-шар с мужским голосом, который обращается к пользователю на «вы». В его образе собраны лучшие качества современного молодого человека, работающего в сфере высоких технологий. Мягкое чувство юмора, открытый характер без навязчивости и широкий кругозор. Кажется, это незаменимый ассистент.

Речь данного персонажа была синтезирована на основе голоса актёра дубляжа Даниила Щебланова. В России он озвучивает героев Райана Гослинга.

Кстати, система нейросетевого синтеза речи тоже является собственной разработкой Сбера. Она основана на рекуррентно-сверточной архитектуре Tacotron/Tacotron-2.

Афина

А это уже голубой лава-шар с женским голосом. Образ собранной и спокойной молодой девушки, которая помогает пользователю структурировать дела. Никакой лени! Афина хочет видеть в своём собеседнике максимально продуктивного человека.

Кстати, она предпочитает артхаусное кино, а ещё читает и слушает мировую классику. Возьмите на заметку, будет о чём поговорить. Её речь синтезирована на основе голоса телеведущей Анастасии Чернобровиной.

Впервые в пользовательском решении при подготовке ответа на запрос человека использована генеративная нейросетевая модель. Она представляет собой улучшенный вариант сети GPT-2. При общении с человеком нейросеть может даже складывать новое предложение из слов или их фрагментов.

Джой

Джой — оранжевый лава-шар с женским голосом. Ассистент обращается к пользователю на «ты», то есть это эдакий свободный и эмоциональный персонаж с характером экстраверта. При этом личные границы пользователя Джой уважает, это важно.

Этот ассистент представляет из себя очень жизнерадостного и яркого собеседника, помогающего решать бытовые вопросы и освобождать пользователя от настоящей жизни. Синтез речи персонажа сделан на основе голоса российской актрисы дубляжа Татьяны Ермиловой.

Система распознавания и анализа речи, основанная на сверточных нейронных сетях и трансформерах, способна не только быстро и с рекордным качеством распознать речь пользователя, но и определять интонации и эмоциональную окраску речи.

Навыки ассистентов

Сбер, Афина и Джой способны на многое, а всё потому, что работают на основе облачных технологий с помощью самого мощного в России суперкомпьютера Сбера «Кристофари», который был разработан в Nvidia.

Ассистенты обладают множествами навыков, которые можно загружать из библиотеки приложений SmartMarket. Но уже на старте они могут следующее:

• переводить деньги, оплачивать мобильную связь, заказывать и оплачивать снеки, записать пользователя в салон красоты или к врачу;
• инициировать видеозвонок, включать фильм или музыку, делиться рецептами и помогать с готовкой, находить общую справочную информацию, выдавать персонализированные ответы (музыка, фильмы, новости, напоминания и т.д.);
• ставить будильник и таймер, подсказывать точное время в разных городах, рассказывать о погоде;
• распознавать одежду героев фильмов и предлагать купить оригинал или аналог в интернет-магазине прямо во время просмотра.

Где живёт Салют?

Совсем скоро семейство виртуальных ассистентов появится в приложениях Сбербанк Онлайн и Сбер Салют. Ассистенты будут интегрированы в умные устройства от SberDevices — SberBox и SberPortal. Подробнее про последний продукт «Код Дурова» рассказывал в отдельной заметке:

В Сбере заявляют, что в перспективе семейство ассистентов должно объединить возможности многих сервисов экосистемы Сбер в едином удобном окне.