Голосовой помощник научили распознавать беззвучные команды

1 минута на чтение
Голосовой помощник научили распознавать беззвучные команды

Разработчики из Университета Цинхуа разработали голосовой помощник для смартфонов, который распознаёт команды по движениям губ пользователя. Эта технология может применяться в общественных местах без риска помешать другим.

Юаньчунь Ши (Yuanchun Shi) с коллегами представили на конференции UIST 2018 статью, в которой описали технологию распознавания движений губ и перевода их в текст. Такой голосовой помощник использует фронтальную камеру и свёрточную нейросеть. Алгоритм отслеживает 20 контрольных точек, которые достаточно точно описывают форму губ, а также определяет насколько открыт рот пользователя. Это позволяет распознать начало и конец команды. Второй алгоритм расшифровывает данные. При этом пока все вычисления происходят отдельно на мощном ПК.

Для распознавания используется ограниченный набор команд — всего 44, которые относятся как к отдельным приложениям, так и к конкретным функциям, вроде включения и выключения Wi-Fi. Также поддерживаются и общесистемные задачи, вроде ответа на сообщение или выделения текста.

Разработчики утверждают, что средняя точность распознавания составила 95,5 % по результатам обучения на речи 21 человека. Тесты проводились в метро Пекина. В результате оказалось, что такой метод считается пользователями более комфортным.

Пока что разработчики не уточняют, когда новое приложение появится в релизе. Однако если для распознавания пока нужен мощный компьютер, это произойдёт нескоро. Либо же система будет требовать постоянного подключения к Сети.

Источник: tproger.ru

Читать первым в Telegram-канале «Код Дурова»

Важные новости коротко — от GigaChat Max 
1-bg-изображение-0
img-content-1-изображение-0

GigaChat Max: коротко о главном

Как изменился Код Дурова вместе с GigaChat Max?

Узнай о всех возможностях в FAQ-статье 
ace5efcf-6000-4180-aea1-2cf9c0c1ce81-изображение-010827fb3-c8c6-438f-ae6f-b0af58ba929e-изображение-1bbd14036-d9e9-4867-bc06-bff7bda7646f-изображение-2

GigaChat Max: коротко о главном

CMF представила наушники Buds 2a, Buds 2 и Buds 2 Plus. Цены в России

Полная версия 
74bd9822-9531-4c79-8cf3-b7ab78d7fbe4-изображение-0

GigaChat Max: коротко о главном

ВКонтакте упростила получение верификации

Полная версия 

Реализовано через GigaChat Max 

Сейчас читают
Карьера
Блоги 345
билайн
Газпромбанк
Т-Банк
МТС
X5 Tech
Сбер
Яндекс Практикум
Ozon Tech
Циан
Банк 131