Разработчик создал систему для общения жестами с голосовым помощником

Разработчик из США Абхишек Сингх (Abhishek Singh) создал программу, которая выступает посредником между глухонемым человеком и голосовым помощником Alexa. Система использует веб-камеру ноутбука, чтобы распознавать жесты, переводить их в голосовые команды для помощника, а полученные ответы выводить на экран в виде текста.

Программа распознает жесты в реальном времени с помощью алгоритма глубинного обучения на фреймворке TensorFlow.js. Система синтеза речи озвучивает команды, колонка слышит их и дает голосовой ответ от компьютера, который алгоритм Сингха обрабатывает, затем преобразует в текст и выводит на экран.

Пока разработчик не раскрывает технические подробности проекта.

Источник: tproger.ru

Подписывайтесь на «Код Дурова» в Telegram и во «ВКонтакте», чтобы всегда быть в курсе интересных новостей!