Компания Джека Дорси показала голосовую нейросеть, обученную без текста

Компания Block Джека Дорси представила голосовую нейросеть Dessa, которую, по заявлению разработчиков, обучили с нуля исключительно на человеческой речи.

При обучении не использовали текст и предварительно обученные модели. Dessa принимает звук и генерирует речь, учитывая интонацию собеседника.

Модель одновременно слушает и говорит. Она может перебивать собеседника, коротко реагировать на его слова, смеяться и менять громкость. На опубликованных записях разработчики показывают разговоры с паузами, вздохами и эмоциональными интонациями.

По данным Block, Dessa работает локально на MacBook Pro с M4 Max или более мощном компьютере. Скорость обработки позволяет поддерживать разговор в реальном времени. Для обучения использовали одну стойку Nvidia GB200 NVL72. Ниже пример разговора Dessa с ChatGPT Live.

Команда считает, что обработка речи без промежуточного перевода в текст помогает учитывать эмоции собеседника. В частности, она рассчитывает, что голосовые помощники смогут лучше распознавать боль или раздражение пользователя.

Публичный доступ к Dessa пока не открыт. Block приглашает небольшую группу исследователей безопасности для раннего тестирования и поиска рисков.