Кодик кратко объясняет суть статьи
Block представила голосовую нейросеть Dessa, обученную исключительно на человеческой речи без использования текста и предварительных моделей. Модель способна вести диалог в реальном времени, реагируя на интонации и эмоции собеседника, включая смех, изменение громкости и короткие реплики. Dessa функционирует локально на мощных компьютерах, обеспечивая высокую скорость обработки. Доступ к ней пока ограничен группой исследователей безопасности для выявления возможных рисков.
Читайте в Telegram
|
Компания Block Джека Дорси представила голосовую нейросеть Dessa, которую, по заявлению разработчиков, обучили с нуля исключительно на человеческой речи.
При обучении не использовали текст и предварительно обученные модели. Dessa принимает звук и генерирует речь, учитывая интонацию собеседника.
Модель одновременно слушает и говорит. Она может перебивать собеседника, коротко реагировать на его слова, смеяться и менять громкость. На опубликованных записях разработчики показывают разговоры с паузами, вздохами и эмоциональными интонациями.
По данным Block, Dessa работает локально на MacBook Pro с M4 Max или более мощном компьютере. Скорость обработки позволяет поддерживать разговор в реальном времени. Для обучения использовали одну стойку Nvidia GB200 NVL72. Ниже пример разговора Dessa с ChatGPT Live.
Команда считает, что обработка речи без промежуточного перевода в текст помогает учитывать эмоции собеседника. В частности, она рассчитывает, что голосовые помощники смогут лучше распознавать боль или раздражение пользователя.
Публичный доступ к Dessa пока не открыт. Block приглашает небольшую группу исследователей безопасности для раннего тестирования и поиска рисков.
