NVIDIA представила чат-бот без подключения к интернету — он бесплатный

Новая программа для ПК с видеокартами RTX получила название Chat with RTX.

Она представляет собой аналог ChatGPT, который включает в себя генеративный ИИ на основе большой языковой модели. Программа позволяет запускать одну из доступных языковых моделей — Mistral или Llama 2.

• Chat with RTX не требует выхода в Сеть, и в отличие от ChatGPT и прочих аналогов запускается на компьютере локально.

• Чат-бот даёт ответы на вопросы при помощи анализа локальных документов, сохранённых на ПК — ему можно выдать доступ к нескольким форматам документов: txt, pdf, doc, docx и xml.

• Более того, он также способен анализировать данные из YouTube-роликов — для этого следует ввести URL-адрес, после чего будет в виде текста отображено краткое содержание видео.

• Для работы чат-бота требуются тензорные ядра RTX — они применяются для ускорения обработки запросов.

• Чтобы использовать Chat with RTX, нужно иметь на компьютере операционную систему Windows 11, не менее 16 ГБ ОЗУ, а также видеокарту линейки RTX 30 или 40 с 8 ГБ видеопамяти.

В The Verge отметили, что программа всё ещё кажется недоработанной, однако она может стать полезной для журналистов или тем, кто исследует пакеты документов. Chat with RTX действительно удобен в том числе для поиска конкретных деталей в видео, но есть нюансы:

Однако для поиска видео на YouTube он не подходит. Я попытался найти содержание видео The Verge на YouTube, а Chat with RTX загрузил транскрипт совершенно другого ролика. Это был даже не тот ролик, который я запрашивал ранее, так что в этой ранней демо-версии явно есть ошибки.

В остальном программа работает достаточно шустро, например, журналисту было легко получить релевантный и структурированный набор данных по судебным документам в деле FTC против Microsoft — вручную эта задача, по его мнению, казалась непосильной.