NVIDIA представила чат-бот без подключения к интернету — он бесплатный
Новая программа для ПК с видеокартами RTX получила название Chat with RTX.
Она представляет собой аналог ChatGPT, который включает в себя генеративный ИИ на основе большой языковой модели. Программа позволяет запускать одну из доступных языковых моделей — Mistral или Llama 2.
- Chat with RTX не требует выхода в Сеть, и в отличие от ChatGPT и прочих аналогов запускается на компьютере локально.
- Чат-бот даёт ответы на вопросы при помощи анализа локальных документов, сохранённых на ПК — ему можно выдать доступ к нескольким форматам документов: txt, pdf, doc, docx и xml.
- Более того, он также способен анализировать данные из YouTube-роликов — для этого следует ввести URL-адрес, после чего будет в виде текста отображено краткое содержание видео.
- Для работы чат-бота требуются тензорные ядра RTX — они применяются для ускорения обработки запросов.
- Чтобы использовать Chat with RTX, нужно иметь на компьютере операционную систему Windows 11, не менее 16 ГБ ОЗУ, а также видеокарту линейки RTX 30 или 40 с 8 ГБ видеопамяти.
В The Verge отметили, что программа всё ещё кажется недоработанной, однако она может стать полезной для журналистов или тем, кто исследует пакеты документов. Chat with RTX действительно удобен в том числе для поиска конкретных деталей в видео, но есть нюансы:
Однако для поиска видео на YouTube он не подходит. Я попытался найти содержание видео The Verge на YouTube, а Chat with RTX загрузил транскрипт совершенно другого ролика. Это был даже не тот ролик, который я запрашивал ранее, так что в этой ранней демо-версии явно есть ошибки.
В остальном программа работает достаточно шустро, например, журналисту было легко получить релевантный и структурированный набор данных по судебным документам в деле FTC против Microsoft — вручную эта задача, по его мнению, казалась непосильной.
