В России разрабатывают компактные ИИ-модели для бизнеса

В Институте AIRI при поддержке Сбера работают над новым поколением ИИ-систем — семейством компактных моделей Optimal Cognitive Core, сообщил в рамках ПМЭФ генеральный директор AIRI Иван Оселедец.

В AIRI отмечают, что современные большие языковые модели становятся всё мощнее, но вместе с этим растут стоимость их обучения и эксплуатации. Кроме того, такие модели иногда опираются на собственную «память» даже тогда, когда пользователь уже предоставил актуальный контекст — например документы или отчёты. Это может приводить к галлюцинациям.

Первой моделью семейства стала OCC-RAG. Она обучена отвечать на вопросы по внешним источникам, связывать факты из разных частей текста, опираться только на предоставленный контекст и отказываться от ответа, если данных недостаточно.

По данным AIRI, OCC-RAG обрабатывает запросы в 1,5–2 раза быстрее решений на базе больших языковых моделей и в среднем тратит в 1,5 раза меньше токенов на генерацию ответа. Модель доступна в версиях 0,6B и 1,7B параметров, обе можно запускать на ноутбуке или смартфоне.

Решение выложено в открытый доступ. Его можно использовать в финансовых сервисах, корпоративных базах знаний, клиентской поддержке, юридических, медицинских и комплаенс-системах — там, где важно отвечать строго по документам и снижать риск ошибок.

Следующим этапом AIRI называет развитие OCC в сторону агентного ядра, которое сможет самостоятельно искать недостающий контекст в поисковых системах, базах данных, корпоративных сервисах и кодовых репозиториях.

«Для большинства прикладных задач важнее не объём памяти модели, а её способность рассуждать и опираться на предоставленные данные. OCC — это попытка построить именно такое когнитивное ядро», — отметил Оселедец.