Кодик кратко объясняет суть статьи
В Институте AIRI при поддержке Сбера разрабатывают компактные ИИ-модели семейства Optimal Cognitive Core (OCC), предназначенного для точной работы с внешними данными. Первая модель серии — OCC-RAG — специализируется на ответах по предоставленному контексту, избегает использования внутренней памяти и отказывается от ответа при недостатке информации, что снижает риски галлюцинаций. Модель обрабатывает запросы в 1,5–2 раза быстрее крупных языковых моделей, экономит токены и доступна в версиях 0,6B и 1,7B параметров, которые можно запускать на ноутбуках и смартфонах. Решение открыто и применимо в финансах, юриспруденции, медицине и других сферах, где критична точность. В дальнейшем AIRI планирует развивать OCC в сторону агентного ядра, способного самостоятельно искать недостающие данные. По словам генерального директора AIRI Ивана Оселедца, ключевое преимущество таких систем — не объём памяти, а способность к логическому рассуждению на основе актуальных данных.
Читайте в Telegram
|
В Институте AIRI при поддержке Сбера работают над новым поколением ИИ-систем — семейством компактных моделей Optimal Cognitive Core, сообщил в рамках ПМЭФ генеральный директор AIRI Иван Оселедец.
В AIRI отмечают, что современные большие языковые модели становятся всё мощнее, но вместе с этим растут стоимость их обучения и эксплуатации. Кроме того, такие модели иногда опираются на собственную «память» даже тогда, когда пользователь уже предоставил актуальный контекст — например документы или отчёты. Это может приводить к галлюцинациям.
Первой моделью семейства стала OCC-RAG. Она обучена отвечать на вопросы по внешним источникам, связывать факты из разных частей текста, опираться только на предоставленный контекст и отказываться от ответа, если данных недостаточно.
По данным AIRI, OCC-RAG обрабатывает запросы в 1,5–2 раза быстрее решений на базе больших языковых моделей и в среднем тратит в 1,5 раза меньше токенов на генерацию ответа. Модель доступна в версиях 0,6B и 1,7B параметров, обе можно запускать на ноутбуке или смартфоне.
Решение выложено в открытый доступ. Его можно использовать в финансовых сервисах, корпоративных базах знаний, клиентской поддержке, юридических, медицинских и комплаенс-системах — там, где важно отвечать строго по документам и снижать риск ошибок.
Следующим этапом AIRI называет развитие OCC в сторону агентного ядра, которое сможет самостоятельно искать недостающий контекст в поисковых системах, базах данных, корпоративных сервисах и кодовых репозиториях.
«Для большинства прикладных задач важнее не объём памяти модели, а её способность рассуждать и опираться на предоставленные данные. OCC — это попытка построить именно такое когнитивное ядро», — отметил Оселедец.
