Xiaomi выпустила в открытый доступ ИИ-модель для распознавания документов
Кодик кратко объясняет суть статьи
Xiaomi представила открытую модель Xiaomi-OCR-0 для распознавания и анализа документов, опубликованную на Hugging Face и GitHub под лицензией Apache 2.0. Модель построена на основе Qwen3.5-0.8B-Base от Alibaba, содержит 0,8 млрд параметров и обучена на 170 млн примеров. Она решает три задачи: разбор текста, таблиц и формул, извлечение полей из документов и ответы на вопросы по ним. Разработчики улучшили точность на сложных примерах, включая многоязычные тексты, старинные рукописи и низкокачественные фотографии. Результаты тестов показывают высокие баллы, однако независимых проверок пока нет. Технология используется в ассистенте «Супер Сяоай» на смартфонах Xiaomi и доступна для интеграции через демоверсию, сервер и набор навыков. Летом компания также выпустила бесплатного ИИ-агента для программирования MiMo Code.
Читайте в Telegram
|
Xiaomi официально представила открытую модель Xiaomi-OCR-0 для распознавания и разбора документов. Её веса и код опубликованы на Hugging Face и GitHub под лицензией Apache 2.0.
Модель небольшая: всего 0,8 млрд параметров. Её построили на базе Qwen3.5-0.8B-Base от Alibaba, а обучили примерно на 170 млн примеров распознавания текста и документов. Сами веса выложили ещё 30 сентября вместе с техническим отчётом, а энтузиасты уже успели подготовить версии для локального запуска.
Одна модель закрывает три задачи. Она разбирает документы на текст, таблицы и формулы и выдаёт результат в порядке чтения в Markdown или LaTeX. Также она извлекает нужные поля из счетов, чеков, удостоверений и анкет в формате JSON и отвечает на вопросы по документам и графикам, в том числе с вычислениями, а не просто переписывает текст.
Чтобы точнее распознавать сложные таблицы и формулы, разработчики проверяли разметку обучающих данных так: результат разбора заново превращали в картинку и сравнивали с оригиналом. Отдельно модель доучивали на трудных примерах: многоязычных текстах, старинных рукописях, снимках экрана с муаром и фото документов при плохом освещении.
Результаты в тестах, по данным самой Xiaomi:
- OmniDocBench v1.6: 96,83 балла и второе место в общем рейтинге, первое среди моделей меньше 1 млрд параметров;
- Real5-OmniDocBench, где документы сканируют, сгибают, фотографируют с экрана и под углом: 95,24 балла и первое место;
- распознавание формул UniMER-Test: 97,84 балла, таблиц PubTabNet: 92,27 балла;
- старинные рукописи и каллиграфия Chronicles-OCR: 73 балла против 72 у закрытой Seed 2.0 Pro от ByteDance;
- пять тестов на ответы по документам: в среднем 83,2 балла, больше, чем у Qwen3.5-2B (80,9) и MiniCPM-V-4.5 на 8 млрд параметров (82,6).
Независимых проверок этих результатов пока нет.
Технологию Xiaomi уже применяет в ассистенте «Супер Сяоай» на своих смартфонах. Он находит на экране коды получения заказа и посылок, суммы и продавцов в чеках для учёта расходов, время и место встречи в сообщениях для создания событий в календаре.
Помимо весов, Xiaomi выложила демоверсию, которая работает в браузере, MCP-сервер и набор навыков для ИИ-агентов. С их помощью модель можно подключить к собственным сервисам и агентам.
Летом, как рассказывал «Код.ру», компания также выпустила бесплатного ИИ-агента для программирования MiMo Code.
