23 апреля 2025

eur = 94.04 0.37 (0.39 %)

btc = 87 478.00$ 2 885.35 (3.41 %)

eth = 1 645.50$ 53.21 (3.34 %)

ton = 3.04$ 0.06 (1.90 %)

usd = 81.46 0.70 (0.87 %)

eur = 94.04 0.37 (0.39 %)

btc = 87 478.00$ 2 885.35 (3.41 %)

В России разработали первую мультимодальную модель ИИ

1 минута на чтение
В России разработали первую мультимодальную модель ИИ

Институт AIRI представил открытую мультимодальную языковую модель OmniFusion 1.1, первую в России, способную вести визуальный диалог и отвечать на вопросы, основываясь на изображениях, с поддержкой русского языка.

Открытый доступ к коду и весам модели позволяет использовать её для разработки как общедоступных, так и коммерческих продуктов.

OmniFusion умеет распознавать и описывать изображения, предоставляя возможность объяснить содержимое фотографии, анализировать карты помещений, распознавать текст и решать задачи, представлять формулы в LaTeX и многое другое.

Применение OmniFusion охватывает широкий спектр задач, от анализа медицинских изображений до решения логических задач. Модель уже сейчас может указывать на проблемы на медицинских изображениях, хотя для более точной диагностики требуется дополнительное обучение с участием медицинских экспертов.

На международном рынке представлены аналоги OmniFusion, в том числе LLaVA, Gemini, GPT4-Vision и другие, некоторые из которых являются закрытыми и платными. Однако OmniFusion выделяется своей открытостью, предоставляя доступ к исходному коду на GitHub, что делает её доступной для широкой аудитории разработчиков.

Модель основана на комбинации предварительно обученной большой языковой модели и визуальных энкодеров, кодирующих визуальную информацию в числовые векторы. Разработка ведется научной группой FusionBrain Института AIRI с участием специалистов из Sber AI и SberDevices.

Читать первым в Telegram-канале «Код Дурова»

Важные новости коротко — от GigaChat Max 
1-bg-изображение-0
img-content-1-изображение-0

GigaChat Max: коротко о главном

Как изменился Код Дурова вместе с GigaChat Max?

Узнай о всех возможностях в FAQ-статье 
3d389a0a-a220-4793-81b8-4dd297caa971-изображение-0

GigaChat Max: коротко о главном

В России стало меньше утечек данных — аналитики связывают это с Telegram

Полная версия 
092bff94-85a8-4cb3-aef5-447cd14123f3-изображение-0dadd24ad-a93f-439d-a784-18057f19d09f-изображение-13bf00a4b-b772-4a29-b106-c42b811ee0fe-изображение-2

GigaChat Max: коротко о главном

Mercedes-Benz представила люксовый минивэн будущего

Полная версия 

Реализовано через GigaChat Max 

Сейчас читают
Карьера
Блоги 343
Т-Банк
билайн
МТС
Газпромбанк
X5 Tech
Сбер
Яндекс Практикум
Ozon Tech
Циан
Банк 131