Apple готовит приложение для запуска локальных ИИ-моделей

Apple разрабатывает приложение Harbor, которое превращает Mac в сервер для работы локальных ИИ-моделей. Описание приложения нашёл инсайдер Аарон Перрис.

Harbor запускает на чипах Apple Silicon модели с открытыми весами прямо на компьютере пользователя. По описанию, данные не покидают устройство и не уходят в облако.

Главная особенность Harbor — объединение нескольких Mac в кластер. Компьютеры с Thunderbolt 5 соединяются кабелем, а приложение складывает их общую (унифицированную) память в один ресурс для инференса, то есть работы уже обученной модели. Так можно запускать модели, которые не помещаются в память одного компьютера, или обрабатывать больше запросов одновременно.

Что ещё обещает описание приложения:

• настройка за несколько минут: приложение само находит устройства и собирает кластер без командной строки и ручной настройки,

• встроенный каталог моделей: их можно найти, загрузить и запустить прямо в Harbor,

• управление моделями берёт на себя приложение.

Сейчас Harbor находится в закрытом тестировании под брендом Claris, дочерней компании Apple, которая выпускает программы для бизнеса. Сроки публичного запуска и цену Apple не объявляла.

Локальные модели набирают поддержку и у других разработчиков: как ранее рассказывал «Код.ру», запускать их научился браузер Opera.