Читайте в Telegram
|
Apple разрабатывает приложение Harbor, которое превращает Mac в сервер для работы локальных ИИ-моделей. Описание приложения нашёл инсайдер Аарон Перрис.
Harbor запускает на чипах Apple Silicon модели с открытыми весами прямо на компьютере пользователя. По описанию, данные не покидают устройство и не уходят в облако.
Главная особенность Harbor — объединение нескольких Mac в кластер. Компьютеры с Thunderbolt 5 соединяются кабелем, а приложение складывает их общую (унифицированную) память в один ресурс для инференса, то есть работы уже обученной модели. Так можно запускать модели, которые не помещаются в память одного компьютера, или обрабатывать больше запросов одновременно.
Что ещё обещает описание приложения:
- настройка за несколько минут: приложение само находит устройства и собирает кластер без командной строки и ручной настройки,
- встроенный каталог моделей: их можно найти, загрузить и запустить прямо в Harbor,
- управление моделями берёт на себя приложение.
Сейчас Harbor находится в закрытом тестировании под брендом Claris, дочерней компании Apple, которая выпускает программы для бизнеса. Сроки публичного запуска и цену Apple не объявляла.
Локальные модели набирают поддержку и у других разработчиков: как ранее рассказывал «Код.ру», запускать их научился браузер Opera.
