Яндекс.Облако открывает доступ к новому сервису для разработчиков машинного обучения Yandex DataSphere

Яндекс.Облако открывает доступ к новому сервису Yandex DataSphere для разработки машинного обучения. Сервис будет работать в режиме preview: доступ к сервису предоставляется по предварительной регистрации, а пользоваться Yandex DataSphere можно бесплатно.

Yandex DataSphere – это облачная среда для использования инструментов машинного обучения. Разработчикам предлагается привычный интерфейс Jupiter Notebook, одного из наиболее популярных инструментов ML-разработки. При этом возможности Jupyter Notebook адаптированы к работе в облаке и существенно расширены.

В закрытом тестировании Yandex DataSphere приняли участите 19 российских компаний, активно применяющих машинное обучение в бизнесе, и 31 индивидуальный разработчик. Как отмечают эксперты, новый сервис поможет сэкономить до 70% затрат на вычисления с использованием GPU.

Впервые в практике публичных облаков Yandex DatаSphere использует технологию бессерверных вычислений (serverless computing) при работе с машинным обучением. Это означает, что при редактировании и просмотре кода не задействуются вычислительные ресурсы CPU или GPU, виртуальная машина нужного типа подключается только на время непосредственных расчетов: обучение моделей, запуск, другие вычисления. При таком подходе пользователь платит только за время реального использования вычислительных ресурсов. Время редактирования и просмотра кода, случайный простой не выключенной ночью или на выходных виртуальной машины не тарифицируется.

Также впервые в мире в Yandex DataSphere реализовано бесшовное переключение между разными типами вычислительных ресурсов. В Yandex DatаSphere можно без остановки вычислений и с сохранением прогресса применять разные типы виртуальных машин: экономичные с CPU (обычные процессоры) и быстрые с GPU (графические ускорители). В большинстве облачных сред разработки машинного обучения запуск расчетов модели возможен только на машине одного типа.  Если часть вычислений требует использования более дорогой машины с GPU, на ней будет вычисляться весь проект. В Yandex DatаSphere каждая часть (ячейка) кода может быть исполнена на машине нужного типа, при этом результаты предыдущих вычислений сохранятся. Для переключения на машину другого типа теперь не нужно запускать весь проект заново. Это ускоряет разработку, экономит затраты и  повышает эффективность применения более дорогих вычислительных ресурсов.

По окончании режима preview и запуска в коммерческую эксплуатацию в DataSphere станет доступна ещё одна уникальная функция, которой нет в других облаках: сохранение версий расчетов моделей по трём измерениям – данные, код и состояние ноутбука. Функция упростит командную работу специалистов по работе с данными, сделает ML-разработку более управляемым процессом для корпоративных пользователей. Также запланирована опция проверки качества кода и рекомендаций по оптимальному использованию вычислительных ресурсов.