Yandex B2B Tech запустила единую платформу обработки данных любого объема для бизнеса
Кодик кратко объясняет суть статьи
Yandex B2B Tech запустила платформу YTsaurus для хранения и анализа больших объемов данных, доступной как в облаке, так и on-premise. Платформа поддерживает обработку эксабайт данных и обучение моделей машинного обучения с миллиардами параметров. Она используется внутренними сервисами Яндекса, включая YandexGPT, Яндекс.Маркет и автономный транспорт. YTsaurus совместима с популярными системами обработки данных, такими как ClickHouse и Apache Spark, и позволяет создавать корпоративные хранилища, ETL-системы и обрабатывать различные типы данных. Компания также анонсировала обновление других инструментов для работы с данными, включая сервисы на основе открытого ПО и улучшения в BI-решении DataLens.
Читайте в Telegram
|
Yandex B2B Tech открыла доступ бизнесу к платформе собственной разработки для хранения и обработки больших данных YTsaurus. С ее помощью можно анализировать эксабайты данных в компаниях и обучать сложные модели машинного обучения с миллиардами параметров.
YTsaurus доступна в двух форматах поставки: в облаке и в инфраструктуре заказчика (on-premise). В облаке решение доступно как управляемый сервис, то есть поддержкой платформы будут полностью заниматься специалисты Яндекса. Для раннего доступа к YTsaurus необходимо подать заявку на сайте.
В Яндексе YTsaurus разрабатывают с 2010 года – сейчас ее используют для хранения данных большинства сервисов, обучения YandexGPT и других нейросетей, задач поискового индекса. Например, Яндекс Маркет с помощью платформы разрабатывают систему промоакций, а автономный транспорт обрабатывают данные о поездках и улучшает алгоритмы. Ранее платформа была доступна в опенсорсе – ее уже применяют большие технологические компании в России и за рубежом.
YTsaurus подходит для обработки небольшого количества данных и для работы с миллионом CPU и десятками тысяч GPU. Платформу можно использовать как классическую MapReduce-систему, так и применять внутри платформы другие популярные решения для обработки данных, в том числе ClickHouse и Apache Spark. C помощью YTsaurus можно строить корпоративные хранилища данных, ETL-системы, обрабатывать как структурированные, так и неструктурированные или полуструктурированные данные, в том числе логи или финансовые транзакции.
“Для нас важно, чтобы у компаний были сервисы и инструменты для работы с данными под любой сценарий. Для этого мы, с одной стороны – создаем и развиваем сервисы для облачной платформы на базе открытых решений. С другой – тестируем и адаптируем для бизнеса собственные наработки, такие как платформы YTsaurus, YDB, BI-решение DataLens, которые успешно применяются во внутренней инфраструктуре компании”, – рассказал Иван Пузыревский, CTO платформы Yandex Cloud.
На конференции Data&ML2Businessкомпания не только представила YTsaurus для бизнеса, но и объявила об обновлении других решений для работы с данными. Для компаний стали доступны новые управляемые сервисы на базе решений с открытым исходным кодом – Yandex Managed Service for Spark и сервис управления распределенным аналитическим массивно-параллельным движком обработки больших данных Trino в облачной инфраструктуре. В Yandex DataLens стал доступен Editor — редактор для кастомизации графиков и таблиц с помощью JavaScript, а также появилась публичная витрина готовых примеров дашбордов, чартов и кастомизаций для аналитики данных.
