Яндекс анонсировал запуск нового компонента для аналитической обработки данных в СУБД собственной разработки

Яндекс анонсировал запуск нового компонента YDB DWH для поддержки аналитической обработки данных в СУБД Яндекса — СУБД собственной разработки компании.

Она поддерживает работу со сложными аналитическими запросами (OLAP), способна хранить сотни терабайт данных, горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке (шардирования), обеспечивает быстрое выполнение запросов благодаря массивно-параллельной архитектуре (МРР).

Аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. В платформу СУБД Яндекса также входит движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор, федеративные SQL-запросы к внешним источникам данных (S3, PostgreSQL, Greenplum, Oracle, MS SQL), что позволяет реализовывать сценарий создания корпоративного хранилища данных. В планах реализация поддержки SQL диалекта PostgreSQL для бесшовной интеграции как в OLAP-, так и в OLTP-сценариях.

Платформа распространяется по коммерческой лицензии для установки в контуре заказчика, как управляемый сервис в Yandex Cloud.

Благодаря запуску компонента YDB DWH, СУБД Яндекса стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов. Мы готовы поделиться этим решением с рынком, которому очевидно не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Созданные Яндексом центры компетенций и команда, которая разрабатывает СУБД уже более 10 лет, позволят заказчикам быстро достичь результатов при миграции. Это особенно актуально для решений финансового, телекоммуникационного и ритейл-сектора, — сообщил Алексей Курочка, коммерческий директор YDB.

По оценке Яндекса, рынок систем по обработке данных в России в 2025 г. составит 55 млрд руб. Доля аналитических СУБД составит 32% от общего рынка обработки данных.

Помимо YDB DWH, в линейку лицензируемых надстроек СУБД Яндекса также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций. Проекты в СУБД Яндекса уже размещают разработчик автоматизированных банковских систем «ФлексСофт», сервис для управления бизнесом «Битрикс24», а также Яндекс Маркет, Алиса, Метрика, Auto.ru, Яндекс Практикум.