Яндекс анонсировал запуск нового компонента для аналитической обработки данных в СУБД собственной разработки


GigaChat Max кратко объясняет суть статьи
Яндекс представил новый компонент YDB DWH для аналитической обработки данных в собственной СУБД. Компонент поддерживает сложные аналитические запросы (OLAP), хранение сотен терабайт данных, автоматическое шардирование, быстрое выполнение запросов через МРР-архитектуру и колоночные таблицы. Функциональность включает управление смешанными нагрузками, спиллинг данных на диск, стоимостного оптимизатора запросов, поддержку федеративных SQL-запросов к внешним источникам (S3, PostgreSQL, Greenplum, Oracle, MS SQL). Планируется поддержка SQL-диалекта PostgreSQL для интеграции в OLAP/OLTP-сценариях. Платформа доступна по коммерческой лицензии для локальной установки и как управляемый сервис в Yandex Cloud. Launch YDB DWH делает СУБД Яндекса универсальным инструментом для транзакционной и аналитической нагрузки. Решение востребовано в финансовом, телекоммуникационном и ритейловом секторах. По прогнозу Яндекса, рынок систем обработки данных достигнет 55 млрд рублей к 2025 году, доля аналитических СУБД составит 32%. Линейка лицензируемых продуктов Яндекса включает YDB Topics (шина данных), YDB Search (машинное обучение) и основной компонент YDB Enterprise для транзакций. Платформой пользуются «ФлексСофт», «Битрикс24», Яндекс Маркет, Алиса, Метрика, Auto.ru, Яндекс Практикум.
Яндекс анонсировал запуск нового компонента YDB DWH для поддержки аналитической обработки данных в СУБД Яндекса — СУБД собственной разработки компании.
Она поддерживает работу со сложными аналитическими запросами (OLAP), способна хранить сотни терабайт данных, горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке (шардирования), обеспечивает быстрое выполнение запросов благодаря массивно-параллельной архитектуре (МРР).
Аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. В платформу СУБД Яндекса также входит движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор, федеративные SQL-запросы к внешним источникам данных (S3, PostgreSQL, Greenplum, Oracle, MS SQL), что позволяет реализовывать сценарий создания корпоративного хранилища данных. В планах реализация поддержки SQL диалекта PostgreSQL для бесшовной интеграции как в OLAP-, так и в OLTP-сценариях.
Платформа распространяется по коммерческой лицензии для установки в контуре заказчика, как управляемый сервис в Yandex Cloud.
Благодаря запуску компонента YDB DWH, СУБД Яндекса стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов. Мы готовы поделиться этим решением с рынком, которому очевидно не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Созданные Яндексом центры компетенций и команда, которая разрабатывает СУБД уже более 10 лет, позволят заказчикам быстро достичь результатов при миграции. Это особенно актуально для решений финансового, телекоммуникационного и ритейл-сектора, — сообщил Алексей Курочка, коммерческий директор YDB.
По оценке Яндекса, рынок систем по обработке данных в России в 2025 г. составит 55 млрд руб. Доля аналитических СУБД составит 32% от общего рынка обработки данных.
Помимо YDB DWH, в линейку лицензируемых надстроек СУБД Яндекса также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций. Проекты в СУБД Яндекса уже размещают разработчик автоматизированных банковских систем «ФлексСофт», сервис для управления бизнесом «Битрикс24», а также Яндекс Маркет, Алиса, Метрика, Auto.ru, Яндекс Практикум.
Читать первым в Telegram-канале «Код Дурова»