Яндекс.Облако открывает доступ к новому сервису для разработчиков приложений с высокой нагрузкой

Платформа Яндекс.Облако открывает доступ к новому сервису Yandex Managed Service for Apache Kafka, который упрощает для разработчиков и DevOps-инженеров создание и управление приложениями в Яндекс.Облаке, и не требует экспертизы в управлении инфраструктурой Apache Kafka и Apache Zookeeper. Сервис работает в режиме preview, бесплатный доступ предоставляется по запросу.

В архитектуре современных приложений компоненты и сервисы разделяют на модули для большей скорости и надежности работы. Это могут быть, например, модули оплаты, авторизации, рассылок, визуализация статуса работы для пользователя и администратора и так далее. Чтобы компоненты работали как единая система, модули приложений обмениваются сообщениями, содержащими данные или информацию о состоянии. Обмен сообщениями реализуют с помощью специальных решений — брокеров.

Apache Kafka — один из наиболее популярных в мире брокеров сообщений для серверных приложений с высокой нагрузкой. Apache Kafka успешно применяют как надежный и хорошо масштабируемый транспорт передачи данных для их потоковой обработки, а также для реализации подхода Change Data Capture при передаче данных с разных источников в единый Data Lake или Data Warehouse, другое хранилище для офлайн-аналитики. В Яндекс.Облаке для этого применяются Apache Hadoop в Yandex Data Proc, Managed Service for ClickHouse, Object Storage или любое другое подходящее для оффлайн-аналитики хранилище.

В Яндекс.Облаке Apache Kafka предоставляется как сервис, управление и обслуживание которого производится на стороне платформы (managed service). Это означает, что пользователь занимается только созданием кластеров и решением с их помощью своих задач. За настройку, обновление, оптимизацию работы Apache Kafka в Облаке отвечают специалисты Облака.