В Cloudflare объяснили причины сбоя интернета

Масштабный сбой в работе многих сайтов произошёл 18 ноября по вине одного из крупнейших хостинг-провайдеров — компании Cloudflare.

«Не буду лукавить: ранее мы подвели наших клиентов и Интернет в целом», — написал в X технический директор Cloudflare Дэйн Кнехт, извиняясь за произошедшее.

Накануне, 18 ноября, не открывались многие сайты, включая X* и Spotify, некоторые пользователи жаловались на недоступность ChatGPT.

Cloudflare сразу же начала расследование ситуации, опубликовала официальный отчёт, а Дэйн Кнехт обнародовал основную причину падения сети.

«Короче говоря, скрытая ошибка в сервисе, из-за которой у нас появилась возможность защиты от ботов, начала давать сбои после рутинного изменения конфигурации, которое мы произвели. Это привело к значительному ухудшению работы нашей сети и других сервисов. Это не было атакой», — написал в своём аккаунте в X техдиректор Cloudflare.

Иными словами, причиной стал неправильный конфигурационный файл для системы защиты от вредоносных ботов Bot Management, пояснили в компании. Информация о ботах хранится в аналитической базе Cloudflare. К ней изменили настройки доступа, но забыли про дополнительную проверку служебных данных, из-за чего записи в таблице начали дублироваться.

Файл конфигурации быстро превысил допустимые лимиты, увеличился в несколько раз, а основной прокси-сервер Cloudflare стал выдавать ошибки. В результате системы клиентов, подключивших фильтрацию ботов, по ошибке блокировали весь трафик.

В релизе компания подчеркнула, что ошибка вызывалась в том числе из-за использования в коде метода unwrap() с типом Result:

Такой метод не рекомендуют использовать в рабочих проектах, его задействуют обычно для теста и отладки. Именно его наличие вызвало макрос «panic!», из-за чего происходит аварийное отключение сервиса.