По словам Yandex, атака беспилотника повредила ее центр обработки данных во Владимире 11 октября, из-за чего объект пришлось остановить. В ее журнале инцидентов Yandex Cloud говорится, что некоторые облачные зоны стали недоступны, а в 15:01 UTC платформа продолжала работать с ограниченными функциями. Это третий за четыре дня инцидент на объекте, после остановки работы в Сасове и частичного сбоя в Калуге.

Журнал инцидента дает клиентам больше подробностей, чем прежние уведомления об объектах: он отделяет остановку одного здания от меняющегося состояния облачных сервисов. В нем не указано состояние отдельных серверов, данных клиентов или систем обучения ИИ Yandex.

Главное изменение

  • Что изменилось: Третий центр обработки данных Yandex прекратил работу, а оставшуюся конфигурацию облачных ресурсов компания теперь называет нестабильной. В обновлениях говорится, что одни сервисы доступны, а другие испытывают сбои.
  • Почему это важно: Клиенту, который решает, где восстановить рабочую нагрузку, нужна информация об отдельных сервисах, а не только о состоянии объекта. Yandex рекомендовала клиентам использовать альтернативные планы восстановления, а позднее посоветовала рассмотреть другие платформы для более быстрого развертывания ресурсов и обеспечения резервирования.
  • За чем следить: Следующее обновление Yandex Cloud запланировано на 12 октября в 11:00 по московскому времени. Оно должно прояснить, какие функции восстановились и продолжает ли Yandex рекомендовать клиентам использовать внешние мощности. В журнале инцидента нет даты восстановления объекта во Владимире.

Что сообщила Yandex 11 октября

Сначала Yandex Cloud сообщила, что некоторые зоны недоступны, в 01:11 UTC. В 03:08 UTC компания заявила, что атака беспилотного летательного аппарата повредила инфраструктуру ее центра обработки данных во Владимире и работа там полностью остановлена. Компания сообщила, что погибших нет и на месте находятся экстренные службы. Она описала платформу как работающую в аварийном режиме, оставшуюся конфигурацию ресурсов — как нестабильную и рекомендовала альтернативные планы аварийного восстановления. Это версия Yandex об инциденте и состоянии сервиса; страница статуса не сообщает, кто запустил беспилотник.

В течение дня ситуация с сервисами менялась. В 03:11 UTC Yandex сообщила, что облачная консоль и API доступны, вычислительные ресурсы доступны частично, а большинство управляемых кластеров баз данных высокой доступности переключилось на резервные системы, хотя некоторые кластеры могли работать только на чтение или быть недоступны. Объектное хранилище, обозначенное в обновлении как S3, было доступно для чтения, но при записи могли возникать проблемы. Компания продолжала оценивать региональные кластеры Kubernetes и предупредила о возможной нестабильности связи со службой поддержки.

К 08:14 UTC Yandex сообщила, что S3 доступно для чтения и записи, хотя операции могут идти медленнее. Kubernetes значился доступным, но в отдельных кластерах возможны проблемы; вычислительные ресурсы оставались частично доступными. Yandex AI Studio и службы безопасности были указаны как частично доступные, а Yandex Monium — как недоступный. Компания также заявила о временной приостановке увеличения квот на дополнительные облачные ресурсы. В 10:12 UTC она сообщила, что доступность сервисов не изменилась, а каналы поддержки восстановлены частично, но ответы все еще могут существенно задерживаться.

В обновлении за 15:01 UTC говорилось, что облачная платформа продолжает работать с ограниченным функционалом. Yandex вновь рекомендовала рассмотреть другие платформы, чтобы быстрее развернуть ресурсы и обеспечить резервирование. Следующее плановое обновление ожидалось 12 октября в 11:00 по московскому времени, то есть в 08:00 UTC. На тот момент восстановление продолжалось; в обновлении не утверждалось, что объект или все облачные сервисы уже восстановлены.

Остановка объекта и более широкое нарушение работы сервисов

В заявлении Yandex от 9 октября говорилось о полной остановке в Сасове после повреждений в ночь с 7 на 8 октября и о выведенной из строя инфраструктуре в Калуге после атаки 9 октября. Сроки восстановления этих объектов не назывались. Инцидент во Владимире продолжает эту последовательность датированных событий; дополнительно Yandex Cloud публично перечислила затронутые компоненты и посоветовала клиентам рассмотреть восстановление вне платформы.

Статус облака не отражает опыт каждого потребителя. AFP сообщило, что пользователи рассказывали о проблемах с приложениями Yandex для поездок и платежей 11 октября. Эти интервью показывают сбои у некоторых пользователей, но не позволяют оценить число пострадавших и не доказывают, что все упомянутые проблемы приложений связаны с объектом во Владимире. В материале Al Jazeera, основанном на сообщениях AFP и Reuters, также описаны остановка объекта во Владимире и предыдущие атаки на объекты.

Для клиентов облака журнал статуса служит ограниченным руководством по восстановлению. В нем указаны сервисы, которые в определенное время можно было читать, записывать в них или использовать в сокращенном режиме; также предупреждается о задержках поддержки и приостановке увеличения квот. В журнале не сказано, доступна ли резервная копия конкретного клиента и были ли потеряны данные. Предыдущая публикация о двух суперкомпьютерах для разработки ИИ в Сасове не устанавливает их нынешнее состояние, а указание от 11 октября на частичную доступность AI Studio не показывает, затронуло ли обучение моделей. Для ответа на эти вопросы нужно отдельное обновление Yandex.

Источники и дополнительная литература