Когда служба электронной почты Microsoft начала работать некорректно в четверг, 12 ноября, сбой быстро распространился далеко за пределы просто пропущенных сообщений, затронув календари, рабочие инструменты и предприятия, зависящие от облачных систем компании.
Этот масштабный сбой продолжался и в пятницу, 13 ноября, демонстрируя, как неисправность в одной широко используемой службе может вызвать цепную реакцию во всей рабочей экосистеме.
Согласно записям инцидентов Microsoft, инцидент Exchange Online с кодом EX1550543 начался в 16:17 UTC в четверг, что соответствует 21:47 по Индии. Пользователи столкнулись с невозможностью подключения к своим почтовым ящикам Exchange Online через различные методы соединения.
Microsoft Exchange Online функционирует как серверная система, которая хранит и управляет данными пользователей, тогда как Microsoft Outlook является клиентским приложением, используемым для просмотра и взаимодействия с этими данными.
Более широкий инцидент Microsoft 365, обозначенный кодом MO1550821, нарушил работу множества корпоративных и потребительских сервисов Microsoft 365 по всему миру. Он начался в 18:26 UTC, или в 23:56 по IST.
Первые сообщения о проблемах поступили из Америки, однако позже Microsoft предупредила, что пользователи в любом регионе могут пострадать.
Платформа Downdetector, которая отслеживает сбои онлайн-сервисов в режиме реального времени, зафиксировала более 130 000 сообщений о проблемах с Outlook в Соединенных Штатах в пиковый момент в четверг днем. В Индии жалобы начали поступать незадолго до полуночи и достигли 2 157 к 23:42. Количество сообщений снова возросло до 1 960 к 8:42 утра в пятницу, когда люди приступили к работе.
В своем последнем посте в X компания Microsoft сообщила, что меры по оптимизации трафика дают положительные результаты для стабильности и пропускной способности сервиса. Эти меры применяются более широко в затронутых регионах в рамках работы над устойчивым восстановлением. Хотя это свидетельствовало о прогрессе, компания не объявила об окончательном устранении проблемы.
Microsoft направила пользователей к инциденту MO1550821 в административном центре Microsoft 365 или на ее публичную страницу статуса. MO1550821 является одним из официальных идентификаторов отслеживания инцидентов, присвоенных Microsoft для текущей деградации и сбоя сервиса.
Объяснение от Microsoft появлялось поэтапно. Сначала было заявлено, что ряд серверов неожиданно стал недоступен, что создало дополнительную нагрузку на оставшуюся инфраструктуру. Компания подчеркнула, что эта повышенная нагрузка не была вызвана внезапным увеличением трафика клиентов.
Позднее Microsoft сообщила, что процесс на затронутых серверах, отвечающий за установление защищенных соединений, перегрузился, из-за чего серверы перестали обрабатывать запросы. Кроме того, компания начала откат недавнего изменения сетевой конфигурации, которое, по ее словам, коррелировало с началом инцидента. Более ранние обновления утверждали, что никакое недавнее изменение не было связано с проблемой.
Восстановление осложнялось тем, что серверы снова становились неотзывчивыми при возвращении к ним трафика. Microsoft предпринимала попытки перезапуска и восстановления затронутых серверов, ограничивала определенные типы трафика, перенаправляла соединения по альтернативным маршрутам и улучшала пропускную способность. Сложность заключалась не только в том, чтобы вернуть серверы в рабочее состояние, но и в том, чтобы поддерживать их стабильность по мере возвращения трафика.
Microsoft заявила, что у нее нет никаких признаков того, что причиной сбоя стала вредоносная активность. Точная первопричина остается неподтвержденной, и компания пообещала опубликовать отчет после инцидента.
Exchange Online — это облачный сервис электронной почты и календаря от Microsoft. Другие функции Microsoft 365 используют его для почты, контактов, записей в календаре и информации о встречах. Когда Exchange Online стал ненадежным, нарушились функции, которые от него зависели, даже там, где основное приложение все еще работало.
Пользователи испытывали трудности с доступом к почтовым ящикам через Outlook в вебе, на рабочем столе и другими методами подключения, а доставка электронной почты замедлялась. Copilot for Microsoft 365 не загружался или не отвечал, либо испытывал трудности с получением рабочих данных. В Teams были затронуты календари и планирование встреч, но основные звонки, совещания, групповые чаты и сообщения в каналах оставались доступными. Файлы SharePoint, хранящиеся непосредственно в сервисе, оставались доступными, хотя некоторые связанные функции были затронуты.
Microsoft также перечислила проблемы со специфическими функциями в Planner, To Do, Defender, Purview, Power BI, Intune и Microsoft Graph — набором программных интерфейсов, позволяющих программному обеспечению обмениваться данными с сервисами Microsoft.
Reuters сообщило, что OpenAI и Anthropic столкнулись с проблемами в своих коннекторах Microsoft 365, которые связывают сервисы искусственного интеллекта с рабочей информацией пользователей.
В Индии авиакомпании IndiGo и Akasa Air сообщили о сбоях в своих службах поддержки по электронной почте. При этом не было указаний на то, что рейсы были нарушены.
Последствия затронули и государственные учреждения. Reuters сообщило, что пострадали органы правительства Австралии, включая Австралийское разведывательное управление безопасности и Австралийскую федеральную полицию, а также государственная ИТ-инфраструктура Японии и пользователи в Палате представителей США. Финансовые фирмы Тайваня также сообщили о перебоях в работе по управлению фондами.
В социальных сетях пользователи выражали смесь разочарования и юмора, шутя о закрытии ноутбуков, пропуске встреч и взятии пятницы как выходного дня. Другие связывали очередной сбой Microsoft с долгим ожиданием игры Grand Theft Auto VI. Социальные сети стали ареной для мемов.
Это не первый крупный сбой Microsoft 365 в этом году. Еще один сбой начался 31 августа и был устранен 3 сентября. Microsoft объяснила его проблемой с основной конфигурацией аутентификации, используемой несколькими сервисами, что затронуло Exchange Online, части Copilot, OneDrive и SharePoint. Однако это была другая, идентифицированная проблема.
Аналогичный облачный сбой произошел в октябре у Google, когда электрический сбой в центре обработки данных нарушил работу сервисов в регионе europe-west2 Google Cloud — центре облачных вычислений в Лондоне. Согласно отчету Google об инциденте, основной эффект длился около шести часов и восьми минут. Причина была иной, но инцидент показал, как локальный сбой инфраструктуры может повлиять на клиентов во всем облачном регионе.
Инцидент CrowdStrike в июле 2024 года был другим. Неисправное обновление программного обеспечения от фирмы по кибербезопасности привело к сбою компьютеров с Windows по всему миру. Microsoft оценила, что пострадало 8,5 миллиона устройств. Механизм был иным, но сбой подчеркнул риски, когда небольшое число поставщиков лежит в основе критически важных систем.
Текущее испытание заключается в том, смогут ли изменения по оптимизации трафика поддерживать стабильность серверов по мере того, как Microsoft увеличивает трафик и пропускную способность в разных регионах. Компания пообещала предоставить отчет после инцидента, который охватит первопричину и меры по предотвращению повторения.
Клиенты должны знать не только о том, что сломалось, но и о том, почему защитные механизмы не смогли остановить сбой раньше.
Продолжающийся инцидент демонстрирует, насколько сильно рабочие места стали зависеть от общей облачной инфраструктуры. Для организаций урок заключается в необходимости планирования на случай отказа ключевого поставщика. Они должны поддерживать каналы экстренной связи вне основной системы электронной почты, делать критически важную информацию доступной иными способами и сохранять альтернативные способы связи с сотрудниками и клиентами. Облачные сервисы позволяют приложениям работать вместе, но эти соединения также могут создавать общие точки отказа. Продукты могут выглядеть отдельными, но они полагаются на одни и те же базовые системы.
