Newsora
IT之家11/16 16:11 · 33m ago

微軟高管解釋 Microsoft 365 服務爲何全球宕機:三重故障引發連鎖反應,擊垮 80% 服務器

IT之家 11 月 16 日消息,當地時間 11 月 12 日,微軟旗下 Microsoft 365 多項核心雲服務發生大規模故障,導致 Outlook、Exchange Online、Teams、SharePoint 等在全世界範圍宕機,數百萬名用戶超 12 小時無法訪問電子郵件。今天微軟發佈了此次事故的初步報告。據初步判斷,此次故障根本原因在於一個 7 月的軟件缺陷,然後和另外兩個基礎設施問題共同發作,引發連鎖故障,一度導致微軟 80% 網絡服務器失去響應。如今,微軟高管查爾斯 · 拉曼納(Charles Lamanna)在 X 平臺分享了故障原因的詳細說明,IT之家附核心內容如下:今年 7 月,微軟在修復 Microsoft 365 網絡網關問題時弄出了一個軟件缺陷。該漏洞導致服務器進程出現鎖競爭(Lock Contention),無法響應特定工作負載。但包含缺陷的軟件通過了微軟常規測試,並在數週內部署至全球各地,期間沒有出現任何問題。微軟發現,當時的測試沒有發現軟件缺陷,是因爲測試環境主要使用型號較舊、性能較弱的 CPU 和硬件,然而在覈心數更多的新型服務器上,這一漏洞更容易觸發。在此次大規模故障發生前幾個小時,微軟將 Teams 流量從備用網絡網關轉移到主網絡網關。該網關同時負責處理 Exchange Online 流量,此次調整是爲了確保 Teams 能夠正常運行。雖然這是微軟基礎設施的常規故障切換操作,但此舉增加了 Exchange Online 主網絡網關負載,並改變其流量分佈。由於前一天發生的另一起無關問題,網絡網關約 14% 的服務器容量已經無法使用。此時剩餘的 86% 容量仍足以應對正常工作負載。當上述三個問題同時觸發時,服務中斷正式發生。增加的 Teams 流量與減少的服務器容量,共同觸發了此前一直沒有發現的軟件漏洞。當服務器無響應時,微軟的基礎設施會自動將流量轉發至運行正常的服務器上。但這種機制反而讓情況進一步惡化。服務器接收到大量轉發流量後負載增加,這時候又觸發了同一個軟件漏洞,導致越來越多的服務器如連鎖反應般倒下。不到兩小時,故障就蔓延至微軟 80% 網絡網關服務器。通常情況下,微軟會通過獨立容量分區和區域來限制此類故障的影響範圍。然而另一個問題導致這些保護機制未能阻止連鎖故障,最終使其蔓延至全球。微軟計劃本週晚些時候發佈詳細報告,屆時將公佈更多技術細節。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →