崩了！怎么又崩了？

阿里云云數(shù)據(jù)庫訪問異常

原創(chuàng) 媛媛 | 2023-11-28 19:43

【數(shù)據(jù)猿導讀】 11月27日，阿里云部分地域云數(shù)據(jù)庫控制臺訪問出現(xiàn)異常。據(jù)悉，從當日09:16起，阿里云監(jiān)控發(fā)現(xiàn)北京、上海、杭州、深圳、青島、香港以及美東、美西地域的數(shù)據(jù)庫產(chǎn)品(RDS、PolarDB、Redis等)的控制臺和OpenAPI訪問出現(xiàn)異常，實例運行不受影響。經(jīng)過工程師緊急處理，訪問異常問題已于當日1...

怪事年年有，今年特別多。最近，阿里云系統(tǒng)又崩了，一度沖上熱搜。

11月27日，阿里云部分地域云數(shù)據(jù)庫控制臺訪問出現(xiàn)異常。

據(jù)悉，從當日09:16起，阿里云監(jiān)控發(fā)現(xiàn)北京、上海、杭州、深圳、青島、香港以及美東、美西地域的數(shù)據(jù)庫產(chǎn)品(RDS、PolarDB、Redis等)的控制臺和OpenAPI訪問出現(xiàn)異常，實例運行不受影響。經(jīng)過工程師緊急處理，訪問異常問題已于當日10:58恢復。

阿里云_云數(shù)據(jù)庫_訪問異常-1

此次受影響產(chǎn)品廣泛，尤其是云數(shù)據(jù)庫是重災區(qū)，包括云原生數(shù)據(jù)倉庫AnalyticDB PostgreSQL版、圖數(shù)據(jù)庫、云原生內(nèi)存數(shù)據(jù)庫Tair、云數(shù)據(jù)庫Redis版、云原生關(guān)系型數(shù)據(jù)庫PolarDB、云數(shù)據(jù)庫專屬集群、云數(shù)據(jù)庫MySQL版、云原生數(shù)據(jù)倉庫AnalyticDB MySQL版、云原生分布式數(shù)據(jù)庫PolarDB-X、云數(shù)據(jù)庫ClickHouse、云原生多模數(shù)據(jù)庫Lindorm、云數(shù)據(jù)庫PostgreSQL版、云數(shù)據(jù)庫SQL Server版、云數(shù)據(jù)庫MongoDB版、云數(shù)據(jù)庫HBase版、數(shù)據(jù)庫自治服務(wù)、數(shù)據(jù)庫備份。

受影響地域包括，華北2(北京)、華東2(上海)、華東1(杭州)、華南1(深圳)、華北1(青島)、中國香港、美國(硅谷)、美國(弗吉尼亞)。

阿里云今年崩了幾次？

值得指出的是，本月，這已經(jīng)是阿里云第二次發(fā)生類似事件。

近年來，阿里云多次發(fā)生服務(wù)異常。

2018年6月，阿里云曾遭遇了近半個小時的重大技術(shù)故障。當時，阿里云官方解釋稱：“我們在運維操作中犯了一個錯誤，導致一些客戶訪問阿里云官網(wǎng)控制臺和使用部分產(chǎn)品功能出現(xiàn)問題。”

2019年3月3日凌晨，有網(wǎng)友在微博上稱阿里云疑似宕機了。這也使得華北地區(qū)許多互聯(lián)網(wǎng)公司收到波及，導致APP和網(wǎng)站全部癱瘓。對此，阿里云方面回應(yīng)稱，經(jīng)過緊急排查處理后逐步恢復服務(wù)。對于本次故障，阿里云將按照SLA協(xié)議（服務(wù)合同）盡快處理賠償事宜。

2022年12月18日，阿里云在次爆發(fā)了香港Region可用區(qū)C的大規(guī)模服務(wù)中斷事件，導致影響了多個想搞及澳門站點收到波及。對此，阿里云官方坦言：“這對于很多客戶的業(yè)務(wù)產(chǎn)生重大影響，也是阿里云運營十多年來持續(xù)時間最長的一次大規(guī)模故障。”

進入2023年，阿里云的崩潰問題變得愈發(fā)嚴重，一個月內(nèi)發(fā)生兩次崩潰事件更是前所未有。首先是在10月23日，語雀經(jīng)歷了將近8個小時的宕機，服務(wù)器故障導致在線文檔和官網(wǎng)無法打開。語雀官方發(fā)布聲明稱，這是由于網(wǎng)絡(luò)故障引起的，不會影響用戶數(shù)據(jù)，也不會導致數(shù)據(jù)丟失。對于這種說辭，用戶紛紛表示質(zhì)疑。

隨后在11月12日，阿里云底層授權(quán)模塊接近3個小時的服務(wù)不可用，涉及到阿里云盤、淘寶、咸魚、釘釘、語雀等等產(chǎn)品，持續(xù)時長約為3.5個小時。值得注意的是，除卻C端產(chǎn)品，公司的B短客戶也受到了不小的影響。

有媒體指出，阿里云在阿里系歷史上罕見的受到了波及，受影響的區(qū)域包括中國內(nèi)地、中國香港以及印度、美國、英國、韓國、日本等多個國家和地區(qū)。根據(jù)數(shù)據(jù)顯示，阿里云的企業(yè)用戶超過300萬家，這些客戶因為云服務(wù)不可用，業(yè)務(wù)運營可能面臨全面癱瘓。

對此，阿里云在后續(xù)發(fā)布的公告中稱，當天（11月12日）17:44起，阿里云監(jiān)控發(fā)現(xiàn)云產(chǎn)品控制臺訪問及API調(diào)用出現(xiàn)異常，阿里云工程師在緊急接入排查。工程師通過分批重啟組件服務(wù)，絕大部分地域控制臺服務(wù)已經(jīng)恢復訪問。19:20分左右，經(jīng)工程師緊急處理后，阿里旗下淘寶、釘釘、阿里云盤等APP全面恢復。隨后21:11，受到影響的云產(chǎn)品均已恢復，因故障影響部分云產(chǎn)品的數(shù)據(jù)可能存在延遲推送情況，不影響業(yè)務(wù)的正常運行。

屋漏偏風連夜雨，就在雙11崩潰事件還沒過去多久之后，阿里云于27日，部分地域云數(shù)據(jù)庫控制臺訪問出現(xiàn)了異常。

作為國內(nèi)最大的云服務(wù)提供商之一，為何如此頻繁的遭遇宕機？相信很多人對此心里都很想問一句“阿里云，你沒事吧？”

云服務(wù)商崩潰都有哪些共性？

通過分析阿里云近幾次的故障，我們試圖來找到一些共性的邏輯。

在整個云計算體系中，哪些地方是薄弱環(huán)節(jié)，哪些地方容易問題呢？

需要說明的是，系統(tǒng)的復雜性和規(guī)模本身就是一個核心因素。

作為國內(nèi)最大的云服務(wù)提供商，阿里云擁有龐大的基礎(chǔ)設(shè)施和復雜的服務(wù)體系，這自然增加了系統(tǒng)出錯的可能性。

每一個組件，無論是網(wǎng)絡(luò)、存儲還是計算資源，都是潛在的故障點。當系統(tǒng)規(guī)模擴大時，即便是小的錯誤或故障也可能引發(fā)連鎖反應(yīng)，導致整個服務(wù)的中斷。

更進一步，底層架構(gòu)的穩(wěn)定性也是一個關(guān)鍵因素。底層架構(gòu)問題，如數(shù)據(jù)庫和授權(quán)模塊的故障，會直接影響到云服務(wù)的可用性。這類問題通常比較復雜，需要專業(yè)的技術(shù)團隊來及時識別和解決。

此外，網(wǎng)絡(luò)故障同樣是一個關(guān)鍵問題，正如2023年10月的語雀宕機事件所展示的那樣。網(wǎng)絡(luò)是云服務(wù)的生命線，任何網(wǎng)絡(luò)層面的問題都可能導致廣泛的服務(wù)中斷。這不僅關(guān)系到網(wǎng)絡(luò)本身的穩(wěn)定性和可靠性，還涉及到對網(wǎng)絡(luò)架構(gòu)的合理設(shè)計和持續(xù)的性能監(jiān)控。

值得指出的是，人為因素在這些故障中也扮演了重要角色。例如，2018年的技術(shù)故障就是由于運維操作失誤引起的。

即使在高度自動化的環(huán)境中，人為操作仍然是不可忽視的風險因素。這強調(diào)了在復雜系統(tǒng)中進行精細化管理和操作的重要性，以及培訓和監(jiān)督運維人員的必要性。

當然，雖然阿里云多次出現(xiàn)故障，但有一點還是值得肯定的，那就是在面對這些挑戰(zhàn)時，阿里云展示了其強大的應(yīng)急響應(yīng)和恢復能力?？焖俚墓收显\斷和有效的恢復措施，對于保持服務(wù)穩(wěn)定性至關(guān)重要。這不僅需要先進的技術(shù)支持，還需要周到的預案規(guī)劃和危機管理策略。

云計算高可用的故事還可以信么？

雖然近期阿里云比較水逆，但云計算事故遠不止他一家。即使是AWS、微軟云、谷歌云這些全球巨頭，也會經(jīng)常被類似的事故所坤然。

然而，云計算給客戶灌輸?shù)倪@樣一個愿景：資源彈性擴展，容災備份，讓系統(tǒng)高可用，避免由于系統(tǒng)故障導致的業(yè)務(wù)中斷。

既然云服務(wù)也經(jīng)常中斷，那這個故事還能繼續(xù)降下去么？

需要指出的是，任何事情都不是絕對的，云計算所宣稱的高可用，并不是說絕對不發(fā)生事故，而是盡量減少事故發(fā)生，且事故發(fā)生后可以快速恢復。

事實上，在企業(yè)上云之前，本地化系統(tǒng)就沒故障么？肯定有，而且只會更多。云廠商每次事故都會上新聞熱搜，往往是稀缺的事情才會上新聞，這恰好從側(cè)面證明云服務(wù)的穩(wěn)定性。

當然，我們更希望從正面來證明云服務(wù)的穩(wěn)定性。類似的事故，即使不能杜絕，也要盡量減少。

因此，阿里云、騰訊云、百度云等云廠商，還需要繼續(xù)修煉內(nèi)功，把當初給客戶描繪的愿景不打折扣的實現(xiàn)。

具體來看，可以在以下幾個方面著手，提升云服務(wù)的穩(wěn)定性，避免事故導致的業(yè)務(wù)中斷：

基礎(chǔ)設(shè)施建設(shè)應(yīng)注重冗余和彈性，以確保單一故障點不會導致整個系統(tǒng)癱瘓。這意味著在數(shù)據(jù)中心設(shè)計、網(wǎng)絡(luò)架構(gòu)、存儲系統(tǒng)等方面都要實施多層次的備份和故障轉(zhuǎn)移機制。

在架構(gòu)設(shè)計方面，采用現(xiàn)代化的軟件架構(gòu)，如微服務(wù)、容器化和服務(wù)網(wǎng)格，可以提高系統(tǒng)的靈活性和可維護性，降低因架構(gòu)問題導致的故障風險。

隨著新技術(shù)的發(fā)展，阿里云應(yīng)不斷集成先進的解決方案，如自動化運維工具、機器學習算法等，以提升系統(tǒng)的性能和穩(wěn)定性。同時，持續(xù)優(yōu)化軟件和硬件基礎(chǔ)設(shè)施，以適應(yīng)不斷變化的需求和挑戰(zhàn)。