安超云技術(shù)

該技術(shù)由安超云投遞并參與“數(shù)據(jù)猿年度金猿策劃活動——2023大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術(shù)突破榜單及獎項”評選。

節(jié)點的集群由兩臺計算機組成，每個計算機都稱為集群中的一個節(jié)點(Node)。由于網(wǎng)絡(luò)、系統(tǒng)等存在故障(如：網(wǎng)絡(luò)中某一個交換機存在故障)，一個集群可能分裂為兩個組(Node Group)，這種現(xiàn)象叫做腦裂(Brain Split)。當集群發(fā)生腦裂后，分裂的兩個節(jié)點組中的每一個節(jié)點組都無法通過心跳信息或者租約信息檢測到對方的存在，會認為其他節(jié)點組的節(jié)點發(fā)生了故障，這樣在同一時間段，這些節(jié)點組中的節(jié)點可能會發(fā)起對某一共享存儲資源(如：存儲磁盤)的訪問，這樣就會導致數(shù)據(jù)訪問錯誤的發(fā)生。此時，集群的管理軟件通常會采用一定算法來仲裁由哪一個節(jié)點組勝出，并延續(xù)原有集群的工作，失敗的節(jié)點組中的節(jié)點則需要重啟，并執(zhí)行重新加入集群的操作。在集群啟動過程由于很多狀態(tài)很不穩(wěn)定，仲裁程序很容易誤判，導致集群腦裂，本發(fā)明能解決該問題。

技術(shù)說明

本發(fā)明解決下面2個腦裂場景

一）、腦裂場景1

1、問題場景

按照上表的邏輯。當左邊的默認節(jié)點存儲和業(yè)務(wù)程序服務(wù)都出現(xiàn)異常時（紅色嘆號1），右邊的服務(wù)器2接管服務(wù)，切換成單機的節(jié)點。此時出現(xiàn)了2次故障2臺服務(wù)器之間的心跳再斷了（紅色嘆號2）。隨后左邊的默認節(jié)點的存儲服務(wù)和業(yè)務(wù)程序又自動恢復了。左邊的也滿足上表的邏輯第四個場景也切換為主節(jié)點。出現(xiàn)了雙主節(jié)點，2個節(jié)點的業(yè)務(wù)持續(xù)往存儲里寫數(shù)據(jù)，由于2個物理機存儲服務(wù)無法通過心跳線組成存儲集群，數(shù)據(jù)無法同步到對端，導致集群腦裂。

2、關(guān)鍵技術(shù)

加一個判斷條件，2個物理機上的高可用服務(wù)周期性檢查存儲和業(yè)務(wù)程序，如果出現(xiàn)故障，在本節(jié)點寫service-fail-tag。如果切換的時候本地存在service-fail-tag，即使?jié)M足條件也不切換。

3、寫置tag流程

每個節(jié)點的高可用服務(wù)一個線程執(zhí)行如下操作，周期性檢查當前節(jié)點的存儲服務(wù)是否正常，如果存儲不正常，在本地/var/lib/ha-service目錄下寫service-fail-tag文件。按照上表如果當前節(jié)點符合切換，如果當前節(jié)點存在/var/lib/ha-service/service-fail-tag文件就禁止當前節(jié)點切換為主節(jié)點。

4、刪除tag流程

當前節(jié)點服務(wù)恢復正常，并且當前節(jié)點和對方組成集群模式。如果當前節(jié)點存在/var/lib/ha-service/service-fail-tag文件就將該文件刪除，保證下次切換順利進行。

二）、腦裂場景2

1、問題場景

如表1所示，當出現(xiàn)下面故障時，2個節(jié)點會被切換成主節(jié)點。

● 默認節(jié)點物理機1所有網(wǎng)絡(luò)故障，按照表1場景2邏輯物理機2切為主節(jié)點。

●再次發(fā)生二次故障，物理機2再管理網(wǎng)故障。

● 默認節(jié)點物理機1管理網(wǎng)恢復，此時按照表1場景2邏輯，物理機1也會被切換為主節(jié)點。

2、關(guān)鍵技術(shù)，新增一個附件條件解決問題

當心跳網(wǎng)故障，管理網(wǎng)正常。需要通過管理網(wǎng)ssh到對端，檢查對方的狀態(tài)之后，通過檢查本地是否有other-is-master-tag來判斷對方是否為主節(jié)點。

3、置other-is-master-tag流程

● 當心跳網(wǎng)故障，管理網(wǎng)正常。需要通過管理網(wǎng)ssh到對端，檢查對方的狀態(tài)。

● 檢查之前在本地/var/lib/ha-service目錄置check-tag。表示本地開始檢測了。

● 檢測對方節(jié)點的狀態(tài)。具體參見下面第4小節(jié)。

● 如果本地不存在other-is-master-tag，本地置failover-tag【切換是個過程，切換之前寫tag，成功之后刪除tag，防止正在切換，導致誤判】，本地切換為主節(jié)點。

● 本地切換為主節(jié)點，切換無論成功還是失敗都刪failover-tag，如果成功程序結(jié)束。否則刪除failover-tag重新開始。

4、檢測程序詳細說明

● 檢測開始先判斷對方是否在檢查，如果正在檢查等待30s，重新檢查，否則進入在本地寫check-tag進入檢查流程；

● 判斷對方failover-tag【正在切換的標志】是否存在，如果存在，程序返回開始重新檢查；

● 判斷對方是否為主節(jié)點，如果對方為主節(jié)點，本端寫other-is-master-tag，否則對端other-is-master-tag；

● 寫完other-is-master-tag之后，刪除檢測標記check-tag。

5、當環(huán)境恢復刪除other-is-master-tag邏輯

當前節(jié)點服務(wù)恢復正常，切當前節(jié)點和對方組成集群模式。如果當前節(jié)點存在/var/lib/ha-service/other-is-master-tag文件就將該文件刪除，保證下次切換順利進行。

★專利申請?zhí)?公開號：CN115269248A

開發(fā)團隊

·帶隊負責人姓名：吳業(yè)亮

吳業(yè)亮，研發(fā)中心技術(shù)架構(gòu)部負責人，在云計算領(lǐng)域擁有十多年的架構(gòu)設(shè)計及研發(fā)經(jīng)驗。擅長分布式集群、操作系統(tǒng)、虛擬化、數(shù)據(jù)庫等專業(yè)領(lǐng)域，在云計算領(lǐng)域作為第一作者擁有四五十個發(fā)明專利。

團隊其他重要成員姓名：胡進、李瑞友、施永輝

·隸屬機構(gòu)：安超云

安超云軟件有限公司（簡稱“安超云”）是數(shù)字技術(shù)基礎(chǔ)架構(gòu)提供商，聚集了國內(nèi)外頂尖的云計算專家和資深工程師，致力于為政企客戶打造高性能、高可用、高效率、全面適配、高效管理及敏捷運行的IT基礎(chǔ)設(shè)施平臺。安超云系列產(chǎn)品和解決方案基于“全芯全棧”、“全生態(tài)”、“多云納管”的能力，打造的“信創(chuàng)云基座”解決方案，融合了安超云自研的云操作系統(tǒng)、虛擬化平臺軟件、分布式存儲軟件、云管理平臺、桌面云軟件等10余個子產(chǎn)品，經(jīng)權(quán)威機構(gòu)測評核心代碼自主率85%以上。安超云操作系統(tǒng)（ArcherOS）可基于國產(chǎn)六大芯片、五大操作系統(tǒng)向下全面統(tǒng)一納管、調(diào)度、容災和管理，向上全面兼容各種應(yīng)用軟件，有效的屏蔽了底層復雜基礎(chǔ)架構(gòu)。

相關(guān)評價

這項專利實現(xiàn)了高可用系統(tǒng)中的雙節(jié)點模式，并且避免了腦裂問題。這意味著即使一個節(jié)點出現(xiàn)故障，另一個節(jié)點仍然可以正常運行，防止了系統(tǒng)停機和數(shù)據(jù)丟失的情況。該技術(shù)非常實用，對于關(guān)鍵業(yè)務(wù)系統(tǒng)的穩(wěn)定性和可用性至關(guān)重要。該專利的創(chuàng)新性和實用性值得一定的稱贊，能夠?qū)Ω呖捎么鎯ο到y(tǒng)的設(shè)計和實現(xiàn)提供有益的參考。

——某大數(shù)據(jù)局

這項技術(shù)實現(xiàn)了雙節(jié)點的高可用系統(tǒng)，并成功解決了腦裂問題。通過確保節(jié)點之間的持續(xù)通信和冗余數(shù)據(jù)存儲，該技術(shù)可防止系統(tǒng)故障和數(shù)據(jù)損失。這一創(chuàng)新方案賦予了關(guān)鍵業(yè)務(wù)系統(tǒng)更高的穩(wěn)定性和可用性，使其能夠持續(xù)運行并保持數(shù)據(jù)完整性。該專利的價值在于為高可用存儲系統(tǒng)開辟了新的途徑，為開發(fā)人員提供了更可靠的解決方案，從而提升了企業(yè)的業(yè)務(wù)連續(xù)性和用戶體驗。

——某證劵公司

來源：數(shù)據(jù)猿