數(shù)據(jù)中心“碳中和”不應(yīng)只關(guān)注硬件

數(shù)據(jù)中心碳中和存算分離

數(shù)據(jù)猿 | 2022-03-31 19:33

【數(shù)據(jù)猿導(dǎo)讀】 2021年是碳中和元年，同年10月26日，國務(wù)院印發(fā)《2030年前碳達峰行動方案》，放眼全球，微軟、AWS、Google等擁有大型數(shù)據(jù)中心的企業(yè)均表示在2030年實現(xiàn)碳中和。

2021年是碳中和元年，同年10月26日，國務(wù)院印發(fā)《2030年前碳達峰行動方案》，放眼全球，微軟、AWS、Google等擁有大型數(shù)據(jù)中心的企業(yè)均表示在2030年實現(xiàn)碳中和。

與此同時，我國繼“南水北調(diào)”“西電東送”“西氣東輸”等工程之后也發(fā)布了“東數(shù)西算”重要戰(zhàn)略，在這個基礎(chǔ)上，國內(nèi)的像聯(lián)想、阿里等不少擁有大規(guī)模數(shù)據(jù)中心的企業(yè)已經(jīng)開始進行減排探索，根據(jù)公開報道，目前主要的手段是硬件改造，通過更先進的散熱技術(shù)降低數(shù)據(jù)中心能耗,根據(jù)筆者調(diào)研，散熱部分能耗占據(jù)總能耗的40%。

例如，聯(lián)想是通過溫水水冷的方式給服務(wù)器進行散熱，阿里在西溪的數(shù)據(jù)中心則采用浸沒式液冷方案，通過這樣的方式可以將PUE降低至1.3，這意味著散熱能耗從40%降低至了23%。

硬件減排的局限性

而類似的硬件改造也存在不少局限性。首先是時間問題，無論是阿里的浸沒式液冷方案還是聯(lián)想的水冷方案，都需要一個比較漫長的改造過程，并且類似的方案不少還在探索階段，并沒有大規(guī)模鋪設(shè)，成本也較高。因為硬件設(shè)施的改造是一個系統(tǒng)工程，需要將服務(wù)器從暴露在空氣中到浸沒在液體里，服務(wù)器和數(shù)據(jù)中心的設(shè)計都要圍繞冷卻劑的工作特性做出相應(yīng)的調(diào)整，運維體系也將隨之改變。

其次是收益有限，因為電力消耗的大頭主要是在服務(wù)器耗電上。以目前比較通用的大數(shù)據(jù)架構(gòu)來看，無論服務(wù)器是否被閑置，為了保證整體集群的高可用，硬件資源長期被占用，即便閑置也無法停機。而硬件閑置就意味著能源的浪費。這一部分能耗遠超50%。

資源閑置所占能耗超50%

資源調(diào)度一直是業(yè)界公認(rèn)的難題，根據(jù)Gartner調(diào)研發(fā)現(xiàn)全球數(shù)據(jù)中心服務(wù)器CPU利用率只有6%～12%，可見資源浪費有多嚴(yán)重。

為了印證這一說法，我們找到了阿里公開的集群使用率數(shù)據(jù)，該數(shù)據(jù)包含4000+臺機器的9天運行時數(shù)據(jù)，包括 4000臺機器、9000個在線任務(wù)和 4000000 個離線任務(wù)的靜態(tài)和運行時數(shù)據(jù)。整個集群的 CPU使用情況如以下熱圖所示。橫軸代表 8 天的時間，縱軸代表了 4000臺機器，圖中每條水平的直線都代表這一臺機器在這 8 天中每15分鐘的平均資源利用率，其中顏色越紅代表資源使用率越高。

數(shù)據(jù)中心_碳中和_存算分離-1

通過上圖我們可以發(fā)現(xiàn)，在7天實踐中，服務(wù)器CPU有大量時間在藍色和綠色之間，也就意味著多數(shù)時間CPU利用率是低于40%的，同時還發(fā)現(xiàn)CPU 利用率在時間維度和集群維度上能看到很強的周期性變化，每天早上 6 點左右集群 CPU 利用率到達了峰值（早上運行的有消耗大量資源的定時任務(wù)）。

這還是在技術(shù)較為先進的阿里集群中的數(shù)據(jù)，我們不難推測出在其他數(shù)據(jù)中心資源利用率低的情況將更為嚴(yán)重，放到全球的平均水平，Gartner全球數(shù)據(jù)中心服務(wù)器CPU利用率只有6%～12% 的調(diào)研結(jié)果是有相當(dāng)高可信度的。

數(shù)倉領(lǐng)域資源閑置率更高

而數(shù)據(jù)中心由于大量服務(wù)器資源為在線應(yīng)用工作，如果我們將目光聚焦到數(shù)據(jù)倉庫領(lǐng)域，就不難發(fā)現(xiàn)除了大量復(fù)雜查詢場景如銀行跑批等，資源的閑置率將更高，周期性將更加明顯。

數(shù)倉主要滿足數(shù)據(jù)的存儲和查詢需求，而目前目前數(shù)倉領(lǐng)域大規(guī)模分布式存儲廣泛采用的是MPP架構(gòu)，由于MPP架構(gòu)的存儲節(jié)點和計算節(jié)點的綁定特性，意味著集群中的節(jié)點既要承擔(dān)存儲任務(wù)，又要承擔(dān)計算任務(wù)，所以即便沒有查詢計算任務(wù)，該節(jié)點也要被占用，這其實是十分可觀的浪費，大幅降低集群利用率。

存算分離技術(shù)讓問題迎刃而解

我們能否換個思路，在保持現(xiàn)有數(shù)據(jù)中心硬件不變的情況下通過提升利用率，也就是減少閑置來實現(xiàn)節(jié)能減排呢？

試想一下，如果存儲和計算節(jié)點分離是什么情況。這就意味著，在保證了整體集群數(shù)據(jù)安全存儲并且可用的狀態(tài)下，如果沒有查詢?nèi)蝿?wù)，系統(tǒng)將大幅減少計算資源供給，出讓計算節(jié)點給其他任務(wù)甚至是給其他租戶。這有點類似于我們筆記本電腦的硬盤休眠功能，如果沒有數(shù)據(jù)的寫入和讀取，機械硬盤會進入休眠狀態(tài)，一方面減少了噪音，另一方面也降低了能耗，在筆記本電池容量保持不變的情況下，大幅增長續(xù)航時間。

在云端，存儲計算分離的優(yōu)勢將更加明顯。根據(jù)Gartner的研究，目前中國數(shù)據(jù)上云已經(jīng)超過50%，并且以110%的增速快速發(fā)展。在云端使用存儲計算分離技術(shù)除了降低能耗減少碳排放外，對于用戶來說最直接的收益是成本的大幅降低。用戶可以在查詢需求較低的情況下減少計算節(jié)點，因為在云環(huán)境中的費用是根據(jù)節(jié)點使用時長計算的，回收限制計算節(jié)點意味著可以真正做到按需付費。

回到文章主題，站在云服務(wù)提供商的角度，采用存儲計算分離，意味著不同類型用戶波峰波谷的中和，在硬件計算資源不變的情況下可以服務(wù)更多用戶。

目前，無論是通過降低散熱能耗還是通過更先進的軟件架構(gòu)節(jié)能減排，我國數(shù)據(jù)中心還有非常大的優(yōu)化空間。隨著2021年國家一系列雙碳政策的出臺，我國正式開始像碳中和目標(biāo)大步邁進，隨著越來越多像存儲計算分離技術(shù)的普及，我國實現(xiàn)碳中和指日可待。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。