隨著人工智能的飛速發(fā)展，尤其是大型AI模型、AIGC的崛起，對AI算力產(chǎn)生了巨大的需求。以GPU為核心的算力供給，已經(jīng)成為大模型、AIGC乃至整個智能產(chǎn)業(yè)發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施。因此，對于有志于在大模型產(chǎn)業(yè)掘金的企業(yè)，尋找到合適的算力合作伙伴，是其發(fā)展業(yè)務(wù)的重要基礎(chǔ)。那么，應(yīng)該如何篩選GPU算力合作伙伴呢？

作為全球云計算巨頭的谷歌云，在GPU算力供應(yīng)方面有三大優(yōu)勢：算力供應(yīng)充足，在全球主要區(qū)域都有GPU現(xiàn)貨；能提供多款高端GPU，包括A100、L4等；價格實惠，能幫用戶節(jié)省超過50%的成本。

全球大量GPU現(xiàn)貨，多款高端GPU

進入2023年，ChatGPT為代表的大模型應(yīng)用以極快的速度滲透進各行各業(yè)，極大的增加了對AI算力的需求，“算力荒”現(xiàn)象日益凸顯，甚至出現(xiàn)GPU“一芯難求”的困境。全球各個互聯(lián)網(wǎng)巨頭、云廠商、AI企業(yè)等都加入了搶購GPU的行列，典型的如馬斯克緊急搶購1萬塊GPU。就國內(nèi)市場來看，國內(nèi)云廠商擁有超過1萬枚GPU的企業(yè)預(yù)計不超過5家，然而有GPU算力需求的企業(yè)則早已超過10萬家，且這個數(shù)據(jù)還在快速增長?？焖倥蛎浀乃懔π枨?，讓云廠商的GPU算力供應(yīng)捉襟見肘。巨頭的處境尚且如此，中小型AI企業(yè)尤其是創(chuàng)業(yè)公司的算力短缺現(xiàn)象則更加嚴重。

在這樣的算力短缺環(huán)境中，擁有大量GPU儲備的谷歌云無疑是一個很好的合作伙伴。目前，谷歌云可以提供共7種類型的英偉達GPU，涵蓋A100、L4、T4、V100、K80、P100、P4，可滿足多樣化的應(yīng)用需求。

谷歌云所支持的英偉達GPU類型

并且，谷歌云的GPU不僅種類豐富，供應(yīng)能力也全球領(lǐng)先。以A100 GPU的A2機型為例，谷歌云可覆蓋亞太、歐洲、北美的8個Region，15個zone；其他類型GPU則可覆蓋21個region，51個zone。對于有出海需求的企業(yè)，谷歌云可在全球為其提供充足的GPU算力供應(yīng)，支撐其業(yè)務(wù)的全球化布局。

谷歌云的全球計算資源分布

需要指出的是，要更好推動大模型、AIGC產(chǎn)業(yè)的發(fā)展，GPU不僅要量足，還要質(zhì)優(yōu)，即不斷提升GPU計算性能。谷歌云在提供先進AI算力方面，一直走在行業(yè)前列。2023年4月4日，谷歌云率先發(fā)布業(yè)界首個由英偉達最新型號L4 Tensor Core GPU驅(qū)動的云虛擬機G2，專為AIGC等大型推理AI工作負載而構(gòu)建。

根據(jù)測算，如果從英偉達T4 GPU切換到L4 GPU，可以獲得2 -4倍的性能提升；通過從英偉達A10G GPU切換到具有L4 GPU的G2實例，用戶可以節(jié)省40%的成本。作為通用GPU產(chǎn)品，G2實例還有助于加速其他工作負載，在HPC、視頻轉(zhuǎn)碼方面、模型訓(xùn)練和應(yīng)用方面提供顯著的性能改進。此外，谷歌云持續(xù)構(gòu)建HPC云上解決方案，為用戶的高性能計算業(yè)務(wù)提供澎湃的算力支持。

極致性價比，可為用戶節(jié)省超50%算力成本

無論是大模型的訓(xùn)練還是推理應(yīng)用，都異常的“燒錢”。以引爆市場的ChatGPT為例，其模型訓(xùn)練需要用到上萬塊GPU，耗資上億美元。此外，在其日常運營過程中，據(jù)半導(dǎo)體研究公司SemiAnalysis的首席分析師Dylan Patel測算，ChatGPT每天的運營成本預(yù)計高達70萬美元。依據(jù)國盛證券發(fā)布的《ChatGPT需要多少算力》報告，訓(xùn)練一次大模型的成本介于200萬美元至1200萬美元之間，這對于大模型、AIGC創(chuàng)業(yè)公司以及其他AI應(yīng)用公司而言，是一個不可忽視的門檻。

為了推動AI應(yīng)用尤其是大模型應(yīng)用的發(fā)展，谷歌云在降低GPU算力成本方面做了大量的工作，可以幫助用戶大幅節(jié)省算力成本。

那么，谷歌云是如何實現(xiàn)如此大幅度的成本節(jié)省的呢？具體來看，谷歌云通過自定義實例規(guī)格、Spot實例選用、多種折扣模式等方式，來幫助客戶降低算力成本。

1、靈活配置GPU資源，自定義機型、實例規(guī)格

與其他云廠商將GPU與云主機進行了封裝和綁定不同，谷歌云以直通模式將GPU提供給用戶，以便用戶直接控制GPU及其關(guān)聯(lián)的內(nèi)存，也實現(xiàn)了GPU與Compute Engine解耦。除了A100和L4系列外任何類型的GPU，均可與N1系列的所有規(guī)格進行自定義搭配，可實現(xiàn)高達96vCPU、624GB算力內(nèi)的任意選擇，靈活滿足不同規(guī)模用戶的需求。

谷歌云 英偉達 V100類型主機可用規(guī)格

V100 GPU資源靈活選擇示例

谷歌云除A2與G2以外配備GPU的云主機，均可以自定義實例規(guī)格，使得用戶可以根據(jù)實際需求來定制CPU和內(nèi)存的規(guī)格。用戶在進行算力選擇時，不局限于比率，也不必選擇超過實際需求的較高規(guī)格，從而避免額外費用。

谷歌云主機自定義規(guī)格界面示例

2、Spot實例選用

谷歌云提供Spot實例選用服務(wù)，Spot 虛擬機使用過剩的 Compute Engine 容量，提供與常規(guī)計算實例相同的機器類型、選項和性能。Spot是一種適合批處理作業(yè)和容錯工作負載的計算實例，對于Stable Diffusion類可容錯型應(yīng)用，可以承受可能的實例搶占，使用Spot虛擬機可以節(jié)省高達91% 的費用。

3、多種折扣模式

為了進一步降低用戶的算力成本，谷歌云還為用戶提供多種折扣模式。具體來看，谷歌云推出持續(xù)使用折扣、基于資源的承諾使用折扣、靈活承諾使用折扣三種模式，三種模式均無需預(yù)付，并且可以疊加使用。

持續(xù)使用折扣模式下，Compute Engine 為使用時間超過結(jié)算月份的 25% 且未獲得任何其他折扣的資源，提供持續(xù)使用折扣 (SUD)，該折扣隨著使用量的增加而增加。對于運行整個月的虛擬機實例，通過持續(xù)使用折扣可以獲得高達30%的資源成本凈折扣。

對于Compute Engine，虛擬機實例在購買1年期或3年期的承諾后，谷歌云還提供基于資源的承諾使用折扣、靈活承諾使用折扣兩種方式。

基于資源的承諾使用折扣（或基于資源的 CUD），適用于資源使用量穩(wěn)定、可預(yù)測的用戶和場景，該折扣適用于 vCPU、內(nèi)存、GPU、本地 SSD、單租戶節(jié)點和軟件許可。通過基于資源的承諾使用折扣，用戶的硬件最高可獲得70%的折扣，軟件最高可獲得79%的折扣。

Compute Engine 靈活承諾使用折扣，基于支出金額的 CUD，靈活CUD不限制該 Cloud Billing 帳號內(nèi)的項目和區(qū)域，適用于任何通用和計算優(yōu)化機器類型的 vCPU 和內(nèi)存。通過靈活承諾使用折扣，用戶1年期承諾的每小時支出金額可享受 28% 的折扣，3 年期承諾的每小時支出金額可享受 46% 的折扣。

企業(yè)客戶可以綜合應(yīng)用谷歌云提供的各種優(yōu)惠策略，來降低其算力成本。據(jù)測算，相對于市場上其他云廠商提供的同類GPU產(chǎn)品，谷歌云提供的GPU服務(wù)價格普遍要低幾十個百分點。例如，谷歌云的A100 80GB產(chǎn)品同比便宜22%；A100 40GB產(chǎn)品同比便宜28%；T4產(chǎn)品同比便宜47%。此外，谷歌云還獨家提供L4產(chǎn)品，并且也維持了超低售價。

此外，谷歌云的Compute Engine會根據(jù) Cloud Monitoring在過去8天中收集的系統(tǒng)指標，自動生成成本優(yōu)化建議，用戶可以采用這些建議來調(diào)整實例機器類型的容量，幫助優(yōu)化虛擬機實例的資源利用率，將成本優(yōu)化做到極致。

以谷歌云的某客戶為例，據(jù)測算，基于谷歌云的成本節(jié)省策略，該客戶整體可節(jié)省58.1%的成本。其中，通過Spot實例可節(jié)省18.3%的成本，通過自定義機型可節(jié)省10%的成本，通過承諾使用折扣可節(jié)省21.4%的成本，通過持續(xù)使用折扣可節(jié)省8.4%的成本。

谷歌云Compute Engine成本優(yōu)化參考模型

4、通過WebEye購買GPU，可獲得專屬折扣。

值得指出的是，除了上面提到的成本節(jié)省策略外，用戶還可通過WebEye得到專屬GPU算力購買折扣，獲得比谷歌云官網(wǎng)更優(yōu)惠的價格。

WebEye是誰，憑什么有這個“特權(quán)”呢？

WebEye作為業(yè)界領(lǐng)先的數(shù)據(jù)智能企業(yè)，可為客戶提供多樣化的公有云及其生態(tài)資源服務(wù)，包括上云咨詢、云遷移、運維托管、云轉(zhuǎn)售等。WebEye是中國大陸地區(qū)率先獲得Google Cloud Managed Service Provider（MSP）資質(zhì)的合作伙伴，并獲得2021 Google Cloud年度最佳突破伙伴獎。

為了進一步降低算力成本，使得更多的企業(yè)和研究機構(gòu)有能力參與到AI的開發(fā)和應(yīng)用中來，推動AI技術(shù)的普及和應(yīng)用，WebEye與谷歌云攜手合作，通過WebEye可以獲得更優(yōu)惠的價格。

例如，通過WebEye購買谷歌云資源，A2標準機器類型的SPOT價格低至1.1美元/小時、A2 Ultra機器類型價格低至1.58美元/小時、G2標準機器類型價格低至0.21美元/小時；NI標準器類型價格低至0.13美元/小時。

更多驚喜，敬請掃描下圖海報二維碼或點擊文末“閱讀原文”，獲得更多優(yōu)惠大禮包。

來源：數(shù)據(jù)猿