隨著人工智能的發(fā)展，計算的核心正在經(jīng)歷從CPU集群向GPU算力集群的轉(zhuǎn)變，這一變革將徹底改變整個計算體系。GPU憑借其強大的并行計算能力，正在成為大規(guī)模AI模型訓(xùn)練的主力。然而，隨著計算集群規(guī)模的擴張，傳統(tǒng)的網(wǎng)絡(luò)通信架構(gòu)已難以支撐高頻數(shù)據(jù)交換和海量計算需求。這種情況下，計算集群的網(wǎng)絡(luò)通信需要發(fā)生巨大的變革，以充分發(fā)揮GPU集群的潛力。

在這樣的背景下，騰訊推出星脈網(wǎng)絡(luò)。7月1日，騰訊宣布了星脈網(wǎng)絡(luò)的全新升級。作為一套軟硬協(xié)同的高性能網(wǎng)絡(luò)體系，星脈網(wǎng)絡(luò)2.0通過全面升級的自研網(wǎng)絡(luò)設(shè)備、通信協(xié)議、通信庫和運營系統(tǒng)，為解決AI大模型訓(xùn)練中的通信瓶頸問題，提供了一個新的可能。

AI大模型訓(xùn)練，網(wǎng)絡(luò)已經(jīng)成為一個關(guān)鍵的“堵點”

近年來，人工智能技術(shù)突飛猛進地發(fā)展，特別是AI大模型的規(guī)模在不斷擴大。例如，OpenAI的GPT-3擁有1750億參數(shù)，而更先進的GPT-4模型則突破了萬億參數(shù)的大關(guān)。這種參數(shù)規(guī)模的飛速增長，使得AI模型能夠捕捉到更多的語義和上下文信息，從而顯著提升其生成和理解能力。然而，隨之而來的計算、存儲和網(wǎng)絡(luò)通信的需求也急劇增加，傳統(tǒng)的計算和網(wǎng)絡(luò)架構(gòu)已經(jīng)難以應(yīng)對。

不僅參數(shù)規(guī)模在增長，AI大模型的架構(gòu)也在不斷演變。從傳統(tǒng)的密集型模型（Dense Model）到最新的混合專家模型（MoE, Mixture of Experts），這些架構(gòu)變化的目的在于提高模型的訓(xùn)練效率和推理能力。Dense模型在所有計算任務(wù)中使用相同的參數(shù)，導(dǎo)致計算資源的利用率較低。而MoE模型通過動態(tài)選擇部分專家模型進行計算，大幅降低了計算復(fù)雜度和資源消耗，從而提高了整體效率。

這種參數(shù)規(guī)模的增長和架構(gòu)的演變，對大模型訓(xùn)練提出了更高的要求。訓(xùn)練這些模型需要極高的計算能力，這就需要構(gòu)建強大的GPU集群，分布式計算成為必然選擇。然而，分布式計算也帶來了新的挑戰(zhàn)，特別是節(jié)點之間的通信開銷和同步問題。如何高效地管理和協(xié)調(diào)多個GPU節(jié)點，成為提升分布式計算性能的關(guān)鍵。

集群訓(xùn)練中產(chǎn)生龐大的通信需求，解決通信開銷與性能瓶問題迫在眉睫。

在分布式計算環(huán)境中，AI大模型訓(xùn)練需要在不同的GPU節(jié)點之間頻繁交換數(shù)據(jù)。這種龐大的通信需求不僅包括模型參數(shù)和梯度的同步，還涉及各種數(shù)據(jù)并行和模型并行操作。特別是對于萬億參數(shù)級別的模型，單次計算迭代內(nèi)的通信量可以達到百GB量級，這對現(xiàn)有的網(wǎng)絡(luò)帶寬提出了極高的要求。

通信開銷是分布式計算中不可忽視的因素，在集群訓(xùn)練過程中，各個節(jié)點之間的通信延遲和帶寬瓶頸會導(dǎo)致計算資源的浪費。例如，節(jié)點在等待數(shù)據(jù)同步的過程中無法進行計算，從而降低了整體的算力利用效率。

AI大模型訓(xùn)練，為網(wǎng)絡(luò)系統(tǒng)提出了全新的要求。傳統(tǒng)網(wǎng)絡(luò)架構(gòu)在面對萬億參數(shù)級模型的高頻數(shù)據(jù)交換時顯得力不從心，因此，需要更高的網(wǎng)絡(luò)傳輸速率、更大的組網(wǎng)規(guī)模、優(yōu)化的通信協(xié)議以及更高的可用性和穩(wěn)定性，以滿足AI大模型訓(xùn)練的需求。

騰訊星脈網(wǎng)絡(luò)2.0，專為10萬級GPU的網(wǎng)絡(luò)通信而生

上面分析了AI大模型訓(xùn)練對于網(wǎng)絡(luò)通信的全新需求，以及目前所面臨的挑戰(zhàn)。騰訊推出的星脈網(wǎng)絡(luò)2.0，正是為了應(yīng)對這些挑戰(zhàn)。

星脈網(wǎng)絡(luò)2.0的核心目標(biāo)是通過高性能、自研的網(wǎng)絡(luò)設(shè)備、通信協(xié)議、通信庫和運營系統(tǒng)，打造一個高效、穩(wěn)定的計算環(huán)境，以支持萬億級參數(shù)規(guī)模的AI大模型訓(xùn)練。

那么，相對于星脈網(wǎng)絡(luò)1.0，騰訊此次推出的2.0版本，都升級了哪些能力呢？具體來看，星脈網(wǎng)絡(luò)2.0主要實現(xiàn)了四大關(guān)鍵組件的升級，包括自研網(wǎng)絡(luò)設(shè)備、自研通信協(xié)議TiTa、集合通信庫TCCL和全棧網(wǎng)絡(luò)運營系統(tǒng)。

自研網(wǎng)絡(luò)設(shè)備，交換機容量、光模塊速率都提升一倍。

網(wǎng)絡(luò)設(shè)備的性能直接影響到數(shù)據(jù)傳輸?shù)乃俣群托?，是實現(xiàn)快速數(shù)據(jù)交換的基礎(chǔ)。傳統(tǒng)網(wǎng)絡(luò)設(shè)備，在面對萬億級參數(shù)模型的高頻數(shù)據(jù)交換時往往顯得力不從心，因此，需要對交換機、光模塊和網(wǎng)卡進行全面升級，以滿足更高的傳輸速率和更大的組網(wǎng)規(guī)模。

在硬件方面，騰訊星脈網(wǎng)絡(luò)2.0進行了顯著升級。交換機的容量從原來的25.6T提升至51.2T，大大增加了數(shù)據(jù)傳輸?shù)娜萘俊９饽K的速率從200G升級到400G，顯著降低了網(wǎng)絡(luò)延遲，提升了數(shù)據(jù)傳輸速度。同時，CNIC網(wǎng)卡作為公有云業(yè)內(nèi)首款為AI訓(xùn)練設(shè)計的網(wǎng)卡，整卡帶寬達400Gbps，具備3.2T整機通信帶寬。這些硬件升級不僅提升了通信效率，還減少了網(wǎng)絡(luò)擁塞，顯著提高了整體網(wǎng)絡(luò)性能。

自研通信協(xié)議TiTa，采用主動擁塞控制算法，在擁塞發(fā)生前就進行調(diào)控。

在AI大模型訓(xùn)練過程中，通信協(xié)議的效率和穩(wěn)定性至關(guān)重要。傳統(tǒng)的被動擁塞控制算法主要依賴交換機上的ECN標(biāo)記，當(dāng)檢測到擁塞后再通知各節(jié)點調(diào)整發(fā)送速率，這種方式在高頻數(shù)據(jù)交換中效率較低。為了提升通信效率，騰訊自研的TiTa協(xié)議采用了主動擁塞控制算法。這種算法通過端側(cè)網(wǎng)卡主動感知并調(diào)整數(shù)據(jù)包發(fā)送速率，從而在擁塞發(fā)生前就進行調(diào)控，避免網(wǎng)絡(luò)性能大幅下降。相比傳統(tǒng)被動擁塞控制算法，TiTa協(xié)議能夠更有效地避免網(wǎng)絡(luò)擁堵，減少數(shù)據(jù)包丟失，提高網(wǎng)絡(luò)吞吐量，優(yōu)化數(shù)據(jù)包發(fā)送速率，降低通信過程中的延遲和網(wǎng)絡(luò)擁堵。

集合通信庫TCCL，實現(xiàn)了GPU間數(shù)據(jù)的高效傳輸。

在AI大模型訓(xùn)練中，不同節(jié)點之間的數(shù)據(jù)交換頻繁且復(fù)雜。集合通信庫TCCL通過NVLINK+NET異構(gòu)并行通信技術(shù)，實現(xiàn)了GPU間數(shù)據(jù)的高效傳輸。每個GPU網(wǎng)卡構(gòu)建了獨立的網(wǎng)絡(luò)通道，實現(xiàn)數(shù)據(jù)并行傳輸，間接提升了傳輸鏈路的帶寬。此外，Auto-TuneNetworkExpert自適應(yīng)算法能夠根據(jù)不同的機型、網(wǎng)絡(luò)規(guī)模、模型算法和數(shù)據(jù)包大小等因素，動態(tài)調(diào)整網(wǎng)絡(luò)參數(shù)，確保在各種場景下實現(xiàn)最優(yōu)性能。這些優(yōu)化使得TCCL通信庫不僅提升了數(shù)據(jù)傳輸帶寬和速度，還通過自適應(yīng)算法根據(jù)不同場景優(yōu)化網(wǎng)絡(luò)參數(shù)，提高了資源利用率，減少了資源浪費。

靈境仿真平臺，將GPU故障定位時間從傳統(tǒng)的天級縮短到分鐘級。

高效穩(wěn)定的運營系統(tǒng)，是確保AI大模型訓(xùn)練連續(xù)性的關(guān)鍵。騰訊的靈境仿真平臺作為網(wǎng)絡(luò)運營系統(tǒng)的一部分，能夠收集訓(xùn)練過程中的日志和GPU相關(guān)信息，通過仿真模擬還原訓(xùn)練任務(wù)，定位訓(xùn)練中的卡頓和性能抖動問題，這一功能使得問題定位時間從傳統(tǒng)的天級縮短到分鐘級。此外，全棧網(wǎng)絡(luò)運營系統(tǒng)在星脈網(wǎng)絡(luò)2.0中得到了全面升級，并提供360度無死角的立體監(jiān)控，能夠更快發(fā)現(xiàn)和定位網(wǎng)絡(luò)問題，并快速修復(fù)故障，確保訓(xùn)練任務(wù)的連續(xù)性。這種全方位的監(jiān)控和快速修復(fù)能力，顯著提升了訓(xùn)練的穩(wěn)定性和高可用性。

需要指出的是，星脈網(wǎng)絡(luò)2.0的四個關(guān)鍵組件并不是孤立的，而是相互協(xié)同配合，共同提升大模型訓(xùn)練過程中的網(wǎng)絡(luò)性能。可以用賽車來類比：如果將調(diào)度GPU集群訓(xùn)練大模型比作賽車，目標(biāo)是通過賽場軟硬件系統(tǒng)的升級來發(fā)揮最大性能。硬件（交換機、光模塊）相當(dāng)于賽道，升級后的帶寬提升至3.2T，如同拓寬和改善了賽道，增加寬度和容量。TiTa協(xié)議如同賽事指揮中心，智能化調(diào)控“車速”，避免擁堵。TCCL通信庫如同專業(yè)車隊管理系統(tǒng)，通過NVLINK+NET異構(gòu)并行通信和自適應(yīng)算法優(yōu)化賽車性能。運營系統(tǒng)則如同專業(yè)的搶修隊，全方位監(jiān)控和修復(fù)故障，確保比賽順利進行。

騰訊星脈網(wǎng)絡(luò)2.0，為解決現(xiàn)有網(wǎng)絡(luò)架構(gòu)在高頻、大規(guī)模通信需求中的瓶頸問題，提供了全新的解決方案。這些創(chuàng)新不僅滿足了當(dāng)前AI大模型訓(xùn)練的需求，也為未來的技術(shù)發(fā)展和應(yīng)用奠定了堅實的基礎(chǔ)。

我們處在一個網(wǎng)絡(luò)技術(shù)變革的拐點上，進化才剛剛開始

展望未來，AI大模型可能會進一步突破參數(shù)規(guī)模的限制，朝著更大、更復(fù)雜的方向發(fā)展。預(yù)計未來的模型將會包含數(shù)十萬億甚至百萬億參數(shù)，這將極大地提升模型的表達能力和泛化能力。

當(dāng)前，網(wǎng)絡(luò)技術(shù)已經(jīng)在不斷進步，但未來仍需持續(xù)創(chuàng)新以滿足日益增長的模型訓(xùn)練需求我們?nèi)匀恍枰谔岣邆鬏斔俾?、擴展網(wǎng)絡(luò)規(guī)模和優(yōu)化通信協(xié)議等方面持續(xù)努力。例如，未來的高性能網(wǎng)絡(luò)將致力于實現(xiàn)更高的傳輸速率，達到數(shù)十Tbps甚至更高的水平。此外，擴展網(wǎng)絡(luò)規(guī)模也是一個重要方向，支持更多計算節(jié)點的集群組網(wǎng)能力將成為關(guān)鍵，以適應(yīng)超大規(guī)模AI模型的訓(xùn)練需求。

在大規(guī)模計算集群的發(fā)展趨勢中，超節(jié)點是一個值得關(guān)注的技術(shù)方向。在分布式計算和網(wǎng)絡(luò)架構(gòu)中，超節(jié)點一般指的是具備卓越計算能力、數(shù)據(jù)協(xié)調(diào)和任務(wù)管理功能的高性能節(jié)點。

隨著AI技術(shù)的迅猛發(fā)展，特別是在2020年后，超節(jié)點在大規(guī)模AI模型訓(xùn)練中的作用變得尤為重要。2020年，OpenAI的GPT-3問世，OpenAI利用超節(jié)點技術(shù)來優(yōu)化資源分配和數(shù)據(jù)流動。英偉達在2021年推出的DGX SuperPOD集群也采用了超節(jié)點架構(gòu)，通過將數(shù)百個甚至數(shù)千個GPU節(jié)點整合在一起，提供了前所未有的計算能力和網(wǎng)絡(luò)帶寬。騰訊也一直在關(guān)注超節(jié)點技術(shù)的發(fā)展，并進行積極布局。在即將推出的星脈網(wǎng)絡(luò)3.0，將融入最新的超節(jié)點技術(shù)。

超節(jié)點技術(shù)在大規(guī)模AI模型訓(xùn)練中的作用，不僅限于提供強大的計算能力和高效的數(shù)據(jù)協(xié)調(diào)。它還通過智能調(diào)度和資源管理，顯著提升了訓(xùn)練效率和性能，減少了通信延遲和傳輸瓶頸。通過超節(jié)點，計算節(jié)點之間的協(xié)同變得更加順暢，數(shù)據(jù)傳輸更為高效，從而加速了模型訓(xùn)練過程。

通過持續(xù)的技術(shù)創(chuàng)新，在通信效率和成本優(yōu)化方面，未來的網(wǎng)絡(luò)技術(shù)將更加注重智能化和自適應(yīng)性。通過進一步優(yōu)化通信協(xié)議和引入智能調(diào)度算法，可以更高效地管理數(shù)據(jù)傳輸，減少網(wǎng)絡(luò)擁堵和延遲。同時，采用低功耗、高性能的網(wǎng)絡(luò)設(shè)備，將在降低通信成本的同時，提升整體網(wǎng)絡(luò)性能。

可以預(yù)見，高性能網(wǎng)絡(luò)助推AI大模型訓(xùn)練，對于推動大模型技術(shù)升級和產(chǎn)業(yè)應(yīng)用落地具有重要意義。通過持續(xù)優(yōu)化網(wǎng)絡(luò)性能和通信效率，可以顯著提升AI模型的訓(xùn)練速度和效果，加速技術(shù)創(chuàng)新和應(yīng)用推廣。高性能網(wǎng)絡(luò)技術(shù)不僅是AI大模型訓(xùn)練的基礎(chǔ)保障，更是未來智能社會建設(shè)的重要支撐。以騰訊大模型技術(shù)產(chǎn)品體系為例，其星脈網(wǎng)絡(luò)，就是騰訊混元和元寶背后的高性能網(wǎng)絡(luò)基礎(chǔ)。正是星脈網(wǎng)絡(luò)解除了大模型訓(xùn)練和推理的網(wǎng)絡(luò)瓶頸，騰訊的整個大模型產(chǎn)業(yè)大廈才有一個牢固的根基。

在市場需求的驅(qū)動下，對高效能算力和高性能網(wǎng)絡(luò)的需求將推動相關(guān)技術(shù)的快速發(fā)展和應(yīng)用。預(yù)計未來幾年，全球高性能網(wǎng)絡(luò)的市場規(guī)模將顯著增長，并帶動網(wǎng)絡(luò)相關(guān)產(chǎn)業(yè)鏈的發(fā)展。通過不斷推進技術(shù)進步和產(chǎn)業(yè)合作，AI大模型訓(xùn)練和高性能網(wǎng)絡(luò)技術(shù)必將迎來更加光明的未來。

來源：數(shù)據(jù)猿