為什么說華為昇騰，是DeepSeek的“絕配”？
原創(chuàng) 月滿西樓 | 2025-03-16 22:00
【數(shù)據(jù)猿導(dǎo)讀】 算力成本飛漲，推理效率卻沒有突破——問題究竟出在哪里？
忽如一夜春風來，千樹萬樹梨花開。
可以說，在大模型商用市場，DeepSeek就像那一陣春風，引爆了市場的熱情。但是，當企業(yè)陸續(xù)接入DeepSeek后，也發(fā)現(xiàn)了不少亟需要解決的問題。
例如，某企業(yè)剛把DeepSeek接入算力集群，就發(fā)現(xiàn)推理速度比預(yù)期慢得多，算力消耗卻驚人。他們嘗試擴展硬件，卻發(fā)現(xiàn)推理吞吐量并未同步提升，反而因為計算任務(wù)分配不均，部分計算卡爆滿，而另一部分卻在“摸魚”。更棘手的是，卡間通信成了新瓶頸，海量的模型權(quán)重和數(shù)據(jù)在多個計算節(jié)點間頻繁交換，導(dǎo)致系統(tǒng)時延直線上升。
算力成本飛漲，推理效率卻沒有突破——問題究竟出在哪里？
這家企業(yè)面臨的困境，實際上是大模型商業(yè)化落地都會遇到的共同難題。DeepSeek的MoE（混合專家）架構(gòu)讓AI更智能，但要真正跑起來，需要高效的計算負載均衡和極速的卡間通信，而傳統(tǒng)算力架構(gòu)難以支撐。
那該怎么辦？總不能就因為卡在算力上，把好不容易激發(fā)的大模型商用熱情，就這樣澆滅了吧？
DeepSeek+華為昇騰的組合，也許就是解決這個問題的鑰匙。為什么這么說？讓我們深入討論一下這個問題。
技術(shù)摸高 vs. 工程創(chuàng)新
理想和面包全都要？
目前，人工智能的發(fā)展正在沿著兩條路徑并行推進：一條是技術(shù)摸高，另一條是工程創(chuàng)新。
前者由OpenAI、Anthropic等頭部企業(yè)主導(dǎo)，追求AGI、ASI，突破“智力”天花板。他們的策略是訓(xùn)練少量大專家模型，例如GPT-4.5，通過堆疊參數(shù)規(guī)模，讓模型的泛化能力越來越強，最終希望構(gòu)建一個能“無所不知、無所不能”的通用智能體。
但這條路的代價極為昂貴，每訓(xùn)練一次GPT-4.5級別的大模型，成本高達數(shù)億美元，推理同樣消耗巨大資源，這就導(dǎo)致在推理應(yīng)用端定價偏高。企業(yè)要使用這樣的大模型，不僅要為算力付出高昂代價，還要面對推理速度和成本之間的難以平衡。
另一條路則是工程創(chuàng)新，以DeepSeek為代表，他們的核心思路是讓大模型計算更高效、推理更快、成本更低，真正推動產(chǎn)業(yè)落地。DeepSeek采用的MoE架構(gòu)，就是一種對傳統(tǒng)深度學(xué)習架構(gòu)的優(yōu)化，它讓大模型從“一整塊巨石”變成了“靈活的專家團隊”，讓AI推理更符合人腦的工作模式。
在傳統(tǒng)的稠密模型（Dense Model）架構(gòu)中，每一次推理，模型的所有參數(shù)都會被激活，所有計算層都會參與計算——這就像一個人面對問題時，無論簡單還是復(fù)雜，都要調(diào)用整個大腦的全部區(qū)域，無差別地處理信息。顯然，這是低效的。
但現(xiàn)實中，人腦并不是這樣工作的。
例如，當我們閱讀文章時，主要調(diào)動的是語言處理相關(guān)的腦區(qū)；當我們做數(shù)學(xué)計算時，更多調(diào)用的是邏輯推理的腦區(qū)；而在面對視覺信息時，則會激活視覺皮層……不同的大腦區(qū)域，在不同的任務(wù)中承擔不同的計算職責，各司其職，高效協(xié)作，而不是讓整個大腦無差別地運作。這種“分工協(xié)同”的神經(jīng)機制，正是MoE架構(gòu)的靈感來源。
MoE架構(gòu)將大模型拆分為多個專家（Experts），每個專家都專注于處理特定類型的任務(wù)。當輸入信息進入模型時，一個門控網(wǎng)絡(luò)（Gating Network）會分析這個任務(wù)的特性，選擇合適的幾個專家進行計算，而其他專家則處于休眠狀態(tài)，不會被激活。這樣，每次推理都只調(diào)用一小部分參數(shù)，既減少了計算量，又提高了模型的推理速度。
這一架構(gòu)的優(yōu)勢顯而易見：
- 計算資源利用率更高：每次推理只激活一部分專家，而不是讓整個模型運行，避免算力浪費。
- 推理吞吐量更大：多個專家并行計算，在相同算力條件下，推理速度遠超傳統(tǒng)稠密模型。
- 靈活擴展性更強：MoE架構(gòu)允許企業(yè)按需增加或減少專家數(shù)量，適應(yīng)不同規(guī)模、不同業(yè)務(wù)需求的AI應(yīng)用。
需要指出的是，盡管MoE架構(gòu)顯著提升了大模型的計算效率，但要讓它真正發(fā)揮作用，仍然面臨一個關(guān)鍵難題：如何高效調(diào)度多個專家，使并行計算達到最大化？
這意味著，在MoE架構(gòu)走向規(guī)?；涞氐倪^程中，必須解決大規(guī)模專家并行（大EP）的計算挑戰(zhàn)。
大EP很好
但有兩頭攔路虎
首先，我們需要搞清楚，大規(guī)模專家并行（大EP，Expert Parallelism）是什么。
在小規(guī)模MoE推理中，所有專家可能都運行在單個計算節(jié)點上，數(shù)據(jù)在同一張GPU或AI加速芯片上流轉(zhuǎn)，計算效率高、通信開銷小。
但當模型規(guī)模擴大、推理需求暴增，單機算力再強也不夠用，必須把專家分散到多個計算卡甚至多個服務(wù)器上——這就是大規(guī)模專家并行（大EP）。
大EP的核心目標是：
- 讓多個計算卡上的專家協(xié)同工作，避免單卡算力瓶頸，提高推理吞吐量。
- 減少不必要的計算冗余，讓每張計算卡只負責自己該做的計算任務(wù)，不浪費資源。
- 降低推理時延，確保多計算卡協(xié)同推理時，延遲不會拖慢整體速度。
在理想狀態(tài)下，大EP能讓推理速度成倍提升，算力利用率大幅優(yōu)化。但在現(xiàn)實應(yīng)用中，大EP往往會遇到“分工不均、溝通不暢”兩大難題——這就是負載均衡和卡間通信的挑戰(zhàn)。
1. 負載均衡：如何讓計算資源充分利用？
如果把MoE比作一個專家團隊，那么負載均衡就是如何合理分配任務(wù)，讓所有專家都能高效運作。
在MoE架構(gòu)下，輸入數(shù)據(jù)會先經(jīng)過門控網(wǎng)絡(luò)（Gating Network），決定該調(diào)用哪些專家進行推理。但在實際應(yīng)用中，這個過程遠比想象中復(fù)雜：
- 有些專家任務(wù)計算量大，處理速度慢；有些專家計算量小，處理速度快，導(dǎo)致部分計算卡過載，而部分計算卡處于低效狀態(tài)。
- 數(shù)據(jù)分配不均，計算任務(wù)堆積，部分計算卡需要等待其他計算卡完成任務(wù)，整體推理速度被拖慢。
這就像是一個公司里，某些部門每天忙得焦頭爛額，而另一些部門卻在“摸魚”——最終拖累的是整個公司的運轉(zhuǎn)效率。
如果負載均衡沒做好，系統(tǒng)會出現(xiàn)“木桶效應(yīng)”：推理速度被最慢的計算卡決定，整體吞吐量下降，無法發(fā)揮大EP的并行計算優(yōu)勢。
2. 卡間通信：如何降低多節(jié)點數(shù)據(jù)傳輸?shù)挠绊懀?/strong>
在單機模式下，模型參數(shù)、權(quán)重數(shù)據(jù)、計算結(jié)果可以在同一張計算卡上存取，數(shù)據(jù)流通快、延遲低。但在大EP架構(gòu)下，多個計算卡要同時運行MoE專家，并且需要不斷交換數(shù)據(jù)。這時候，通信成本迅速增加，并導(dǎo)致一系列后果：
- 權(quán)重數(shù)據(jù)傳輸慢：每張計算卡只存儲部分模型權(quán)重，推理時需要頻繁向其他計算卡請求缺失的參數(shù)，導(dǎo)致數(shù)據(jù)傳輸成為性能瓶頸。
- 計算等待時間長：如果一張計算卡上的專家需要依賴另一張計算卡上的計算結(jié)果，但網(wǎng)絡(luò)通信速度跟不上，就會導(dǎo)致計算卡被迫等待數(shù)據(jù)，計算吞吐量下降。
- 卡間帶寬限制：隨著模型規(guī)模增大，計算卡之間的帶寬壓力激增，如果通信優(yōu)化不到位，推理速度會被傳輸速率卡住，最終影響整體響應(yīng)時間。
舉個簡單的例子：
想象一個遠程團隊協(xié)作項目，A部門需要B部門的數(shù)據(jù)才能繼續(xù)工作，但B部門的網(wǎng)絡(luò)太慢，每次發(fā)送文件都要等上好幾分鐘。結(jié)果A部門的任務(wù)被耽誤，整個項目進度都受到影響。這種“數(shù)據(jù)傳輸慢導(dǎo)致計算效率低”的現(xiàn)象，正是大EP架構(gòu)下常見的通信瓶頸。
如果卡間通信優(yōu)化不到位，MoE架構(gòu)在大EP環(huán)境下可能會出現(xiàn)“算力變多，反而吞吐下降”的尷尬局面——因為計算卡之間花了太多時間在“互相等待”而不是“高效計算”。
只有解決這兩個問題，大EP才能真正成為大模型推理的最優(yōu)解。
昇騰做了什么？
如果說MoE架構(gòu)讓大模型具備了“專家分工”的能力，那么要讓這些專家真正高效協(xié)作，大EP就必須突破負載均衡和卡間通信的限制。而這，正是華為昇騰的優(yōu)化重點。
那么，昇騰到底做了什么？
MoE負載均衡：動態(tài)調(diào)度，避免“有人累死，有人閑著”
在MoE架構(gòu)下，專家任務(wù)并不是平均分配的。有些專家特別“搶手”，每次推理都會被高頻調(diào)用，而另一些專家則幾乎無所事事。這就導(dǎo)致部分計算卡的負載嚴重超標，計算任務(wù)堆積，而其他計算卡卻處于“待機”狀態(tài)，整個系統(tǒng)的吞吐量被最慢的計算卡拖累，形成典型的“木桶效應(yīng)”。
昇騰的優(yōu)化思路很直接——動態(tài)專家調(diào)度，通過自動尋優(yōu)、自動配比、自動預(yù)測等方式，實現(xiàn)MoE負載均衡。這就像一個經(jīng)驗豐富的項目經(jīng)理，實時監(jiān)測每個團隊成員的任務(wù)量，合理分配工作，確保所有人都能高效運轉(zhuǎn)。
PD分離部署：拆分流水線，計算和存儲各司其職
大模型推理的兩個核心階段Prefill（填充）和Decode（解碼），對資源的需求完全不同。Prefill階段需要大量算力，而Decode階段則更依賴訪存，需要快速調(diào)用和存取數(shù)據(jù)。
傳統(tǒng)架構(gòu)將這兩種任務(wù)混合在一起，導(dǎo)致計算資源和存儲資源爭搶，影響整體效率。昇騰采用自適應(yīng)PD分離部署，讓Prefill任務(wù)由高算力硬件處理，而Decode任務(wù)交給高存儲帶寬的硬件，可根據(jù)業(yè)務(wù)負載情況動態(tài)調(diào)整負責Prefill和Decode的硬件比例，并通過高速KV數(shù)據(jù)傳輸打通兩者，使整個流程更加流暢。這樣的優(yōu)化，使系統(tǒng)吞吐量提升了50%，推理過程更加穩(wěn)定。
雙流/多維混合并行：計算與數(shù)據(jù)傳輸同時進行，不再“等來等去”
傳統(tǒng)的計算模式通常是“先計算，再傳輸”——計算任務(wù)完成后，數(shù)據(jù)才開始傳輸。但這樣做的問題是，計算完成后，系統(tǒng)要等待數(shù)據(jù)到位，才能進行下一步運算，造成了時間浪費。
昇騰采用的雙流/多維混合并行優(yōu)化策略，改變了這個模式：計算和數(shù)據(jù)傳輸同時進行，一個數(shù)據(jù)流在計算時，另一個數(shù)據(jù)流已經(jīng)在傳輸下一個任務(wù)的數(shù)據(jù)，避免了不必要的等待時間。通過雙流/多維混合并行，平均性能提升30%。
MLAPO融合算子：減少計算“拆分成本”，提升執(zhí)行效率
在深度學(xué)習計算中，很多計算任務(wù)會被拆分成多個小算子依次執(zhí)行。但這樣做的問題是，每個算子運行時都會帶來額外的內(nèi)存占用和數(shù)據(jù)交換，導(dǎo)致計算流程變得繁瑣，整體執(zhí)行效率下降。
昇騰采用MLAPO融合算子技術(shù)，將多個小算子合并成一個大算子，讓計算一步到位，減少中間環(huán)節(jié)，避免不必要的計算開銷。
這相當于，把本來需要分開做的多個步驟合并成一個完整的操作，就像是在廚房里，一次性備好所有食材，而不是每做一步菜就要去拿一個新的配料，節(jié)省時間，提高效率。
優(yōu)化的結(jié)果是，計算耗時降低了70%，推理任務(wù)執(zhí)行得更加迅速。
原生適配MTP，自研解碼算法：推理更快更智能
在大模型推理中，傳統(tǒng)的解碼方式是自回歸解碼，即每次只生成一個Token，然后再根據(jù)這個Token預(yù)測下一個Token，整個推理過程被一步步鎖死，速度較慢。
昇騰通過MTP（多Token預(yù)測）優(yōu)化，使得模型不僅預(yù)測下一個Token，還能同時預(yù)測多個Token，提升模型推理效率最大1.8X。此外，昇騰還自研了一種DraftDecoding（啟發(fā)式解碼）算法，突破了傳統(tǒng)的逐步解碼方式，使多個Token能夠同時生成并行校驗，提高生成效率。DraftDecoding優(yōu)化后，多用戶并發(fā)能力提升了2倍，進一步降低了解碼延遲。
需要指出的是，這些優(yōu)化并不是獨立進行的，而是像一套精密的齒輪系統(tǒng)，相互協(xié)作，形成一個完整的推理優(yōu)化鏈條。就像一個指揮得當?shù)慕豁憳穲F，每個樂手都能在正確的時間演奏正確的音符，整場演奏才能流暢、和諧。
最終的結(jié)果是：
- 單卡推理吞吐量提升3倍，推理速度更快，處理能力更強。
- 顯存占用降低3倍，在相同算力條件下，支持更多并發(fā)任務(wù)，推理成本更低。
- 解碼時延降低50%+，響應(yīng)更快，最終用戶體驗更優(yōu)。
如果說MoE架構(gòu)的“大EP”是大模型落地的關(guān)鍵一步，那么昇騰的優(yōu)化就是讓這一步真正穩(wěn)健邁出的“推力”。更重要的是，這不僅僅是一次推理效率的提升，更是國產(chǎn)AI生態(tài)邁向大規(guī)模商用的重要一步。
我們正站在一個新時代的門口
想象一下，20年前，我們還在使用功能機，發(fā)短信要精打細算字數(shù)，上網(wǎng)需要撥號，而如今，智能手機已成為我們生活的延伸，一切信息、服務(wù)觸手可及?？萍嫉拿恳淮诬S遷，都是從實驗室走向現(xiàn)實，從概念變?yōu)樯a(chǎn)力的過程。
而今天，我們正站在人工智能新時代的門口，見證著一場比移動互聯(lián)網(wǎng)更深刻的變革。
如果把AI的發(fā)展比作一場接力賽，那么底層算力是起跑的力量，中間層模型是加速的關(guān)鍵，而上層應(yīng)用則是最終沖刺的爆發(fā)點。在DeepSeek等國產(chǎn)大模型崛起的過程中，昇騰的算力突破，正在幫助AI產(chǎn)業(yè)形成完整的生態(tài)閉環(huán)。
一直以來，中國人工智能的核心短板之一就是算力瓶頸。
在大EP并行計算架構(gòu)下，如果AI芯片存在性能瓶頸，則難以充分支持專家并行機制。例如，H20相對于H100性能有明顯弱化，在高并發(fā)推理場景下可能會觸及性能瓶頸。
為了解決這個問題，昇騰針對MoE架構(gòu)進行了深度優(yōu)化，在大規(guī)模推理任務(wù)中能夠提供穩(wěn)定的吞吐率，致力于為DeepSeek等國產(chǎn)大模型提供強有力的算力支撐。
在這個基礎(chǔ)上，DeepSeek等國產(chǎn)MoE大模型的興起，標志著中國AI技術(shù)路線的重大變革。傳統(tǒng)的稠密模型（如GPT-3）要求高算力、高顯存、長序列計算，而MoE架構(gòu)通過“智能分配專家”機制，大幅降低了計算負擔，使得單卡算力的要求不再那么苛刻。這不僅讓DeepSeek的訓(xùn)練和推理更加經(jīng)濟高效，同時也使其能夠適配更多國產(chǎn)算力方案，避免對國外硬件的依賴。
而最重要的是上層行業(yè)應(yīng)用的爆發(fā)，隨著國產(chǎn)算力和大模型的成熟，AI正在加速進入實際應(yīng)用場景：金融行業(yè)，智能風控、量化交易、自動化客戶服務(wù)，AI幫助銀行實時監(jiān)測風險、優(yōu)化投資策略，提高運營效率；政務(wù)服務(wù)，政務(wù)智能問答、法律咨詢、文檔自動化處理，AI提升政務(wù)服務(wù)的智能化水平，優(yōu)化資源配置；醫(yī)療健康，醫(yī)學(xué)輔助診斷、藥物研發(fā)、精準醫(yī)療分析，AI助力醫(yī)生提高診斷效率，同時加速新藥研發(fā)進程；制造與能源，智能制造、智能電網(wǎng)優(yōu)化、設(shè)備預(yù)測維護，AI幫助企業(yè)提升生產(chǎn)效率，降低能源消耗。
可以看到，AI生態(tài)已經(jīng)從“概念驗證”階段，進入了“規(guī)?；瘧?yīng)用”階段。從昇騰的硬件突破，到DeepSeek的算法優(yōu)化，再到行業(yè)落地，一個全新的AI產(chǎn)業(yè)鏈正在形成。
預(yù)計未來2-3年內(nèi)，DeepSeek等大模型將在金融、電力、政務(wù)、醫(yī)療等領(lǐng)域形成大規(guī)模商用，推動整個AI產(chǎn)業(yè)的升級。從根本上解決算力短缺問題，構(gòu)建一個繁榮的AI技術(shù)生態(tài)，成為中國AI產(chǎn)業(yè)的核心任務(wù)。
歷史的車輪滾滾向前，AI變革的浪潮已經(jīng)洶涌而至。我們，已經(jīng)在路上！
來源：數(shù)據(jù)猿
