在信息爆炸的AI時(shí)代，數(shù)據(jù)洪流如同奔涌的江河，急需強(qiáng)大的動(dòng)力引擎來驅(qū)動(dòng)其潛能。而GPU，這個(gè)曾被視為圖形渲染領(lǐng)域的專屬硬件，如今已華麗變身，成為AI時(shí)代的強(qiáng)大引擎。它們不再是簡(jiǎn)單的圖像處理單元，而是智能計(jì)算的加速器，為AI的飛速發(fā)展提供了澎湃動(dòng)力。

GPU芯片架構(gòu)的演進(jìn)，是這股動(dòng)力的關(guān)鍵所在。架構(gòu)，就像GPU的DNA，決定了GPU的性能、效率和應(yīng)用范圍。從早期的簡(jiǎn)單圖形處理，到如今的AI大模型訓(xùn)練和推理，每一次架構(gòu)的迭代，都是對(duì)GPU潛能的深度挖掘。架構(gòu)的創(chuàng)新，讓GPU在AI時(shí)代煥發(fā)了新的生命力。

GPU芯片架構(gòu)的設(shè)計(jì)，涉及到核心數(shù)量、內(nèi)存帶寬、能源消耗等多個(gè)方面。一個(gè)優(yōu)秀的GPU架構(gòu)，能夠?qū)崿F(xiàn)高性能計(jì)算的同時(shí)，保持較低的能耗，滿足AI時(shí)代對(duì)計(jì)算效率的苛刻要求。

英偉達(dá)的GPU，之所以能夠取得如今的壟斷地位，其芯片架構(gòu)的創(chuàng)新居功至偉。那么，英偉達(dá)芯片架構(gòu)是怎么一步步發(fā)展迭代的，華為的達(dá)芬奇能不能追得上，有沒有后發(fā)優(yōu)勢(shì)？接下來，我們嘗試就這個(gè)問題來進(jìn)行探討。

從GeForce到Blackwell，英偉達(dá)是如何一步步走到今天的？

在半導(dǎo)體行業(yè)的舞臺(tái)上，英偉達(dá)以其GPU芯片架構(gòu)的創(chuàng)新，一直走在GPU技術(shù)浪潮的前沿。接下來，我們來看看，從GeForce到Hopper，英偉達(dá)是如何一步步鑄就其在高性能計(jì)算領(lǐng)域的領(lǐng)導(dǎo)地位的。

英偉達(dá)的起步與GeForce系列的誕生密切相關(guān)，1999年，GeForce 256以其硬件T&L技術(shù)，為3D圖形處理設(shè)定了新的行業(yè)標(biāo)準(zhǔn)。隨后，英偉達(dá)推出了Tesla系列，這一轉(zhuǎn)變不僅是產(chǎn)品線的擴(kuò)展，更是戰(zhàn)略方向的調(diào)整。Tesla GPUs在高性能計(jì)算領(lǐng)域嶄露頭角，其應(yīng)用案例包括著名的"折疊@home"項(xiàng)目，該項(xiàng)目利用分布式計(jì)算能力研究蛋白質(zhì)的折疊過程。

Fermi的洪荒之力

2010年，英偉達(dá)的Fermi架構(gòu)GPU，GTX 480，以其512個(gè)CUDA核心和驚人的3億晶體管數(shù)量，將GPU的計(jì)算能力推向了一個(gè)新的高度。Fermi架構(gòu)的推出，不僅是晶體管數(shù)量的增加，更重要的是CUDA技術(shù)的發(fā)展，它為GPU通用計(jì)算提供了強(qiáng)大的支持，開啟了GPU并行計(jì)算的新紀(jì)元。

Kepler的能效之舞

2012年，Kepler架構(gòu)的GTX 680問世，它在每瓦性能上實(shí)現(xiàn)了顯著提升。Kepler架構(gòu)通過動(dòng)態(tài)調(diào)整核心頻率和電壓，實(shí)現(xiàn)了性能與功耗的平衡。這一架構(gòu)的能效優(yōu)化，使得GPU在數(shù)據(jù)中心等環(huán)境中得到了廣泛應(yīng)用，例如在亞馬遜AWS的EC2計(jì)算實(shí)例中，就采用了基于Kepler架構(gòu)的GPU。

Maxwell的智能調(diào)度創(chuàng)新

2014年，Maxwell架構(gòu)的GTX 980發(fā)布，它在每瓦性能上比前代產(chǎn)品提升了20%。Maxwell架構(gòu)的智能調(diào)度技術(shù)，通過優(yōu)化內(nèi)存訪問和執(zhí)行效率，進(jìn)一步提升了GPU的性能。Maxwell架構(gòu)的GPU在AI邊緣計(jì)算領(lǐng)域也有所作為，例如在自動(dòng)駕駛汽車的傳感器數(shù)據(jù)處理中。

Pascal對(duì)深度學(xué)習(xí)的全面擁抱

2016年，Pascal架構(gòu)的Tesla P100 GPU問世，它采用了16nm FinFET工藝，擁有高達(dá)3584個(gè)CUDA核心。Pascal架構(gòu)的推出，標(biāo)志著英偉達(dá)全面擁抱深度學(xué)習(xí)。P100 GPU在AI研究和應(yīng)用開發(fā)中被廣泛應(yīng)用，例如在谷歌的DeepMind項(xiàng)目中，P100 GPU就發(fā)揮了關(guān)鍵作用。

Volta引入了Tensor Core

2017年，Volta架構(gòu)的Tesla V100 GPU發(fā)布，它引入了Tensor Core，專門為深度學(xué)習(xí)訓(xùn)練和推理優(yōu)化。V100的發(fā)布，使得AI訓(xùn)練的速度比前代產(chǎn)品快了數(shù)倍。V100 GPU在多個(gè)領(lǐng)域取得了顯著成就，包括在斯坦福大學(xué)的研究中，V100 GPU加速了蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的計(jì)算過程。

Turing引入了實(shí)時(shí)光線追蹤技術(shù)

2018年，Turing架構(gòu)的RTX 2080 Ti顯卡問世，它引入了實(shí)時(shí)光線追蹤技術(shù)，為游戲和電影渲染帶來了革命性的變化。Turing架構(gòu)的推出，不僅提升了圖形渲染的質(zhì)量，也為3D建模和可視化提供了強(qiáng)大的支持。在電影《復(fù)仇者聯(lián)盟4：終局之戰(zhàn)》的制作中，Turing GPU就發(fā)揮了重要作用。

Ampere，A100的核心

2020年，Ampere架構(gòu)的A100 GPU發(fā)布，它采用了7nm工藝，擁有6912個(gè)CUDA核心和432個(gè)Tensor Core。A100在AI訓(xùn)練和推理性能上，相比前代產(chǎn)品提升了20倍，進(jìn)一步鞏固了英偉達(dá)在AI和HPC領(lǐng)域的領(lǐng)導(dǎo)地位。A100 GPU在多個(gè)高性能計(jì)算項(xiàng)目中取得了突破，包括在橡樹嶺國(guó)家實(shí)驗(yàn)室的Frontier超級(jí)計(jì)算機(jī)中，A100 GPU為模擬核聚變反應(yīng)提供了關(guān)鍵計(jì)算能力。

Hopper的內(nèi)存架構(gòu)創(chuàng)新

2022年，Hopper架構(gòu)的GPU發(fā)布，它在性能和效率上再次實(shí)現(xiàn)了飛躍，引入了新一代的Tensor Core和更高效的內(nèi)存架構(gòu)。Hopper的推出，標(biāo)志著英偉達(dá)在AI芯片領(lǐng)域的最新進(jìn)展。Hopper GPU在AI領(lǐng)域的應(yīng)用前景廣闊，預(yù)計(jì)將在自然語言處理、圖像識(shí)別等多個(gè)領(lǐng)域取得突破。

Blackwell，專為AI大模型而生，采用第二代Transformer引擎

進(jìn)入2024年，英偉達(dá)的Blackwell架構(gòu)代表了該公司在GPU芯片設(shè)計(jì)上的最新進(jìn)展。作為繼Hopper架構(gòu)之后的新一代產(chǎn)品，Blackwell帶來了一系列重大的性能提升和技術(shù)革新。Blackwell GPU專為應(yīng)對(duì)AI時(shí)代對(duì)計(jì)算能力的巨大需求而設(shè)計(jì)，特別是在處理萬億參數(shù)規(guī)模的AI模型方面。

Blackwell架構(gòu)的GPU采用了雙芯片配置，通過高帶寬接口(NV-HBI)實(shí)現(xiàn)兩個(gè)GPU芯片的高效互聯(lián)，支持高達(dá)10TB/s的帶寬。這種設(shè)計(jì)顯著提升了整體性能，同時(shí)保持了良好的能效比。Blackwell GPU還配備了高達(dá)192GB的HBM3e內(nèi)存和超過8TB/s的內(nèi)存帶寬，為處理大規(guī)模AI模型提供了充足的內(nèi)存容量和帶寬。

在AI訓(xùn)練和推理性能方面，Blackwell GPU相較Hopper架構(gòu)的GPU實(shí)現(xiàn)了顯著提升。其訓(xùn)練性能是Hopper GPU的4倍，推理性能更是高達(dá)30倍。這種性能的飛躍得益于Blackwell GPU采用的第二代Transformer引擎和定制的Tensor Core技術(shù)，這些創(chuàng)新為大型語言模型(LLM)和專家混合模型(MoE)的推理過程帶來了顯著加速。

此外，Blackwell架構(gòu)還引入了第五代NVLink技術(shù)，為GPU之間的高速互聯(lián)提供了支持。這使得Blackwell GPU能夠支持多達(dá)576個(gè)GPU的集群，為構(gòu)建超大規(guī)模AI系統(tǒng)提供了可能。

英偉達(dá)的GPU芯片架構(gòu)演進(jìn)，是一段由技術(shù)創(chuàng)新驅(qū)動(dòng)的歷史。每一次架構(gòu)的更新，都伴隨著性能的大幅提升和能效的優(yōu)化。從Fermi的誕生到Hopper的最新進(jìn)展，英偉達(dá)不斷突破技術(shù)極限，推動(dòng)著整個(gè)行業(yè)的發(fā)展。這不僅是技術(shù)的勝利，更是對(duì)未來計(jì)算模式的探索。

英偉達(dá)GPU架構(gòu)的未來發(fā)展方向，將繼續(xù)圍繞性能提升、能效優(yōu)化和技術(shù)創(chuàng)新展開。隨著AI技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷擴(kuò)展，英偉達(dá)的GPU架構(gòu)將繼續(xù)向著更高的計(jì)算效率、更強(qiáng)的AI處理能力和更優(yōu)的圖形渲染性能方向發(fā)展。同時(shí)，英偉達(dá)也在積極布局云計(jì)算和邊緣計(jì)算，通過DGX Cloud等云服務(wù)，為AI研究和應(yīng)用提供了靈活、高效的計(jì)算資源。

在AI計(jì)算的長(zhǎng)遠(yuǎn)布局上，英偉達(dá)不僅關(guān)注GPU架構(gòu)的優(yōu)化，還著眼于整個(gè)AI生態(tài)系統(tǒng)的建設(shè)。通過CUDA和其他軟件開發(fā)工具，英偉達(dá)為開發(fā)者提供了強(qiáng)大的支持，推動(dòng)了AI技術(shù)的發(fā)展和應(yīng)用。此外，英偉達(dá)還與科技巨頭如蘋果合作，共同推動(dòng)AI和機(jī)器人技術(shù)的革新，展現(xiàn)了其在AI領(lǐng)域的深遠(yuǎn)影響力和領(lǐng)導(dǎo)地位。隨著技術(shù)的不斷進(jìn)步和市場(chǎng)需求的不斷擴(kuò)大，英偉達(dá)的GPU架構(gòu)將繼續(xù)引領(lǐng)AI計(jì)算的未來。

華為達(dá)芬奇，一個(gè)來自中國(guó)的對(duì)手

在AI芯片架構(gòu)領(lǐng)域，英偉達(dá)有一個(gè)來自中國(guó)的對(duì)手——華為達(dá)芬奇。

華為達(dá)芬奇架構(gòu)作為華為自研的AI計(jì)算架構(gòu)，雖然相較于業(yè)界其他一些架構(gòu)起步較晚，但已經(jīng)展現(xiàn)出了強(qiáng)大的競(jìng)爭(zhēng)力和創(chuàng)新能力。

接下來，讓我們簡(jiǎn)要回顧一下華為達(dá)芬奇的關(guān)鍵發(fā)展節(jié)點(diǎn)：

1. 2018年：華為首次公開提出達(dá)芬奇架構(gòu)，并推出基于此架構(gòu)的AI芯片Ascend 310（昇騰310）。這是達(dá)芬奇架構(gòu)的首次亮相，標(biāo)志著華為正式進(jìn)入AI芯片領(lǐng)域。

2. 2019年6月：華為發(fā)布麒麟810芯片，這是首款采用達(dá)芬奇架構(gòu)NPU的智能手機(jī)SoC芯片。麒麟810的AI性能在當(dāng)時(shí)的AI Benchmark榜單中表現(xiàn)卓越，證明了達(dá)芬奇架構(gòu)的實(shí)力。

3. 2019年8月：華為發(fā)布AI芯片Ascend 910，這是一款面向云端AI訓(xùn)練和推理的高性能AI處理器。Ascend 910的發(fā)布，進(jìn)一步豐富了華為AI芯片的產(chǎn)品線。

4. 2020年：華為繼續(xù)推進(jìn)達(dá)芬奇架構(gòu)的發(fā)展，推出了Ascend 系列的其他產(chǎn)品，包括Ascend-Nano、Ascend-Tiny、Ascend-Lite、Ascend-Mini和Multi-Ascend 310等，覆蓋了從端側(cè)到云端的全場(chǎng)景AI應(yīng)用。

5. 2023年：華為算力GPU的出貨量顯著增長(zhǎng)，預(yù)計(jì)到2024年將達(dá)到幾十萬片的規(guī)模，這表明華為達(dá)芬奇架構(gòu)的AI芯片在市場(chǎng)上已經(jīng)取得了一定的認(rèn)可和應(yīng)用。

盡管華為達(dá)芬奇架構(gòu)起步較晚，但其發(fā)展速度和技術(shù)創(chuàng)新能力不容小覷。

華為達(dá)芬奇架構(gòu)之所以能在AI芯片領(lǐng)域異軍突起，其核心競(jìng)爭(zhēng)力在于創(chuàng)新的3D Cube計(jì)算引擎。這一引擎專門針對(duì)AI計(jì)算中最為關(guān)鍵的矩陣運(yùn)算進(jìn)行優(yōu)化，通過三維立體的計(jì)算模式，實(shí)現(xiàn)了數(shù)據(jù)并行處理的質(zhì)的飛躍。在3D Cube的加持下，每個(gè)AI Core在一個(gè)時(shí)鐘周期內(nèi)能夠執(zhí)行高達(dá)4096個(gè)MAC（乘-累加）操作，這樣的算力密度在傳統(tǒng)CPU和GPU中是難以想象的。

這種設(shè)計(jì)不僅提升了算力，更在單位功耗下實(shí)現(xiàn)了AI算力的顯著提升，這對(duì)于功耗敏感的移動(dòng)設(shè)備和需要大規(guī)模部署的云端服務(wù)器來說，具有極其重要的意義。在AI芯片的戰(zhàn)場(chǎng)上，能效比往往決定了一款產(chǎn)品的生死，而達(dá)芬奇架構(gòu)在這方面的表現(xiàn)無疑給了華為一些底氣。

除了3D Cube，達(dá)芬奇架構(gòu)的另一個(gè)亮點(diǎn)是其集成的多種計(jì)算單元，包括向量、標(biāo)量以及硬件加速器等。這些單元的協(xié)同工作，使得達(dá)芬奇架構(gòu)能夠靈活處理各種復(fù)雜的AI計(jì)算任務(wù)，從基礎(chǔ)的數(shù)學(xué)運(yùn)算到復(fù)雜的深度學(xué)習(xí)算法，都能游刃有余。這種靈活性和擴(kuò)展性，讓達(dá)芬奇架構(gòu)能夠適應(yīng)多變的AI應(yīng)用場(chǎng)景，無論是端側(cè)的智能設(shè)備還是云端的大規(guī)模計(jì)算任務(wù)，都能提供強(qiáng)大的支持。

此外，達(dá)芬奇架構(gòu)對(duì)多種精度計(jì)算的支持，也是其一大優(yōu)勢(shì)。在AI訓(xùn)練和推理過程中，不同的任務(wù)對(duì)數(shù)據(jù)精度的要求各不相同，達(dá)芬奇架構(gòu)能夠根據(jù)任務(wù)需求靈活調(diào)整，既保證了計(jì)算的準(zhǔn)確性，又避免了資源的浪費(fèi)，實(shí)現(xiàn)了效率和效果的最優(yōu)平衡。

當(dāng)然，雖然華為達(dá)芬奇在諸多方面作出了自己的特色，但面對(duì)強(qiáng)大的英偉達(dá)，依然顯得弱小。

GPU芯片架構(gòu)還遠(yuǎn)沒有到“完全體”

GPU芯片架構(gòu)的演進(jìn)是一場(chǎng)永無止境的技術(shù)革新之旅，盡管已經(jīng)取得了顯著的進(jìn)步，但袁還沒達(dá)到至善至美的"完全體"形態(tài)。那么，芯片架構(gòu)演進(jìn)的方向是什么呢？以下是GPU芯片架構(gòu)發(fā)展中值得關(guān)注的幾個(gè)方向：

1. 統(tǒng)一架構(gòu)(One Architecture)：GPU架構(gòu)正朝著能夠在不同計(jì)算環(huán)境中提供一致性能和功能的方向發(fā)展。這意味著，無論是在數(shù)據(jù)中心的大型服務(wù)器，還是在邊緣設(shè)備上，同一款GPU架構(gòu)都應(yīng)具備高效的執(zhí)行能力。例如，英偉達(dá)的Ampere架構(gòu)就被設(shè)計(jì)為能夠同時(shí)支持x86和Arm架構(gòu)，這使得GPU能夠跨平臺(tái)工作，簡(jiǎn)化了開發(fā)流程并擴(kuò)大了應(yīng)用范圍。

2. 訓(xùn)練與推理融合：AI芯片的設(shè)計(jì)越來越注重同時(shí)支持訓(xùn)練和推理任務(wù)。傳統(tǒng)上，訓(xùn)練和推理需要不同類型的硬件優(yōu)化，但隨著技術(shù)的進(jìn)步，正在實(shí)現(xiàn)在同一硬件上對(duì)兩者的高效支持。推理功能的優(yōu)化特別關(guān)鍵，因?yàn)樗苯雨P(guān)系到AI模型在實(shí)際應(yīng)用中的響應(yīng)速度和能效比。

3. 內(nèi)存容量的增長(zhǎng)：隨著AI模型的規(guī)模和復(fù)雜性不斷增加，對(duì)內(nèi)存容量的需求也在急劇上升。HBM技術(shù)通過3D堆疊多個(gè)DRAM層來提供更高的內(nèi)存密度和帶寬。預(yù)計(jì)到2025年，HBM技術(shù)將達(dá)到前所未有的容量和帶寬水平，這將極大地推動(dòng)AI芯片的性能提升。

4. 軟硬件協(xié)同優(yōu)化：軟硬件的緊密結(jié)合是實(shí)現(xiàn)GPU最佳性能的關(guān)鍵，英偉達(dá)的CUDA平臺(tái)和其GPU硬件之間的協(xié)同就是一個(gè)典型例子。軟件層面的優(yōu)化可以充分發(fā)揮硬件的潛力，而硬件設(shè)計(jì)時(shí)也需要考慮軟件的執(zhí)行效率。

5. 更強(qiáng)的互聯(lián)技術(shù)：GPU之間以及計(jì)算節(jié)點(diǎn)之間的高速互聯(lián)，對(duì)于構(gòu)建大規(guī)模計(jì)算集群至關(guān)重要。例如，英偉達(dá)的NVLink技術(shù)提供了單個(gè)節(jié)點(diǎn)內(nèi)GPU間高達(dá)數(shù)百GB/s的互連帶寬，而InfiniBand技術(shù)則廣泛用于節(jié)點(diǎn)之間的高速通信，這對(duì)于實(shí)現(xiàn)高效的并行計(jì)算和數(shù)據(jù)共享至關(guān)重要。

6. 先進(jìn)封裝技術(shù)：隨著芯片尺寸的縮小和集成度的提高，傳統(tǒng)的封裝技術(shù)已經(jīng)不能滿足需求。先進(jìn)封裝技術(shù)，如Chiplet，允許在單個(gè)封裝內(nèi)集成多個(gè)小芯片，從而實(shí)現(xiàn)更高的性能和更低的功耗。預(yù)計(jì)到2025年，這種技術(shù)將在AI芯片中得到廣泛應(yīng)用。

7. 系統(tǒng)級(jí)創(chuàng)新：真正的創(chuàng)新來自于對(duì)整個(gè)系統(tǒng)每一個(gè)環(huán)節(jié)的深入理解和優(yōu)化，從芯片設(shè)計(jì)、制造工藝、內(nèi)存技術(shù)到軟件工具和開發(fā)環(huán)境，每一個(gè)環(huán)節(jié)都需要不斷創(chuàng)新，以實(shí)現(xiàn)整體性能的最優(yōu)。

8. 快速迭代與性能提升：AI芯片的更新周期正在縮短，以適應(yīng)快速發(fā)展的市場(chǎng)需求。每一代新芯片都在存儲(chǔ)、計(jì)算和互聯(lián)方面實(shí)現(xiàn)了顯著的性能提升，通常比上一代提升1.5到2倍以上。

對(duì)于華為來說，要想在AI芯片架構(gòu)上追趕英偉達(dá)，就需要在上述方面發(fā)力。華為需要不斷優(yōu)化達(dá)芬奇架構(gòu)，提高其在統(tǒng)一架構(gòu)下的性能和能效，加強(qiáng)內(nèi)存和互聯(lián)技術(shù)的研發(fā)，以及構(gòu)建更加完善的軟硬件生態(tài)系統(tǒng)。通過系統(tǒng)性的創(chuàng)新和快速迭代，才有望逐步縮小與行業(yè)領(lǐng)導(dǎo)者的差距，并在未來的AI芯片競(jìng)爭(zhēng)中占據(jù)一席之地。

來源：數(shù)據(jù)猿