據(jù)斯坦福大學報告顯示，自2003年以來，GPU性能提高了約7000倍，單位性能價格也提高了5600倍。GPU已經(jīng)是推動 AI 技術(shù)進步的關(guān)鍵動力。

H100 GPU（圖片來源：NVIDIA官網(wǎng)）

數(shù)周之前，芝加哥大學商學院的魯海昊教授發(fā)現(xiàn)，原本傳統(tǒng)依賴英特爾/AMD CPU（中央處理器）芯片進行計算的數(shù)學規(guī)劃求解器（Solver，下稱“求解器”），如今卻可以突破技術(shù)瓶頸。

具體來說，魯海昊教授團隊通過實驗發(fā)現(xiàn)，求解器能夠通過英偉達GPU（圖形處理器）和CUDA庫函數(shù)，設(shè)計高效的數(shù)學規(guī)劃算法cuPDLP來求解超大規(guī)模問題，并體現(xiàn)出了計算優(yōu)越性，其研發(fā)的cuPDLP軟件（Julia版本）也驗證了這一點。而該研究成果日前發(fā)表在arxiv上。

此后，魯海昊團隊與斯坦福大學博士、杉數(shù)科技首席科學家葛冬冬教授團隊進行了緊密合作：在最頂級的計算設(shè)施，英偉達GPU H100多顯卡集群上，團隊對自己研發(fā)的cuPDLP-C求解軟件（C語言版本）進行了實驗，驗證GPU能否實現(xiàn)線性規(guī)劃問題求解的“彎道超車”。

鈦媒體App獲悉，2023年12月8日，杉數(shù)科技團隊在中國運籌學會算法軟件與應用分會成立大會上，報告了他們在英偉達H100 GPU顯卡上，成功驗證了cuPDLP-C求解超大規(guī)模線性規(guī)劃問題（LP problem）的顯著優(yōu)勢。在多個經(jīng)典測試集上，對于大規(guī)模問題，算法體現(xiàn)出了不亞于傳統(tǒng)商業(yè)求解器的表現(xiàn)，并且在多個大問題上有明顯求解優(yōu)勢。

例如，從求解效率來看，領(lǐng)域內(nèi)著名的測試問題zib03，相比四年前用CPU求解的16.5個小時（用英特爾至強E7-8880 v4），如今在英偉達H100下，cuPDLP-C求解計算時間直接縮短至916秒，時間縮短了64倍。

相較于2009年的CPLEX，計算時間從139天到現(xiàn)在的15分鐘，這完全顛覆了數(shù)學規(guī)劃算法設(shè)計“只有CPU能做”的傳統(tǒng)認知，“降維打擊式”地提升了求解計算效率。同時，由于目前cuPDLP-C已經(jīng)在GitHub上開源，因此整個成果也將讓更多人受益。

葛冬冬對鈦媒體App表示，“這件事意義重大，它將在未來3-5年對整個運籌學從科研到產(chǎn)業(yè)都會產(chǎn)生巨大改變。某種程度上，我認為它將開啟一個運籌學科新的‘大航海時代’。”

“有四點對領(lǐng)域的可能沖擊。首先，這套算法思想推廣之后，不僅用在線性系統(tǒng)上，而且對整個連續(xù)優(yōu)化領(lǐng)域都會產(chǎn)生影響，進而深刻影響整數(shù)規(guī)劃計算領(lǐng)域，這對應求解器應用場景中80%的問題；第二，GPU相關(guān)的一階算法設(shè)計和執(zhí)行相對簡單，這將使得求解器社區(qū)部分模型對應的算法開源化；而專業(yè)求解器以后可能跟目前許多toB的AI公司相似，在專業(yè)求解和基于GPU的函數(shù)定制服務(wù)方面都可以發(fā)力，帶來新的商業(yè)機會。第三，求解器會變得更加重視硬件，將需要大量適配的專用高精度計算顯卡，以及需要高效的庫函數(shù)實現(xiàn)。國內(nèi)很多 AI 芯片也可以應用，形成一個軟硬一體化的生態(tài)；求解器以后的服務(wù)也更可能呈現(xiàn)一個軟硬一體化綁定的服務(wù)能力。第四，有鑒于求解能力限制，整個運籌學研究的核心之一其實就是如何將大問題分解，分步驟，或者降維求解，而隨著GPU求解算法的“暴力”求解大問題能力劇增，可以預期運籌學領(lǐng)域，也包括相關(guān)的多個商科和工科領(lǐng)域的科研范式和產(chǎn)業(yè)形態(tài)也將隨之極大改變，甚至重塑。”葛冬冬告訴鈦媒體App。

很顯然，通過GPU顯卡的算力加持，對已經(jīng)發(fā)展70余年、古老且嚴謹?shù)倪\籌學科將會帶來革命性的沖擊。

計算時間縮短超過64倍，GPU芯片將加速求解更多復雜問題

運籌學是近代應用數(shù)學的一個分支，主要是研究如何將生產(chǎn)、管理等事件中出現(xiàn)的優(yōu)化問題加以提煉，然后利用數(shù)學方法進行解決的學科。

美國物理學家，曾任加州大學柏克萊分校教授的Charles Kittel早在1947年首次提到“Operations Research”一詞，中國則在1957年由中國工程院院士許國志、清華大學基礎(chǔ)科部教授周華章正式定名為“運籌學”，并于1980年成立中國運籌學會（ORSC）。運籌學在全球發(fā)展至今已超過70年。

其中，數(shù)學規(guī)劃是將現(xiàn)實問題轉(zhuǎn)化為數(shù)學模型并求解的過程。數(shù)學規(guī)劃求解器作為這一過程的核心軟件，專門針對多種線性、整數(shù)和非線性規(guī)劃模型進行算法優(yōu)化。它可以被視為一個“黑盒子”系統(tǒng)，業(yè)界亦稱之為算法領(lǐng)域的“芯片”。

求解器的重要意義在于，它能解決生活中非常復雜的應用數(shù)學問題。例如，2018年平昌冬奧會的閉幕式上，中國接棒八分鐘展示里出現(xiàn)的無人倉機器人引起全球關(guān)注。但如何計算這些機器人的運行路線，為了確保這些機器人運行高效且避免碰撞，需要依賴最優(yōu)算法，而背后依靠的就是求解器。

在此之前，求解器的核心計算硬件大部分依賴于CPU（中央處理器）芯片，主要原因是CPU的通用能力可以更廣泛應用于眾多計算系統(tǒng)和 算法實現(xiàn)，而且英特爾、AMD相關(guān)軟件框架都非常齊全，特別是復雜高精度的各種矩陣運算，大大降低求解規(guī)劃成本，并提高計算效能。

葛冬冬指出，芯片這類硬件是求解器底層的核心設(shè)施。

長期以來，GPU采用與CPU不同的底層架構(gòu)，計算核心數(shù)量、軟件和性能處理方案與CPU的底層邏輯差異極大。而國內(nèi)外科研人員希望能夠通過GPU或是其他類型芯片可實現(xiàn)線性規(guī)劃的加速計算，但多次實驗結(jié)果顯示，GPU一直無法高效求解算法中的“矩陣求逆”或者“矩陣分解“問題，無論是計算精度（物理原因）還是并行計算，它都無法做到。

“未能突破的原因是，求解器的核心底層只要是這種連續(xù)優(yōu)化問題，不管是線性還是非線性，傳統(tǒng)算法中都躲不開如何高效求解‘矩陣分解’這一步。這個問題解決不了，GPU幾千個計算單元并行加速的優(yōu)勢就無法體現(xiàn)。”葛冬冬對鈦媒體App表示，“矩陣分解”主要對應線性方程組求解，是計算最關(guān)鍵一步。一旦矩陣規(guī)模過大或者結(jié)構(gòu)復雜，這個步驟往往會造成內(nèi)存溢出或者求解時間極長，成為求解桎梏。

杉數(shù)科技首席科學家葛冬冬教授

早在2016年，葛冬冬聯(lián)合幾位當年在斯坦福的博士同學，共同成立了杉數(shù)科技，研制了第一個國產(chǎn)專業(yè)求解器，避免受制于人。如今，作為智能決策技術(shù)服務(wù)公司，杉數(shù)科技以其自研大規(guī)模商用求解器COPT為核心引擎，打造了“計算引擎+決策中臺+業(yè)務(wù)場景”的端到端智能決策技術(shù)平臺，為消費零售、交通物流、能源電網(wǎng)、制造與供應鏈等多個行業(yè)提供數(shù)字化供應鏈解決方案，利用運籌優(yōu)化和機器學習找出更優(yōu)的決策方案，全面提升產(chǎn)業(yè)鏈和供應鏈運營效率和效果。

葛冬冬此前向鈦媒體App透露，利用COPT數(shù)學優(yōu)化求解器這種優(yōu)化決策，可以使生產(chǎn)排程訂單滿足率提高20%，產(chǎn)能損失率降低30%，排產(chǎn)排程人工干預降低70%，非計劃維修降低15%。同時，杉數(shù)科技COPT數(shù)學優(yōu)化求解器一直在全球求解器榜單中名列前茅。

而此前葛冬冬團隊研發(fā)的COPT求解器系列，主要是利用CPU芯片進行計算處理的。

“事實上，過去十幾年，這個領(lǐng)域內(nèi)，包括我們，國內(nèi)外學術(shù)界無數(shù)人，都在前赴后繼地努力，試圖回答這個問題：GPU/CUDA架構(gòu)能否對數(shù)學規(guī)劃求解器起到彎道超車的作用。此前的答案一直為‘否’。”葛冬冬表示。

然而，2023年11月初，葛冬冬的合作伙伴，魯海昊教授在arXiv上發(fā)表了一篇論文，他們公開的cuPDLP代碼，通過GPU硬件成功解決了線性規(guī)劃求解計算問題，可用在這段Julia代碼中求解線性規(guī)劃。

葛冬冬說：“魯老師突破這一長期瓶頸的技術(shù)方案，是他們觀察到以前的CPU/GPU混合架構(gòu)求解中，CPU/GPU之間的交互往往占用了絕大部分耗時，因此他們在此前他們與谷歌合作建立的PDLP求解器基礎(chǔ)上（此求解器可以很好解決GPU計算精度無法達到10^-8精度要求的限制），將整套算法搬到了GPU/CUDA架構(gòu)下實現(xiàn)。捅破了最后一層窗戶紙！

此后，魯教授與葛冬冬教授領(lǐng)導的杉數(shù)COPT團隊緊密合作，提出開源技術(shù)方案cuPDLP-C，即用一階方法在GPU上解決線性規(guī)劃問題，也是Julia版本cuPDLP.jl的C語言加強版，算法上也做了進一步的改善和提高。

與此同時，通過在目前最強的顯卡H100上的實驗發(fā)現(xiàn)，在運籌學最經(jīng)典的測試集MIPLIB2017的383個線性松弛測試問題求解中，以10^-4 精度要求，cuPDLP-C已經(jīng)可以求解到379個問題，而以嚴格收斂的標準10^-8 精度要求，cuPDLP-C也可以求解到369個問題?？傮w求解時間與目前最好的商業(yè)求解器的差距也拉近到了2倍（10^-4精度）和6倍（10^-8）精度之內(nèi)。在測試集那些大問題中的差距明顯更小，在10^-4精度下甚至體現(xiàn)出了計算優(yōu)勢。此外，葛冬冬團隊還在多個更大規(guī)模問題上進行了廣泛測試，cuPDLP-C的優(yōu)勢明顯，例如zib03問題加速了64倍，而多個更大規(guī)模的測試問題，如在谷歌的Pagerank、某國內(nèi)大企業(yè)供應鏈項目問題、經(jīng)典的二次分配問題（QAP）等問題的測試上，傳統(tǒng)求解器都無法求解，而cuPDLP-C可以做到可行時間內(nèi)求解。

很顯然，對于超大數(shù)學規(guī)劃問題，在性能、計算速度、求解數(shù)量等方面，GPU都能比CPU都展現(xiàn)出了更好的前景。

杉數(shù)科技資深副總裁，技術(shù)負責人皇甫博士對鈦媒體App表示，利用GPU硬件，現(xiàn)在cuPDLP-C可以讓之前難以解決的大規(guī)模優(yōu)化問題變得易于解決，推動了模型建立的精確度和規(guī)模。以前因CPU限制而采用的非常精密復雜的一些求解技巧可能不再需要。此外，一旦GPU提速上百倍，cuPDLP-C求解優(yōu)勢可能拓展到其他連續(xù)優(yōu)化領(lǐng)域，極大加速求解過程，讓原本耗時的問題快速得到解決，從而打開新的應用可能性。

葛冬冬告訴鈦媒體App，“這很恐怖。對于運籌學來說，這一技術(shù)意外打破了一個長期以來的定論，即GPU在求解數(shù)學規(guī)劃問題上沒什么加速效果。這一發(fā)現(xiàn)會讓整個學術(shù)和工業(yè)界感到驚訝，因為之前從未有人預料到這種情況。”

他強調(diào)，cuPDLP-C技術(shù)推翻了運籌學科長期以來的一些共識和定式，超出人們預期，利用GPU提高了求解器的性能潛力，可能使運籌學實現(xiàn)從CPU到GPU計算帶來的“范式轉(zhuǎn)變”。

目前，cuPDLP-C技術(shù)代碼已經(jīng)開源，相關(guān)論文也已經(jīng)公開發(fā)表在arXiv上。GitHub地址：

https://github.com/COPT-Public/cuPDLP-C

20年性能提高約7000倍，GPU成本過高是否將制約行業(yè)發(fā)展？

過去一年，以ChatGPT為代表的生成式 AI 技術(shù)風靡全球。而作為以95%的市場占有率壟斷了全球 Al 訓練芯片的英偉達，成為了這輪 AI 混戰(zhàn)的最大贏家，其研發(fā)的A100/A800、H100/H800等多款 AI 芯片成為 AI 熱潮中的“爆品”。

正如英偉達自己所說：“GPU 已經(jīng)成為人工智能的稀有金屬，甚至是黃金，因為它們是當今生成式 AI 時代的基礎(chǔ)。”

從技術(shù)角度來說，GPU優(yōu)于CPU，特別是在并行計算能力、能耗效率和CUDA生態(tài)等方面，它的高算力和可擴展性使英偉達GPU成為AI加速芯片市場的首選。

根據(jù)斯坦福大學最近發(fā)布的一項報告顯示，自2003年以來，GPU性能提高了約7000倍，單位性能價格也提高了5600倍。該報告還指出，GPU是推動 AI 技術(shù)進步的關(guān)鍵動力。

英偉達首席科學家Bill Dally也曾表示，NVIDIA GPU在過去十年中將 AI 推理性能提高了1000倍。

從運籌學角度來看，將CPU替換為GPU，計算能力、計算效率大幅提升。但問題在于，國內(nèi)可以買到的H100/H800、A100/A800的價格都已經(jīng)超過20萬/張，再加上存儲、NVLink互連、運維成本等，相比CPU，基于GPU的求解成本將進一步攀高。

那么，求解計算的基礎(chǔ)設(shè)施成本，是否會成為未來求解器乃至運籌學發(fā)展的重要制約因素？

葛冬冬對鈦媒體App表示，目前只是基于GPU架構(gòu)的優(yōu)化算法的“拓荒期”。目前，他們已經(jīng)與多家國產(chǎn) GPU芯片廠商開展了廣泛的測試合作，希望能夠利用國產(chǎn)算力推動中國求解器行業(yè)發(fā)展。確實有部份國產(chǎn)GPU芯片已經(jīng)具備了跑通算法的能力，但是也確實，還需要在芯片速度和庫函數(shù)完備程度上做進一步建設(shè)。

而且，他認為，杉數(shù)也已經(jīng)積極與商業(yè)伙伴開始積極探索這一技術(shù)的落地與應用前景。目前已經(jīng)開始在電力系統(tǒng)的出清調(diào)度問題這一大規(guī)模復雜系統(tǒng)問題上，與南網(wǎng)總調(diào)合作，探尋運用GPU架構(gòu)的優(yōu)化求解算法來加速求解計算的研究。

談及開源與商業(yè)化的話題，葛冬冬認為，把cuPDLP-C開源可以推動行業(yè)進一步發(fā)展，對于商業(yè)化求解器來說肯定會有一定沖擊，但GPU求解大規(guī)模問題的新思路也帶來了巨大的機會，目前來看，杉數(shù)科技在核心技術(shù)、商業(yè)化等層面還有非常領(lǐng)先的市場競爭優(yōu)勢。

“新的大門已經(jīng)推開。過去20年，大家一直在嘗試推開，但門被‘鎖’死了?，F(xiàn)在等于是發(fā)現(xiàn)‘鎖’能打碎，門是能推開的。這就意味著運籌學算法又進入了一個新的‘大航海時代’，一個堪比‘西部掘金熱’的時代。我們已經(jīng)走出（開源）這一步。我們對自己的技術(shù)有信心，過去七年，從無到有，再到國際領(lǐng)先，杉數(shù)一直都在科研、技術(shù)和實踐應用上，是國內(nèi)求解器市場的領(lǐng)航者。在這個經(jīng)我們的手打開的新時代，我相信，我們是不會落后的。”葛冬冬表示。

發(fā)布支持GPU的一階算法求解器，突破超大規(guī)模問題求解能力邊界

2月初，杉數(shù)求解器COPT 7.1最新版本中根據(jù)葛冬冬教授團隊和芝加哥大學魯海昊教授、斯坦福大學葉蔭宇教授的最新科研成果，正式添加了支持GPU的一階算法求解器，將PDLP算法的全部計算部件改造為可完全在GPU上運算，以充分利用GPU多核心、高并行等優(yōu)勢，為很多原本因單機內(nèi)存限制等原因難以求解的問題提供新的可能性。值得一提的是，對于一些規(guī)模較大的問題，盡管經(jīng)典算法已經(jīng)能夠求解，但GPU求解器也往往可以實現(xiàn)明顯加速，例如將“Zib03”這一問題的求解時間從CPU的小時級提升到了分鐘級。

COPT的GPU一階算法求解器目前可以在Windows和Linux-x86平臺上運行，支持對線性規(guī)劃問題進行求解。用戶需要首先選擇求解算法為PDLP（通過設(shè)置優(yōu)化參數(shù)：“LpMethod”為6），COPT 會嘗試檢測能否正常加載所需 CUDA 函數(shù)庫，以及是否存在支持 GPU的顯卡，如以上情況均滿足，則會開啟GPU求解模式。（可前往NVIDIA官網(wǎng)下載最新版CUDA安裝包）

同時，杉數(shù)科技COPT團隊也與國內(nèi)GPU芯片廠商展開了緊密合作，并協(xié)同進行庫函數(shù)的開發(fā)和提升，預期將在不久的未來，推出全國產(chǎn)的軟硬一體化CPU/GPU混合架構(gòu)新版高效數(shù)學優(yōu)化求解器。

以LP公開測評集中“thk_63”這一算例為例，COPT 7.1調(diào)用支持 GPU的PDLP算法求解日志如下圖所示，與COPT使用內(nèi)點法找到最優(yōu)數(shù)值解所需時間相比，PDLP算法利用GPU計算優(yōu)勢可顯著縮短求解時間。

注：在求解日志輸出的信息中，PDLP算法實際從第21.63s開始調(diào)用求解，此前消耗的是預求解以及調(diào)用CUDA庫函數(shù)獲取機器GPU型號等信息的時間，因此，該算法找到最優(yōu)數(shù)值解的時間是68.05s。

此外，COPT最新版本還開放GPU計算相關(guān)的優(yōu)化參數(shù)供用戶自定義設(shè)置（具體詳見《杉數(shù)求解器用戶手冊》參數(shù)章節(jié)介紹）。

• GPUMode：指定GPU 求解器的使用模式

• GPUDevice：當運行機器有多個 GPU 存在的情形下，可以使用指定編號的 GPU

• PDLPTol：一階算法（PDLP）的收斂容

來源：數(shù)據(jù)猿