2023 GAIR｜優(yōu)刻得季昕華：中立云服務(wù)助力AIGC發(fā)展
UCloud云計(jì)算 | 2023-08-15 12:41
【數(shù)據(jù)猿導(dǎo)讀】 大模型的生命周期包括前期的數(shù)據(jù)清洗、預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模、強(qiáng)化學(xué)習(xí)，以及后續(xù)的部署運(yùn)營(yíng)六個(gè)階段，而在對(duì)應(yīng)的過程中往往會(huì)面臨著多樣合規(guī)數(shù)據(jù)如何獲取，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)能否滿足訓(xùn)練需求，模型的穩(wěn)定性和安全性又如何保障等一系列難題。UCloud是中立、安全的云廠商，擁有超...
今天，第七屆GAIR全球人工智能與機(jī)器人大會(huì)在新加坡隆重召開，大會(huì)特邀全球產(chǎn)業(yè)領(lǐng)袖、業(yè)內(nèi)大咖共話大模型和生成式AI的技術(shù)突破和商業(yè)創(chuàng)新。據(jù)悉，本屆GAIR由雷峰網(wǎng)聯(lián)合新加坡GAIR研究院、世界科學(xué)出版社、科特勒咨詢集團(tuán)等機(jī)構(gòu)共同舉辦，是國(guó)內(nèi)首個(gè)出海的大型AI論壇，也是中國(guó)人工智能影響力的一次跨境溢出。
UCloud作為國(guó)內(nèi)知名的云計(jì)算廠商受邀參會(huì)，UCloud董事長(zhǎng)兼CEO季昕華在《大模型時(shí)代的超級(jí)基建》主題論壇發(fā)表了題為《中立云服務(wù)助力AIGC發(fā)展》的精彩演講，分享了對(duì)大模型的關(guān)注與思考、剖析了大模型發(fā)展的痛點(diǎn)，并全面展示了UCloud在AIGC領(lǐng)域的算力底座和工程實(shí)踐。
GPT的橫空出世引領(lǐng)著人工智能產(chǎn)業(yè)新機(jī)遇，“百模大戰(zhàn)”正在國(guó)內(nèi)打響。季昕華總結(jié)了當(dāng)前國(guó)內(nèi)做通用和垂直大模型的企業(yè)已有130余家，團(tuán)隊(duì)構(gòu)成可劃分為五大方陣，分別是互聯(lián)網(wǎng)巨頭、上市公司、AI團(tuán)隊(duì)、科學(xué)家創(chuàng)業(yè)、互聯(lián)網(wǎng)高管創(chuàng)業(yè)，這些企業(yè)呈現(xiàn)出了資金、人才、數(shù)據(jù)、算力密度高的特點(diǎn)，也構(gòu)成了大模型的四大核心要素。
大模型的生命周期包括前期的數(shù)據(jù)清洗、預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模、強(qiáng)化學(xué)習(xí)，以及后續(xù)的部署運(yùn)營(yíng)六個(gè)階段，而在對(duì)應(yīng)的過程中往往會(huì)面臨著多樣合規(guī)數(shù)據(jù)如何獲取，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)能否滿足訓(xùn)練需求，模型的穩(wěn)定性和安全性又如何保障等一系列難題。UCloud是中立、安全的云廠商，擁有超過10年的公有云技術(shù)沉淀并積累了全面的系統(tǒng)工程能力，具備從數(shù)據(jù)中心、計(jì)算平臺(tái)，到管理平臺(tái)、網(wǎng)絡(luò)服務(wù)、應(yīng)用服務(wù)、生態(tài)接口等一站式產(chǎn)品和解決方案。
季昕華首先分享了大模型在功耗和電力方面的挑戰(zhàn)，大模型所需的機(jī)房電量消耗大且功率更高。UCloud烏蘭察布數(shù)據(jù)中心電力充分、電價(jià)低廉、可自然制冷且距離北京更近，具備高可靠性、高性價(jià)比等優(yōu)勢(shì)，可有效滿足大模型的訓(xùn)練要求。相較上海、北京等同等質(zhì)量的數(shù)據(jù)中心，成本下降40%；采用雙路不間斷電源供電，更加安全可靠；模塊化的設(shè)計(jì)布局，支持機(jī)房模塊、基礎(chǔ)設(shè)施配置的深度靈活定制。
當(dāng)前大規(guī)模集群算力仍存在較大的缺口，UCloud基于自建數(shù)據(jù)中心所打造的AIGC解決方案可充分滿足大模型企業(yè)對(duì)于底層算力基礎(chǔ)設(shè)施的需求，同時(shí)UCloud可為客戶提供后續(xù)的維護(hù)服務(wù)。自建數(shù)據(jù)中心內(nèi)提供專為GPU集群建設(shè)的高電機(jī)柜，并上線了多款GPU算力資源，推出了“訓(xùn)練專區(qū)+推理專區(qū)+存儲(chǔ)專區(qū)+管理專區(qū)”的分區(qū)建設(shè)方案，企業(yè)可根據(jù)實(shí)際的訓(xùn)練、推理、數(shù)據(jù)處理等應(yīng)用場(chǎng)景進(jìn)行靈活可擴(kuò)展的算力選擇。基于完善的基礎(chǔ)架構(gòu)方案和安全保障，幫助大模型企業(yè)快速搭建算力平臺(tái)，并通過對(duì)接上層的資源調(diào)度系統(tǒng)，提高模型訓(xùn)練和推理效率，讓客戶專注于模型迭代與業(yè)務(wù)創(chuàng)新。
優(yōu)刻得 AIGC解決方案全景圖
其次是大模型的存儲(chǔ)挑戰(zhàn)，存儲(chǔ)性能會(huì)直接影響大模型的訓(xùn)練時(shí)間。大模型計(jì)算的工作負(fù)載大多是讀密集型的，UCloud從大量列表元數(shù)據(jù)操作、高吞吐讀需求、大量順序?qū)懭?/strong>這三個(gè)方面針對(duì)基于US3對(duì)象存儲(chǔ)的文件系統(tǒng)進(jìn)行升級(jí)改造，提升元數(shù)據(jù)性能、讀緩存和寫吞吐的能力。經(jīng)測(cè)試，優(yōu)化后的讀性能有70%左右的性能提升，達(dá)到5GBps；寫吞吐10%左右的吞吐提升，達(dá)到2.2GBps，可充分滿足大模型客戶在單點(diǎn)掛載時(shí)吞吐的性能需求，大幅提升訓(xùn)練效率。后續(xù)，UCloud會(huì)在和kernel交互的方式上進(jìn)一步優(yōu)化并發(fā)來提升寫吞吐的能力。此外，UCloud研發(fā)中的GPUDirect Storage，將會(huì)有更高的存儲(chǔ)性能。
大模型訓(xùn)練依賴于大規(guī)模分布式并行集群，還面臨著網(wǎng)絡(luò)層面的挑戰(zhàn)。一方面是因?yàn)槟Ｐ捅旧矸浅４?，需要拆分到多個(gè)GPU上來存儲(chǔ)；另一方面，模型參數(shù)量越大就越需要更多的計(jì)算量，千張GPU甚至幾千張GPU并行訓(xùn)練是大模型成功的基礎(chǔ)。季昕華分享，大模型訓(xùn)練RDMA網(wǎng)絡(luò)設(shè)計(jì)要滿足“大規(guī)模、高帶寬”的要求，目前UCloud支持IB和RoCE兩種高性能網(wǎng)絡(luò)方案，可充分滿足大規(guī)模算力集群之間的高速網(wǎng)絡(luò)互聯(lián)，實(shí)現(xiàn)多節(jié)點(diǎn)間的無損通信。
談到目前國(guó)內(nèi)的場(chǎng)景應(yīng)用，季昕華表示，按照對(duì)大模型輸出內(nèi)容準(zhǔn)確性的容忍度來分類，游戲NPC、社交輔助、電商、游戲/設(shè)計(jì)的畫圖、翻譯、客服支持、文字和編程輔助、教育、法律、醫(yī)療這10大行業(yè)場(chǎng)景有較為廣泛的落地。同時(shí)，大模型發(fā)展還將持續(xù)面臨數(shù)據(jù)安全、政府對(duì)于合規(guī)性的要求、國(guó)際關(guān)系對(duì)于中國(guó)AI發(fā)展的限制等挑戰(zhàn)。
在隨后的圓桌交流中，季昕華提到，“UCloud從五個(gè)方面幫助大模型客戶進(jìn)行降本增效，第一在烏蘭察布數(shù)據(jù)中心實(shí)現(xiàn)70%的電費(fèi)成本節(jié)約；第二通過租用的方式，幫助客戶節(jié)省IT基礎(chǔ)設(shè)施成本投入；第三通過優(yōu)化網(wǎng)絡(luò)和存儲(chǔ)帶寬以提升大模型訓(xùn)練效率；第四未來推理成本會(huì)遠(yuǎn)高于訓(xùn)練成本，UCloud可以幫助客戶將大模型放至3090或V100進(jìn)行推理任務(wù)；第五UCloud不做大模型，但可以通過私有化大模型一體機(jī)的模式，幫助客戶推廣大模型。”
據(jù)悉，為加速垂直大模型的行業(yè)落地，UCloud基于開箱即用的私有化大模型一體機(jī)提供一站式MaaS服務(wù)，支持Alpaca-LoRA7B、T5、MiniGPT-4、ChatGLM、Ziya、LlaMA2以及Milvus向量數(shù)據(jù)庫(kù)等開源大模型，企業(yè)可以快速搭建大模型的微調(diào)或推理環(huán)境，輕松部署大模型應(yīng)用。大模型一體機(jī)內(nèi)置UCloud自主研發(fā)的全棧私有云平臺(tái)，統(tǒng)一了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)底層資源，通過運(yùn)行環(huán)境一鍵打包和算力調(diào)度，使得大模型一體機(jī)既可作為訓(xùn)練的算力運(yùn)行環(huán)境，又可在訓(xùn)練結(jié)束后，無縫切換至推理業(yè)務(wù)部署模式，確?；A(chǔ)設(shè)施成本可控、安全可靠。
在當(dāng)下的大模型時(shí)代，UCloud希望發(fā)揮云廠商在算力、工程、網(wǎng)絡(luò)、安全等多方面的產(chǎn)品技術(shù)和實(shí)踐能力，構(gòu)筑強(qiáng)大的AI算力底座。同時(shí)，基于遍布全球的海外數(shù)據(jù)中心，協(xié)助大模型企業(yè)完成模型研發(fā)和測(cè)試等工作。作為中立的云計(jì)算企業(yè)，優(yōu)刻得也希望與更多合作伙伴和科學(xué)家攜手進(jìn)行大模型技術(shù)研究與迭代優(yōu)化，助力大模型應(yīng)用快速、安全的落地千行百業(yè)。
來源：UCloud云計(jì)算
刷新相關(guān)文章
2023BDIE搶先看丨第八屆亞太銀行數(shù)字化創(chuàng)新峰會(huì)圓滿落幕！！
我要評(píng)論
不容錯(cuò)過的資訊
-
1聲通科技赴港IPO：軟銀押注，年內(nèi)利潤(rùn)由
-
2資深媒體人宋繁銀加入《數(shù)據(jù)猿》任總編輯
-
3雷軍將開啟年度演講；ChatGPT每日燒錢500
-
4華為上半年收入3109億，凈利潤(rùn)466億；我
-
5提升業(yè)務(wù)的智能推薦：深演智能首款智能推
-
6讓我們玩?zhèn)€游戲：找出緬北詐騙網(wǎng)絡(luò)中的“
-
7對(duì)話即數(shù)據(jù)分析，網(wǎng)易數(shù)帆ChatBI做到了
-
8英偉達(dá)發(fā)布重磅新品；金蝶發(fā)布蒼穹GPT大
-
9美團(tuán)成光年之外唯一股東；OpenAI將對(duì)Chat
-
10弘璣完成約4000萬美元C+輪融資，加速AIG
大數(shù)據(jù)企業(yè)推薦more >
大家都在搜
