9月5日，在2024騰訊全球數(shù)字生態(tài)大會(huì)云上智能峰會(huì)上，騰訊云副總裁、騰訊云智能負(fù)責(zé)人、優(yōu)圖實(shí)驗(yàn)室負(fù)責(zé)人吳運(yùn)聲分享了騰訊云在智能領(lǐng)域的最新進(jìn)展，并探討了大模型在產(chǎn)業(yè)中的應(yīng)用和未來(lái)發(fā)展。

騰訊云副總裁、騰訊云智能負(fù)責(zé)人、優(yōu)圖實(shí)驗(yàn)室負(fù)責(zé)人吳運(yùn)聲

吳運(yùn)聲在演講中指出，大模型的發(fā)展呈現(xiàn)出兩個(gè)明顯趨勢(shì)：模型性能不斷提升和落地場(chǎng)景不斷豐富。他強(qiáng)調(diào)，面向場(chǎng)景創(chuàng)造價(jià)值才是大模型發(fā)展的意義。基于全矩陣的大模型產(chǎn)品，騰訊已經(jīng)服務(wù)了眾多客戶(hù)，在知識(shí)管理、智能客服、研發(fā)提效、智能營(yíng)銷(xiāo)、內(nèi)容生成、辦公協(xié)同、風(fēng)險(xiǎn)管控等場(chǎng)景中，幫助企業(yè)實(shí)現(xiàn)了降本增效和業(yè)務(wù)創(chuàng)新。

騰訊云的大模型策略以實(shí)用性為核心，滿足不同企業(yè)在大模型時(shí)代的需求。騰訊已經(jīng)構(gòu)建起了全鏈路的大模型產(chǎn)品矩陣，包括底層基礎(chǔ)設(shè)施、幫助企業(yè)訓(xùn)練專(zhuān)屬模型的TI平臺(tái)和行業(yè)大模型解決方案，自研的混元大模型，構(gòu)建應(yīng)用的平臺(tái)工具，以及基于大模型的各類(lèi)智能應(yīng)用。

吳運(yùn)聲介紹，騰訊最新發(fā)布的混元Turbo版本通過(guò)自研的萬(wàn)億級(jí)層間異構(gòu)MoE技術(shù)，相比前代模型實(shí)現(xiàn)了訓(xùn)練效率提升108%，推理效率提升100%，推理成本降低 50%。同時(shí)，混元Turbo的效果在多個(gè)基準(zhǔn)測(cè)試上對(duì)標(biāo)GPT-4o，且第三方測(cè)評(píng)居國(guó)內(nèi)第一。

騰訊云在今年5月還一并推出了三款PaaS產(chǎn)品——大模型知識(shí)引擎、圖像創(chuàng)作引擎和視頻創(chuàng)作引擎。經(jīng)過(guò)兩個(gè)月的迭代，這些產(chǎn)品的能力進(jìn)一步升級(jí)，可以為電商、出海等領(lǐng)域的客服營(yíng)銷(xiāo)、企業(yè)知識(shí)社區(qū)等眾多業(yè)務(wù)場(chǎng)景提供效率的助力和創(chuàng)新的支持，也進(jìn)一步加快了大模型在實(shí)際場(chǎng)景中應(yīng)用落地的速度。

在模型訓(xùn)練工具方面，為了幫助企業(yè)用戶(hù)更便捷地打造專(zhuān)屬模型，人工智能開(kāi)發(fā)平臺(tái)TI平臺(tái)也進(jìn)行了全新升級(jí)。在精調(diào)數(shù)據(jù)準(zhǔn)備層面，TI平臺(tái)全新支持面向多模態(tài)大模型的數(shù)據(jù)集管理和數(shù)據(jù)標(biāo)注，首創(chuàng)了基于Schema的標(biāo)注方法，支持用戶(hù)自動(dòng)生成個(gè)性化標(biāo)注工作臺(tái)，支持文生文、圖生文、圖文改寫(xiě)、圖文混合問(wèn)答等主流場(chǎng)景下的全部細(xì)分任務(wù)類(lèi)型。

同時(shí)，騰訊云將2D數(shù)智人、3D數(shù)智人和聲音復(fù)刻管線全面輸出，支持企業(yè)私有化部署和靈活定制。管線輸出意味著，客戶(hù)可以將訓(xùn)練數(shù)據(jù)和訓(xùn)練模型都部署在自己的環(huán)境上，推動(dòng)數(shù)智人在更多場(chǎng)景的普及和落地。

附：演講全文

尊敬的各位嘉賓、媒體朋友們，

大家好！

我是騰訊的吳運(yùn)聲，很高興在這里跟大家分享騰訊云在智能領(lǐng)域的最新進(jìn)展和思考。

大模型已經(jīng)發(fā)展了兩年，我們能明顯看到兩個(gè)趨勢(shì)：一方面，模型性能在不斷提升，圍繞著模型的產(chǎn)品使用門(mén)檻也變得更低、更加易用；另一方面，企業(yè)和開(kāi)發(fā)者積極探索大模型與自身業(yè)務(wù)場(chǎng)景的結(jié)合，大模型的落地場(chǎng)景不斷豐富、更縱深。我們認(rèn)為，面向場(chǎng)景創(chuàng)造價(jià)值才是大模型發(fā)展的意義。

騰訊的大模型策略，從最開(kāi)始就以實(shí)用為目標(biāo)，我們希望構(gòu)建起離產(chǎn)業(yè)最近的AI產(chǎn)品矩陣。從底層的高性能計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等AI infra產(chǎn)品，到一站式的人工智能開(kāi)發(fā)平臺(tái)TI和行業(yè)大模型解決方案，再到自研的混元大模型，以及基于大模型的各類(lèi)工具和智能應(yīng)用，我們提供了全方位的產(chǎn)品，滿足企業(yè)在大模型時(shí)代的各類(lèi)需求。無(wú)論是做大模型的企業(yè)，還是想要搭建AI應(yīng)用的創(chuàng)業(yè)者，還是想利用AI來(lái)實(shí)現(xiàn)降本增效的企業(yè)，都能在騰訊云上找到好用的工具。

去年的生態(tài)大會(huì)上，我們正式發(fā)布了全鏈路自研的騰訊混元大模型。經(jīng)過(guò)不斷的迭代創(chuàng)新，混元已經(jīng)穩(wěn)居國(guó)內(nèi)大模型第一梯隊(duì)。

今天，我們正式推出了更快更強(qiáng)的混元Turbo版本，通過(guò)自研的萬(wàn)億級(jí)層間異構(gòu)MoE結(jié)構(gòu)，混元Turbo用更多的專(zhuān)家數(shù)、更少的激活參數(shù)量實(shí)現(xiàn)了更好的效果。相比前一代MoE大模型，騰訊混元Turbo的訓(xùn)練效率提升108%，推理效率提升 1 倍，推理成本降低 50%，僅用一半訓(xùn)練語(yǔ)料，就實(shí)現(xiàn)效果提升14%，中文場(chǎng)景的效果對(duì)標(biāo)GPT-4o。技術(shù)創(chuàng)新讓我們可以更多地讓利給客戶(hù)，混元Turbo的定價(jià)僅為混元Pro版的一半。

在多模態(tài)領(lǐng)域，混元的多項(xiàng)能力也在國(guó)內(nèi)保持領(lǐng)先?；煸鷪D是首個(gè)中文原生的DiT架構(gòu)文生圖開(kāi)源模型，目前在全網(wǎng)衍生的模型數(shù)量超過(guò)2000個(gè)。這也充分證明了開(kāi)發(fā)者對(duì)于我們模型能力的認(rèn)可。

近期，混元還推出了基于 MoE 架構(gòu)的多模態(tài)理解大模型混元vision。我們?cè)诩軜?gòu)、訓(xùn)練方法和數(shù)據(jù)處理方面進(jìn)行了創(chuàng)新和深度優(yōu)化，顯著提升了性能，能支持最高 7K 分辨率、最大長(zhǎng)寬比16:1的圖片的理解。在近期發(fā)布的中文多模態(tài)大模型 SuperCLUE-V 基準(zhǔn)評(píng)測(cè)中，騰訊混元斬獲國(guó)內(nèi)排名第一，超越了多個(gè)主流閉源模型。

在自研的混元大模型之外，為了幫助企業(yè)用戶(hù)更便捷地打造專(zhuān)屬模型，我們的人工智能開(kāi)發(fā)平臺(tái)TI平臺(tái)也進(jìn)行了全新升級(jí)。在精調(diào)數(shù)據(jù)準(zhǔn)備層面，我們?nèi)轮С置嫦蚨嗄B(tài)大模型的數(shù)據(jù)集管理和數(shù)據(jù)標(biāo)注，首創(chuàng)了基于Schema的標(biāo)注方法，支持用戶(hù)自動(dòng)生成個(gè)性化標(biāo)注工作臺(tái)，支持文生文、圖生文、圖文改寫(xiě)、圖文混合問(wèn)答等主流場(chǎng)景下的全部細(xì)分任務(wù)類(lèi)型。

高質(zhì)量的訓(xùn)練數(shù)據(jù)是精調(diào)出一個(gè)可落地大模型的前提條件。TI 平臺(tái)的多模態(tài)數(shù)據(jù)集管理和數(shù)據(jù)標(biāo)注能力，可提升大模型精調(diào)的數(shù)據(jù)準(zhǔn)備效率和訓(xùn)練數(shù)據(jù)質(zhì)量，從而提升大模型訓(xùn)練效率和最終效果。

大模型訓(xùn)練之外，針對(duì)OCR和工業(yè)質(zhì)檢場(chǎng)景等垂直訓(xùn)練場(chǎng)景，我們也對(duì)產(chǎn)品進(jìn)行了升級(jí)。OCR場(chǎng)景中，可以實(shí)現(xiàn)智能反饋出模糊、反光等場(chǎng)景下的誤識(shí)別，水印識(shí)別平均準(zhǔn)確率提升至95%。在工業(yè)質(zhì)檢場(chǎng)景下，我們?nèi)轮С只赩isual Prompting 的小樣本分割鏈路，并推出缺陷感知通用模型、缺陷自動(dòng)合成功能，可實(shí)現(xiàn)“0” 標(biāo)注或“1”標(biāo)注下解決質(zhì)檢問(wèn)題。

具體到模型工具產(chǎn)品方面，今年5月，我們推出了三個(gè)大模型PaaS產(chǎn)品：知識(shí)引擎、圖像創(chuàng)作引擎和視頻創(chuàng)作引擎，幫助企業(yè)快速、輕松打造AI原生應(yīng)用。

大模型知識(shí)引擎聚焦企業(yè)知識(shí)服務(wù)場(chǎng)景。通過(guò)該平臺(tái)，企業(yè)用自然語(yǔ)言和簡(jiǎn)單配置，5分鐘就可以開(kāi)發(fā)出一款大語(yǔ)言模型應(yīng)用，服務(wù)于客服營(yíng)銷(xiāo)、企業(yè)知識(shí)社區(qū)等業(yè)務(wù)場(chǎng)景。經(jīng)過(guò)幾個(gè)月的產(chǎn)品迭代，知識(shí)引擎產(chǎn)品在用戶(hù)需求識(shí)別與理解、企業(yè)知識(shí)處理、檢索和理解能力上，都有很大的升級(jí)。

比如，我們綜合運(yùn)用向量檢索、摘要檢索、text2sql多種技術(shù)手段，顯著提升了復(fù)雜大表的檢索及問(wèn)答準(zhǔn)確率。同時(shí)，我們升級(jí)了升級(jí)多模態(tài)知識(shí)解析、檢索、閱讀理解能力，實(shí)現(xiàn)讀懂文中的“數(shù)據(jù)圖”、“自然場(chǎng)景圖”、“圖文關(guān)系”。

同時(shí)，我們提供了更靈活的購(gòu)買(mǎi)方式，支持組件能力的單獨(dú)輸出，企業(yè)可以按需購(gòu)買(mǎi)文檔解析、文檔拆分、向量化等能力，按需部署到自身的應(yīng)用中去。

在圖像創(chuàng)作引擎層面，基于混元生圖能力的升級(jí)，我們的圖像風(fēng)格化、AI寫(xiě)真、商品背景生成、模特?fù)Q裝等功能也進(jìn)一步實(shí)現(xiàn)了迭代。在AI寫(xiě)真層面，我們實(shí)現(xiàn)了免訓(xùn)練技術(shù)突破，輸入一張照片后可直接跳過(guò)訓(xùn)練環(huán)節(jié)等待，一鍵生成高清寫(xiě)真藝術(shù)照，整體出圖耗時(shí)縮短75%。

針對(duì)很多電商商家高頻使用的商品背景生成能力，我們大幅提高了背景畫(huà)面真實(shí)度、商品分割細(xì)膩度，以及商品與背景間融合的自然度與交互合理性，實(shí)現(xiàn)商品在不同場(chǎng)景中高度逼真的虛擬效果展示。在模特?fù)Q裝場(chǎng)景下，我們采用3D先驗(yàn)方案，提升重建人像效果，在高度保持模特臉部、手部細(xì)節(jié)的同時(shí)，精確將服裝版型細(xì)節(jié)與模特身體特征對(duì)齊，確保換裝后的效果逼真自然。

基于混元的DiT架構(gòu)模型，我們的視頻創(chuàng)作引擎也迎來(lái)了全新的升級(jí)，新增了圖片跳舞、圖片唱演和視頻轉(zhuǎn)譯等能力。

首先，我們來(lái)看下圖片跳舞能力，目前，我們已經(jīng)實(shí)現(xiàn)了單段舞蹈的生成時(shí)間從10分鐘下降至1分鐘級(jí)別，同時(shí)支持轉(zhuǎn)身、側(cè)身等難例舞蹈動(dòng)作。人物跳舞的自然度已經(jīng)有了很大的提升，這背后是我們基于3d-boby重建技術(shù)，進(jìn)一步優(yōu)化了算法，畫(huà)面的真實(shí)度和自然度也有了明顯提升。

在圖片唱演層面，我們目前可以支持一張人像圖片生成一段唱演視頻，視頻生成的人物的面部表情和情緒演繹都更加自然靈動(dòng)。

同時(shí)，針對(duì)很多客戶(hù)有需求的在視頻轉(zhuǎn)譯能力，我們接入了混元文生文大模型和 TTS 技術(shù)，讓轉(zhuǎn)譯后的視頻能夠保留說(shuō)話人的音色特征，同時(shí)實(shí)現(xiàn)說(shuō)話人口型與目標(biāo)語(yǔ)種一致的視聽(tīng)效果。目前視頻轉(zhuǎn)譯功能支持15+小語(yǔ)種，覆蓋主流外語(yǔ)翻譯，可應(yīng)用于視頻本地化、跨境電商等場(chǎng)景。

基于騰訊先進(jìn)的形象驅(qū)動(dòng)、自然語(yǔ)言理解和識(shí)別能力，我們的數(shù)智人形象自然度業(yè)界領(lǐng)先。目前，騰訊云智能數(shù)智人已經(jīng)在業(yè)務(wù)辦理、用戶(hù)運(yùn)營(yíng)、營(yíng)銷(xiāo)獲客以及品牌宣傳等業(yè)務(wù)場(chǎng)景中落地。

今天，我們也將2D數(shù)智人、3D數(shù)智人和聲音復(fù)刻管線全面輸出，支持企業(yè)私有化部署和靈活定制。管線輸出意味著，客戶(hù)可以將訓(xùn)練數(shù)據(jù)和訓(xùn)練模型都部署在自己的環(huán)境上。我們的合作伙伴也可以基于我們的管線能力批量生成數(shù)智人，更好地推動(dòng)數(shù)智人在更多場(chǎng)景的普及和落地。

基于我們?nèi)仃嚨拇竽Ｐ彤a(chǎn)品，我們已經(jīng)服務(wù)了眾多客戶(hù)，在知識(shí)管理、智能客服、研發(fā)提效、智能營(yíng)銷(xiāo)、內(nèi)容生成、辦公協(xié)同、風(fēng)險(xiǎn)管控等場(chǎng)景中，很多客戶(hù)利用我們的產(chǎn)品實(shí)現(xiàn)了降本增效和業(yè)務(wù)創(chuàng)新。

在智能客服與知識(shí)管理場(chǎng)景中，基于大模型的生成能力，可以顯著提升復(fù)雜問(wèn)題的解決效率，提升回答質(zhì)量。比如，汽車(chē)售后服務(wù)是一個(gè)典型的專(zhuān)業(yè)客服場(chǎng)景，涉及的知識(shí)復(fù)雜，汽車(chē)說(shuō)明書(shū)包括圖片、表格等眾多形式，傳統(tǒng)客服機(jī)器人無(wú)法及時(shí)準(zhǔn)確地回答問(wèn)詢(xún)。我們與長(zhǎng)安汽車(chē)共創(chuàng)，利用大模型知識(shí)引擎整合汽車(chē)使用手冊(cè)等資料，有效解決了客戶(hù)在車(chē)輛使用和維護(hù)中的疑問(wèn)，顯著提升了客戶(hù)服務(wù)體驗(yàn)。

在智能營(yíng)銷(xiāo)場(chǎng)景，大模型可以提升廣告素材的生產(chǎn)效率，提升營(yíng)銷(xiāo)互動(dòng)的趣味和互動(dòng)性。比如，蒙牛在一場(chǎng)營(yíng)銷(xiāo)活動(dòng)中，利用圖生圖能力，將用戶(hù)上傳的全家福轉(zhuǎn)化生成為特制的卡通畫(huà)風(fēng)，助力會(huì)員拉新、提升用戶(hù)活躍?；顒?dòng)期間小程序相對(duì)于去年同期提升80%以上。

在內(nèi)容創(chuàng)意場(chǎng)景，大模型可以讓內(nèi)容生產(chǎn)的周期大幅縮短，提供更多的創(chuàng)意玩法。比如，人民日?qǐng)?bào)、新華社等媒體結(jié)合我們的文生視頻能力，創(chuàng)作了很多視頻作品。過(guò)去，視頻內(nèi)容需要一幀幀進(jìn)行設(shè)計(jì)和制作，制作周期短則數(shù)天，長(zhǎng)則數(shù)月?，F(xiàn)在借助視頻生成能力，只需一段文字或者幾張圖片，就能在幾分鐘內(nèi)生成優(yōu)質(zhì)視頻內(nèi)容。

在研發(fā)提效領(lǐng)域，我們一方面提供了TI平臺(tái)等工具，幫助易車(chē)、閱文等企業(yè)搭建自己的大模型，顯著降低了模型構(gòu)建的時(shí)間和成本；另一方面，通過(guò)AI代碼助手等工具，我們也輔助開(kāi)發(fā)者，提升研發(fā)的效率，幫助企業(yè)提升整體研發(fā)效能。

在辦公協(xié)同場(chǎng)景中，騰訊旗下的企業(yè)微信、騰訊會(huì)議、騰訊文檔都已經(jīng)接入了混元大模型。在大模型的助力下，企業(yè)微信可對(duì)英文郵件進(jìn)行智能檢查，輔助英文郵件糾錯(cuò)，騰訊會(huì)議可以自動(dòng)總結(jié)會(huì)議紀(jì)要，騰訊文檔能夠自動(dòng)生成各類(lèi)文檔。這些功能把個(gè)體從繁瑣的工作中解放出來(lái)，也顯著提升了團(tuán)隊(duì)協(xié)同的效率。

在風(fēng)險(xiǎn)管控領(lǐng)域，風(fēng)控大模型可以解決傳統(tǒng)風(fēng)控中建模時(shí)間長(zhǎng)、效率低的難題。通過(guò)打包豐富的反欺詐知識(shí)，實(shí)現(xiàn)“小樣本”訓(xùn)練，快速構(gòu)建契合業(yè)務(wù)需求的風(fēng)控模型體系。比如，東風(fēng)日產(chǎn)汽車(chē)金融，基于少量提示樣本遷移，就完成了適配自身業(yè)務(wù)場(chǎng)景的風(fēng)控模型定制。相比于傳統(tǒng)的建模方式，模型KS性能提升超過(guò)20%，在跨場(chǎng)景的泛化性測(cè)試上性能提升53%。

今天我們也很榮幸請(qǐng)來(lái)了很多客戶(hù)來(lái)分享他們的落地實(shí)踐。未來(lái)，我們也希望與更多客戶(hù)攜手，推動(dòng)大模型落地到場(chǎng)景中，真正為企業(yè)創(chuàng)造價(jià)值！謝謝大家！

來(lái)源：數(shù)據(jù)猿