【AI大模型展】百度文心大模型——文心加飛槳，翩然赴星河

AI大模型展百度文心大模型

百度 | 2023-11-03 18:54

【數(shù)據(jù)猿導(dǎo)讀】該AI大模型由百度投遞并參與數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的《2023中國(guó)數(shù)據(jù)智能產(chǎn)業(yè)AI大模型先鋒企業(yè)》榜單/獎(jiǎng)項(xiàng)”評(píng)選。

隨著數(shù)據(jù)井噴、算法進(jìn)步和算力突破，效果好、泛化能力強(qiáng)、通用性強(qiáng)的預(yù)訓(xùn)練大模型（以下簡(jiǎn)稱“大模型”），成為人工智能發(fā)展的關(guān)鍵方向與人工智能產(chǎn)業(yè)應(yīng)用的基礎(chǔ)底座。

百度文心大模型源于產(chǎn)業(yè)、服務(wù)于產(chǎn)業(yè)，是產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。百度通過大模型與國(guó)產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，打造了自主創(chuàng)新的AI底座，大幅降低了AI開發(fā)和應(yīng)用的門檻，滿足真實(shí)場(chǎng)景中的應(yīng)用需求，真正發(fā)揮大模型驅(qū)動(dòng)AI規(guī)模化應(yīng)用的產(chǎn)業(yè)價(jià)值。文心大模型的一大特色是“知識(shí)增強(qiáng)”，即引入知識(shí)圖譜，將數(shù)據(jù)與知識(shí)融合，提升了學(xué)習(xí)效率及可解釋性。文心ERNIE自2019年誕生至今，在語言理解、文本生成、跨模態(tài)語義理解等領(lǐng)域取得多項(xiàng)技術(shù)突破，在公開權(quán)威語義評(píng)測(cè)中斬獲了十余項(xiàng)世界冠軍。2020年，文心ERNIE榮獲世界人工智能大會(huì)WAIC最高獎(jiǎng)項(xiàng)SAIL獎(jiǎng)。

2022年11月30日，由深度學(xué)習(xí)技術(shù)與應(yīng)用國(guó)家工程研究中心主辦、百度飛槳承辦的WAVE SUMMIT+2022深度學(xué)習(xí)開發(fā)者峰會(huì)舉行。百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心副主任吳甜發(fā)布文心大模型的最新升級(jí)，包括新增11個(gè)大模型，大模型總量增至36個(gè)，構(gòu)建起業(yè)界規(guī)模最大的產(chǎn)業(yè)大模型體系，并通過大模型工具與平臺(tái)的升級(jí)和文心一格、文心百中等基于大模型技術(shù)的產(chǎn)品應(yīng)用，進(jìn)一步降低大模型產(chǎn)業(yè)化門檻，讓更多企業(yè)和開發(fā)者步入AI應(yīng)用的新階段。2023年6月，百度文心大模型3.5版本已內(nèi)測(cè)可用。10月17日，文心大模型4.0正式發(fā)布。

應(yīng)用場(chǎng)景/使用群體

百度文心大模型源于產(chǎn)業(yè)、服務(wù)于產(chǎn)業(yè)，是產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。

文心一言面向全社會(huì)開放一個(gè)多月，用戶規(guī)模達(dá)到4500萬，開發(fā)者5.4萬，場(chǎng)景4300個(gè)，應(yīng)用825個(gè)，插件超過500個(gè)。飛槳和文心生態(tài)愈加繁榮，已凝聚800萬開發(fā)者，服務(wù)22萬家企事業(yè)單位，基于飛槳?jiǎng)?chuàng)建了80萬個(gè)模型。

產(chǎn)品功能

文心大模型4.0，相比3.5版本，理解、生成、邏輯、記憶四大能力都有顯著提升。其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。百度基于文心大模型研制了智能代碼助手Comate，從內(nèi)部應(yīng)用效果來看，整體的代碼采納率達(dá)到40%，高頻用戶的代碼采納率達(dá)到60%。

在萬卡算力上運(yùn)行飛槳平臺(tái)，通過集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓(xùn)練。建設(shè)了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評(píng)估閉環(huán)，充分釋放數(shù)據(jù)價(jià)值，大幅提升模型效果。基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對(duì)齊，保證模型更好地與人類的判斷和選擇對(duì)齊?？稍偕?xùn)練技術(shù)通過增量式的參數(shù)調(diào)優(yōu)，有效節(jié)省了訓(xùn)練資源和時(shí)間，加快了模型迭代速度。

此外，文心大模型4.0在輸入和輸出階段都進(jìn)行知識(shí)點(diǎn)增強(qiáng)。一方面，對(duì)用戶輸入的問題進(jìn)行理解，并拆解出回答問題所需的知識(shí)點(diǎn)，然后在搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫中查找準(zhǔn)確知識(shí)，最后把這些找到的知識(shí)組裝進(jìn)Prompt送入大模型，準(zhǔn)確率好，效率也高；另一方面，對(duì)大模型的輸出進(jìn)行反思，從生成結(jié)果中拆解出知識(shí)點(diǎn)，然后再利用搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫，以及大模型本身進(jìn)行確認(rèn)，進(jìn)而對(duì)有差錯(cuò)的點(diǎn)進(jìn)行修正。

在強(qiáng)大的基礎(chǔ)大模型的基礎(chǔ)上，百度進(jìn)一步研制了智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，能夠做到可靠執(zhí)行、自我進(jìn)化，并一定程度上將思考過程白盒化，讓機(jī)器像人一樣思考和行動(dòng)，自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。

產(chǎn)品優(yōu)勢(shì)

1、知識(shí)增強(qiáng)：從大規(guī)模知識(shí)和海量數(shù)據(jù)中融合學(xué)習(xí)，提升了學(xué)習(xí)效率、可解釋性及模型效果

2、產(chǎn)業(yè)級(jí)：源于產(chǎn)業(yè)實(shí)踐，服務(wù)于產(chǎn)業(yè)實(shí)踐，滿足真實(shí)場(chǎng)景中的應(yīng)用需求

基于更強(qiáng)平臺(tái)、更優(yōu)數(shù)據(jù)、更好算法，百度訓(xùn)練出規(guī)模更大、效果更好的文心大模型4.0。通過飛槳與文心的協(xié)同優(yōu)化，模型周均訓(xùn)練有效率超過98%，訓(xùn)練算法效率提升3.6倍，推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升，其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。

AI大模型展_百度_文心大模型-1

技術(shù)說明

1、模型效果優(yōu)：所需標(biāo)注數(shù)據(jù)少，在各場(chǎng)景上的效果處于業(yè)界領(lǐng)先水平。

2、生成能力強(qiáng)：擁有豐富的AI內(nèi)容生成（AIGC）能力。

3、應(yīng)用門檻低：文心大模型提供了豐富的平臺(tái)與工具，包括大模型開發(fā)套件、API以及內(nèi)置文心大模型能力的EasyDL和BML開發(fā)平臺(tái)。

AI大模型展_百度_文心大模型-2

AI大模型展_百度_文心大模型-3

服務(wù)客戶

航天工程、國(guó)家電網(wǎng)、浦發(fā)銀行、人民網(wǎng)、深圳燃?xì)狻⒓取?/p>

關(guān)于企業(yè)

·百度

百度（Baidu）是擁有強(qiáng)大互聯(lián)網(wǎng)基礎(chǔ)的領(lǐng)先AI公司。百度愿景是：成為最懂用戶，并能幫助人們成長(zhǎng)的全球頂級(jí)高科技公司。

“百度”二字，來自于八百年前南宋詞人辛棄疾的一句詞：眾里尋他千百度。這句話描述了詞人對(duì)理想的執(zhí)著追求。1999年底，身在美國(guó)硅谷的李彥宏看到了中國(guó)互聯(lián)網(wǎng)及中文搜索引擎服務(wù)的巨大發(fā)展?jié)摿?，抱著技術(shù)改變世界的夢(mèng)想，他毅然辭掉硅谷的高薪工作，攜搜索引擎專利技術(shù)，于 2000年1月1日在中關(guān)村創(chuàng)建了百度公司。

百度擁有數(shù)萬名研發(fā)工程師，這是中國(guó)乃至全球都頂尖的技術(shù)團(tuán)隊(duì)。這支隊(duì)伍掌握著世界上領(lǐng)先的搜索引擎技術(shù)，使百度成為掌握世界尖端科學(xué)核心技術(shù)的中國(guó)高科技企業(yè)，也使中國(guó)成為美國(guó)、俄羅斯和韓國(guó)之外，全球僅有的4個(gè)擁有搜索引擎核心技術(shù)的國(guó)家之一。

★以上由百度投遞申報(bào)的項(xiàng)目案例，最終將會(huì)角逐由數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的《2023中國(guó)數(shù)據(jù)智能產(chǎn)業(yè)AI大模型先鋒企業(yè)》榜單/獎(jiǎng)項(xiàng)。

該榜單獎(jiǎng)項(xiàng)最終將于11月14日以下活動(dòng)中進(jìn)行榜單的首發(fā)與獎(jiǎng)項(xiàng)的頒發(fā)，歡迎報(bào)名蒞臨現(xiàn)場(chǎng)

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。