最強AI！三大維度、70項指標、3728道考題，文心3.5再拿第一！
數(shù)據(jù)猿 | 2023-07-26 16:21
【數(shù)據(jù)猿導(dǎo)讀】 7月25日消息，中文通用大模型綜合性基準SuperClue發(fā)布了最新中文大語言模型排行榜。榜單結(jié)果顯示，百度文心一言總分超GPT-3.5-Turbo，領(lǐng)跑國內(nèi)大模型。
7月25日消息，中文通用大模型綜合性基準SuperClue發(fā)布了最新中文大語言模型排行榜。榜單結(jié)果顯示，百度文心一言總分超GPT-3.5-Turbo，領(lǐng)跑國內(nèi)大模型。
SuperCLUE-Opt評測基準是SuperCLUE綜合性三大基準之一，每期有3700+道客觀題（選擇題），由基礎(chǔ)能力（10個子任務(wù)）、中文特性能力（10個子任務(wù)）、學術(shù)專業(yè)能力（50+子任務(wù)）組成，用于考察大模型在70余個任務(wù)上的綜合表現(xiàn)。
此次SuperCLUE從基礎(chǔ)能力、專業(yè)能力、中文特性能力三個維度70余項子能力，選取國內(nèi)外20個有代表性的可用大模型進行測評，兼具綜合能力考量與中文特定任務(wù)理解積累的考察，并通過自動化測評以相對客觀形式進行效果測評。在總分榜中，文心一言緊隨GPT-4，總分超GPT-3.5及國內(nèi)其他大模型，模型效果最佳。
從榜單結(jié)果可以看出，雖然國外GPT-4效果較領(lǐng)先，但國內(nèi)GPT模型也有不俗表現(xiàn)。在中文領(lǐng)域，國內(nèi)研發(fā)的大模型在部分維度表現(xiàn)突出，整體在逐步縮小與國際先進模型的差距。整體來看，國內(nèi)大模型中百度文心一言表現(xiàn)最優(yōu)。文心一言v2.2.0版背后搭載的是文心大模型3.5，文心大模型自2019年3月發(fā)布1.0版后，現(xiàn)已升級到3.5版。新版本模型效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。
據(jù)了解，這次評榜的SuperClue是一個由國內(nèi)發(fā)起的大模型榜單，是中文領(lǐng)域權(quán)威測評社區(qū)。相較于國外的UC伯克利LLM排行榜和斯坦福排行榜AlpacaEval兩個流行榜單，多了一些國內(nèi)大模型，更加適合國內(nèi)用戶來橫向比較。作為針對中文可用的通用大模型測評標準，SuperCLUE使用多個維度能力對一系列國內(nèi)外代表性模型進行測試，因其為封閉式問題，對大模型來說是“閉卷考試”，測評更難。
評測基準中，基礎(chǔ)能力包括了常見的有代表性的模型能力，如語義理解、對話、邏輯推理、角色扮演、代碼、生成與創(chuàng)作等10項能力；專業(yè)能力包括了中學、大學與專業(yè)考試，涵蓋了從數(shù)學、物理、地理到社會科學等50多項能力；中文特性能力包括了中文成語、詩歌、文學、字形等10項多種能力。
值得一提的是，全球領(lǐng)先的IT市場研究和咨詢公司IDC最新發(fā)布《AI大模型技術(shù)能力評估報告，2023》顯示，百度文心大模型3.5拿下12項指標的7個滿分，綜合評分第一，算法模型第一，行業(yè)覆蓋第一，其中也是算法模型維度的唯一一個滿分 。
另據(jù)近期多個公開測評顯示，文心大模型3.5版支持下的文心一言中文能力突出，甚至有超出GPT-4的表現(xiàn)；綜合能力在評測中超過ChatGPT，遙遙領(lǐng)先于其他大模型，穩(wěn)居國內(nèi)第一。
來源：數(shù)據(jù)猿
