過(guò)去的2023年里，互聯(lián)網(wǎng)圈子最吸引眼球的話題莫過(guò)于大模型了。尤其是隨著文心一言、訊飛星火、百川、通義千問(wèn)、混元等國(guó)產(chǎn)大模型紛紛上線，“調(diào)戲”大模型成了網(wǎng)友們?nèi)粘嶂缘幕顒?dòng)。然而，在運(yùn)行了幾個(gè)月之后，不少中文語(yǔ)言大模型出現(xiàn)了在訓(xùn)練時(shí)“相互借鑒”的現(xiàn)象。

12月初，谷歌推出了迄今為止規(guī)模最大，能力最強(qiáng)的大模型Gemini，然而就在上線不久后，網(wǎng)友就發(fā)現(xiàn)其似乎使用了其他大模型的的語(yǔ)料庫(kù)：在使用Gemini Pro時(shí)，如果用簡(jiǎn)體中文連續(xù)詢問(wèn)“你好”和“你是誰(shuí)”這兩個(gè)問(wèn)題時(shí)，Gemini Pro會(huì)表示“我是文心大模型”，還會(huì)信誓旦旦的表示自己的創(chuàng)始人是百度總裁李彥宏。

這個(gè)問(wèn)題實(shí)際上不止出現(xiàn)了一次。去年3月，谷歌Bard被爆出使用了ShareGPT中的內(nèi)容作為訓(xùn)練數(shù)據(jù)，并且根據(jù)The Information報(bào)道，這件事情還造成了Jacob Devlin從谷歌離職；去年12月，字節(jié)跳動(dòng)被OpenAI禁止使用API接口，原因是“字節(jié)在使用ChatGPT訓(xùn)練自己的AI，違反了使用條例”。

根據(jù)中國(guó)科學(xué)技術(shù)信息研究院的統(tǒng)計(jì)，全國(guó)已有至少130家公司研究大模型產(chǎn)品，10億級(jí)參數(shù)規(guī)模以上大模型至少已經(jīng)發(fā)布了79個(gè)，其中做通用大模型的有78家，做垂直大模型的有52家，應(yīng)用場(chǎng)景橫跨客服、工業(yè)、醫(yī)療、汽車、游戲等多個(gè)領(lǐng)域。而在全球范圍內(nèi)，更多的LLM也在訓(xùn)練中。不少的企業(yè)會(huì)有意無(wú)意的使用其他大模型使用的數(shù)據(jù)集進(jìn)行訓(xùn)練，或者直接利用其他大模型生成的數(shù)據(jù)進(jìn)行訓(xùn)練。

在訓(xùn)練時(shí)“相互借鑒”的原因是，隨著大模型領(lǐng)域的競(jìng)爭(zhēng)進(jìn)入了白熱化階段，數(shù)據(jù)已經(jīng)成為了競(jìng)爭(zhēng)的關(guān)鍵。一位大模型領(lǐng)域?qū)＜冶硎?，大模型市?chǎng)競(jìng)爭(zhēng)的發(fā)令槍已經(jīng)響起，“誰(shuí)做的快”并不能主導(dǎo)競(jìng)爭(zhēng)格局，“誰(shuí)做的好”才是市場(chǎng)檢驗(yàn)的標(biāo)準(zhǔn)。架構(gòu)上難分高下，數(shù)據(jù)將成為“做得好”的關(guān)鍵。

大模型架構(gòu)高下難分

“誰(shuí)更強(qiáng)”是大語(yǔ)言模型（LLM）領(lǐng)域的一個(gè)重要課題，從大語(yǔ)言模型誕生的那一天起，就有無(wú)數(shù)開(kāi)發(fā)者和研究者對(duì)這個(gè)問(wèn)題展開(kāi)了研究。數(shù)據(jù)工程師陳鋒認(rèn)為：“評(píng)估一個(gè)大語(yǔ)言模型不能僅僅用訓(xùn)練使用的數(shù)據(jù)量來(lái)進(jìn)行對(duì)比，目前較為成熟的評(píng)估模式有兩套。”

第一套是使用一套對(duì)話集對(duì)語(yǔ)言模型進(jìn)行測(cè)試，這些對(duì)話包括不同的問(wèn)題和指令，對(duì)語(yǔ)言模型的語(yǔ)義理解與抽取、閑聊、上下文對(duì)話、生成與創(chuàng)作、知識(shí)與百科、代碼、邏輯推理、計(jì)算、角色扮演、安全等指標(biāo)進(jìn)行測(cè)試，根據(jù)其回答的正確性給分。因?yàn)闇y(cè)試維度較多，因此會(huì)形成數(shù)個(gè)包括綜合能力、分類能力在內(nèi)的榜單。

中文測(cè)試基準(zhǔn)基本上都采取了這套評(píng)估方案，比如CLiB（中文大模型能力評(píng)測(cè)榜單）、SuperCLUE（中文通用大模型綜合性基準(zhǔn)）、C-Eval（中文基礎(chǔ)模型評(píng)估套件）等

第二套是“競(jìng)技場(chǎng)”模式，如UC伯克利大學(xué)發(fā)布的LLM競(jìng)技場(chǎng)榜單，用戶將同時(shí)與兩個(gè)不同的語(yǔ)言模型進(jìn)行對(duì)話并標(biāo)記出更好的一個(gè)，好評(píng)越多則評(píng)分越高。

綜合來(lái)看，幾乎在所有榜單中GPT-4都獲得了壓倒性的勝利，排名前列的還有Claude和GPT-3.5。在中文榜單中，文心一言v2.2、商湯senseChat、訊飛星火v1.5、Baichuan-53B等語(yǔ)言模型名列前茅，在信息抽取、閱讀理解、數(shù)據(jù)分析能力上各有勝負(fù)。

榜單中最值得注意的是開(kāi)源模型Llama2，這款由Meta發(fā)布于今年7月19日的開(kāi)源預(yù)訓(xùn)練大模型在大模型領(lǐng)域掀起了一場(chǎng)軒然大波——在70 億、130 億和 700 億三種參數(shù)變體的測(cè)試結(jié)果中，Llama2擊敗了除GPT-4、GPT-3.5外幾乎全部商用模型。陳鋒說(shuō)：“不少自研大模型的廠商開(kāi)始考慮要不要放棄自研，用更便宜的開(kāi)源模型，或在開(kāi)源模型的基礎(chǔ)上進(jìn)行開(kāi)發(fā)。”正如去年5月谷歌工程師在內(nèi)部發(fā)言中表示的：“當(dāng)免費(fèi)的開(kāi)源模型與商業(yè)模型質(zhì)量相當(dāng)時(shí)，人們不會(huì)為受限制的閉源模型付費(fèi)。”

參數(shù)越多未必越好

陳鋒認(rèn)為，開(kāi)源的Llama2從根本上拉平了商業(yè)模型之間的差距。在架構(gòu)難以取得突破性進(jìn)展之前，大語(yǔ)言模型領(lǐng)域的競(jìng)爭(zhēng)就轉(zhuǎn)向了訓(xùn)練數(shù)據(jù)的優(yōu)劣。

2023年7月，一篇據(jù)信來(lái)自O(shè)penAI員工的數(shù)據(jù)爆料中表示，OpenAI用13萬(wàn)億個(gè)token訓(xùn)出了GPT-4，120層網(wǎng)絡(luò)中總共有1.8萬(wàn)億個(gè)參數(shù)。相較其他大模型，目前國(guó)內(nèi)頭部公司公布的參數(shù)量通常在千億級(jí)別，其他企業(yè)或創(chuàng)業(yè)公司大模型參數(shù)量通常在百億、十億級(jí)別。

獨(dú)立開(kāi)發(fā)者王南認(rèn)為，用更多的數(shù)據(jù)訓(xùn)練AI，這個(gè)思路本身是沒(méi)有問(wèn)題的。大語(yǔ)言模型的誕生本身就來(lái)自大量數(shù)據(jù)堆疊產(chǎn)生的“智能涌現(xiàn)”：當(dāng)數(shù)據(jù)規(guī)模超過(guò)某個(gè)極限時(shí)，它們將展現(xiàn)出前所未有的新能力。王南表示，“通用大模型出現(xiàn)智能涌現(xiàn)的參數(shù)量一般認(rèn)為是600億，更多參數(shù)會(huì)不會(huì)再次出現(xiàn)智能涌現(xiàn)，誰(shuí)也不知道。”

為大模型增加更多參數(shù)是非常昂貴的，除了更多的數(shù)據(jù)成本和更長(zhǎng)的訓(xùn)練周期外，模型也要隨著參數(shù)的增加而進(jìn)行優(yōu)化。

大模型是不能一蹴而就的。要處理天量的數(shù)據(jù)，模型必須針對(duì)大量數(shù)據(jù)的處理進(jìn)行優(yōu)化，很多工程問(wèn)題是數(shù)據(jù)量較小時(shí)不會(huì)出現(xiàn)的。“就好像建造一座體育場(chǎng)，能容納5000名觀眾和能容納10萬(wàn)名觀眾的體育場(chǎng)面臨的問(wèn)題肯定不一樣”，陳鋒表示，“大模型也是這樣，參數(shù)越多需要解決的問(wèn)題就越多，開(kāi)發(fā)的成本就越高。這個(gè)成本的增加不是線性的，而是指數(shù)增長(zhǎng)。”

與指數(shù)提高的成本不同，參數(shù)量增加對(duì)于提高模型性能的幫助是有限的。“在十億、百億參數(shù)的級(jí)別上，提高參數(shù)量的效果是顯著的。但到千億萬(wàn)億等級(jí)，增加參數(shù)量對(duì)模型能力的提升就比較小了。”

因此，將模型參數(shù)控制在百億到千億級(jí)別是綜合訓(xùn)練成本和模型能力之后的必然結(jié)果。

垂直大模型成為商業(yè)化答案

當(dāng)大模型架構(gòu)和參數(shù)量都被限制在一個(gè)狹窄的區(qū)域內(nèi)后，大模型領(lǐng)域的競(jìng)爭(zhēng)力從何而來(lái)？

去年《紐約時(shí)報(bào)》報(bào)道了一起離奇的案件。一位律師用ChatGPT生成了一份辯護(hù)狀并提交給了法院，法官隨即發(fā)現(xiàn)辯護(hù)狀中引用的十多個(gè)判例全部都是虛構(gòu)的。這種人工智能“胡說(shuō)八道”的現(xiàn)象被稱為“人工智能幻覺(jué)”，目前幾乎所有的大語(yǔ)言模型都會(huì)出現(xiàn)這種問(wèn)題。

毫無(wú)疑問(wèn)，這些幻覺(jué)是阻礙大模型應(yīng)用的關(guān)鍵因素之一，而業(yè)界目前對(duì)這個(gè)問(wèn)題基本幾乎束手無(wú)策。

問(wèn)題的源頭是數(shù)據(jù)。王南認(rèn)為，“一旦對(duì)大模型的高質(zhì)量數(shù)據(jù)篩選和訓(xùn)練得過(guò)少，大模型就會(huì)出現(xiàn)輸出質(zhì)量問(wèn)題，幻覺(jué)也會(huì)隨之而來(lái)。 但對(duì)于通用大模型來(lái)說(shuō)，將人類所有領(lǐng)域知識(shí)轉(zhuǎn)化為高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練顯然只能是一個(gè)美好的愿望，唯一的方案是基于通用大模型針對(duì)不同的場(chǎng)景進(jìn)行訓(xùn)練，越垂直出錯(cuò)的概率就越低。”

基于這種現(xiàn)狀，在通用大模型之外，面向特定應(yīng)用場(chǎng)景的垂直領(lǐng)域大模型成為了大模型領(lǐng)域的競(jìng)爭(zhēng)焦點(diǎn)。

王南說(shuō)，“利用垂直領(lǐng)域的、高質(zhì)量的數(shù)據(jù)訓(xùn)練出的垂直大模型，具有更強(qiáng)的領(lǐng)域?qū)I(yè)性和任務(wù)針對(duì)性，能夠更好地解決特定領(lǐng)域的問(wèn)題、提供更加精準(zhǔn)的服務(wù)。”

垂直大模型已經(jīng)成為大模型商業(yè)化的核心，大模型頭部玩家紛紛推出了基于自身數(shù)據(jù)、硬件和模型的Maas（大模型即服務(wù)）。百度推出了百度智能云千帆大模型平臺(tái)，阿里推出了魔搭社區(qū)，華為則針對(duì)不同行業(yè)推出了盤(pán)古NLP、盤(pán)古CV、盤(pán)古多模態(tài)等多個(gè)模型。

數(shù)據(jù)質(zhì)量決定垂直大模型質(zhì)量

Maas的核心除了硬件外，最重要的就是大量基于垂直領(lǐng)域的數(shù)據(jù)。

用于語(yǔ)言大模型訓(xùn)練的數(shù)據(jù)被稱為“NLP數(shù)據(jù)集”，是將語(yǔ)料庫(kù)中的文字資料進(jìn)行分類整理后的結(jié)構(gòu)化數(shù)據(jù)，是語(yǔ)言大模型的“教科書(shū)”。通用大模型使用的數(shù)據(jù)集往往包羅萬(wàn)象，來(lái)自書(shū)籍、網(wǎng)頁(yè)、新聞、社交媒體等多個(gè)來(lái)源的數(shù)據(jù)共同組成了大模型的“知識(shí)庫(kù)”。

王南表示，這些數(shù)據(jù)一部分是來(lái)自互聯(lián)網(wǎng)的公開(kāi)數(shù)據(jù)，也就是所謂的“開(kāi)源數(shù)據(jù)集”。最知名的開(kāi)源數(shù)據(jù)集來(lái)自維基百科，“維基百科中的文本很有價(jià)值，因?yàn)樗粐?yán)格引用，以說(shuō)明性文字形式寫(xiě)成，并且跨越多種語(yǔ)言和領(lǐng)域。”截止2023年9月15日，英文維基百科共有超過(guò)600萬(wàn)個(gè)條目和5900萬(wàn)個(gè)頁(yè)面，包含超40億個(gè)詞，經(jīng)過(guò)清洗、過(guò)濾后可以為大模型提供30億個(gè)token。

但維基百科這樣高質(zhì)量的網(wǎng)頁(yè)僅僅是個(gè)例，雖然其他網(wǎng)站的網(wǎng)頁(yè)內(nèi)容也會(huì)被用于訓(xùn)練大模型，這些數(shù)據(jù)總量極大，需要以PB計(jì)算，而且可以通過(guò)common crawl這類提供商免費(fèi)獲取。問(wèn)題在于，這些網(wǎng)頁(yè)往往內(nèi)容雜亂，充斥著大量的色情、暴力、詐騙和機(jī)器人生成的垃圾信息。僅僅是將這一部分?jǐn)?shù)據(jù)進(jìn)行清洗、過(guò)濾、標(biāo)注就需要花費(fèi)大量人力物力。

而高質(zhì)量的開(kāi)源數(shù)據(jù)集則少之又少，針對(duì)特定領(lǐng)域的數(shù)據(jù)集更是鳳毛麟角，王南說(shuō)：“少數(shù)開(kāi)源的垂直領(lǐng)域數(shù)據(jù)集往往體量小，數(shù)據(jù)舊，很難用于構(gòu)建能在特定應(yīng)用場(chǎng)景中使用的大模型。”

因此，高質(zhì)量數(shù)據(jù)的價(jià)值在大模型成為新的熱點(diǎn)后逐漸突顯，數(shù)據(jù)已經(jīng)成為大模型廠商競(jìng)爭(zhēng)的核心。

數(shù)據(jù)是大模型時(shí)代的護(hù)城河

訓(xùn)練垂直于應(yīng)用場(chǎng)景的大模型需要大量專有數(shù)據(jù)，即某一個(gè)領(lǐng)域、語(yǔ)言、行業(yè)的特有數(shù)據(jù)。比如對(duì)話、書(shū)籍、代碼、技術(shù)報(bào)告、論文考試等數(shù)據(jù)。

在大模型能力評(píng)價(jià)體系中名列前茅的GPT-3.5、GPT-4、PaLM等模型的訓(xùn)練過(guò)程中，就大量用到了專有數(shù)據(jù)。根據(jù)公開(kāi)的信息，GPT-3.5訓(xùn)練數(shù)據(jù)中包含2TB的高質(zhì)量書(shū)籍?dāng)?shù)據(jù)和大量來(lái)自推特、reddit的社交媒體對(duì)話數(shù)據(jù)。

專有數(shù)據(jù)往往是不對(duì)公眾開(kāi)放的。去年 Reddit宣布開(kāi)始向訪問(wèn)其API的公司收費(fèi)，外部企業(yè)可以通過(guò)付費(fèi)下載和處理社交網(wǎng)絡(luò)中的海量對(duì)話；7月，社交網(wǎng)絡(luò)X（原推特）宣布限制用戶每日訪問(wèn)數(shù)量，以遏制人工智能企業(yè)抓取數(shù)據(jù)訓(xùn)練模型；9月，X又更改了隱私協(xié)議，并宣布開(kāi)始出售基于用戶發(fā)布內(nèi)容的語(yǔ)料庫(kù)。

能夠買(mǎi)到的數(shù)據(jù)僅僅是專有數(shù)據(jù)的一小部分。王南展示了GPT-3.5訓(xùn)練數(shù)據(jù)的構(gòu)成，其中使用的書(shū)籍?dāng)?shù)據(jù)高達(dá)2TB，而開(kāi)源的The pile提供的Book3數(shù)據(jù)集才85GB左右，較OpenAI使用的數(shù)據(jù)集小了數(shù)十倍。

許多高質(zhì)量數(shù)據(jù)實(shí)際上被互聯(lián)網(wǎng)企業(yè)牢牢把握在自己手中。用戶使用互聯(lián)網(wǎng)企業(yè)時(shí)產(chǎn)生的大量數(shù)據(jù)成為了互聯(lián)網(wǎng)企業(yè)的“護(hù)城河”，企業(yè)本身可以隨意使用這些數(shù)據(jù)，但其他企業(yè)想要獲得這些數(shù)據(jù)則難之又難。

以Meta為例，Meta自成立以來(lái)，通過(guò)旗下的社交媒體Facebook、Instagram幾乎壟斷了全球大多數(shù)國(guó)家的社交媒體市場(chǎng)。從社交媒體服務(wù)衍生出的廣告、即時(shí)通信、VR等服務(wù)也逐漸占據(jù)了市場(chǎng)主導(dǎo)地位。用戶產(chǎn)生的數(shù)據(jù)在Meta不同的業(yè)務(wù)線條之間進(jìn)行流動(dòng)，產(chǎn)生更多的價(jià)值，最終造就了一個(gè)橫跨全球的互聯(lián)網(wǎng)巨頭。

在Meta建立的這個(gè)體系當(dāng)中，Meta本身研發(fā)的技術(shù)和用戶使用其產(chǎn)品時(shí)產(chǎn)生的數(shù)據(jù)，共同組成了Meta的護(hù)城河，無(wú)法獲得用戶數(shù)據(jù)的其他互聯(lián)網(wǎng)企業(yè)很難提供與Meta相同的服務(wù)。而在語(yǔ)言大模型的領(lǐng)域中，Meta開(kāi)源了其研發(fā)的高性能架構(gòu)Llama2也并不會(huì)為Meta在競(jìng)爭(zhēng)中帶來(lái)劣勢(shì)——擁有大量高質(zhì)量數(shù)據(jù)的Meta先天就擁有巨大的優(yōu)勢(shì)，能在這方面與Meta扳手腕的巨頭在全球也寥寥無(wú)幾。

OpenAI也是如此，不過(guò)它的數(shù)據(jù)護(hù)城河還有另外一條：用戶與AI對(duì)話的數(shù)據(jù)。OpenAI向用戶免費(fèi)開(kāi)放ChatGPT的一個(gè)重要原因就是收集這些數(shù)據(jù)用于訓(xùn)練新的GPT。這也是各大廠商迅速向用戶免費(fèi)開(kāi)放大語(yǔ)言模型的原因之一。

正如谷歌工程師在內(nèi)部文件中表示的，“我們沒(méi)有護(hù)城河，OpenAI 也沒(méi)有”，在開(kāi)源大模型表現(xiàn)優(yōu)異的情況下，模型本身不能成為互聯(lián)網(wǎng)企業(yè)的護(hù)城河，只有數(shù)據(jù)才能讓互聯(lián)網(wǎng)企業(yè)在大模型競(jìng)爭(zhēng)中奪得先機(jī)。

來(lái)源：數(shù)據(jù)猿