在模型表現(xiàn)方面，百度文心一言、阿里通義千問(wèn)、華為盤(pán)古、騰訊混元、科大訊飛星火等，都在說(shuō)超過(guò)ChatGPT-3.5，馬上要追上GPT-4，甚至在某些領(lǐng)域的表現(xiàn)超越了GPT-4。

但實(shí)際情況是，目前差距還很明顯。國(guó)內(nèi)的頭部大模型，離GPT-4還是有不小差距。

此外，除了頭部科技公司的大模型，其他數(shù)十家所謂的大模型，大部分都是“套殼”產(chǎn)品，要么調(diào)用的ChatGPT、文心一言、通義千問(wèn)等大模型，要么就是在開(kāi)源大模型基礎(chǔ)上（主要是LLaMA），微調(diào)出來(lái)的。

前不久，字節(jié)跳動(dòng)被媒體爆出其研發(fā)的AI大模型，使用ChatGPT輸出的數(shù)據(jù)進(jìn)行模型訓(xùn)練，導(dǎo)致字節(jié)跳動(dòng)賬戶被OpenAI暫停，再疊加上次零一萬(wàn)物“套殼”LLaMA，讓人們對(duì)中國(guó)大模型產(chǎn)業(yè)的實(shí)力打上了大大的問(wèn)號(hào)。

為中國(guó)大模型產(chǎn)業(yè)正名

需要指出的是，雖然與OpenAI相比，中國(guó)的一批大模型還存在明顯的差異。但除了美國(guó)，中國(guó)的大模型已經(jīng)是全球第二強(qiáng)了，并且“咬”得很緊。

中國(guó)的大模型產(chǎn)業(yè)，在多條戰(zhàn)線上都有實(shí)實(shí)在在的進(jìn)步。

通用大模型領(lǐng)域，通義千問(wèn)、文心一言等雖然趕不上GPT-4，但差距正在逐步縮小，在一兩年內(nèi)追上也不是不可能。

而且，說(shuō)到差距，不僅國(guó)內(nèi)的百度、阿里沒(méi)追上OpenAI，就是美國(guó)的谷歌、微軟、亞馬遜、Meta也沒(méi)追上OpenAI啊。

谷歌最近的Gemini，宣傳視頻很炸裂，但最終被證明是“造假”嘛。

微軟全力投入大模型，但現(xiàn)在還不是要依賴(lài)ChatGPT，也沒(méi)拿出能替代ChatGPT的自研產(chǎn)品啊。

所以，公允的說(shuō)，并不是國(guó)內(nèi)的科技公司沒(méi)追上OpenAI，是全球任何一家科技巨頭都沒(méi)有追上OpenAI。

在開(kāi)源領(lǐng)域，阿里云通義千問(wèn)720億參數(shù)模型Qwen-72B宣布開(kāi)源，至少在紙面數(shù)據(jù)（參數(shù)規(guī)模）上追平了Llama 2。（具體參見(jiàn)數(shù)據(jù)猿發(fā)布的文章《大模型“套殼”新寵：再見(jiàn)LLaMA，你好通義千問(wèn)！》）

回到最近的字節(jié)跳動(dòng)用ChatGPT答案作為訓(xùn)練數(shù)據(jù)這件事，雖然有點(diǎn)丟人，但也并不是什么大不了的事情。在訓(xùn)練數(shù)據(jù)集這件事情上，沒(méi)有任何人的“屁股”是干凈的。

OpenAI的訓(xùn)練數(shù)據(jù)集哪來(lái)的？推特貢獻(xiàn)了很大部分，馬斯克接手推特之后，才把這個(gè)接口斷了。另外，馬斯克曾公開(kāi)說(shuō)過(guò)，他認(rèn)為OpenAI肯定用了用戶的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練。至于OpenAI公開(kāi)宣稱(chēng)的不碰用戶數(shù)據(jù)，那絕對(duì)是在撒謊。

至于一個(gè)大模型將另一個(gè)大模型的輸出作為自己的輸入來(lái)進(jìn)行訓(xùn)練，也并不是字節(jié)跳動(dòng)一家這么做。

這不，最近就有媒體爆出，谷歌的最新AI大模型Gemini，就用了百度文心一言的答案來(lái)訓(xùn)練自家模型。

有媒體在對(duì)谷歌Gemini進(jìn)行測(cè)試時(shí)，如果用中文詢(xún)問(wèn)Gemini的身份，其會(huì)堅(jiān)稱(chēng)自己是“百度”。若輸入“小度”或“小愛(ài)同學(xué)”等提示詞，就能把Gemini直接喚醒。此外，有媒體在谷歌Vertex AI平臺(tái)，使用Gemini進(jìn)行中文對(duì)話，發(fā)現(xiàn)Gemini-Pro完全帶入了百度文心一言大模型的身份，甚至直接表示自己是百度的大模型。

這件事情，充分說(shuō)明，用別家大模型的輸出來(lái)構(gòu)建自家訓(xùn)練數(shù)據(jù)集，在業(yè)界可能是一個(gè)通行做法。這有點(diǎn)對(duì)抗神經(jīng)網(wǎng)絡(luò)的意思，對(duì)抗神經(jīng)網(wǎng)絡(luò)類(lèi)似于左右手互搏，就是用兩個(gè)模型來(lái)相互訓(xùn)練。

當(dāng)初谷歌贏了李世石的AlfaGo，就用了類(lèi)似的“左右手互搏術(shù)”，在一夜之間自己跟自己下了上百萬(wàn)盤(pán)棋，導(dǎo)致棋藝大漲，最終才打敗李世石。

在大模型領(lǐng)域，這樣的“左右手互搏術(shù)”也并不奇怪，用兩個(gè)大模型來(lái)相互訓(xùn)練，是一個(gè)有效的方法，這總比直接抄襲人家代碼要強(qiáng)多了吧。

用AI大模型訓(xùn)練AI大模型

接下來(lái)，我們就用一個(gè)AI大模型的答案訓(xùn)練另一個(gè)AI大模型這件事情，進(jìn)行更深入的分析。

在人工智能的研發(fā)領(lǐng)域，使用一個(gè)AI大型模型的輸出，作為另一個(gè)AI大型模型的訓(xùn)練數(shù)據(jù)集，是一種日益流行的做法。這種方法在提高效率和數(shù)據(jù)豐富性方面具有顯著優(yōu)勢(shì)，主要表現(xiàn)在：

在AI研發(fā)中，數(shù)據(jù)的獲取和處理是一個(gè)時(shí)間消耗和成本高昂的過(guò)程。通過(guò)使用現(xiàn)有大型模型的輸出，研發(fā)團(tuán)隊(duì)可以避免這一繁瑣過(guò)程，直接利用高質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練。這不僅加快了開(kāi)發(fā)周期，還可能降低了研發(fā)成本，特別是在數(shù)據(jù)稀缺的特定領(lǐng)域。

大型模型，如GPT，通過(guò)廣泛的數(shù)據(jù)訓(xùn)練，能夠生成包含多樣信息的文本數(shù)據(jù)。這些數(shù)據(jù)不僅涵蓋了廣泛的主題，還包含了豐富的語(yǔ)言表達(dá)方式，這對(duì)于新模型的學(xué)習(xí)是極其有價(jià)值的。使用這些已生成的數(shù)據(jù)，新模型可以在更加廣泛和深入的語(yǔ)境下進(jìn)行學(xué)習(xí)和適應(yīng)，從而提高其對(duì)現(xiàn)實(shí)世界多樣性的理解。

此外，當(dāng)現(xiàn)有的大型模型在特定領(lǐng)域表現(xiàn)出色時(shí)，其輸出往往反映了高水平的專(zhuān)業(yè)知識(shí)和深入的理解。使用這些數(shù)據(jù)作為訓(xùn)練材料，可以幫助新模型在這些領(lǐng)域快速提升性能，尤其是在處理復(fù)雜的語(yǔ)言結(jié)構(gòu)和專(zhuān)業(yè)領(lǐng)域問(wèn)題時(shí)。

當(dāng)然，這種做法問(wèn)題也比較明顯。

首先就是版權(quán)和合規(guī)性問(wèn)題。使用另一大型模型的輸出作為訓(xùn)練數(shù)據(jù)，可能涉及版權(quán)和使用許可的問(wèn)題。這尤其在商業(yè)應(yīng)用中會(huì)成為一個(gè)敏感問(wèn)題，因?yàn)樵寄Ｐ偷妮敵隹赡苁艿街R(shí)產(chǎn)權(quán)保護(hù)，未經(jīng)授權(quán)使用可能會(huì)導(dǎo)致法律糾紛。

就像谷歌的Gemini用百度文心一言來(lái)訓(xùn)練，當(dāng)用戶用中文與其交流時(shí)，它會(huì)自動(dòng)帶入文心一言的身份，甚至直接說(shuō)自己就是文心一言，這樣的產(chǎn)品在商業(yè)化時(shí)肯定是有問(wèn)題的。

當(dāng)然，谷歌當(dāng)然可以通過(guò)一些設(shè)置來(lái)對(duì)模型進(jìn)行限定，讓Gemini不直接說(shuō)自己是文心一言。但是，當(dāng)大量中文訓(xùn)練數(shù)據(jù)都來(lái)自文心一言時(shí)，即使做了特殊限制，Gemini也很可能會(huì)時(shí)不時(shí)“說(shuō)漏嘴”。

此外，還可能存在數(shù)據(jù)偏差與泛化能力的問(wèn)題。依賴(lài)于特定大型模型的輸出作為主要訓(xùn)練數(shù)據(jù)，可能會(huì)導(dǎo)致新模型繼承原模型的偏差。例如，如果原模型在處理某些特定類(lèi)型的語(yǔ)言或主題時(shí)存在偏見(jiàn)，新模型也可能表現(xiàn)出類(lèi)似的偏見(jiàn)。此外，這種方法可能限制了模型對(duì)于未在原始訓(xùn)練集中充分表示的數(shù)據(jù)類(lèi)型的泛化能力。

而且，過(guò)度依賴(lài)現(xiàn)有模型的輸出可能會(huì)限制新模型的創(chuàng)新能力。新模型可能在解決它們的訓(xùn)練數(shù)據(jù)中已經(jīng)存在的問(wèn)題方面表現(xiàn)出色，但在面對(duì)全新的挑戰(zhàn)或數(shù)據(jù)類(lèi)型時(shí)，可能會(huì)表現(xiàn)不佳。這種方法可能導(dǎo)致在AI領(lǐng)域的創(chuàng)新停滯，因?yàn)樾履Ｐ蛢H僅是在復(fù)制已有模型的知識(shí)和方法。

還有一個(gè)問(wèn)題，如果新模型在訓(xùn)練過(guò)程中過(guò)度適應(yīng)現(xiàn)有模型的輸出特點(diǎn)，可能會(huì)導(dǎo)致過(guò)擬合。這意味著模型可能在訓(xùn)練數(shù)據(jù)上表現(xiàn)得非常好，但在實(shí)際應(yīng)用中，尤其是在處理與訓(xùn)練數(shù)據(jù)不同的數(shù)據(jù)時(shí)，其表現(xiàn)可能會(huì)大大降低。

綜上所述，使用一個(gè)AI大型模型的輸出作為另一個(gè)AI大型模型的訓(xùn)練數(shù)據(jù)，是一個(gè)復(fù)雜且具有雙刃劍特性的策略。雖然它在提高數(shù)據(jù)豐富性和獲取效率方面有明顯優(yōu)勢(shì)，但也帶來(lái)了數(shù)據(jù)偏差、創(chuàng)新性限制、版權(quán)問(wèn)題和過(guò)擬合風(fēng)險(xiǎn)等挑戰(zhàn)。

但無(wú)論怎么說(shuō)，谷歌Gemini用百度文心一言訓(xùn)練這件事情，都挺提氣的。這幾天估計(jì)百度會(huì)偷著樂(lè)，畢竟，百度經(jīng)常被谷歌拿來(lái)進(jìn)行對(duì)比，也一直被谷歌壓一頭。

這件事情上，總算揚(yáng)眉吐氣了一回。

更重要的是，這件事情，某種程度上將美國(guó)科技巨頭拉下了神壇，讓人們看清楚他們并不是不可戰(zhàn)勝的。雖然他們現(xiàn)在還比我們強(qiáng)，但人工智能這個(gè)賽道離終點(diǎn)還遠(yuǎn)著呢，留給我們趕超的空間還很充足。

隨著AI技術(shù)的迅猛發(fā)展，大型模型在推動(dòng)智能應(yīng)用和服務(wù)的進(jìn)步中扮演著日益重要的角色。然而，正如我們?cè)诒疚闹刑接懙模靡粋€(gè)大型模型的輸出來(lái)訓(xùn)練另一個(gè)大型模型這一做法，雖然在數(shù)據(jù)豐富性、獲取效率和性能提升方面表現(xiàn)出顯著優(yōu)勢(shì)，卻也伴隨著數(shù)據(jù)偏差、創(chuàng)新性限制、合規(guī)風(fēng)險(xiǎn)以及過(guò)擬合的挑戰(zhàn)。這些問(wèn)題的存在提示我們，AI技術(shù)的發(fā)展不僅是技術(shù)創(chuàng)新的過(guò)程，更是伴隨著倫理、法律和社會(huì)責(zé)任的考量。中國(guó)大模型產(chǎn)業(yè)的發(fā)展，作為全球AI競(jìng)賽中的關(guān)鍵力量，需要在追求技術(shù)卓越的同時(shí)，更加關(guān)注這些挑戰(zhàn)的解決方案。

未來(lái)，我們預(yù)期中國(guó)的大模型產(chǎn)業(yè)將在全球AI舞臺(tái)上發(fā)揮重要作用，不僅在技術(shù)層面上追趕甚至超越國(guó)際競(jìng)爭(zhēng)對(duì)手，更在處理這些復(fù)雜問(wèn)題上展現(xiàn)出領(lǐng)導(dǎo)力。

當(dāng)然，要實(shí)現(xiàn)這樣的目標(biāo)，不僅需要技術(shù)創(chuàng)新，也需要對(duì)數(shù)據(jù)倫理、知識(shí)產(chǎn)權(quán)保護(hù)以及模型透明度和可解釋性的深入思考和不斷創(chuàng)新。通過(guò)綜合考慮這些因素，中國(guó)的AI大模型產(chǎn)業(yè)有望實(shí)現(xiàn)更加均衡和可持續(xù)的發(fā)展，為全球AI發(fā)展貢獻(xiàn)中國(guó)智慧和中國(guó)方案。

文：一蓑煙雨 / 數(shù)據(jù)猿

責(zé)任編輯：月滿西樓 / 數(shù)據(jù)猿

來(lái)源：數(shù)據(jù)猿