開源，這個(gè)詞在當(dāng)今科技領(lǐng)域中愈發(fā)引人矚目。它不僅僅是一種技術(shù)，更是一種思想的體現(xiàn)。隨著數(shù)字化時(shí)代的到來，開源已然成為了推動(dòng)創(chuàng)新、加速發(fā)展的一股強(qiáng)大力量。

貼臉開大

最近，馬斯克開源的大模型Grok-1引起了廣泛關(guān)注。整個(gè)事件其實(shí)可以追溯到2月29日，馬斯克因認(rèn)為OpenAI未能“信守開源政策”而將其告上法庭。然而，當(dāng)時(shí)馬斯克自己的Grok其實(shí)也是沒有開源，僅是向付費(fèi)用戶開放，這不免會(huì)引發(fā)一些質(zhì)疑。

或?yàn)榱藦浹a(bǔ)這個(gè)漏洞，馬斯克于3月11日在社交媒體上表示，xAI將開放聊天機(jī)器人Grok的源代碼，使公眾可以免費(fèi)使用該公司背后的大型模型技術(shù)。Meta的CEO扎克伯格也在社交媒體上發(fā)表評(píng)論，對(duì)此表示支持。

馬斯克也是說到做到，在3月17日，其旗下的人工智能初創(chuàng)公司xAI正式宣布了開源大模型Grok-1，并遵循Apache 2.0協(xié)議開放模型權(quán)重和架構(gòu)。根據(jù)官方網(wǎng)站顯示，xAI已將Grok-1的權(quán)重和架構(gòu)在GitHub等軟件托管平臺(tái)上進(jìn)行了開源。

值得一提的是，在Grok-1開源的當(dāng)天，馬斯克還與ChatGPT在X平臺(tái)上展開了一場(chǎng)口水戰(zhàn)，“告訴我們更多關(guān)于OpenAI的’open’部分”。網(wǎng)友們甚至開玩笑稱，xAI才是真正的“OpenAI”。

在2023年11月，xAI推出了其首款大型語言模型Grok，正式加入了大模型的戰(zhàn)爭(zhēng)。當(dāng)時(shí)，Grok作為“Premium+”訂閱服務(wù)的一部分，每月費(fèi)用為16美元。最初的版本Grok-0擁有330億參數(shù)，隨后xAI推出了經(jīng)過多次改進(jìn)的Grok-1，為X平臺(tái)上的Grok聊天機(jī)器人提供了支持。

根據(jù)官方網(wǎng)站的信息，Grok-1是一款3140億參數(shù)的混合專家模型，是Llama 2的4倍，被稱為“迄今為止全球參數(shù)量最大的開源大型語言模型”。Grok-1是xAI利用JAX和Rust構(gòu)建的自定義訓(xùn)練堆棧從零開始訓(xùn)練的。它采用了3140億參數(shù)的Mixture-of-Experts模型，其中25%的權(quán)重在給定令牌上處于活動(dòng)狀態(tài)。

根據(jù)xAI公布的數(shù)據(jù)，在一系列基準(zhǔn)測(cè)試中，包括GSM8K、HumanEval和MMLU，Grok-1的表現(xiàn)超越了Llama-2-70B和GPT-3.5，但是與GPT-4相比仍是有些差距。

此次xAI開源Grok-1，遵守的是Apache-2.0許可證，即：

1、允許用戶自由地使用、復(fù)制、修改、合并、發(fā)布和再許可被授權(quán)軟件的副本。

2、用戶可以修改被授權(quán)軟件的源代碼，并將修改后的代碼以源代碼形式重新分發(fā)。

3、用戶可以以二進(jìn)制形式或源代碼形式分發(fā)被授權(quán)軟件，無需支付費(fèi)用或提供專門的授權(quán)。

4、在分發(fā)被授權(quán)軟件時(shí)，用戶需要包含原始版權(quán)、許可和免責(zé)聲明，以確保軟件的來源和許可信息被保留。

5、用戶可以自由地將軟件用于商業(yè)目的，不必支付許可費(fèi)。

我們知道，開源大模型對(duì)中國(guó)市場(chǎng)有著特殊的意義。某種程度上，Llama-2這樣的開源大模型，已經(jīng)成為中國(guó)大模型產(chǎn)業(yè)的一個(gè)關(guān)鍵“基礎(chǔ)設(shè)施”。所以，此次馬斯克開源了一個(gè)更大參數(shù)規(guī)模的大模型，就像是扔進(jìn)水池里的一塊石子，必然會(huì)在中國(guó)大模型市場(chǎng)泛起“漣漪”。

那么，開源的Grok-1將對(duì)中國(guó)市場(chǎng)帶來哪些影響呢？具體表現(xiàn)在以下兩個(gè)方面：

漣漪1：大模型開源市場(chǎng)格局變天了

不僅國(guó)外在搞開源大模型，國(guó)內(nèi)不少企業(yè)和機(jī)構(gòu)也在推進(jìn)開源大模型。

國(guó)內(nèi)開源大模型（不完全統(tǒng)計(jì)）

國(guó)外開源大模型（不完全統(tǒng)計(jì)）

根據(jù)了解，馬斯克開源的Grok-1模型的參數(shù)規(guī)模達(dá)到了3140億。相比之下，其他國(guó)內(nèi)公司開源的模型參數(shù)規(guī)模較小，比如阿里巴巴的Qwen-72B模型有720億參數(shù)等。

馬斯克的Grok-1刷新了開源大模型的參數(shù)記錄，可能會(huì)促使更多的公司將注意力轉(zhuǎn)向基于這個(gè)新模型進(jìn)行定制研發(fā)，而不再僅僅依賴于現(xiàn)有的LLaMA2。

在這種情況之下，開源大模型領(lǐng)域的競(jìng)爭(zhēng)勢(shì)必會(huì)更加激烈。Grok-1的參數(shù)規(guī)模之大將為其他公司提供更高的標(biāo)桿，其他公司不得不盡快推出更大參數(shù)規(guī)模的開源模型。

對(duì)于那些已經(jīng)開源了較小規(guī)模模型的公司來說，他們可能需要重新評(píng)估自己的研發(fā)策略。面對(duì)Grok-1這樣規(guī)模龐大的模型，他們可能需要考慮是否要增加研發(fā)投入，以提升模型的規(guī)模和性能，以提高競(jìng)爭(zhēng)力。而對(duì)于那些尚未開源大模型的公司來說，他們可能需要重新評(píng)估自己的戰(zhàn)略，考慮是否要加快開源步伐。

另一方面來講，目前國(guó)內(nèi)很多“套殼”大模型，都是基于llama2來微調(diào)的，如果轉(zhuǎn)成馬斯克的Grok-1，將會(huì)對(duì)國(guó)內(nèi)大模型行業(yè)帶來不小的影響。

Grok-1擁有遠(yuǎn)遠(yuǎn)超過Llama2的參數(shù)規(guī)模和性能，因此，轉(zhuǎn)換到Grok-1可能會(huì)使這些模型的性能和規(guī)模得到顯著提升，從而提高其在各種自然語言處理任務(wù)中的表現(xiàn)。

Grok-1的開源可能意味著更多的開發(fā)者可以訪問和使用該模型，從而加快了新模型的開發(fā)和迭代速度，這將提高國(guó)內(nèi)大模型行業(yè)的整體創(chuàng)新速度和效率。

但享受好處的同時(shí)帶來的也是風(fēng)險(xiǎn)，雖然Grok-1開源為行業(yè)帶來了更多的創(chuàng)新機(jī)會(huì)，但如果Grok-1成為主導(dǎo)地位，可能會(huì)導(dǎo)致技術(shù)壟斷的風(fēng)險(xiǎn)。在這種情況下，依賴于Grok-1的公司可能會(huì)失去對(duì)技術(shù)發(fā)展的控制權(quán)。

總的來說，馬斯克大模型開源這一波屬實(shí)是屬于降維打擊，當(dāng)然，其中受到傷害最大的應(yīng)是大模型創(chuàng)業(yè)公司了。

漣漪2：大模型創(chuàng)業(yè)公司又要被降維打擊？

2023年，百“模”征戰(zhàn)已經(jīng)打響，不僅大型科技公司正向布局，更是涌現(xiàn)出一批創(chuàng)業(yè)公司，月之暗面、百川智能、智譜AI等已成為大模型創(chuàng)業(yè)公司的佼佼者。

但投資人朱嘯虎的一番話卻給這些創(chuàng)業(yè)公司潑了一盆冷水，指出即使有公司愿意投入巨額資金，一旦遇到別人的大模型開源，投資可能會(huì)化為烏有。

2023年7月19日，Llama 2宣布開源，自Llama 2后，開源逐漸成為主流趨勢(shì)。以Llama架構(gòu)為首，先掀起了一波以其為核心的開源，如Llama 2低成本訓(xùn)練版、Llama 2最強(qiáng)版、微調(diào)版等等。之后，創(chuàng)業(yè)者們的目光從解構(gòu)、增強(qiáng)Llama 2轉(zhuǎn)向了構(gòu)建行業(yè)專有大模型，于是又掀起了一波Llama 2+司法、Llama 2+醫(yī)療等一系列的行業(yè)開源大模型。據(jù)不完全統(tǒng)計(jì)，Llama 2開源后，國(guó)內(nèi)就涌現(xiàn)出了十幾個(gè)開源行業(yè)大模型。

大模型創(chuàng)業(yè)公司在自研大模型的道路上一直秉持著一個(gè)核心邏輯：他們自研的大模型要比開源的大模型更優(yōu)秀，能力更強(qiáng)。然而，如果開源大模型的規(guī)模和能力確實(shí)超越了閉源模型，那對(duì)于這些創(chuàng)業(yè)公司將是一個(gè)巨大的打擊。其中，融資難度的加大將成為他們面臨的一個(gè)嚴(yán)峻挑戰(zhàn)。

創(chuàng)業(yè)公司通常需要大量的資金用于技術(shù)研發(fā)、團(tuán)隊(duì)建設(shè)、市場(chǎng)推廣等方面，如果開源大模型的規(guī)模和能力確實(shí)更強(qiáng)，那么創(chuàng)業(yè)公司為了保持競(jìng)爭(zhēng)力，可能需要更多的資金用于自研大模型，以及相關(guān)的研發(fā)和推廣活動(dòng)。

馬斯克的3000億參數(shù)模型，無疑需要巨大的計(jì)算資源來進(jìn)行訓(xùn)練和部署。這對(duì)于大型企業(yè)可能不是問題，但對(duì)于創(chuàng)業(yè)公司來說，成本可能是一個(gè)巨大的負(fù)擔(dān)。他們可能無法承擔(dān)購(gòu)買和維護(hù)龐大的服務(wù)器群所需的費(fèi)用，這會(huì)限制他們?cè)诶眠@一先進(jìn)技術(shù)方面的能力。

另外，模型的訓(xùn)練需要大量的數(shù)據(jù)，而這些數(shù)據(jù)往往只有大型企業(yè)才能夠輕松獲取到。對(duì)于創(chuàng)業(yè)公司來說，要想獲得足夠的數(shù)據(jù)來訓(xùn)練一個(gè)高質(zhì)量的模型可能會(huì)面臨諸多困難。

投資者在考慮是否投資創(chuàng)業(yè)公司時(shí)，會(huì)綜合考慮多個(gè)因素，其中技術(shù)實(shí)力和核心競(jìng)爭(zhēng)力是關(guān)鍵考量之一。如果開源大模型的規(guī)模和能力確實(shí)更強(qiáng)，那么投資者可能會(huì)更加謹(jǐn)慎地考慮投資創(chuàng)業(yè)公司。

可以說，無論對(duì)于開源大模型市場(chǎng)，還是發(fā)展商用大模型的創(chuàng)業(yè)公司，馬斯克的Grok-1都是一個(gè)不可忽視的“X”變量。當(dāng)然，以后還會(huì)有更大、更好的大模型陸續(xù)開源出來，馬斯克的加入，只是為這場(chǎng)競(jìng)賽又增加了一些難度。

馬斯克已經(jīng)亮劍，接下來就看各方怎么出招了。相信接下來的故事一定會(huì)更加精彩，畢竟，有馬斯克的地方，就不會(huì)缺少看點(diǎn)。

來源：數(shù)據(jù)猿