ChatGPT火爆出圈之后，社交巨頭Meta奮力追趕，分別在3月、7月發(fā)布開源的LLaMA、LLaMA2大模型，引領(lǐng)一場大模型開源運(yùn)動。

LLaMA2大模型，包含了70億、130億、700億參數(shù)三個版本，性能直追GPT3.5，發(fā)布之后引起轟動。業(yè)界普遍認(rèn)為，在科技巨頭之間的大模型之戰(zhàn)中，LLaMA2成功為Meta贏得了一張入場券。

LLaMA2與OpenAI的GPT-4、谷歌的PaLM鼎足而三，基本鎖定海外大模型市場的格局，也引發(fā)一場開源pk閉源的爭論。一個普遍的共識是，在大模型的戰(zhàn)場，開源、閉源將長期共存，類似手機(jī)市場開放模式的安卓與封閉模式的IOS。

國內(nèi)大模型的發(fā)展，閉源路線有百度的文心一言、科大訊飛的星火大模型，開源路線則有阿里的通義千問。在創(chuàng)業(yè)公司當(dāng)中，王小川創(chuàng)立的百川智能既有開源的Baichuan-7B/13B，又有閉源的Baichuan-53B，在開源、閉源之間構(gòu)建自己的商業(yè)版圖。

百川速度，平均28天推出一款大模型

9月6日，百川智能舉辦主題為“百川匯海，開源共贏”的發(fā)布會，宣布開源升級微調(diào)之后的Baichuan2大模型。開源之后，Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-chat與其4bit量化版本均為免費(fèi)可商用。

在此之前的8月31日，作為首批通過《生成式人工智能服務(wù)管理暫行辦法》備案的八家公司/機(jī)構(gòu)之一，百川智能的大模型產(chǎn)品正式上線，面向社會開放服務(wù)。

百川智能由搜狗創(chuàng)始人王小川在4月創(chuàng)立，5月完成天使輪5000萬美元融資，獲得來自十余家機(jī)構(gòu)的聯(lián)合投資。6月，百川智能推出第一款70億參數(shù)的通用大模型Baichuan-7B。7月，百川智能又推出130億參數(shù)的通用大模型Baichuan-13B-Base、對話模型Baichuan-13B-chat的兩個量化版本。8月，530億參數(shù)的通用大模型Baichuan-53B正式問世。

三個月時間內(nèi)，百川智能平均28天發(fā)布一款大模型，一口氣推出三款大模型，跑出了令人驚嘆的百川速度。

根據(jù)王小川的規(guī)劃，百川智能將在四季度發(fā)布對標(biāo)ChatGPT3.5的大模型，在2024年一季度發(fā)布大模型的超級應(yīng)用。

理科大提升，Baichuan2挑戰(zhàn)LLaMA2

Baichuan2開源大模型是百川智能連續(xù)發(fā)布三款大模型之后的又一次重大技術(shù)迭代。

據(jù)王小川介紹，Baichuan2-7B-Base、Baichuan2-13B-Base兩款開源大模型基于2.6萬億高質(zhì)量多語言數(shù)據(jù)訓(xùn)練而成，是文理兼?zhèn)涞拇竽Ｐ?，?shù)學(xué)能力、代碼能力、安全能力、邏輯、語義理解都得到明顯的提升。

相關(guān)跑分顯示，與上一代Baichuan-13B-Base相比，Baichuan2-13B-Base數(shù)學(xué)能力提升49%，代碼能力提升46%，安全能力提升37%，邏輯推理能力提升25%，語義理解能力提升15%。

據(jù)介紹，70億參數(shù)的Baichuan2-7B開源大模型在中文水平上超越了LLaMA2 130億參數(shù)開源大模型，在英文水平上與其持平。Baichuan2-7B實(shí)現(xiàn)“以小博大”，小模型相當(dāng)于大模型，在同尺寸大模型比較時，Baichuan2系列大模型的性能有望全面超越LLaMA2的性能。

開放訓(xùn)練過程，下載量超過500萬次

王小川說，LLaMA2的開源協(xié)議對中文用戶不夠友好，Baichuan2發(fā)布之后可實(shí)現(xiàn)對LLaMA2的平替。對中文使用者而言，“LLaMA2作為一個開源模型的時代已經(jīng)過去了”。

百川智能采取開源、閉源并重的策略，在推進(jìn)大模型研發(fā)的同時，又積極培育開發(fā)者生態(tài)。據(jù)王小川介紹，Baichuan-7B、Baicuan-13B兩款大模型開源之后，在多個權(quán)威榜單名列前茅，下載量超過500萬次。

Baichuan2大模型開源之際，百川智能又發(fā)布相關(guān)技術(shù)報告，首次開放大模型的訓(xùn)練過程，助力學(xué)術(shù)界的深入研究。

眾所周知，大模型訓(xùn)練包括海量高質(zhì)量數(shù)據(jù)獲取、大規(guī)模訓(xùn)練集群穩(wěn)定訓(xùn)練、模型算法調(diào)優(yōu)等多個環(huán)節(jié)，每個環(huán)節(jié)都需要大量人才、算力資源的投入。百川智能開放模型訓(xùn)練從220B到2460B全過程的check point，對科研機(jī)構(gòu)研究大模型訓(xùn)練過程、模型繼續(xù)訓(xùn)練和模型價值觀對齊等極具價值，可極大推動大模型的科研進(jìn)展。

文：Bugle-X / 數(shù)據(jù)猿

來源： 數(shù)據(jù)猿