在大模型落地這件事上，智譜玩出花了
原創(chuàng) 火焰翼人 | 2024-06-05 20:48
【數(shù)據(jù)猿導(dǎo)讀】 2024年6月5日，僅僅用了一上午的功夫，智譜就連發(fā)了三個產(chǎn)品，分別是智譜清言、GLM4-9B、智譜MaaS平臺。
2024年6月5日，僅僅用了一上午的功夫，智譜就連發(fā)了三個產(chǎn)品，分別是智譜清言、GLM4-9B、智譜MaaS平臺。
在這次的發(fā)布會與智譜在2024年1月16日開的發(fā)布會不太一樣，后者更注重技術(shù)分享。而本次發(fā)布會，與其說是發(fā)布產(chǎn)品和技術(shù)，更不如說是智譜在展示他們通過對大模型技術(shù)的應(yīng)用，展示了他們在理解“大模型落地”這個關(guān)鍵詞上的態(tài)度和思路。
在當(dāng)下的存量市場，智譜越來越明白一個道理，企業(yè)沒有辦法長期依靠光環(huán)、補(bǔ)貼、融資這些事物。唯一能幫助企業(yè)實(shí)現(xiàn)增長，是企業(yè)的戰(zhàn)略眼光和發(fā)展方向。
智譜清言，表面是“APP”實(shí)際是“工作臺”
智譜清言是一個智能體助手，客戶可以與上面的智能體對話，智能體則會執(zhí)行用戶的命令。乍一看可能看不出什么，但是智譜清言屬于是一種比較獨(dú)特的APP。
首先，用戶并非是點(diǎn)擊某智能體窗口再進(jìn)行對話，而是直接在對話框里“@”，讓整個對話更加便捷。其次，智譜清言各種智能體提供的功能更偏向于實(shí)際業(yè)務(wù)，比如繪制思維導(dǎo)圖、搜索關(guān)鍵詞分析等等。最后，智譜清言可以@多個智能體，并讓這些智能體進(jìn)行協(xié)作，以“群聊”的方式執(zhí)行用戶的命令。
下方這張圖，是智譜清言搜索關(guān)鍵詞“數(shù)據(jù)猿”，根據(jù)數(shù)據(jù)猿的業(yè)務(wù)分析，最后由智譜清言生成的數(shù)據(jù)猿業(yè)務(wù)思維導(dǎo)圖。
圖：數(shù)據(jù)猿的業(yè)務(wù)分析
從結(jié)果來看，智譜清言對數(shù)據(jù)猿的分析較為準(zhǔn)確，同時還能繪制出非常清晰的思維導(dǎo)圖。證明智譜清言的確具備了替代一些常見辦公軟件的能力。
以往來看，智能體偏向于情感陪伴和疑問解答，卻鮮有觸及辦公軟件這條賽道的。這是一個細(xì)分賽道，智譜很清楚一件事，和過去的大模型APP相比，清言肯定是極其獨(dú)特的。
正是這種獨(dú)特給了智譜清言一個完全不同的發(fā)展方向：雖然是C端產(chǎn)品，但是會向B端銷售，類似于企業(yè)微信的獲客邏輯。
設(shè)想一個場景，在一個營銷活動中，團(tuán)隊(duì)所有任務(wù)，比如創(chuàng)意設(shè)計(jì)、預(yù)覽展示、活動導(dǎo)圖等等都可以用智譜清言來完成。至此，智譜清言就不再是一個APP，更像是一個工作臺。
智譜在考慮用戶體驗(yàn)
2023年3月14日的時候，智譜曾推出過GLM的量化版本——GLM3--6B。這個版本的參數(shù)量僅為62億，使得用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署。一年過后的今天，智譜則推出了GLM-4的FP8量化版本，GLM-4-9B。
在預(yù)訓(xùn)練方面，智譜引入了大語言模型進(jìn)入數(shù)據(jù)篩選流程，最終獲得了 10T 高質(zhì)量多語言數(shù)據(jù)，數(shù)據(jù)量是 GLM-3-6B 模型的 3 倍以上。相較于第三代模型，訓(xùn)練效率提高了 3.5 倍。
相較于2023年流行的INT8，F(xiàn)P8量化方法是現(xiàn)階段更為前沿的量化方式。通過增加尾數(shù)位數(shù)，F(xiàn)P8在表示范圍內(nèi)既有較高的精度（E4M3），又有較寬的動態(tài)范圍（E5M2），這使得FP8在處理具有不同數(shù)值分布的數(shù)據(jù)時具有優(yōu)勢。
圖：GLM4-9B的性能
不過和市面上大多數(shù)大模型不同，GLM-4-9B是沒有當(dāng)下最火的MoE架構(gòu)的。智譜的觀點(diǎn)是，MoE會消耗過多顯存來替代算力，但是消費(fèi)級顯卡的顯存是比較有限的，因此這種取舍是“劃不來”的。
而在有限顯存的情況下，6B模型性能有限，不滿足當(dāng)下需求。因此，智譜最終將量化后的模型規(guī)模提升至9B，并將預(yù)訓(xùn)練計(jì)算量增加了5倍。
量化是端側(cè)模型部署中常用的一種技術(shù)，通過減少數(shù)據(jù)表示的位數(shù)來提高計(jì)算吞吐和降低存儲需求，從而提升模型在端側(cè)設(shè)備上的運(yùn)行效率。也不難看出，智譜在量化的過程中，他們在尋找顯存和算力之間的平衡點(diǎn)，以確保模型可以部署在絕大多數(shù)設(shè)備的本地。
此前推出量化模型的時候，智譜可能并未想過落地后的事宜，更多的是技術(shù)分享。而這次的GLM-4-9B，智譜在思考的并非技術(shù)，而是用戶體驗(yàn)，即GLM-4-9B在部署到消費(fèi)級設(shè)備的本地后，用戶使用起來是否會出現(xiàn)等待時間過長、回答不理想等等問題。
正是這種平衡，給了GLM-4-9B在端側(cè)部署上更多的可能性。鑒于這個量化模型是開源的，智譜應(yīng)該是用這個模型對市場進(jìn)行測試，看看各類型端側(cè)用戶的實(shí)際使用狀況是怎樣的，再依據(jù)反饋，為今后量化謀求一個新的平衡點(diǎn)，直至發(fā)布端側(cè)大模型產(chǎn)品。
MaaS平臺
智譜在當(dāng)天還發(fā)布了一個平臺叫做MaaS，也就是智譜的大模型開放平臺。這個平臺上可以使用GLM-4-Flash、GLM-4-Air，以及GLM-4。價(jià)格也是比較美麗的，比如說普通版的GLM-4-Air，每100萬個tokens只需要花1塊錢。
在各大廠商都在大打價(jià)格戰(zhàn)的今天，價(jià)格反而失去了其意義，因?yàn)楦鞣N大模型的價(jià)格差距沒辦法拉開。所以，如果大模型廠商想要不依靠補(bǔ)貼、融資而生存下去，如何獲客永遠(yuǎn)是頭號難題。
智譜MaaS平臺的獲客方式屬于是回歸初心，他們用的是軟件公司最原始的辦法：拉長戰(zhàn)線拼“一站式”。
所謂拉長戰(zhàn)線，就是指平臺提供多種套餐給客戶選擇。預(yù)算少、需求低，可以購買GLM-4-Flash或者是GLM-4-Air，預(yù)算高、需求大，可以購買GLM-4-Air極速版和LM-4-0520。
此外，大模型在落地過程中，最接近實(shí)際商業(yè)使用效果的步驟就是微調(diào)。MaaS可以允許客戶以一個很方便快捷的方式進(jìn)行“一站式”微調(diào)：1.按照模板收集數(shù)據(jù)，導(dǎo)入數(shù)據(jù)集以訓(xùn)練模型；2.使用平臺的微調(diào)工具，對模型進(jìn)行微調(diào)；3.將訓(xùn)練好的模型部署到私有云服務(wù)器。
也就是說，這個平臺還包含了Toolkit屬性，這就讓一些開發(fā)能力較弱的開發(fā)者，依然能夠完美駕馭大模型。
圖：智譜微調(diào)的性能和價(jià)格
MaaS是智譜對大模型在B端落地的認(rèn)知，他們認(rèn)為，To B生意的收入來源在于能為客戶提供多少價(jià)值。所以智譜選擇拉長戰(zhàn)線，把模型以性能、生成速度進(jìn)行劃分，推翻名為”價(jià)格戰(zhàn)“的文字游戲，把選擇的權(quán)力價(jià)格客戶。
同時MaaS的一站式也為智譜增加了更多獲客的可能性。
來源：數(shù)據(jù)猿
