瀾舟科技孟子 GPT是一個生成式可控大語言模型，能夠通過多輪的方式幫助用戶完成特定場景中的多種工作任務，如知識問答、多語言翻譯、通用寫作、金融場景任務等。它具有更加安全可控的生成能力、支持不同參數(shù)規(guī)模的遷移學習、可根據(jù)不同業(yè)務需求定制垂直模型，為客戶量體裁衣；支持融入行業(yè)數(shù)據(jù)、知識圖譜和實時檢索引擎滿足專業(yè)領域任務。孟子GPT大模型面向企業(yè)提供L1、L2、L3、L4四個層級的產(chǎn)品服務，即孟子通用大模型、行業(yè)大模型、任務模型、AI Agents，以滿足不同行業(yè)和場景在數(shù)字時代，更具多樣性的需求。

應用場景/使用群體

瀾舟科技孟子GPT大模型專注垂直領域和專業(yè)賽道。面向企業(yè)級用戶提供私有化的大模型訓練、優(yōu)化、業(yè)務場景定制等服務能力，聚焦在金融、營銷、文化、政務等行業(yè)，應用場景包括，智能客服、智慧營銷、企業(yè)知識問答、機器翻譯、智能寫作等。

產(chǎn)品功能

孟子GPT大模型根據(jù)企業(yè)具體需求提供L1、L2、L3、L4四個層級的產(chǎn)品服務，即孟子通用大模型、行業(yè)大模型、任務模型、AI Agents。

孟子GPT通用大模型：孟子GPT通用大模型目前已發(fā)布70億、400億參數(shù)量規(guī)模大模型，具有優(yōu)秀的通用寫作、多語言翻譯、知識問答、多輪對話等能力。孟子GPT-40B基于FlashAttention的高效注意力計算，訓練速度提升了8.5倍；基于TGI等加速框架，推理速度提升4.6倍，在中文及多語言翻譯能力、通用寫作、多輪對話等方面也有了很大的提升。同時，在C-Eval、SuperCLUE等權威榜單中均取得優(yōu)異成績。

孟子金融行業(yè)大模型：瀾舟科技推出孟子GPT-7B金融行業(yè)大模型，基于孟子GPT通用大模型底座，整合了更多的泛金融領域的數(shù)據(jù)和專業(yè)知識，并定義了100多個任務。通過高效的模型優(yōu)化算法，成功繼承了底座的通用能力，并在金融行業(yè)的領域任務上獲得了更加出色的表現(xiàn)。從語言理解到語言生成，涵蓋實體識別、情感分析、信息抽取、文本理解、文本生成、文本翻譯、智能對話、智能問答等多個方面。同時采用 Few-shot 訓練和測試，泛化能力強，可支持眾多面向金融場景的應用。

瀾舟智會：瀾舟智會是一款基于孟子GPT大模型打造的基于L3層面向場景任務模型的應用型產(chǎn)品，是一款面向企業(yè)用戶的端到端會議內(nèi)容分析平臺產(chǎn)品，集成了全文摘要及關鍵問答提煉、會議要點智能導航、全文意義搜索和問答、大模型優(yōu)化的語音轉(zhuǎn)錄等功能?？梢詫τ脩羯蟼鞯臅h音頻和視頻進行文字轉(zhuǎn)錄和深度智能分析。通過對分析結果的展示和交互，用戶可以對會議的關鍵信息進行快速的理解、查找和導航定位。

產(chǎn)品優(yōu)勢

瀾舟科技是國內(nèi)最早開始從事大模型創(chuàng)業(yè)的團隊之一。創(chuàng)始人周明博士是世界NLP領域的領軍人物，是世界級的科學家，瀾舟科技自2021年成立以來，就一直致力于預訓練模型的研發(fā)與應用，基于團隊自研的大規(guī)模預訓練語言模型-孟子預訓練模型，可處理多語言、多模態(tài)數(shù)據(jù)，同時支持多種理解和生成任務，能快速滿足不同領域、不同應用場景的需求。且屢次榮登CLUE、ZeroCLUE和FewCLUE榜單前列，擁有20多項大模型技術專利和3項軟著。兩年間，瀾舟科技積極探索大模型技術的應用和發(fā)展，堅持技術積累和業(yè)務驗證，于今年3月份首次推出基于孟子GPT大模型的對話機器人MChat，同年5月份孟子GPT-7B通用大模型面向企業(yè)用戶開放內(nèi)測，7月份上線瀾舟智會以及孟子GPT-7B金融行業(yè)大模型，8月份正式發(fā)布孟子GPT-40B通用大模型。堅持專注垂直領域、專業(yè)賽道，瀾舟科技始終致力于在特定的專業(yè)領域內(nèi)深耕細作，為企業(yè)用戶提供個性化的、私有化的部署服務。圍繞B端場景，形成了獨特的L1-L2-L3-L4閉環(huán)支持體系。在這個系統(tǒng)中，孟子大模型可以提供全方位的模型支持，包括底座模型、工程化體系和工具交付、以及生成內(nèi)容的溯源和控制等。通過這一系統(tǒng)，我們能夠全面滿足用戶在各個層次的需求，幫助他們實現(xiàn)更好的業(yè)務目標。同時，我們也注重與用戶的深度合作，根據(jù)他們的具體需求進行定制化開發(fā)，確保我們的產(chǎn)品和服務能夠真正滿足他們的實際需要。

技術說明

孟子GPT系列模型在研發(fā)過程中注重同下游應用場景相結合，使單位算力投入上的效果產(chǎn)出最大化，為了達到這個目標，瀾舟科技在研發(fā)孟子GPT系列模型的過程中，注重對有限資源的充分運用，包括：

1、大語言模型的持續(xù)學習：

大語言模型在落地過程中需要不斷地進行調(diào)整才能滿足客戶需求，原因是一方面客觀世界上的語言和知識就是在不停的發(fā)展和變化，每天都有新的知識和新的詞匯產(chǎn)生；另一方面，由于每個客戶本身的行業(yè)/業(yè)務特點都會有差異，同時也有大量線下工作不能被大模型預先覆蓋到，因此大語言模型必須具備良好的持續(xù)學習能力來適應不斷更新，有顯著個性化差異的客戶需求。

為了達到這個目的，瀾舟技術團隊針對大語言模型的持續(xù)訓練在技術上做了若干優(yōu)化，包括：

① 瀾舟技術團隊研發(fā)了在continue-pretraining和transfer-pretraining場景下的尺度定律（scaling-raw），以此來指導持續(xù)學習場景下的大模型訓練，實屬業(yè)內(nèi)首創(chuàng)。

② 瀾舟技術團隊設計了多階段的數(shù)據(jù)融合策略，來最大化提升持續(xù)訓練場景下的單算力產(chǎn)出，包括：

● 基于類lora模式的持續(xù)訓練。

● 基于moe模式的模型混合。

● 基于多階段學習的統(tǒng)一模型預訓練。通過不同的模型訓練方式，來最有效地綜合多來源的數(shù)據(jù)，以提升算力利用效果。

2、高容錯率的分布式訓練集群設置：

大語言模型在訓練過程中會設計到成百上千張GPU，經(jīng)常會有不穩(wěn)定問題影響集群訓練，為了提升集群訓練的容錯率，盡量在單個節(jié)點故障的情況下，可以盡可能提升剩余節(jié)點的利用率，瀾舟技術團隊優(yōu)化了大規(guī)模分布式訓練的訓練策略，包括節(jié)點崩潰后的自動退出和狀態(tài)保持機制，以及節(jié)點數(shù)變化后的自動batching機制等。

服務客戶

瀾舟科技孟子GPT大模型已為多家企業(yè)提供大模型技術服務，包括中文在線、華夏基金、創(chuàng)新奇智、數(shù)說故事、新華智云、中金、同花順等。

中文在線利用孟子預訓練技術構建針對文學生產(chǎn)領域的專業(yè)模型。實現(xiàn)多屬性可控文學生成提供續(xù)寫、基于關鍵詞生成、基于用戶自定義模板生成、文學實體渲染等能力。創(chuàng)作內(nèi)容輔助，通過模型快速生成內(nèi)容流暢、邏輯通順的文學內(nèi)容片段，為人工寫作提供有效輔助參考。通過對模型的持續(xù)技術迭代，進一步激發(fā)中文在線的內(nèi)容創(chuàng)作和生產(chǎn)、以及用戶產(chǎn)品應用的創(chuàng)新，顛覆現(xiàn)有的內(nèi)容生產(chǎn)模式，重塑數(shù)字內(nèi)容生產(chǎn)和用戶交互方式，帶來內(nèi)容體驗生態(tài)的全面進化。

瀾舟科技與新華智云攜手積極探索大語言模型在文化數(shù)字化全應用場景，通過對文化數(shù)據(jù)清洗、大模型訓練、模型開發(fā)、模型評估、結果分析、實例輸出等環(huán)節(jié)，將大語言模型應用在文化數(shù)字化的全技術鏈路中。提供具備專業(yè)的歷史文化知識的大模型服務及應用能力，在角色扮演、文化知識問答等實際業(yè)務場景進行驗證。雙方持續(xù)發(fā)揮各自的技術優(yōu)勢和資源，共拓文化大模型，推動文化大模型在文化和旅游融合領域的應用探索。

同花順基于孟子的泛金融領域預訓練模型融入同花順領域數(shù)據(jù)，共建大模型應用于問答、對話、信息抽取等場景，為各個業(yè)務都帶來顯著提升。

除此之外，瀾舟科技也在堅持自主技術創(chuàng)新，積極探索更多創(chuàng)新應用，強化大模型發(fā)展中的場景牽引作用，打造大模型標桿項目。未來，瀾舟科技將繼續(xù)堅持核心技術的研發(fā)，多模態(tài)能力進一步增強，致力于垂直領域、專業(yè)賽道的探索，打造全球頂尖的大模型和產(chǎn)品效果。

關于企業(yè)

·瀾舟科技

北京瀾舟科技有限公司（簡稱瀾舟科技）成立于2021年6月，是由創(chuàng)新工場孵化的一家從事AI 2.0大模型研發(fā)的認知智能公司。以自然語言處理（NLP）技術為基礎，提供新一代認知智能平臺，其主要產(chǎn)品是基于“孟子大模型”核心技術打造的一系列功能引擎（包括搜索、生成、翻譯、對話等）和垂直場景應用。點擊文末“閱讀原文”鏈接，還可了解更多“瀾舟科技孟子大模型”信息。

★以上由瀾舟科技投遞申報的項目案例，最終將會角逐由數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的《2023中國數(shù)據(jù)智能產(chǎn)業(yè)AI大模型先鋒企業(yè)》榜單/獎項。

該榜單獎項最終將于11月14日以下活動中進行榜單的首發(fā)與獎項的頒發(fā)，歡迎報名蒞臨現(xiàn)場

來源：數(shù)據(jù)猿