【AI大模型展】博文大模型——專注于服務和營銷領域，更專業(yè)，更有溫度

AI大模型博文大模型服務營銷領域

追一科技 | 2024-06-28 21:31

【數(shù)據(jù)猿導讀】追一博文大模型，除了擁有基礎大模型的通用能力外，還通過NL2X等技術準確將企業(yè)知識融入，并針對與客戶場景強相關的，如對話分析、對話交互等專項能力進行加強，以便達到更好、更穩(wěn)定的最終業(yè)務效果。

博文大模型

該AI大模型由追一科技投遞并參與數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的《2024中國數(shù)據(jù)智能產(chǎn)業(yè)AI大模型先鋒企業(yè)》榜單/獎項”評選。

追一博文大模型，除了擁有基礎大模型的通用能力外，還通過NL2X等技術準確將企業(yè)知識融入，并針對與客戶場景強相關的，如對話分析、對話交互等專項能力進行加強，以便達到更好、更穩(wěn)定的最終業(yè)務效果。

因此,在博文模型基礎上,追一進一步研發(fā)了一套 LLM Agent 框架,賦予博文"記憶”和"行動”，一方面通過 Agent 框架將思維鏈的工作機制固化下來，從而將思維鏈的能力充分發(fā)揮。另一方面，解決幻覺問題,更好實現(xiàn)LLM 的知識可控、能力可控、業(yè)務邏輯可控，同時知識更新、能力擴展更加高效。在 LLM Agent 框架的基礎之上，支持復雜任務場景下任務拆解，以 Multi-Agents協(xié)同工作的方式，實現(xiàn)企業(yè)復雜業(yè)務場景上的最優(yōu)表現(xiàn)。

應用場景/使用群體

銀行：分期營銷、開戶營銷、促活營銷、風險管理、權益提醒等營銷與客服場景

保險：贈轉(zhuǎn)銷、續(xù)費提醒、分期產(chǎn)品續(xù)保、現(xiàn)場勘查回訪、短險轉(zhuǎn)長險、新契約回訪、小額保險推銷

券商：新客理財營銷、創(chuàng)業(yè)板回訪、新客回訪、開戶營銷、新股中簽繳款、適當性回訪、風險測評

政務：市民服務、市長熱線、社區(qū)金融、黨建宣傳、稅務咨詢、政策助手、智慧交通.

產(chǎn)品功能

博文除了具備通用大模型具備的文本生成、代碼生成、邏輯推理、文學創(chuàng)作等能力外，還通過NL2X等技術將企業(yè)知識融入，并針對與客戶場景強相關的，如對話分析、對話交互等專項能力進行加強，以便達到更好、更穩(wěn)定的最終業(yè)務效果。

其能力如下：

1、對話交互，解決業(yè)務咨詢與辦理問題，實現(xiàn)用戶自助服務，其具備單輪和多輪對話能力，從容應對任務辦理、業(yè)務咨詢、寒暄等對話場景,并在交互中具備共情能力

2、針對復雜問題的意圖理解和可控生成。

3、對話分析，挖掘企業(yè)服務和營銷過程里積累的語音和文本對話數(shù)據(jù)，自動抽取客戶意圖和特征，實現(xiàn)智能分析，可應用于會話質(zhì)檢、會話總結等，并生成業(yè)務報告，進行營銷預測。

4、知識注入，積累的搜索和NL2X技術讓專業(yè)知識召回更精準。

產(chǎn)品優(yōu)勢

1. 百億級參數(shù)模型，體量更小，訓練過程和推理速度更快，成本更低。

2. 擁有更垂直適用的任務能力，并非通用式的聊天，可適配具體行業(yè)業(yè)務場景中的任務，如金融、政務領域中的咨詢服務、文案生成、專家決策等。

3. 在知識能力上，更有領域縱深優(yōu)勢，且保證即時性。

4. 支持私有化部署，對于金融、運營商等垂直行業(yè)的特定場景來說是必要的，保證數(shù)據(jù)安全的同時，還能更靈活地去應對業(yè)務場景。

技術說明

在自研大模型技術過程中，追一科技分別在位置編碼、長視野、優(yōu)化器等核心技術嘗試創(chuàng)新，并獲得國內(nèi)外廣泛關注和應用。

A．Roformer——基于RoPE升級的Transformer

追一科技的Roformer模型采用了自研的旋轉(zhuǎn)位置編碼，進一步提升了目前主流Transformer架構模型的能力。該技術公開后獲得國內(nèi)外業(yè)內(nèi)的廣泛關注。

RoPE，旋轉(zhuǎn)式位置編碼（Rotary Position Embedding），核心思想是將文本中兩個字符的之間相對位置用角度來表示，這樣的好處是在transformer結構的模型中注意力的計算要計算兩個向量的內(nèi)積，而采用角度表示相對位置距離，則這個內(nèi)積正好體現(xiàn)了相對位置之間的大小。這種巧妙的設計方式天然契合transformer的注意力機制，帶來更好的編碼能力。

一般來說，絕對位置編碼具有實現(xiàn)簡單、計算速度快等優(yōu)點，而相對位置編碼則直接地體現(xiàn)了相對位置信號，跟我們的直觀理解吻合，實際性能往往也更好。于是RoPE就集各家之所長，提出通過絕對位置編碼的方式實現(xiàn)相對位置編碼的旋轉(zhuǎn)式位置編碼。

Roformer 模型是transformer 的升級版，它的主要改動是應用了“旋轉(zhuǎn)式位置編碼（Rotary Position Embedding，RoPE）”代替 transformer 中的絕對位置編碼，這是一種配合 Attention 機制能達到“絕對位置編碼的方式實現(xiàn)相對位置編碼”的設計。

AI大模型_博文大模型_服務營銷領域-1

當前主流知名大模型，公開模型細節(jié)的，基本都將RoPE作為標準配置，是追一科技對大模型研究領域重要貢獻。下面是部分知名大模型的引用情況：

Google 的 PaLM，以及PaLM2模型的采用

AI大模型_博文大模型_服務營銷領域-2

META 的 LLaMA，以及衍生Alpaca、Vicuna模型的采用

AI大模型_博文大模型_服務營銷領域-3

EleutherAI的GPT-NeoX-20B，以及OpenChatKit模型的采用

AI大模型_博文大模型_服務營銷領域-4

清華大學GLM、以及ChatGLM模型的采用

AI大模型_博文大模型_服務營銷領域-5

微信 WeLM模型的采用

AI大模型_博文大模型_服務營銷領域-6

B．NBCE——無限擴大模型視野

大模型基于注意力機制，注意力范圍也就是大模型的“視野”，這也是大模型發(fā)揮效果的關鍵能力之一，廣闊的“視野”可以讓大模型具備更強的上下文理解能力。由于底層技術的局限性，導致現(xiàn)在所有大模型輸入輸出的文本長度都有上限，即大模型“視野”有限。大模型的視野在訓練階段就已經(jīng)固化下來，2倍的視野長度，意味著4倍的成本。且視野長度依然是有上限的。

追一科技提出了一種新的方便快捷、即插即用的無限擴展大模型（LLM）輸入長度的方法，它適配任意一種模型結構，不需要更改模型結構，不需要重新訓練模型，就能直接使用。這種方法基于樸素貝葉斯，因此我們將它命名為NBCE（Naive Bayes-based Context Extension）。它的核心思路是將輸入的長文本切分為若干部分，配上輸入的指令，在條件獨立的假設下利用樸素貝葉斯對生成的內(nèi)容進行采樣，再通過投票方式確定輸出。

AI大模型_博文大模型_服務營銷領域-7

NBCE不需要對模型進行修改，也不需要進行訓練或者微調(diào)。此外，NBCE方法是與模型無關的，這代表目前所有的模型能夠直接使用，同時理論上只要在計算資源允許的范圍內(nèi)，通過NBCE方法就可以將模型擴展到無限長度。下面是一個示例：

AI大模型_博文大模型_服務營銷領域-8

C．Tiger優(yōu)化器——降低訓練成本

大模型訓練成本高，顯存是主要瓶頸之一。其中訓練過程中的大部分顯存消耗發(fā)生在優(yōu)化器。當前業(yè)界最常用的AdamW優(yōu)化器，一階矩和二階矩占用了大量顯存，追一科技提出的Tiger優(yōu)化器對此進行了簡化替換，得到的訓練效果指標與AdamW持平，但是整體顯存消耗下降25%~30%。

D．數(shù)據(jù)積累

追一技術團隊過去有豐富的搜索引擎開發(fā)經(jīng)驗，積累了豐富的數(shù)據(jù)治理經(jīng)驗，包括爬蟲正文抽取、反垃圾、質(zhì)量因子、文章分類、排重等。積累了數(shù)十T的高質(zhì)量公開數(shù)據(jù)。

追一科技過去多年項目實施經(jīng)歷，建設數(shù)據(jù)操作臺和數(shù)據(jù)運營臺，降低項目上數(shù)據(jù)生產(chǎn)的成本的同時，也積累了大量獨有行業(yè)數(shù)據(jù)，包括大于100G的人人對話人機對話數(shù)據(jù)、至少40G帶標簽的行業(yè)數(shù)據(jù)。

追一科技參加各種NLP比賽、榜單、同業(yè)交流，積累了大于30G的帶標注的NLP任務數(shù)據(jù)，包括機器翻譯、IE、QA、WSD、NLI、MRC、NL2SQL、情感分析、因果推理、數(shù)學應用等任務的標注數(shù)據(jù)。

以上數(shù)據(jù)用于訓練LLM獲得獨有優(yōu)勢。