大模型時代，騰訊翻盤需要混元DiT

大模型騰訊混元DiT

原創(chuàng) 苗正 | 2024-05-22 20:17

【數(shù)據(jù)猿導讀】作為首個基于中文的DiT架構，騰訊的混元DiT在發(fā)布后，僅僅用了1個禮拜的時間，就在GitHub上拿下了1500個星星。相較于那些遠在海外的兄弟姐妹們，混元DiT的優(yōu)勢在于能夠捕捉到中文的細微含義，甚至是古代詩詞、中式菜肴等文化特定元素，并生成與之高度匹配且質量上乘的圖像。...

作為首個基于中文的DiT架構，騰訊的混元DiT在發(fā)布后，僅僅用了1個禮拜的時間，就在GitHub上拿下了1500個星星。相較于那些遠在海外的兄弟姐妹們，混元DiT的優(yōu)勢在于能夠捕捉到中文的細微含義，甚至是古代詩詞、中式菜肴等文化特定元素，并生成與之高度匹配且質量上乘的圖像。

大模型_騰訊_混元DiT-1

圖：混元DiT以“杞人憂天”為提示詞生成的圖片

混元DiT結合了兩個文本編碼器，分別是一個雙語的CLIP和一個多語言的T5編碼器。CLIP是一種具有強大跨模態(tài)理解能力的模型，可以將文本和圖像嵌入到同一向量空間中進行比較，而T5則是一種多語言文本編碼器，具有廣泛的語言理解能力。這種雙編碼器的組合模式，使得模型在處理中文輸入時能夠更好地理解語義和上下文，從而提高了對中文的處理能力。

市面上主流的文生圖大模型，比如OpenAI的Sora，以及Stable Diffusion 3，都沒有使用這樣的編碼器組合。直白一點說，中文，就是混元DiT的主戰(zhàn)場。

在混元DiT上，騰訊的開發(fā)者構建了一個強大的數(shù)據(jù)管道來處理數(shù)據(jù)的整個生命周期，包括數(shù)據(jù)的添加、過濾、維護、更新和應用。這對于模型的迭代優(yōu)化非常關鍵。

為了進一步提高生成圖片的質量，混元DiT應用了多模態(tài)大語言模型（MLLM）來改進圖像描述。同時，混元DiT還支持多輪多模態(tài)對話，允許用戶通過自然語言交互迭代地細化圖像。這對于動態(tài)和交互式的圖像創(chuàng)作特別有用。

為什么這么多人關注混元DiT

混元DiT在GitHub上的星標達到了1500顆，比同時期爆火到破圈的ManbaOut還高，后者是一篇專門用來反駁Mamba模型的論文。

業(yè)內(nèi)之所以如此關注，最核心的原因在于這是一個開源的DiT模型。這是一種結合了擴散模型（Diffusion Models）與Transformer模型的機器學習模型，通過一系列反轉的擴散步驟從隨機噪聲中逐步生成數(shù)據(jù)樣本。

簡單點說，DiT又能像Transformer一樣，捕捉長距離關系，進而生成高質量的內(nèi)容。又能像擴散模型一樣，減少了直接在高分辨率像素空間訓練的計算負擔，還促進了對圖像特征的更高效學習和生成過程的控制。

OpenAI在2024年2月15日發(fā)布的Sora，使用的正是DiT模型。隨后的一段日子里，英文DiT模型確實不少，但是一直沒有一款中文DiT模型問世。

華為曾發(fā)布過一個DiT模型叫做PiXArt-Alpha，GitHub的星標沖到了2300顆，然而可惜的是，這個模型只能使用英文提示詞。

大模型_騰訊_混元DiT-2

圖：PixArt-Alpha下方寫著只允許輸入英文提示詞

行業(yè)之所以一直使用基于英文的DiT模型，是因為訓練數(shù)據(jù)是基于英語的。這也就意味著，雖然模型能理解中文，也能輸出中文，但是不能用中文“思考”，生成圖片的過程必須使用英文。使用中文會極大增加基于英語的DiT模型計算時的復雜程度，其表現(xiàn)結果為生成圖片的質量下降。

中文作為一種表意文字，其字符結構、語法特點以及文化背景與拉丁字母語言截然不同，這要求模型不僅要有強大的語言理解能力，還要能夠準確把握中文特有的語義和文化內(nèi)涵。因此，構建一個能夠有效理解并生成與中文文本相符圖像的模型需要解決一系列技術難題，包括但不限于中文文本的編碼、多模態(tài)語義對齊以及如何在生成過程中保留中文的文化和語境細節(jié)。

另一方面，技術的發(fā)展往往與市場需求緊密相關。隨著人工智能技術的普及和中文互聯(lián)網(wǎng)生態(tài)的迅速增長，市場對高質量中文內(nèi)容生成的需求日益凸顯。

在混元DiT出現(xiàn)之前，中文生成模型的缺失反映了市場和技術成熟度之間的差距?？赡苁且驗橹爸形氖袌龅囊?guī)模或具體應用場景尚未達到足以驅動大規(guī)模研發(fā)資源投入的程度，或是中文生成技術的商業(yè)價值和應用場景尚不明確。

混元DiT在某種程度上激活了整個中文生成模型的市場，再加上騰訊將其開源，可能一開始騰訊也沒有預料到混元DiT會有如此之高的關注度，不過事實就是，騰訊引爆了行業(yè)。

混元DiT是騰訊的翻盤救星？

此前，騰訊曾押寶于數(shù)字孿生技術（Digital Twin）。這是一種利用數(shù)字化模型來模擬、分析和優(yōu)化實體物體（如產(chǎn)品、系統(tǒng)或過程）的技術。這種技術可以通過在數(shù)字環(huán)境中創(chuàng)建與實體物體相對應的虛擬模型來實現(xiàn)。

在最初引起廣泛關注的階段，數(shù)字孿生技術被認為是一種革命性的概念，可以徹底改變產(chǎn)品設計、制造、運營和維護的方式。比如企業(yè)可以通過創(chuàng)建物理資產(chǎn)的數(shù)字模型，在虛擬環(huán)境中測試和優(yōu)化各種操作參數(shù)和條件，從而找到最佳的操作方式，極大程度降低了企業(yè)的研發(fā)開支。

雖然也有不少云計算巨頭也參與了數(shù)字孿生技術的競爭，不過騰訊在游戲、動畫方面的建樹，使得他們在數(shù)字孿生上投入了更多精力。

但是隨著Transformer模型的崛起，尤其是像GPT-3、BERT等自然語言處理模型的出現(xiàn)，讓科技行業(yè)的發(fā)展重心，轉移到了Transformer模型上，越來越多的計算機人才涌入了Transformer模型的懷抱。與之相對的，數(shù)字孿生的熱度開始逐漸降低，出現(xiàn)了邊緣化的跡象。

2023年3月16日，百度發(fā)布了文心大模型。僅過了半個多月，阿里就在同年4月7日發(fā)布了通義千問。然而騰訊方面，直至2023年9月7日，才在2023騰訊全球數(shù)字生態(tài)大會上正式發(fā)布了混元大模型。

騰訊坐擁微信和QQ兩大聊天通訊軟件，本應該在自然語言處理相關領域走得比較靠前，可是在語言大模型領域，騰訊卻慢上了半拍。

在咨詢公司弗若斯特沙利文的《2024年中國大模型能力評測》中，混元大模型雖然后來居上，打敗了一眾先騰訊入場的大模型，可是性能上仍然低于文心一言以及通義千問。

大模型_騰訊_混元DiT-3

圖：《2024年中國大模型能力評測》給出的評分表

騰訊需要一個超車的機會，“中文DiT”“開源”等等關鍵詞正是混元大模型加速時需要的燃料。實現(xiàn)了這些其他人沒有的標簽時，混元DiT則成功幫助騰訊實現(xiàn)翻盤，后入場的騰訊反而變成真正意義上領跑的那個人了。

誠然，騰訊是入場比較晚，不過在騰訊整個技術產(chǎn)品體系中，混元大模型處于核心地位。因為騰訊可以通過大模型這項技術，輻射其他應用產(chǎn)品，從而升級服務和體驗。

騰訊混元大模型是由騰訊AI Lab負責研發(fā)的。這個部門成立于2016年，主要研究方向包括自然語言處理、計算機視覺、語音識別和機器學習等。手機游戲《王者榮耀》中，那些實力和玩家不相上下的AI，就是騰訊AI Lab開發(fā)的。

混元大模型的淵源可以追溯到2017年，當時騰訊AI Lab推出了基于Transformer結構的神經(jīng)機器翻譯系統(tǒng)，這是騰訊在自然語言處理領域的一個重要突破，也是造就混元大模型的初始之地。隨后，騰訊AI Lab不斷投入研發(fā)，逐步完善模型的性能和功能，混元大模型也就此誕生。