信息有四種主要形式，文字、語音、圖片、視頻，并且其承載的信息量是在遞增的。目前，以ChatGPT為代表的大模型應(yīng)用產(chǎn)品，主戰(zhàn)場(chǎng)還是在文字領(lǐng)域。如果能夠攻克視頻生成，其價(jià)值必然更大。然而，即使是Sora，也只是向我們展示了一種可能性，還遠(yuǎn)沒到大規(guī)模商用的階段。并且，作為OpenAI發(fā)布的視頻生成模型，絕大部分中國(guó)用戶是用不上的。我們亟需要有一款國(guó)產(chǎn)的視頻生成產(chǎn)品，來滿足大眾的期待。

7月26號(hào)，智譜AI就發(fā)布了這樣一款產(chǎn)品——清影（Ying）。用戶只需要輸入一段文字，就能快速生成一段充滿想象力的視頻。并且，用戶可以選擇自己想要生成的風(fēng)格，包括卡通3D、黑白、油畫、電影感等，配上清影自帶的音樂。

需要指出的是，清影是現(xiàn)貨，而不是期貨。目前，清影已經(jīng)上線智譜AI的清言App，面向所有用戶開放。

讓我們玩起來！

作為一個(gè)大模型發(fā)燒友，有這樣一款新奇的產(chǎn)品，當(dāng)然是要第一時(shí)間去嘗嘗鮮。我急切的登錄上自己的智譜清言賬號(hào)，發(fā)現(xiàn)真的把視頻生成功能更新上去了。

在文生視頻功能下，用戶可以根據(jù)自己的喜好，來設(shè)置一些參數(shù)，包括：視頻風(fēng)格、情緒氛圍、運(yùn)鏡方式。

并且，當(dāng)視頻生成好了之后，用戶還可以根據(jù)自己的需要，為視頻配一段音樂。

接下來，我們要怎么玩呢？

作為一個(gè)文藝青年，我腦海里閃現(xiàn)出了唐詩(shī)三百首。詩(shī)詞作為中華文化的瑰寶，如果和大模型這樣的前沿科技結(jié)合起來，估計(jì)會(huì)是一件挺有趣的事情。而且，詩(shī)詞都比較簡(jiǎn)短，用詞精煉，在短短幾句中蘊(yùn)含了豐富的思考、情緒和意境。作為視頻生成模型的“考題”，再合適不過了。

說干就干，接下來我們就用幾首唐詩(shī)來考考清影。

先用李白的《靜夜思》來小試牛刀。

《靜夜思》

作者：李白

床前明月光，疑是地上霜。

舉頭望明月，低頭思故鄉(xiāng)。

接著，我們?cè)賮碓囈皇住?/p>

《江雪》

作者：柳宗元

千山鳥飛絕，萬徑人蹤滅。

孤舟蓑笠翁，獨(dú)釣寒江雪。

上面兩首詩(shī)都有點(diǎn)悲涼，接下來讓我們來首歡快一點(diǎn)的。

《春曉》

作者：孟浩然

春眠不覺曉，處處聞啼鳥。

夜來風(fēng)雨聲，花落知多少。

接下來，上點(diǎn)難度。目前，智譜清言的視頻生成功能，最多支持1000字。那我們就用長(zhǎng)一點(diǎn)的詩(shī)歌來考考它，李白的《將近酒》是一個(gè)不錯(cuò)的選擇。

《將進(jìn)酒·君不見》

作者：李白

君不見，黃河之水天上來，奔流到海不復(fù)回。

君不見，高堂明鏡悲白發(fā)，朝如青絲暮成雪。

人生得意須盡歡，莫使金樽空對(duì)月。

天生我材必有用，千金散盡還復(fù)來。

烹羊宰牛且為樂，會(huì)須一飲三百杯。

岑夫子，丹丘生，將進(jìn)酒，杯莫停。

與君歌一曲，請(qǐng)君為我傾耳聽。

鐘鼓饌玉不足貴，但愿長(zhǎng)醉不愿醒。

古來圣賢皆寂寞，惟有飲者留其名。

陳王昔時(shí)宴平樂，斗酒十千恣歡謔。

主人何為言少錢，徑須沽取對(duì)君酌。

五花馬，千金裘，呼兒將出換美酒，與爾同銷萬古愁。

需要指出的是，除了文生視頻外，清影還能實(shí)現(xiàn)圖生視頻，你給它一張圖片，它就能給你生成一段視頻。

陳凱歌導(dǎo)演的《妖貓傳》中，有一個(gè)詩(shī)仙李白在宮廷里吟詩(shī)作賦的場(chǎng)景，讓我記憶猶新，充分反映出了詩(shī)仙李白那驚世的才華，以及放蕩不羈的氣質(zhì)。

接下來，我們就選取幾張電影圖片，來讓清影生成視頻。

下面是清影生成的視頻。

下面這張，是我特別喜歡的。在這個(gè)場(chǎng)景中，李白看到一個(gè)絕世美人，作出了他的千古絕句。

《清平調(diào)》

作者：李白

云想衣裳花想容，春風(fēng)拂檻露華濃。

若非群玉山頭見，會(huì)向瑤臺(tái)月下逢。

下面是清影生成的視頻，從這個(gè)視頻中，詩(shī)仙李白的癡狂被表現(xiàn)的淋漓盡致。

誰讓詩(shī)仙李白這么陶醉呢？當(dāng)然是傾國(guó)傾城的楊貴妃。中法混血女星張榕容扮演的楊玉環(huán)，的確很傳神。

整體使用下來，感覺智譜AI此次發(fā)布的清影，還是挺強(qiáng)大的，不僅能夠捕捉到指令中的關(guān)鍵元素，還能基于對(duì)整個(gè)文字內(nèi)容的理解，來生成相應(yīng)的視頻。此外，圖生視頻也很有趣，相信會(huì)是引爆用戶熱情的一個(gè)重要抓手。

視頻生成的核心技術(shù)是什么呢？

數(shù)據(jù)猿作為智能行業(yè)垂直專業(yè)媒體，只知其然不知其所以然，肯定是不夠的。接下來，我們就來分析一下智譜清影背后的引擎——視頻生成技術(shù)。

清影是前臺(tái)的產(chǎn)品，而其技術(shù)核心，就是智譜AI的CogVideoX。

作為視頻生成技術(shù)的最新突破，CogVideoX通過融合文本、時(shí)間和空間三個(gè)維度，實(shí)現(xiàn)了高效、連貫的視頻生成。其采用DiT架構(gòu)和優(yōu)化算法，顯著提升了推理速度和生成質(zhì)量。CogVideoX不僅在技術(shù)上實(shí)現(xiàn)了突破，還為未來視頻生成技術(shù)的發(fā)展提供了重要的方向和借鑒意義。

接下來，我們就用“顯微鏡”，來分析一下CogVideoX以及其所代表的視頻生成技術(shù)。

既然視頻生成的一個(gè)關(guān)鍵技術(shù)是DiT架構(gòu)，那我們就先拿DiT“開刀”。

所謂DiT（DynamicI sometric Transformer）架構(gòu)，是一種基于Transformer的模型架構(gòu)，并強(qiáng)調(diào)動(dòng)態(tài)（Dynamic）和等距（Isometric）的特性，它在視頻生成任務(wù)中展現(xiàn)了強(qiáng)大的適應(yīng)性和高效性。

所以，DiT有三個(gè)關(guān)鍵技術(shù)，分別是Transformer、Dynamic和Isometric。

Transformer模型由Vaswani等人在2017年提出，是一種基于自注意力機(jī)制（Self-Attention）的神經(jīng)網(wǎng)絡(luò)架構(gòu)。自注意力機(jī)制是Transformer的核心，它通過計(jì)算輸入序列中各個(gè)元素之間的相關(guān)性，使模型能夠捕捉長(zhǎng)距離依賴關(guān)系。

Transformer架構(gòu)在處理序列數(shù)據(jù)時(shí)具有顯著優(yōu)勢(shì)，例如，Transformer能夠并行處理整個(gè)序列數(shù)據(jù)，克服了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）的計(jì)算瓶頸，提高了訓(xùn)練效率。而且，自注意力機(jī)制使得Transformer能夠有效捕捉序列中遠(yuǎn)距離元素之間的依賴關(guān)系，特別適用于處理長(zhǎng)序列數(shù)據(jù)。此外，Transformer的結(jié)構(gòu)簡(jiǎn)單，易于擴(kuò)展和優(yōu)化，能夠適應(yīng)不同規(guī)模的數(shù)據(jù)和任務(wù)。

然而，Transformer的長(zhǎng)處是在文字生成，其代表作就是ChatGPT。如果要生成視頻，就需要對(duì)其進(jìn)行改進(jìn)。因此，在Transformer的基礎(chǔ)上，DiT架構(gòu)引入了動(dòng)態(tài)性（Dynamic）和等距性（Isometric）的特性。

動(dòng)態(tài)性指的是模型能夠根據(jù)輸入數(shù)據(jù)的不同動(dòng)態(tài)調(diào)整其結(jié)構(gòu)或參數(shù)，以更好地適應(yīng)不同的任務(wù)需求，具體實(shí)現(xiàn)方法包括動(dòng)態(tài)層選擇和動(dòng)態(tài)參數(shù)調(diào)整。根據(jù)輸入序列的長(zhǎng)度和復(fù)雜性，動(dòng)態(tài)選擇不同數(shù)量的Transformer層進(jìn)行處理，從而在保證計(jì)算效率的同時(shí)提高模型的適應(yīng)性。在訓(xùn)練過程中，模型根據(jù)輸入數(shù)據(jù)的特點(diǎn)動(dòng)態(tài)調(diào)整超參數(shù)，如注意力頭的數(shù)量和隱藏層的維度，以優(yōu)化模型性能。動(dòng)態(tài)性的引入使得DiT架構(gòu)在處理多樣化的視頻生成任務(wù)時(shí)更加靈活和高效，生成結(jié)果更加精確和符合需求。

等距性在DiT架構(gòu)中指的是在處理空間數(shù)據(jù)時(shí)，保持圖像或視頻幀的幾何一致性。這個(gè)特性對(duì)于視頻生成尤為重要，因?yàn)橐曨l生成需要在時(shí)間維度上保持幀與幀之間的連貫性，同時(shí)在空間維度上保持圖像的統(tǒng)一性。等距性的實(shí)現(xiàn)主要通過空間注意力機(jī)制，在自注意力機(jī)制的基礎(chǔ)上，確保在生成每一幀時(shí)，考慮到整個(gè)圖像的全局信息，保持空間上的一致性。此外，通過引入位置編碼和空間變換機(jī)制，使得每一幀在生成過程中都能夠保留其空間結(jié)構(gòu)和細(xì)節(jié)，確保最終生成的視頻在視覺上連貫且自然。

CogVideoX，基于DiT，超越DiT。

上面提到過，CogVideoX是基于DIT，但并不局限于DIT，而是做了大量的優(yōu)化工作。

CogVideoX視頻生成模型在技術(shù)上實(shí)現(xiàn)了文本、時(shí)間和空間三個(gè)維度的深度融合，形成了高效且連貫的視頻生成能力。其中，文本與視頻生成的結(jié)合是CogVideoX的一大亮點(diǎn)。通過先進(jìn)的自然語言處理技術(shù)，模型能夠解析輸入文本的語義，并生成與之高度一致的視頻內(nèi)容。這一過程涉及對(duì)文本的分詞、語義分析和情感識(shí)別，確保生成的視頻場(chǎng)景不僅在視覺上與文本描述匹配，還在情感和情景上高度契合。

在時(shí)間維度的處理上，CogVideoX采用了先進(jìn)的時(shí)間序列建模技術(shù)。視頻的本質(zhì)是一系列連續(xù)的圖像幀，因此時(shí)間序列的建模至關(guān)重要。CogVideoX捕捉視頻幀之間的時(shí)間依賴關(guān)系，確保生成的視頻在時(shí)間上的連貫性。

空間維度的處理是確保生成視頻質(zhì)量的另一關(guān)鍵點(diǎn)，CogVideoX保證每一幀圖像的高質(zhì)量和一致性。在生成過程中，模型通過對(duì)空間信息的處理，確保每一幀圖像不僅細(xì)節(jié)豐富，還與前后幀保持一致。這樣處理后的圖像在視覺上連貫且自然，避免了圖像扭曲和不一致問題。

需要指出的是，CogVideoX并不是一成不變的，而是處在快速的迭代演進(jìn)當(dāng)中。據(jù)悉，經(jīng)過一系列的軟硬件優(yōu)化，CogVideoX在推理速度上相比前代模型CogVideo提升了6倍。這一顯著的提升，不僅意味著更快的視頻生成速度，還為生成更復(fù)雜和高質(zhì)量的內(nèi)容提供了可能。

視頻生成的探索之路，才剛剛開始

需要指出的是，無論是OpenAI的Sora，還是智譜AI的CogVideoX，都只是視頻生存的早期探索。接下來，視頻生成模型會(huì)在高分辨視頻、長(zhǎng)視頻、視頻可精細(xì)化修改等方向，不斷提升能力。

高分辨率視頻生成，清晰度要越來越高。

高分辨率視頻生成是視頻生成技術(shù)發(fā)展的重要方向之一，但同時(shí)也面臨諸多技術(shù)挑戰(zhàn)。高分辨率視頻生成，需要更強(qiáng)的計(jì)算能力和更大的存儲(chǔ)空間。生成高分辨率圖像的過程復(fù)雜度高，處理每一幀圖像所需的計(jì)算資源大幅增加。因此，如何優(yōu)化計(jì)算效率、減少資源消耗成為一個(gè)關(guān)鍵問題。

可能的解決方案包括采用更加高效的算法和硬件加速技術(shù)，例如，通過改進(jìn)生成模型的結(jié)構(gòu)，優(yōu)化圖像生成算法，可以減少計(jì)算復(fù)雜度。同時(shí)，利用分布式計(jì)算技術(shù)，將計(jì)算任務(wù)分配到多個(gè)處理單元并行處理，可以顯著提升計(jì)算效率。此外，通過模型壓縮，可以在保持生成質(zhì)量的前提下，減少模型參數(shù)數(shù)量和計(jì)算資源需求，從而提高生成效率。

長(zhǎng)時(shí)長(zhǎng)視頻生成，能達(dá)到影視劇的長(zhǎng)度。

生成長(zhǎng)時(shí)長(zhǎng)視頻需要處理長(zhǎng)時(shí)間序列數(shù)據(jù)，這在技術(shù)上存在一定的難點(diǎn)。長(zhǎng)時(shí)間序列數(shù)據(jù)處理要求模型能夠捕捉和保持長(zhǎng)距離依賴關(guān)系，而傳統(tǒng)的時(shí)間序列模型在處理長(zhǎng)序列數(shù)據(jù)時(shí)容易出現(xiàn)梯度消失或爆炸問題，導(dǎo)致生成質(zhì)量下降。

在生成長(zhǎng)時(shí)長(zhǎng)視頻時(shí)，保持模型的穩(wěn)定性和一致性也是一個(gè)重要挑戰(zhàn)。長(zhǎng)時(shí)間的生成過程容易引入累積誤差，導(dǎo)致生成內(nèi)容的不一致。為此，可以采用一些技術(shù)手段來提高模型的穩(wěn)定性。例如，利用生成對(duì)抗網(wǎng)絡(luò)（GAN）中的判別器對(duì)生成的視頻進(jìn)行質(zhì)量控制，確保每一幀圖像的一致性和質(zhì)量。此外，數(shù)據(jù)增強(qiáng)和正則化技術(shù)也可以在訓(xùn)練過程中引入，提高模型的泛化能力和穩(wěn)定性。

多模態(tài)融合，將文本、圖片、聲音、視頻、3D內(nèi)容，融合起來。

多模態(tài)融合是視頻生成技術(shù)的一個(gè)重要發(fā)展方向，通過將文本、音頻、圖像等多種數(shù)據(jù)類型進(jìn)行融合，可以生成更加豐富和多樣化的視頻內(nèi)容。未來的發(fā)展可以進(jìn)一步探索多模態(tài)數(shù)據(jù)的深度融合，實(shí)現(xiàn)更高質(zhì)量的生成效果。視頻生成技術(shù)在虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等新興領(lǐng)域也具有廣闊的應(yīng)用前景，通過擴(kuò)展應(yīng)用場(chǎng)景，可以進(jìn)一步提升技術(shù)的實(shí)際價(jià)值。

對(duì)生成視頻的精細(xì)化修改，是接下來要攻克的一個(gè)關(guān)鍵挑戰(zhàn)。

生成的視頻不僅需要具備高質(zhì)量，還要能夠進(jìn)行進(jìn)一步的修改和精細(xì)化調(diào)整。這一需求主要來自于用戶在實(shí)際應(yīng)用中的多樣化需求，通過提供強(qiáng)大的后期編輯功能，用戶可以對(duì)生成的視頻進(jìn)行精細(xì)調(diào)整，包括顏色校正、細(xì)節(jié)增強(qiáng)、對(duì)象替換等。

實(shí)現(xiàn)精細(xì)化修改的技術(shù)挑戰(zhàn)，在于如何在保持原有視頻質(zhì)量和連貫性的同時(shí)，進(jìn)行局部的細(xì)節(jié)修改。可能的解決方案，包括基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)和視頻編輯技術(shù)。例如，通過引入生成對(duì)抗網(wǎng)絡(luò)（GAN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN），可以實(shí)現(xiàn)對(duì)視頻中局部區(qū)域的高質(zhì)量修復(fù)和編輯。此外，結(jié)合計(jì)算機(jī)圖形學(xué)中的物理模擬技術(shù)，可以對(duì)視頻中的動(dòng)態(tài)場(chǎng)景進(jìn)行更真實(shí)的修改和渲染。

展望未來，視頻生成技術(shù)的未來發(fā)展將對(duì)多個(gè)行業(yè)產(chǎn)生深遠(yuǎn)影響。

例如，在娛樂行業(yè)，視頻生成技術(shù)可以大幅提高內(nèi)容創(chuàng)作的效率和多樣性，推動(dòng)電影、電視、游戲等領(lǐng)域的發(fā)展。通過自動(dòng)化視頻生成，創(chuàng)作者可以更加專注于創(chuàng)意和故事情節(jié)的設(shè)計(jì)，而不必耗費(fèi)大量時(shí)間在制作環(huán)節(jié)。視頻生成技術(shù)在廣告行業(yè)也有廣闊的應(yīng)用前景，通過生成個(gè)性化和定制化的廣告內(nèi)容，可以有效提升廣告的吸引力和轉(zhuǎn)化率。

讓我們期待更多像智譜AI清影這樣的視頻生成模型，通過不斷的技術(shù)創(chuàng)新和應(yīng)用探索，為人們的生活帶來更多便利和驚喜，推動(dòng)社會(huì)的進(jìn)步和發(fā)展。

來源：數(shù)據(jù)猿