本文分為如下幾小節(jié):

1 2022, 進(jìn)擊的AI繪畫

2 AI繪畫的歷史

3 AI繪畫何以突飛猛進(jìn)

4 頂級(jí)AI繪畫模型的PK

5 AI繪畫的突破對(duì)人類意味著什么

2022，進(jìn)擊的AI繪畫

今年以來(lái), 輸入文本描述自動(dòng)生成圖片的AI繪畫神器突然雨后春筍的冒了出來(lái).

首先是Disco Diffusion.

Disco Diffusion 是在今年 2 月初開始爆紅的一個(gè) AI 圖像生成程序，它可以根據(jù)描述場(chǎng)景的關(guān)鍵詞渲染出對(duì)應(yīng)的圖像:

到了今年4月, 著名人工智能團(tuán)隊(duì)OpenAI 也發(fā)布了新模型 DALL·E 2代，該名稱來(lái)源于著名畫家達(dá)利（Dalí）和機(jī)器人總動(dòng)員（Wall-E）, 同樣支持從文本描述生成效果良好的圖像.

而很多讀者對(duì)AI繪畫開始產(chǎn)生特別的關(guān)注, 或許是從以下這幅AI作品鬧出的新聞開始的:

這是一幅使用AI繪畫服務(wù) MidJourney 生成的數(shù)字油畫, 生成它的用戶以這幅畫參加美國(guó)科羅拉多州博覽會(huì)的藝術(shù)比賽, 奪得了第一名. 這件事被曝光之后引發(fā)了網(wǎng)絡(luò)上巨大的爭(zhēng)論至今.

目前 AI繪畫的技術(shù)仍在不斷變化發(fā)展中, 其迭代之快, 完全可以用"日新月異"來(lái)形容. 即使把今年年初的AI繪畫和現(xiàn)在相比, 效果也有天壤之別.

在年初的時(shí)候, 用Disco Diffusion可以生成一些很有氛圍感的草圖, 但基本還無(wú)法生成人臉; 僅僅2個(gè)月后, DALL-E 2已經(jīng)可以生成準(zhǔn)確的五官; 現(xiàn)在, 最強(qiáng)大的Stable Diffusion在畫作的精致程度和作畫速度上更是有了一個(gè)量級(jí)的變化.

AI繪畫這項(xiàng)技術(shù)并不是近年才有的, 但是今年以來(lái), AI產(chǎn)出作品的質(zhì)量以肉眼可見的速度日益提升, 而效率也從年初的一個(gè)小時(shí)縮短到現(xiàn)在的十幾秒.

在這個(gè)變化后面, 究竟發(fā)生了什么事情  就讓我們先全面回顧一下AI繪畫的歷史, 再來(lái)理解一下, 這一年多來(lái), AI繪畫技術(shù)足以載入史冊(cè)的突破發(fā)展.

AI繪畫的歷史

AI繪畫的出現(xiàn)時(shí)間可能比很多人想象的要早.

計(jì)算機(jī)是上世紀(jì)60年代出現(xiàn)的, 而就在70年代, 一位藝術(shù)家，哈羅德·科恩Harold Cohen（畫家，加利福尼亞大學(xué)圣地亞哥分校的教授) 就開始打造電腦程序"AARON"進(jìn)行繪畫創(chuàng)作. 只是和當(dāng)下AI繪畫輸出數(shù)字作品有所不同, AARON是真的去控制一個(gè)機(jī)械臂來(lái)作畫的.

Harold 對(duì) AARON的改進(jìn)一直持續(xù)了幾十年, 直到他離世. 在80年代的時(shí)候, ARRON"掌握"了三維物體的繪制; 90年代時(shí), AARON能夠使用多種顏色進(jìn)行繪畫, 據(jù)稱直到今天, ARRON仍然在創(chuàng)作.

不過(guò), AARON的代碼沒(méi)有開源, 所以其作畫的細(xì)節(jié)無(wú)從知曉, 但可以猜測(cè), ARRON只是以一種復(fù)雜的編程方式描述了作者Harold本人對(duì)繪畫的理解 -- 這也是為什么ARRON經(jīng)過(guò)幾十年的學(xué)習(xí)迭代，最后仍然只能產(chǎn)生色彩艷麗的抽象派風(fēng)格畫作，這正是 Harold Cohen 本人的抽象色彩繪畫風(fēng)格. Harold用了幾十年時(shí)間, 把自己對(duì)藝術(shù)的理解和表現(xiàn)方式通過(guò)程序指導(dǎo)機(jī)械臂呈現(xiàn)在了畫布上.

(左：ARRON和哈羅德.科恩 右: ARRON 在 1992 年的創(chuàng)作作品)

盡管難說(shuō)AARON如何智能, 但作為第一個(gè)自動(dòng)作畫且真的在畫布上作畫的程序, 給予它一個(gè)AI作畫鼻祖的稱號(hào), 倒也符合其身份.

2006年, 出現(xiàn)了一個(gè)類似ARRON的電腦繪畫產(chǎn)品 The Painting Fool. 它可以觀察照片, 提取照片里的塊顏色信息, 使用現(xiàn)實(shí)中的繪畫材料如油漆, 粉彩或者和鉛筆等進(jìn)行創(chuàng)作.

以上這兩個(gè)例子算是比較"古典"方式的電腦自動(dòng)繪畫, 有點(diǎn)像一個(gè)學(xué)步的嬰兒, 有一點(diǎn)樣子, 但從智能化的角度來(lái)看是相當(dāng)初級(jí)的.

而現(xiàn)在, 我們所說(shuō)的"AI繪畫"概念, 更多指的是基于深度學(xué)習(xí)模型來(lái)進(jìn)行自動(dòng)作圖的計(jì)算機(jī)程序. 這個(gè)繪畫方式的發(fā)展其實(shí)是比較晚的.

在2012年 Google兩位大名鼎鼎的AI大神, 吳恩達(dá)和Jef Dean進(jìn)行了一場(chǎng)空前的試驗(yàn), 聯(lián)手使用1.6萬(wàn)個(gè)CPU訓(xùn)練了一個(gè)當(dāng)時(shí)世界上最大的深度學(xué)習(xí)網(wǎng)絡(luò), 用來(lái)指導(dǎo)計(jì)算機(jī)畫出貓臉圖片. 當(dāng)時(shí)他們使用了來(lái)自youtube的1000萬(wàn)個(gè)貓臉圖片, 1.6萬(wàn)個(gè)CPU整整訓(xùn)練了3天, 最終得到的模型, 令人振奮的可以生成一個(gè)非常模糊的貓臉.

在今天看起來(lái), 這個(gè)模型的訓(xùn)練效率和輸出結(jié)果都不值一提. 但對(duì)于當(dāng)時(shí)的AI研究領(lǐng)域, 這是一次具有突破意義的嘗試, 正式開啟了深度學(xué)習(xí)模型支持的AI繪畫這個(gè)"全新"研究方向.

在這里我們稍微講一點(diǎn)技術(shù)細(xì)節(jié): 基于深度學(xué)習(xí)模型的AI繪畫究竟有多麻煩呢, 為什么2012年已經(jīng)很現(xiàn)代水平的大規(guī)模計(jì)算機(jī)集群耗時(shí)多天的訓(xùn)練只能得出一點(diǎn)可憐的結(jié)果

讀者們或許有個(gè)基本概念, 深度學(xué)習(xí)模型的訓(xùn)練簡(jiǎn)單說(shuō)來(lái)就是利用外部大量標(biāo)注好的訓(xùn)練數(shù)據(jù)輸入, 根據(jù)輸入和所對(duì)應(yīng)的預(yù)期輸出, 反復(fù)調(diào)整模型內(nèi)部參數(shù)加以匹配的過(guò)程.

那么讓AI學(xué)會(huì)繪畫的過(guò)程, 就是構(gòu)建已有畫作的訓(xùn)練數(shù)據(jù), 輸入AI模型進(jìn)行參數(shù)迭代調(diào)整的過(guò)程.

一幅畫帶有多少信息呢  首先就是長(zhǎng)x寬個(gè)RGB像素點(diǎn). 讓計(jì)算機(jī)學(xué)繪畫, 最簡(jiǎn)單的出發(fā)點(diǎn)是得到一個(gè)輸出有規(guī)律像素組合的AI模型.

但RGB像素組合一起的并非都是畫作, 也可能只是噪點(diǎn). 一副紋理豐富, 筆觸自然的畫作有很多筆畫完成, 涉及繪畫中每一筆的位置, 形狀, 顏色等多個(gè)方面的參數(shù), 這里涉及到的參數(shù)組合是非常龐大的. 而深度模型訓(xùn)練的計(jì)算復(fù)雜度隨著參數(shù)輸入組合的增長(zhǎng)而急劇增長(zhǎng)... 大家可以理解這個(gè)事情為啥不簡(jiǎn)單了.

在吳恩達(dá)和Jeff Dean開創(chuàng)性的貓臉生成模型之后, AI科學(xué)家們開始前赴后繼投入到這個(gè)新的挑戰(zhàn)性領(lǐng)域里. 在2014年, AI學(xué)術(shù)界提出了一個(gè)非常重要的深度學(xué)習(xí)模型, 這就是大名鼎鼎的對(duì)抗生成網(wǎng)絡(luò)GAN (Generative Adverserial Network, GAN).

正如同其名字"對(duì)抗生成", 這個(gè)深度學(xué)習(xí)模型的核心理念是讓兩個(gè)內(nèi)部程序 "生成器(generator)" 和"判別器(discriminator)" 互相PK平衡之后得到結(jié)果.

GAN模型一問(wèn)世就風(fēng)靡AI學(xué)術(shù)界, 在多個(gè)領(lǐng)域得到了廣泛的應(yīng)用. 它也隨即成為了很多AI繪畫模型的基礎(chǔ)框架, 其中生成器用來(lái)生成圖片, 而判別器用來(lái)判斷圖片質(zhì)量. GAN的出現(xiàn)大大推動(dòng)了AI繪畫的發(fā)展.

但是, 用基礎(chǔ)的GAN模型進(jìn)行AI繪畫也有比較明顯的缺陷, 一方面是對(duì)輸出結(jié)果的控制力很弱, 容易產(chǎn)生隨機(jī)圖像, 而AI藝術(shù)家的輸出應(yīng)該是穩(wěn)定的. 另外一個(gè)問(wèn)題是生成圖像的分辨率比較低.

分辨率的問(wèn)題還好說(shuō), GAN在"創(chuàng)作"這個(gè)點(diǎn)上還存在一個(gè)死結(jié), 這個(gè)結(jié)恰恰是其自身的核心特點(diǎn): 根據(jù)GAN基本架構(gòu)，判別器要判斷產(chǎn)生的圖像是否和已經(jīng)提供給判別器的其他圖像是同一個(gè)類別的, 這就決定了在最好的情況下, 輸出的圖像也就是對(duì)現(xiàn)有作品的模仿, 而不是創(chuàng)新......

在對(duì)抗生成網(wǎng)絡(luò)GAN之外, 研究人員也開始利用其他種類的深度學(xué)習(xí)模型來(lái)嘗試教AI繪畫.

一個(gè)比較著名的例子是2015年 Google發(fā)布的一個(gè)圖像工具深夢(mèng)(Deep Dream). 深夢(mèng)發(fā)布了一系列畫作, 一時(shí)吸引了很多眼球。谷歌甚至為這個(gè)深夢(mèng)的作品策劃了一場(chǎng)畫展.

但如果較真一下, 深夢(mèng)與其說(shuō)是AI繪畫, 更像是一個(gè)高級(jí)AI版濾鏡, 其濾鏡風(fēng)格一看上面的作品便可明白.

和作品不尷不尬的Deep Dream相比, Google更靠譜的是2017年成千張手繪簡(jiǎn)筆畫圖片訓(xùn)練的一個(gè)模型, AI通過(guò)訓(xùn)練能夠繪制一些簡(jiǎn)筆畫. (Google, 《A Neural Representation of Sketch Drawings》)

這個(gè)模型之所以受到廣泛關(guān)注有一個(gè)原因, Google把相關(guān)源代碼開源了, 因此第三方開發(fā)者可以基于該模型開發(fā)有趣的AI簡(jiǎn)筆畫應(yīng)用. 一個(gè)在線應(yīng)用叫做 “Draw Together with a Neural Network” ，隨意畫幾筆，AI就可以自動(dòng)幫你補(bǔ)充完整個(gè)圖形.

值得注意的是, 在AI繪畫模型的研究過(guò)程中, 各互聯(lián)網(wǎng)大廠成了主力, 除了上述Google所做的研究, 比較有名的是2017年7月, Facebook聯(lián)合羅格斯大學(xué)和查爾斯頓學(xué)院藝術(shù)史系三方合作得到的新模型, 號(hào)稱創(chuàng)造性對(duì)抗網(wǎng)絡(luò) (CAN, Creative Adversarial Networks)

(Facebook, 《CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms》)

從下圖的作品集可以看出，這個(gè)創(chuàng)造性對(duì)抗網(wǎng)絡(luò)CAN在嘗試輸出一些像是藝術(shù)家作品的圖畫，它們是獨(dú)一無(wú)二的，而不是現(xiàn)存藝術(shù)作品的仿品。

CAN模型生成作品里所體現(xiàn)的創(chuàng)造性讓當(dāng)時(shí)的開發(fā)研究人員都感到震驚, 因?yàn)檫@些作品看起來(lái)和藝術(shù)圈子流行的抽象畫非常類似. 于是研究人員組織了一場(chǎng)圖靈測(cè)試，請(qǐng)觀眾們?nèi)ゲ逻@些作品是人類藝術(shù)家的作品，還是人工智能的創(chuàng)作。

結(jié)果, 53%的觀眾認(rèn)為CAN模型的AI藝術(shù)作品出自人類之手, 這在歷史上類似的圖靈測(cè)試?yán)锸状瓮黄瓢霐?shù).

但CAN這個(gè)AI作畫, 僅限于一些抽象表達(dá), 而且就藝術(shù)性評(píng)分而言, 還遠(yuǎn)遠(yuǎn)達(dá)不到人類大師的水平.

更不用說(shuō)創(chuàng)作出一些寫實(shí)或者具象的繪畫作品了, 不存在的.

其實(shí)一直到2021年初, OpenAI發(fā)布了廣受關(guān)注的DALL-E系統(tǒng), 其AI繪畫的水平也就一般, 下面是DALL-E畫一只狐貍的結(jié)果, 勉強(qiáng)可以辨別.

但值得注意的是, 到了DALL-E這里, AI開始擁有了一個(gè)重要的能力, 那就是可以按照文字輸入提示來(lái)進(jìn)行創(chuàng)作了!

接下來(lái), 我們繼續(xù)去探求本文一開始提出的問(wèn)題. 不知各位讀者是否有同感, 自今年以來(lái), AI繪畫的水平突然大漲, 和之前的作品質(zhì)量相比有本質(zhì)的飛躍, 恍然有種一日不見如隔三秋的感覺(jué).

事出必有妖. 究竟發(fā)生了什么情況  我們慢慢道來(lái).

AI繪畫何以突飛猛進(jìn)

在很多科幻電影或劇集里, 往往會(huì)有這么一幕, 主角和特別有科幻感的電腦AI說(shuō)了一句話, 然后AI生成了一個(gè)3D影像, 用VR/AR/全息投影的方式呈現(xiàn)在主角面前.

拋開那些酷炫的視覺(jué)效果包裝, 這里的核心能力是, 人類用語(yǔ)言輸入, 然后電腦AI理解人類的表達(dá), 生成一個(gè)符合要求的圖形圖像, 展示給人類.

仔細(xì)一想, 這個(gè)能力最基礎(chǔ)的形式, 就是一個(gè)AI繪畫的概念嘛. (當(dāng)然, 從平面繪畫到3D生成還稍有一點(diǎn)距離, 但相比于AI憑空創(chuàng)作一幅具象有意義的繪畫作品的難度, 從2D圖自動(dòng)生成對(duì)應(yīng)的3D模型就不是一個(gè)量級(jí)上的問(wèn)題)

所以, 無(wú)論是用說(shuō)話控制, 還是更玄乎的腦電波控制, 科幻影視中的酷炫場(chǎng)景實(shí)際上描述了一種AI能力 , 那就是把"語(yǔ)言描述" 通過(guò)AI理解自動(dòng)變?yōu)榱藞D像. 目前語(yǔ)音自動(dòng)識(shí)別文本的技術(shù)已經(jīng)成熟至極, 所以這本質(zhì)上就是一個(gè)從文本到圖像的AI繪畫過(guò)程.

其實(shí)挺牛逼的, 僅靠文字描述, 沒(méi)有任何參考圖片, AI就能理解并自動(dòng)把對(duì)應(yīng)內(nèi)容給畫出來(lái)了, 而且畫得越來(lái)越好! 這在昨天還感覺(jué)有點(diǎn)遠(yuǎn)的事情, 現(xiàn)在已真真切切出現(xiàn)在所有人的面前.

這一切到底怎么發(fā)生的呢

首先要提到一個(gè)新模型的誕生. 還是前面提到的OpenAI團(tuán)隊(duì), 在2021年1月開源了新的深度學(xué)習(xí)模型 CLIP（Contrastive Language-Image Pre-Training). 一個(gè)當(dāng)今最先進(jìn)的圖像分類人工智能.

CLIP訓(xùn)練AI同時(shí)做了兩個(gè)事情, 一個(gè)是自然語(yǔ)言理解, 一個(gè)是計(jì)算機(jī)視覺(jué)分析. 它被設(shè)計(jì)成一個(gè)有特定用途的能力強(qiáng)大的工具, 那就是做通用的圖像分類, CLIP可以決定圖像和文字提示的對(duì)應(yīng)程度, 比如把貓的圖像和"貓"這個(gè)詞完全匹配起來(lái).

CLIP模型的訓(xùn)練過(guò)程, 簡(jiǎn)單的說(shuō), 就是使用已經(jīng)標(biāo)注好的"文字-圖像"訓(xùn)練數(shù)據(jù), 一方面對(duì)文字進(jìn)行模型訓(xùn)練, 一方面對(duì)圖像進(jìn)行另一個(gè)模型的訓(xùn)練, 不斷調(diào)整兩個(gè)模型內(nèi)部參數(shù), 使得模型分別輸出的文字特征值和圖像特征值能讓對(duì)應(yīng)的"文字-圖像"經(jīng)過(guò)簡(jiǎn)單驗(yàn)證確認(rèn)匹配.

關(guān)鍵的地方來(lái)了, 其實(shí)呢, 之前也有人嘗試過(guò)訓(xùn)練"文字-圖像" 匹配的模型, 但CLIP最大的不同是, 它搜刮了40億個(gè)"文本-圖像"訓(xùn)練數(shù)據(jù)! 通過(guò)這天量的數(shù)據(jù), 再砸入讓人咂舌的昂貴訓(xùn)練時(shí)間, CLIP模型終于修成正果.

聰明的讀者會(huì)問(wèn), 這么多的"文本-圖像"標(biāo)記是誰(shuí)做的呢  40億張啊, 如果都需要人工來(lái)標(biāo)記圖像相關(guān)文字, 那時(shí)間成本和人力成本都是天價(jià). 而這正是CLIP最聰明的地方, 它用的是廣泛散布在互聯(lián)網(wǎng)上的圖片!

互聯(lián)網(wǎng)上的圖片一般都帶有各種文本描述, 比如標(biāo)題, 注釋, 甚至用戶打的標(biāo)簽, 等等, 這就天然的成為了可用的訓(xùn)練樣本. 用這個(gè)特別機(jī)靈的方式, CLIP的訓(xùn)練過(guò)程完全避免了最昂貴費(fèi)時(shí)的人工標(biāo)注, 或者說(shuō), 全世界的互聯(lián)網(wǎng)用戶已經(jīng)提前做了標(biāo)注工作了.

CLIP功能強(qiáng)大, 但無(wú)論如何, 它第一眼看上去, 和藝術(shù)創(chuàng)作似乎沒(méi)啥關(guān)系.

但就在CLIP開源發(fā)布幾天后, 一些機(jī)器學(xué)習(xí)工程師玩家就意識(shí)到, 這個(gè)模型可以用來(lái)做更多的事情. 比如Ryan Murdock, 想出了如何把其他AI連接到CLIP上, 來(lái)打造一個(gè)AI圖像生成器. Ryan Murdock在接受采訪時(shí)說(shuō)：“在我把玩它幾天后，我意識(shí)到我可以生成圖像。”

最終他選擇了BigGAN, 一個(gè)GAN模型的變種, 并將代碼發(fā)布為Colab筆記The Big Sleep.

( 注: Colab Notebook 是Google提供的非常方便的Python Notebook交互式編程筆記本在線服務(wù), 背后是Google云計(jì)算的支持. 略懂技術(shù)的用戶可以在一個(gè)類似筆記本的Web界面上編輯運(yùn)行Python腳本并得到輸出. 重要的是, 這個(gè)編程筆記是可以分享的 )

Big Sleep創(chuàng)作的圖畫其實(shí)略詭異和抽象, 但這是一個(gè)很好的開始.

隨后, 西班牙玩家@RiversHaveWings在此基礎(chǔ)上發(fā)布了CLIP+VQGAN的版本和教程, 這個(gè)版本通過(guò)Twitter被廣為轉(zhuǎn)發(fā)傳播, 引起了AI研究界和愛(ài)好者們的高度關(guān)注. 而這個(gè)ID背后, 正是現(xiàn)在所被熟知的計(jì)算機(jī)數(shù)據(jù)科學(xué)家 Katherine Crowson.

在之前，類似VQ-GAN這樣的生成工具在對(duì)大量圖像進(jìn)行訓(xùn)練后，可以合成類似的新圖像，然而，如讀者還有印象, 前面說(shuō)過(guò), GANs類型的模型本身并不能通過(guò)文字提示生成新圖像, 也不擅長(zhǎng)創(chuàng)作出全新的圖像內(nèi)容.

而把CLIP嫁接到GAN上去生成圖像, 這其中的思路倒也簡(jiǎn)單明了:

既然利用CLIP可以計(jì)算出任意一串文字和哪些圖像特征值相匹配, 那只要把這個(gè)匹配驗(yàn)證過(guò)程鏈接到負(fù)責(zé)生成圖像的AI模型 (比如這里是VQ-GAN), , 負(fù)責(zé)生成圖像的模型反過(guò)來(lái)推導(dǎo)一個(gè)產(chǎn)生合適圖像特征值, 能通過(guò)匹配驗(yàn)證的圖像, 不就得到一幅符合文字描述的作品了嗎

有人認(rèn)為 CLIP+VQGAN是自2015年Deep Dream以來(lái)人工智能藝術(shù)領(lǐng)域最大的創(chuàng)新. 而美妙的是, CLIP+VQGAN對(duì)任何想使用它們的人來(lái)說(shuō)都是現(xiàn)成的。按照Katherine Crowson的線上教程和Colab Notebook, 一個(gè)略懂技術(shù)的用戶可以在幾分鐘內(nèi)運(yùn)行該系統(tǒng).

有意思的是, 上一章也提到, 在同一個(gè)時(shí)間(2021年初), 開源發(fā)布CLIP的OpenAI團(tuán)隊(duì)也發(fā)布了自己的圖像生成引擎DALL-E. DALL-E內(nèi)部也正是用了CLIP, 但DALL-E并不開源!

所以論社區(qū)影響力和貢獻(xiàn), DALL-E完全不能和CLIP+VQGAN的開源實(shí)現(xiàn)發(fā)布相比, 當(dāng)然, 開源CLIP已經(jīng)是OpenAI對(duì)社區(qū)做出的巨大貢獻(xiàn)了.

說(shuō)到開源貢獻(xiàn), 這里還不得不提到LAION.

LAION 是一個(gè)跨全球的非營(yíng)利機(jī)器學(xué)習(xí)研究機(jī)構(gòu)，今年3月開放了當(dāng)前最大規(guī)模的開源跨模態(tài)數(shù)據(jù)庫(kù)LAION-5B，包含接近60億(5.85 Billion)個(gè)圖片-文本對(duì), 可以被用來(lái)訓(xùn)練所有從文字到圖像的的生成模型，也可以用于訓(xùn)練 CLIP這種用于給文本和圖像的匹配程度打分的模型，而這兩者都是現(xiàn)在 AI 圖像生成模型的核心。

除了提供以上的海量訓(xùn)練素材庫(kù)，LAION 還訓(xùn)練 AI 根據(jù)藝術(shù)感和視覺(jué)美感，給LAION-5B 里圖片打分, 并把得高分的圖片歸進(jìn)了一個(gè)叫 LAION-Aesthetics 的子集。

事實(shí)上, 最新的AI繪畫模型包括隨后提到的AI繪畫模型王者 Stable Diffusion都是利用LAION-Aesthetics這個(gè)高質(zhì)量數(shù)據(jù)集訓(xùn)練出來(lái)的.

CLIP+VQGAN 引領(lǐng)了全新一代 AI圖像生成技術(shù)的風(fēng)潮，現(xiàn)在所有的開源 TTI(Text to Image, 文本文本生成圖像)模型的簡(jiǎn)介里都會(huì)對(duì) Katherine Crowson 致謝，她是當(dāng)之無(wú)愧的全新一代AI繪畫模型的奠基者.

技術(shù)玩家們圍繞著CLIP+VQGAN開始形成社區(qū)，代碼不斷有人做優(yōu)化改進(jìn)，還有Twitter賬號(hào)專門收集和發(fā)布AI畫作. 而最早的踐行者 Ryan Murdoch 還因此被招募進(jìn)了Adobe擔(dān)任機(jī)器學(xué)習(xí)算法工程師.

不過(guò)這一波AI作畫浪潮的玩家主要還是AI技術(shù)愛(ài)好者.

盡管和本地部署AI開發(fā)環(huán)境相比, 在Golab Notebooks上跑CLIP+VQGAN的門檻相對(duì)而言已經(jīng)比較低, 但畢竟在Colab申請(qǐng)GPU運(yùn)行代碼并調(diào)用AI輸出圖片，時(shí)不時(shí)還要處理一下代碼報(bào)錯(cuò)，這不是大眾化人群特別是沒(méi)有技術(shù)背景的藝術(shù)創(chuàng)作者們可以做的. 而這也正是現(xiàn)在 MidJourney 這類零門檻的傻瓜式AI付費(fèi)創(chuàng)作服務(wù)大放光彩的原因.

但激動(dòng)人心的進(jìn)展到這里還遠(yuǎn)沒(méi)結(jié)束. 細(xì)心的讀者注意到, CLIP+VQGAN這個(gè)強(qiáng)力組合是去年初發(fā)布并在小圈子傳播的, 但AI繪畫的大眾化關(guān)注, 如開篇所說(shuō), 則是在今年初開始, 由Disco Diffusion這個(gè)線上服務(wù)所引爆. 這里還隔著大半年的時(shí)間. 是什么耽擱了呢

一個(gè)原因是CLIP+VQGAN 模型所用到的圖像生成部分, 即GAN類模型的生成結(jié)果始終不盡如人意.

AI人員注意到了另外一種圖像生成方式.

如果復(fù)習(xí)一下GAN模型的工作原理, 其圖像輸出是內(nèi)部生成器和判斷器的PK妥協(xié)結(jié)果.

但還有另外一種思路, 那就是Diffusion模型(擴(kuò)散化模型).

Diffusion這個(gè)詞也很高大上, 但基本原理說(shuō)出來(lái)大家都能理解, 其實(shí)就是"去噪點(diǎn)". 對(duì), 就是我們熟悉的手機(jī)拍照(特別是夜景拍照)的自動(dòng)降噪功能. 如果把這個(gè)去噪點(diǎn)的計(jì)算過(guò)程反復(fù)進(jìn)行, 在極端的情況下, 是不是可能把一個(gè)完全是噪聲的圖片還原為一個(gè)清晰的圖片呢

靠人當(dāng)然不行, 簡(jiǎn)單的去噪程序也不可能, 但是基于AI能力去一邊"猜"一邊去噪, 倒是可行的.

這就是Diffusion擴(kuò)散化模型的基本思路.

Diffusion擴(kuò)散化模型目前在計(jì)算機(jī)視覺(jué)領(lǐng)域的影響力越來(lái)越大，它能夠高效合成視覺(jué)數(shù)據(jù)，圖片生成完全擊敗了GAN模型, 而在其他領(lǐng)域如視頻生成和音頻合成也展現(xiàn)出了不俗的潛力.

今年初被大眾首先熟知的AI繪畫產(chǎn)品 Disco Diffusion, 正是第一個(gè)基于CLIP + Diffusion 模型的實(shí)用化AI繪畫產(chǎn)品.

但Disco Diffusion的缺點(diǎn)還是有些明顯, 如身為專業(yè)藝術(shù)家的 Stijn Windig 反復(fù)嘗試了Disco Diffusion，認(rèn)為 Disco Diffusion 并沒(méi)有取代人工創(chuàng)作的能力，核心原因有2點(diǎn)：

Disco Diffusion 無(wú)法刻畫具體細(xì)節(jié)，渲染出的圖像第一眼很驚艷，但仔細(xì)觀察就會(huì)發(fā)現(xiàn)大部分都是模糊的概括，達(dá)不到商業(yè)細(xì)節(jié)水準(zhǔn)。

Disco Diffusion的初步渲染時(shí)間是以小時(shí)計(jì)算的, 而要在渲染圖像的基礎(chǔ)上刻畫細(xì)節(jié)，則相當(dāng)于要把整個(gè)圖重新畫一遍，這樣一個(gè)流程下來(lái)花耗費(fèi)的時(shí)間精力，比直接手繪還要多。

不過(guò) Stijn Windig 還是對(duì)AI繪畫的發(fā)展持樂(lè)觀態(tài)度，他覺(jué)得盡管直接利用 Disco Diffusion 進(jìn)行商業(yè)化創(chuàng)作還不可行，但作為一種靈感參考還是非常好的: "……我發(fā)現(xiàn)它更適合作為一個(gè)創(chuàng)意生成器使用。給一個(gè)文字提示，它返回一些圖片能激發(fā)我的想象力，并可以作為草圖用來(lái)在上面繪畫。"

其實(shí)從技術(shù)上來(lái)說(shuō), Stijn提出的兩大痛點(diǎn), 1) AI繪畫細(xì)節(jié)還不夠深入, 2) 渲染時(shí)間過(guò)長(zhǎng), 實(shí)際上都是因?yàn)镈iffusion擴(kuò)散模型的一個(gè)內(nèi)在缺點(diǎn), 這就是反向去噪生成圖片的迭代過(guò)程很慢, 模型在像素空間中進(jìn)行計(jì)算，這會(huì)導(dǎo)致對(duì)計(jì)算時(shí)間和內(nèi)存資源的巨大需求, 在生成高分辨率圖像時(shí)變得異常昂貴。

(像素空間, 有點(diǎn)專業(yè)化的說(shuō)法, 實(shí)際上就是說(shuō)模型直接在原始像素信息層面上做計(jì)算)

因此對(duì)于大眾應(yīng)用級(jí)的平臺(tái)產(chǎn)品, 這個(gè)模型無(wú)法在用戶可以接受的生成時(shí)間里去計(jì)算挖掘更多的圖像細(xì)節(jié), 即便那種草稿級(jí)別的作圖, 也需要耗費(fèi)Disco Diffusion以小時(shí)計(jì)算的時(shí)間.

但無(wú)論如何, Disco Diffusion給出的繪畫質(zhì)量, 相對(duì)于之前的所有AI繪畫模型, 都是碾壓式的超越, 而且已經(jīng)是大部分普通人無(wú)法企及的作畫水平了, Stijn的挑刺只是站在人類專業(yè)創(chuàng)作的高點(diǎn)提出的要求.

但是, Stijn同學(xué)恐怕萬(wàn)萬(wàn)沒(méi)想到, 他所指出的AI繪畫兩大痛點(diǎn), 還沒(méi)過(guò)幾個(gè)月, 就被AI研究人員近乎完美的解決了!

講到這里, 當(dāng)當(dāng)當(dāng)當(dāng), 當(dāng)今世界最強(qiáng)大的AI繪畫模型 Stable Diffusion終于閃亮登場(chǎng)了!

Stable Diffusion今年7月開始測(cè)試, 它非常好的解決了上述痛點(diǎn).

實(shí)際上Stable Diffusion和之前的Diffusion擴(kuò)散化模型相比, 重點(diǎn)是做了一件事, 那就是把模型的計(jì)算空間, 從像素空間經(jīng)過(guò)數(shù)學(xué)變換, 在盡可能保留細(xì)節(jié)信息的情況下降維到一個(gè)稱之為潛空間(Latent Space)的低維空間里, 然后再進(jìn)行繁重的模型訓(xùn)練和圖像生成計(jì)算.

這個(gè)"簡(jiǎn)單"的思路轉(zhuǎn)化, 帶來(lái)了多大的影響呢

基于潛空間的Diffusion模型與像素空間Diffusion模型相比, 大大降低了內(nèi)存和計(jì)算要求。比如Stable Diffusion所使用的潛空間編碼縮減因子為8, 說(shuō)人話就是圖像長(zhǎng)和寬都縮減8倍, 一個(gè)512x512的圖像在潛空間中直接變?yōu)?4x64, 節(jié)省了8x8=64倍的內(nèi)存!

這就是Stable Diffusion之所以又快又好的原因, 它能快速(以秒計(jì)算)生成一張飽含細(xì)節(jié)的512x512圖像, 只需要一張消費(fèi)級(jí)的8GB 2060顯卡即可!

讀者可以簡(jiǎn)單算一下, 如沒(méi)有這個(gè)空間壓縮轉(zhuǎn)換, 要實(shí)現(xiàn)Stable Diffusion 這樣的秒級(jí)圖像生成體驗(yàn), 則需要一張 8Gx64=512G顯存的超級(jí)顯卡. 按照顯卡硬件的發(fā)展規(guī)律來(lái)看, 消費(fèi)級(jí)顯卡達(dá)到這個(gè)顯存恐怕是8-10年后的事情.

而AI研究人員一個(gè)算法上的重要迭代, 把10年后我們才可能享受到的AI作畫成果直接帶到了當(dāng)下所有普通用戶的電腦前!

所以目前大家對(duì)AI繪畫的進(jìn)展感到吃驚是完全正常的, 因?yàn)閺娜ツ甑浇衲? AI繪畫的技術(shù)確實(shí)出現(xiàn)了連續(xù)的突破性的進(jìn)展, 從CLIP模型基于無(wú)需標(biāo)注的海量互聯(lián)網(wǎng)圖片訓(xùn)練大成, 到CLIP開源引發(fā)的AI繪畫模型嫁接熱潮, 然后找到了Diffusion擴(kuò)散化模型作為更好的圖像生成模塊, 最后使用潛空間降維的改進(jìn)方法解決了Diffusion模型時(shí)間和內(nèi)存資源消耗巨大的問(wèn)題... 這一切的一切, 讓人目不暇接, 可以說(shuō)AI繪畫在這一年間, 變化是以天計(jì)算的!

而在這個(gè)過(guò)程中, 最幸福的莫過(guò)于所有AI技術(shù)愛(ài)好者和藝術(shù)創(chuàng)作者們. 大家親眼目睹著停滯了多年的AI繪畫水平以火箭般的速度沖到了頂峰. 毫無(wú)疑問(wèn), 這是AI發(fā)展歷史上的一個(gè)高光時(shí)刻.

而對(duì)所有普通用戶來(lái)說(shuō), 最開心的, 當(dāng)然是享受到了利用Stable Diffusion或者M(jìn)idJourney這樣的當(dāng)今頂級(jí)作畫AI去生成專業(yè)級(jí)別畫作的巨大樂(lè)趣.

有趣的是, Stable Diffusion的誕生還和前面提到的兩位先驅(qū)Katherine Crowson 和Ryan Murdoch 有關(guān). 他們成為了一個(gè)去中心化組織的AI開源研發(fā)團(tuán)隊(duì)EleutherAI的核心成員. 雖然自稱草根團(tuán)隊(duì), 但EleutherAI在超大規(guī)模預(yù)言模型和AI圖像生成領(lǐng)域目前都已經(jīng)是開源團(tuán)隊(duì)的佼佼者.

正是EleutherAI作為技術(shù)核心團(tuán)隊(duì)支持了Stability.AI 這一家創(chuàng)始于英國(guó)倫敦的AI方案提供商. 這些有理想的人們聚在一起, 基于以上這些最新的AI繪畫技術(shù)突破, 推出了當(dāng)今最強(qiáng)大的AI繪畫模型 Stable Diffusion. 重要的是, Stable Diffusion按照承諾, 已經(jīng)在8月完全開源! 這個(gè)重要的開源讓全世界的AI學(xué)者和AI技術(shù)愛(ài)好者感動(dòng)得痛哭流涕. Stable Diffusion一經(jīng)開源, 就始終霸占著GitHub熱榜第一。

Stability.AI徹底履行了它官網(wǎng)首頁(yè)的 Slogan "AI by the people, for the people", 必須給予一個(gè)大大的贊.

下圖是作者線上運(yùn)行的Stable Diffusion, 感謝開源! 話說(shuō)這個(gè)AI生成的自帶光環(huán)的日漫小哥是相當(dāng)?shù)膸洑?)

頂級(jí)AI繪畫模型的PK：

Stable Diffusion V.S. MidJourney

作者在之前文章里已經(jīng)介紹了MidJourney這個(gè)在線AI作畫神器, 它最大的優(yōu)點(diǎn)就是零門檻的交互和非常好的輸出結(jié)果. 創(chuàng)作者無(wú)需任何技術(shù)背景就能利用基于Discord的MidJourney bot進(jìn)行對(duì)話式繪畫創(chuàng)作 (恩, 當(dāng)然, 全英文)

從輸出風(fēng)格上看, MidJourney非常明顯針對(duì)人像做了一些優(yōu)化, 用多了后, MidJourney的風(fēng)格傾向也比較明顯 (作者在MidJourney上花了數(shù)百刀的計(jì)算資源嘗試了各種主題創(chuàng)作后的第一手感受) , 說(shuō)得好聽是比較細(xì)膩討巧, 或者說(shuō), 比較油膩一點(diǎn)點(diǎn).

而Stable Diffusion的作品, 就明顯的更淡雅一些, 更藝術(shù)化一些.

以下是作者使用了同一種文字描述在這兩大平臺(tái)上創(chuàng)作的AI作品對(duì)比. 讀者不妨直接感受一下.

(注: 以下生成畫作均有完全版權(quán), 單獨(dú)轉(zhuǎn)載請(qǐng)注明來(lái)源)

Stable Diffusion(左) V.S. MidJourney(右) :

樹屋

柴油朋克風(fēng)的城市

魔獸世界主城奧格瑞瑪

盔甲狼騎士

碧藍(lán)幻想風(fēng)格漫畫少女

浪漫寫實(shí)主義美女油畫 (風(fēng)格參考丹尼爾·戈?duì)柟? 美國(guó)畫家)

帶有狹長(zhǎng)走道的迷宮般老城市建筑

哪種風(fēng)格更好  其實(shí)蘿卜青菜各有所愛(ài).

因?yàn)樽鲞^(guò)針對(duì)性的優(yōu)化, 如要出人像圖或者糖水風(fēng)格美圖用MidJourney更方便. 但比較了多張作品后, 作者認(rèn)為Stable Diffusion還是明顯技高一籌, 無(wú)論從藝術(shù)表達(dá)上還是風(fēng)格變化的多樣性上.

不過(guò), MidJourney這幾個(gè)月的迭代是有目共睹的快(畢竟是付費(fèi)服務(wù), 很賺錢很有動(dòng)力啊), 加上Stable Diffusion的完全開源, 預(yù)計(jì)相關(guān)技術(shù)優(yōu)勢(shì)會(huì)很快被吸收進(jìn)MidJourney. 而另一方面, Stable Diffusion模型的訓(xùn)練還在持續(xù)進(jìn)行中, 我們可以非常期待, 未來(lái)版本的Stable Diffusion模型也將百尺竿頭更進(jìn)一步.

對(duì)所有的創(chuàng)作者用戶而言, 這都是天大的好事.

AI繪畫的突破對(duì)人類意味著什么

2022年的AI領(lǐng)域, 基于文本生成圖像的AI繪畫模型是風(fēng)頭無(wú)兩的主角. 從2月份的Disco Diffusion開始, 4月 DALL-E 2和MidJourney邀請(qǐng)內(nèi)測(cè), 5月和6月Google發(fā)布兩大模型Imagen 和Parti (不開放內(nèi)測(cè)只有論文, 感覺(jué)略水), 然后7月底, Stable Diffusion橫空出世...

真的讓人眼花繚亂. 也勿怪作者在上篇文章里感慨, 怎么稍不注意AI繪畫的水平就突飛猛進(jìn)到如此地步, 事實(shí)上, 確實(shí)就是在這一年半載里, AI繪畫發(fā)生了革命性的, 甚至可以說(shuō)歷史上會(huì)留名的突破性進(jìn)展.

而接下去的時(shí)間里, AI繪畫, 或者更廣泛的, AI生成內(nèi)容領(lǐng)域(圖像, 聲音, 視頻, 3D內(nèi)容等...)還會(huì)發(fā)生什么, 讓人充滿了遐想和期待.

但不用等待未來(lái), 體驗(yàn)了當(dāng)下以Stable Diffusion 為代表的最先進(jìn)AI繪畫模型所能觸達(dá)的藝術(shù)高度, 我們已經(jīng)基本可以確認(rèn), "想象力"和"創(chuàng)造力"這兩個(gè)曾經(jīng)充滿著神秘主義的詞匯, 同時(shí)也是人類最后的驕傲, 其實(shí)也是可以被技術(shù)解構(gòu)的.

對(duì)人類靈魂神圣至上說(shuō)法的擁護(hù)者而言, 當(dāng)今AI繪畫模型所展現(xiàn)的創(chuàng)造力, 是一種對(duì)信仰的無(wú)情打擊. 所謂靈感, 創(chuàng)造力, 想象力,這些充滿著神性的詞, 即將(或者已經(jīng))被超級(jí)算力+大數(shù)據(jù)+數(shù)學(xué)模型的強(qiáng)力組合無(wú)情打臉了.

事實(shí)上, 類似Stable Diffusion這種AI生成模型的一個(gè)核心思路, 或者說(shuō)很多深度學(xué)習(xí)AI模型的核心思路, 就是把人類創(chuàng)作的內(nèi)容, 表示為某個(gè)高維或者低維數(shù)學(xué)空間里的一個(gè)向量(更簡(jiǎn)單的理解, 一串?dāng)?shù)字). 如果這個(gè)"內(nèi)容->向量"的轉(zhuǎn)化設(shè)計(jì)足夠合理, 那么人類所有的創(chuàng)作內(nèi)容都可以表示為某個(gè)數(shù)學(xué)空間里的部分向量而已. 而存在于這個(gè)無(wú)限的數(shù)學(xué)空間里的其他向量, 正是那些理論上人類可能創(chuàng)造, 但尚未被創(chuàng)造出來(lái)的內(nèi)容. 通過(guò)逆向的"向量->內(nèi)容"的轉(zhuǎn)換, 這些還沒(méi)被創(chuàng)造的內(nèi)容就被AI挖掘出來(lái)了.

這正是目前MidJourney, Stable Diffusion這些最新AI繪畫模型所做的事情. AI可以說(shuō)是在創(chuàng)作新的內(nèi)容, 也可以說(shuō)是新繪畫作品的搬運(yùn)工. AI產(chǎn)生的新繪畫作品在數(shù)學(xué)意義上一直客觀存在, 只是被AI通過(guò)很聰明的方式, 從數(shù)學(xué)空間里還原出來(lái), 而已.

"文章本天成, 妙手偶得之".

這句話放在這里非常合適. 這"天", 是那個(gè)無(wú)限的數(shù)學(xué)空間; 而這"手", 從人類,換成了AI.

數(shù)學(xué)真是世界至高法則。

目前最新AI繪畫的"創(chuàng)造力"開始追趕甚至幾已比肩人類, 這或許進(jìn)一步打擊了人類的尊嚴(yán), 從圍棋阿法狗開始, 人類在"智慧"這個(gè)點(diǎn)的尊嚴(yán)領(lǐng)地已經(jīng)越來(lái)越小, 而AI繪畫的突破性進(jìn)展則進(jìn)一步把人類"想像力"和"創(chuàng)造力"的尊嚴(yán)都打碎了 -- 或許還沒(méi)完全破碎, 但已經(jīng)充滿裂痕搖搖欲墜.

作者一直對(duì)人類的科技發(fā)展保持某種中性看法: 盡管我們寄望于科技讓人類的生活變得更美好, 但事實(shí)上正如核彈的發(fā)明, 有些科學(xué)技術(shù)的出現(xiàn)是中性的, 也可能是致命的. 完全取代人類的超級(jí)AI從實(shí)踐來(lái)看似乎是一件越來(lái)越可能的事情. 人類需要思考的是, 在不太遠(yuǎn)的將來(lái), 我們?cè)谒蓄I(lǐng)域面對(duì)AI都落荒而逃的時(shí)候, 如何保持對(duì)世界的主導(dǎo)權(quán).

有個(gè)朋友說(shuō)的很對(duì), 如果AI最終學(xué)會(huì)了寫代碼 -- 似乎沒(méi)有什么必然的壁壘在阻止這件事的發(fā)生 -- 那么電影<終結(jié)者>的故事或許就要發(fā)生了. 如果這樣太悲觀, 那么人類至少要考慮, 如何與一個(gè)超越自己所有智慧和創(chuàng)造力的AI世界相處.

當(dāng)然咯, 樂(lè)觀的角度而言, 未來(lái)的世界只會(huì)更美好: 人類通過(guò)AR/VR接入統(tǒng)一的或者個(gè)人的元宇宙, 人類主人只要?jiǎng)觿?dòng)嘴皮子, 無(wú)所不能的AI助理就能根據(jù)要求自動(dòng)生成內(nèi)容, 甚至直接生成可供人類體驗(yàn)的故事/游戲/虛擬生活.

這是一個(gè)更美好的盜夢(mèng)空間, 還是一個(gè)更美好的黑客帝國(guó)  (笑)

無(wú)論如何, 今天我們見證的AI繪畫能力的突破和超越, 正是這條不歸路的第一步.

說(shuō)個(gè)題外話作為結(jié)尾. 盡管還沒(méi)出現(xiàn), 但應(yīng)該就在這兩年, 我們可以直接讓AI生成一本指定風(fēng)格的完整長(zhǎng)篇小說(shuō), 特別是那些類型化的作品, 比如<斗破蒼穹>,<凡人修仙傳>這樣的玄幻小說(shuō), 還可以指定長(zhǎng)度, 指定女主角個(gè)數(shù), 指定情節(jié)傾向性, 指定悲情程度和熱血程度, 甚至xx程度, AI一鍵生成 .

這完全不是天方夜譚, 考慮到AI繪畫這一年坐火箭般的發(fā)展速度, 作者甚至覺(jué)得這一天就近在眼前.

目前還沒(méi)有AI模型可以生成足夠感染力和邏輯性的長(zhǎng)篇文學(xué)內(nèi)容, 但從AI繪畫模型氣勢(shì)洶洶的發(fā)展態(tài)勢(shì)來(lái)看, 不久的將來(lái)AI生成高質(zhì)量的類型文學(xué)作品幾乎已是板上釘釘?shù)氖虑? 理論上沒(méi)有任何的疑問(wèn).

這樣說(shuō)或許打擊了那些辛苦碼字的網(wǎng)文作者, 但作為一個(gè)技術(shù)愛(ài)好者和玄幻小說(shuō)愛(ài)好者, 作者對(duì)這一天的到來(lái)還是有些期待的... 從此再也不需催更, 也不需要擔(dān)心連載作者的寫作狀態(tài)了; 更美好的是, 看到一半如覺(jué)得不爽, 還可以隨時(shí)讓AI調(diào)整后續(xù)情節(jié)方向重新生成再繼續(xù)看...

若你還不確定這樣的一天即將到來(lái), 我們可以求同存異, 一起等待.

最后分享一組作者用stable diffusion生成的細(xì)節(jié)完全不同, 風(fēng)格又完全一致, 質(zhì)量還永遠(yuǎn)保持滿格的"帶有狹長(zhǎng)走道的城市迷宮老建筑區(qū)"系列. 看著這些精美的AI作品, 作者只有一種感覺(jué), AI創(chuàng)作有"靈魂"了, 不知讀者們, 是否有同感

城主/Web3天空之城

來(lái)源：Web3天空之城