黑云知舊柳，時日萬年春。

楊柳秋云雪，光微欲滿霜。

相隨無寂寞，出國自曾之。

不是諸侯客，今朝憶白頭。

今年早些時候，受到Karpathy的《不可思議的神經(jīng)網(wǎng)絡(luò)》啟發(fā)，我訓(xùn)練出了一個能做近體唐詩的神經(jīng)網(wǎng)絡(luò)。具體效果如何請各位看官移步到這個展示頁面上面來自行鑒賞。代碼已經(jīng)放在Github上面。

神經(jīng)網(wǎng)絡(luò)(Neural Network)最近被吹捧的很厲害。各大公司們覺得好像找到了一個解決無數(shù)問題的方法，學(xué)術(shù)界覺得找到了一個能讓自己論文數(shù)量翻倍的利器。它目前應(yīng)用在圖像和語言方面的效果非常好，原因有兩個：

傳統(tǒng)的機器學(xué)習(xí)方法都是建立在統(tǒng)計的基礎(chǔ)上，但是當(dāng)數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系難以用統(tǒng)計來描述的時候傳統(tǒng)方法就無能為力了。

傳統(tǒng)的機器學(xué)習(xí)很多時候需要專家的知識來挑選特征(feature)，特征的好壞跟學(xué)習(xí)成果有很大的關(guān)系。但是很多時候程序員們并不是繪畫、語言學(xué)、古典文學(xué)或者X光片診斷專家，挑出來的特征效果往往不好。往往就算是專家，因為人的學(xué)習(xí)過程跟程序的學(xué)習(xí)過程不同，可能同樣的特征還是沒有用。

神經(jīng)網(wǎng)絡(luò)的厲害之處就在于它克服了以上兩個難點。一是神經(jīng)網(wǎng)絡(luò)里面每一個神經(jīng)元都有非線性的公式，有辦法抓取復(fù)雜的難以用數(shù)學(xué)公式描述的關(guān)系。二是最近幾年大家經(jīng)常在媒體上面見到的一些做語音識別，圖像識別的網(wǎng)絡(luò)，它們訓(xùn)練的時候都是原始數(shù)據(jù)輸入，到結(jié)果直接輸出的模型(End to End)。對于程序員來說這是一個福音，因為他們現(xiàn)在并不需要在某個領(lǐng)域成為專家就能做一些非常好玩實用的程序。就拿這個作詩的模型作為例子。我以前中學(xué)的時候成天語文不及格，一度以為自己再接著寫作文就要給中國文學(xué)丟臉了?，F(xiàn)在這個作詩程序?qū)懗鰜淼脑姳任覍懙煤茫康牟⒉皇俏覍μ圃姷难芯?，而是它在?jīng)過翻閱了40314首近體詩之后自己總結(jié)出來的規(guī)律。

但是即便如此，簡單的神經(jīng)網(wǎng)絡(luò)也是有局限性的。你可以發(fā)現(xiàn)在Karpathy原文里面的例子中，雖然他的莎翁、學(xué)術(shù)論文乍看都有點像，但是如果仔細都下去就會發(fā)現(xiàn)經(jīng)常前后牛頭不對馬嘴。這個是受到時間遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，以下都叫RNN)本身限制所致。

具體原因就是RNN的使用時候的結(jié)構(gòu)，可以參照下面這張圖。

RNN 來源：Andrej Karpathy

每一次的輸出會被當(dāng)作下一次的輸入又返還到神經(jīng)網(wǎng)絡(luò)里面去。訓(xùn)練這個神經(jīng)網(wǎng)絡(luò)就是把這個過程逆向，從最后的輸出開始往之前的輸出推，每一次推的時候要用到當(dāng)時的輸入和輸出計算梯度(gradient)。雖然理論上說，神經(jīng)網(wǎng)絡(luò)輸出第1個字符時候的狀態(tài)會影響到第1000個字符，但是在實際運用當(dāng)中如果你當(dāng)真把第1000個字符的梯度退回到第1個時間狀態(tài)，就會有兩個問題

需要儲存999個中間值，這些中間值很快就會吃光你的內(nèi)存。

Vanishing/Exploding Gradient, 太遠的gradient可能就太大爆掉，或者太小對神經(jīng)網(wǎng)絡(luò)完全沒有影響所以在Karpathy的例子里面他用了默認100個英文字母，所以出來的結(jié)果就是神經(jīng)網(wǎng)絡(luò)到后面的時候就會忘記自己在前面說了什么。雖然能夠?qū)W到詞的拼寫和其前后關(guān)系，但是一個段落里面的邏輯關(guān)系就無能為力。

近體詩的幾個特點反倒讓這個神經(jīng)網(wǎng)絡(luò)非常適合。這里所說的近體詩就是五言和七言的律詩、絕句。

字數(shù)有限。近體詩最長的就是七律，加上標點符號總共就才64個字符。一個能記住30個字符的神經(jīng)網(wǎng)絡(luò)輕松能利用之前記住的半首詩來推斷下一個字是什么。

句式固定。五言七言兩種結(jié)構(gòu)簡單明了，單數(shù)距逗號結(jié)尾，偶數(shù)句句號結(jié)尾。神經(jīng)網(wǎng)絡(luò)不需要花太多功夫就能記住這個規(guī)律。

規(guī)律明確。因為近體詩對平仄對仗的要求，每一句選字都跟上一句相對應(yīng)的字有一定的聯(lián)系。神經(jīng)網(wǎng)絡(luò)有足夠多的參照例句來學(xué)習(xí)這個對應(yīng)關(guān)系。

把訓(xùn)練這個網(wǎng)絡(luò)的成本大概列一下，給同樣想訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò)的同學(xué)們參考。今后如果大家碰到類似的問題，不妨用RNN試試。

大概$150的AWS的GPU 節(jié)點使用費，和一些其他忽略不計的數(shù)據(jù)處理的各種CPU節(jié)點。

一周收集并清理全唐詩。

然后訓(xùn)練的時候走了很多彎路，最后這個model在一個月之后才弄出來的。

處理平仄花了一周。最后還是希望大家能接著發(fā)揚中國傳統(tǒng)文化，少走程序員的歪門邪道，真正學(xué)會寫唐詩。

以下是技術(shù)細節(jié)，想玩神經(jīng)網(wǎng)絡(luò)的人可以看一看。

整個訓(xùn)練中最大的敵人就是GPU的顯存限制。

訓(xùn)練的時候做的每做一件事都要看顯存的臉色，在AWS上面用只有4G顯存的K40非常讓人惱火。通常情況下越大的網(wǎng)絡(luò)就能學(xué)到更多的東西。但是也會很快的碰到內(nèi)存耗盡的錯誤。折衷的辦法有，但是非常少。

降低每批次樣本量(batch size)。這個會增加訓(xùn)練時間，省出來的內(nèi)存并不多。我就沒用。

降低網(wǎng)絡(luò)神經(jīng)元數(shù)量。這個雖然減少訓(xùn)練時間，不過是以精度為代價的，所以這個應(yīng)該是最后才用的手段。

半精度浮點，不過好像是因為Torch里面還沒有實現(xiàn)，沒有找到相應(yīng)的API。

在訓(xùn)練全唐詩的時候還可以降低字典大小，這個不光增加了常用字的精度，也減少了內(nèi)存占用量。這個辦法比較推薦。第三節(jié)會詳細描述。

LSTM與RNN的對比

RNN有兩個著名的衍生姐妹，Gated Recurrent Unit和Long-Short-Term Memory。兩個的模塊圖都非常復(fù)雜，箭頭飛來飛去，我也看的不是太懂。就連斯坦福的Richard Socher在上課的時候都說現(xiàn)在沒有一個LSTM的模塊圖是即容易看懂又完全正確的，他也沒轍，就畫了這么一個盒子。

LSTM 來源：Richard Socher

在Karparthy當(dāng)時發(fā)布他的代碼的時候好像GRU和RNN都有一些問題，就只有LSTM能工作。所以后來我又從網(wǎng)上另外找了個Element Research的RNN放進去。理論上來說LSTM的優(yōu)勢在于它在“該忘記過去”的時候能“忘記過去”。但是我能注意到的差別就是RNN的訓(xùn)練時間較短，但是錯誤率卻降不下去，沒有什么用。LSTM訓(xùn)練時間長很多，但是最后效果好不少。

Word Embedding的重要性，以及詞典的大小

在神經(jīng)網(wǎng)絡(luò)里面每一輸入輸出最后都是向量或者矩陣。所以為了把所有的字都能轉(zhuǎn)化成向量，用到的一個技巧就是embedding。每一個字變成一個獨特的向量，里面只能有一個1。舉個例子，我現(xiàn)在有5個字：我，愛，賦，唐，詩。

這五個字分別變成[1 0 0 0 0], [0 1 0 0 0]等等，作為神經(jīng)網(wǎng)絡(luò)的輸入。所以當(dāng)輸入的數(shù)據(jù)里面有3000個不同字符的時候這個向量就會是2999個0和1個1。 神經(jīng)網(wǎng)絡(luò)的第一層實現(xiàn)的功能就是把這個很長的one hot vector變成一個獨特的長度更低的向量。

因為全唐詩里面用到了5828個不同的字，如果全部都放到字典里面的話顯存馬上就被吃光了。而且一些出現(xiàn)次數(shù)較少的字神經(jīng)網(wǎng)絡(luò)缺乏足夠多的數(shù)據(jù)去學(xué)習(xí)它的意義，所以在實際使用的時候我只取了出現(xiàn)頻率最高的2000個字，用34%的獨立字符覆蓋了94.56%的總體字數(shù)。剩下的都用一個*代過了。

按道理來說如果有實現(xiàn)訓(xùn)練好的類似word2vec的語言模型效果應(yīng)該會好很多。可是我也沒有那么多錢去租機器和收集現(xiàn)在網(wǎng)絡(luò)上所有的中文數(shù)據(jù)，估計只有百度這種規(guī)模的公司才有足夠的數(shù)據(jù)和資源來做了。

加入起始和終止字符，讓結(jié)構(gòu)更加明確

神經(jīng)網(wǎng)絡(luò)并沒有辦法知道哪里是詩的開頭和結(jié)尾，這樣訓(xùn)練出來的模型經(jīng)常會只給你半首詩然后就“分心”了。我在輸入的每一個開頭放了一個^，結(jié)尾放了個$，神經(jīng)網(wǎng)絡(luò)就能輸出完整的詩了。

利用Dropout增加準確率

Dropout的意思就是在訓(xùn)練的時候一定數(shù)量內(nèi)部的神經(jīng)元會被隨機的設(shè)置為零，但是訓(xùn)練完了之后把他們回復(fù)原狀?？梢韵胂笠粋€小孩學(xué)習(xí)如何識別一輛車，她每次只能看到不同的車的部分，而不是每次都看整輛車。根據(jù)生活經(jīng)驗訓(xùn)練出來的小孩你最后給她一張完整的汽車圖她肯定也會告訴你這是汽車。Dropout就是在訓(xùn)練的過程中遮擋一部分特征。為什么這樣做能增加神經(jīng)網(wǎng)絡(luò)的準確率還是一個正在被研究的問題。

我嘗試過0,0.2,0.5三個值，最后0.2給出來的結(jié)果最好。

用不同的SGD方法效果并不明顯

Torch里面帶了不少做Gradient Descent的變種，不過我試了幾個好像區(qū)別不大。Karpathy的代碼里面默認就是RMSprop。他的解釋是

I like to use RMSProp (a per-parameter adaptive learning rate) to stablilize the updates.

生成的字符表是一個概率分布

最后解釋一下這個神經(jīng)網(wǎng)絡(luò)的生成結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)每次在做預(yù)測的時候并不是給出某一個字符，而是給出一個整個字典里面所有字可能出現(xiàn)的概率。

例如如果我用“月”字打頭的時候，每當(dāng)神經(jīng)網(wǎng)絡(luò)需要生成下一個字符時，神經(jīng)網(wǎng)絡(luò)就會產(chǎn)生的概率表。每一行代表一個字，例如第一行就是“月”后面的第一個字，“人”出現(xiàn)的概率是4%，“山”出現(xiàn)的概率是3%，不過最后隨機抽樣的結(jié)果是“如”。接下來“如”字后面更有可能出現(xiàn)“不”，“如不”， 聽上去想是一個像樣的詞，不過因為程序在隨機抽樣，“紅”字最終當(dāng)選。這里列舉的每一行只包括概率最高的幾個候選字符，概率更低的字被省略了。如果你仔細看就會發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)到了唐詩里面的高頻詞，如“千里”， “江上”， “平生”。 值得注意的就是當(dāng)“，”或者“。”出現(xiàn)的時候他們的概率都是80%以上，這也能說明神經(jīng)網(wǎng)絡(luò)已經(jīng)知道在什么時候應(yīng)該斷句了。

如 人/0.04 山/0.03 無/0.01 ，/0.01 家/0.01 春/0.01 云/0.01

紅 不/0.02 一/0.01 無/0.01 山/0.01 春/0.01 何/0.01 風(fēng)/0.01

落 樹/0.11 葉/0.11 草/0.06 下/0.04 雨/0.03 水/0.03 柳/0.03

來 不/0.02 日/0.01 水/0.01 一/0.01 滿/0.01 夜/0.01 月/0.01

， ，/0.82 無/0.01 山/0.01 春/0.00 相/0.00 風(fēng)/0.00 不/0.00

千 一/0.02 不/0.02 白/0.02 此/0.02 春/0.02 秋/0.01 風(fēng)/0.01

里 里/0.86 古/0.02 載/0.02 事/0.01 歲/0.01 樹/0.01 萬/0.01

謝 不/0.03 一/0.02 獨/0.02 白/0.02 見/0.01 向/0.01 有/0.01

平 江/0.05 公/0.05 君/0.04 山/0.04 人/0.03 家/0.03 天/0.02

君 生/0.12 州/0.06 城/0.05 山/0.04 陽/0.03 門/0.02 家/0.02

。 。/0.97 $/0.03 ，/0.00 人/0.00 不/0.00 相/0.00 此/0.00

江 白/0.03 不/0.02 一/0.02 日/0.02 野/0.02 夜/0.01 月/0.01

水 上/0.31 水/0.20 海/0.05 月/0.04 北/0.04 樹/0.03 路/0.02

將 無/0.03 春/0.02 山/0.02 秋/0.02 千/0.02 云/0.02 連/0.02

這就是為什么你給同樣的字打頭，每次輸出的詩內(nèi)容卻是不同的原因。

將平水韻作為神經(jīng)網(wǎng)絡(luò)的輸出過濾

這個神經(jīng)網(wǎng)絡(luò)訓(xùn)練到最后關(guān)鍵的押韻效果并不好。因為就像上面說的，每次取字的時候它都在“抽牌”，很有可能就抽到不押韻的字。所以我把整個《平水韻》的字符表都放在程序里面作為最后過濾的一道工序。因為也不是每一個字在詩里面都要符合平仄的規(guī)律，所以我在詩需要平仄的地方把抽到但是不合理的字符規(guī)律的給去掉重新抽。所以最后平仄還是符合的。

但是如果要押韻的話就需要事先知道神經(jīng)網(wǎng)絡(luò)正在做的這首詩是律詩還是絕句，因為絕句和律詩韻腳的位置是不一樣的?？上г谒髟娡瓿芍埃也⒉恢浪鼤谑裁磿r候截至，所以并不知道輸出的是什么格式。最后韻腳這塊還沒有做。有一個辦法就是拿已有的詩再重新填回到神經(jīng)網(wǎng)絡(luò)里面，然后在出該出韻腳的時候再加個韻腳過濾。

另一個更徹底的辦法應(yīng)該是把平仄和韻腳當(dāng)成一個特征也作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入。這樣應(yīng)該不用額外再加后期處理。不過因為時間有限這還沒有來得及實驗。

來源：36大數(shù)據(jù)