遷移學(xué)習(xí)的特點(diǎn)

1、需求數(shù)據(jù)量少

假設(shè)有兩個領(lǐng)域，一個領(lǐng)域已經(jīng)有很多的數(shù)據(jù)，能成功地建一個模型，有一個領(lǐng)域數(shù)據(jù)不多，但是和前面那個領(lǐng)域是關(guān)聯(lián)的，就可以把那個模型給遷移過來。比如，我們想做一個化妝品推薦模型，但數(shù)據(jù)量較少，可以先用一個成型的較為穩(wěn)定的飾品推薦模型進(jìn)行調(diào)優(yōu)。跨領(lǐng)域的在學(xué)術(shù)界也有嘗試哦，比如網(wǎng)絡(luò)搜索可以遷移到推薦，圖象識別可以遷移到文本識別。

2、訓(xùn)練時間少

在沒有GPU的普通臺式機(jī)或者筆記本上，實現(xiàn)Google的Inception-v3模型遷移學(xué)習(xí)訓(xùn)練過程只需要大約五分鐘(tensorflow框架)。

3、容易滿足個性化需求

比如每個人都希望自己的手機(jī)能夠記住一些習(xí)慣，這樣不用每次都去設(shè)定它，怎么才能讓手機(jī)記住這一點(diǎn)呢

其實可以通過遷移學(xué)習(xí)把一個通用的用戶使用手機(jī)的模型遷移到個性化的數(shù)據(jù)上面 。不過，如果數(shù)據(jù)量足夠的情況下，遷移學(xué)習(xí)的效果一般不如完全重新訓(xùn)練哦。遷移學(xué)習(xí)適合與快速小巧的工程化，解決所謂的冷啟動問題，當(dāng)數(shù)據(jù)收集得足夠多了以后，我們再改用深度學(xué)習(xí)。

遷移學(xué)習(xí)四種實現(xiàn)方法

1、樣本遷移Instance-based Transfer Learning

一般就是對樣本進(jìn)行加權(quán)，給比較重要的樣本較大的權(quán)重。

樣本遷移即在數(shù)據(jù)集(源領(lǐng)域)中找到與目標(biāo)領(lǐng)域相似的數(shù)據(jù)，把這個數(shù)據(jù)放大多倍，與目標(biāo)領(lǐng)域的數(shù)據(jù)進(jìn)行匹配。其特點(diǎn)是：需要對不同例子加權(quán);需要用數(shù)據(jù)進(jìn)行訓(xùn)練。比如下圖，可以將一個動物識模型的源數(shù)據(jù)中的狗狗圖片增多，達(dá)到專門針對狗的識別模型。

2、特征遷移Feature-based Transfer Learning

在特征空間進(jìn)行遷移，一般需要把源領(lǐng)域和目標(biāo)領(lǐng)域的特征投影到同一個特征空間里進(jìn)行。

如下圖示例，特征遷移是通過觀察源領(lǐng)域圖像與目標(biāo)域圖像之間的共同特征，然后利用觀察所得的共同特征在不同層級的特征間進(jìn)行自動遷移。

3、模型遷移Model-based Transfer Learning

整個模型應(yīng)用到目標(biāo)領(lǐng)域去，比如目前常用的對預(yù)訓(xùn)練好的深度網(wǎng)絡(luò)做微調(diào)，也可以叫做參數(shù)遷移。

模型遷移利用上千萬的圖象訓(xùn)練一個圖象識別的系統(tǒng)，當(dāng)我們遇到一個新的圖象領(lǐng)域，就不用再去找?guī)浊f個圖象來訓(xùn)練了，可以原來的圖像識別系統(tǒng)遷移到新的領(lǐng)域，所以在新的領(lǐng)域只用幾萬張圖片同樣能夠獲取相同的效果。模型遷移的一個好處是我們可以區(qū)分，就是可以和深度學(xué)習(xí)結(jié)合起來，我們可以區(qū)分不同層次可遷移的度，相似度比較高的那些層次他們被遷移的可能性就大一些 。

這里講一個例子，比如我們想將訓(xùn)練好的Inception-v3簡單調(diào)整，解決一個新的圖像分類問題。根據(jù)論文DeCAF : A Deep Convolutional Activation Feature for Generic Visual Recognition中的結(jié)論，可以保留訓(xùn)練好的Inception-v3模型中所有卷積層的參數(shù)，只是替換最后一層全連階層。在最后這一層全連階層之前的網(wǎng)絡(luò)層稱之為瓶頸層。

將新的圖像通過訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)直到瓶頸層的過程可以看成是對圖像進(jìn)行特征提取的過程。在訓(xùn)練好的Inception-v3模型中，因為將瓶頸層的輸出再通過一個單層的全連接層神經(jīng)網(wǎng)絡(luò)可以很好的區(qū)分1000種類別的圖像，所以有理由認(rèn)為瓶頸層輸出的借點(diǎn)向量可以作為任何圖像的一個新的單層全連接神經(jīng)網(wǎng)絡(luò)處理新的分類問題。

4、關(guān)系遷移Relational Transfer Learning

如社會網(wǎng)絡(luò)，社交網(wǎng)絡(luò)之間的遷移。

根據(jù)源和目標(biāo)領(lǐng)域是否相同、源和目標(biāo)任務(wù)是否相同、以及源和目標(biāo)領(lǐng)域是否有標(biāo)注數(shù)據(jù)，又可以把遷移學(xué)習(xí)分成如下圖所示：

前沿的遷移學(xué)習(xí)方向

1、Reinforcement Transfer Learning

怎么遷移智能體學(xué)習(xí)到的知識：比如我學(xué)會了一個游戲，那么我在另一個相似的游戲里面也是可以應(yīng)用一些類似的策略的。

2、Transitive Transfer Learning

傳遞性遷移學(xué)習(xí)，兩個domain之間如果相隔得太遠(yuǎn)，那么我們就插入一些intermediate domains，一步步做遷移。

3、Source-Free Transfer Learning

不知道是哪個源領(lǐng)域的情況下如何進(jìn)行遷移學(xué)習(xí)。

二、假如你目前有了一些代表性數(shù)據(jù)集，進(jìn)入了溫飽階段，恨不得壓榨出每一滴數(shù)據(jù)的價值，又害怕用力過以偏概全(俗稱過擬合)。那么我們可能需要如下技巧。

嚴(yán)防死守過擬合(所謂盡人事，聽……)

深度學(xué)習(xí)由于超參數(shù)的個數(shù)比較多，訓(xùn)練樣本數(shù)目相對超參數(shù)來說略顯不足，一不小心就容易發(fā)生過擬合。從本質(zhì)上來說，過擬合是因為模型的學(xué)習(xí)能力太強(qiáng)，除了學(xué)習(xí)到了樣本空間的共有特性外，還學(xué)習(xí)到了訓(xùn)練樣本集上的噪聲。因為這些噪聲的存在，導(dǎo)致了模型的泛化性能下降。

深度學(xué)習(xí)中有幾種較為常用的改善過擬合方法：

1、data augmentation

data augmentation即數(shù)據(jù)增強(qiáng)，數(shù)據(jù)增強(qiáng)其實是增加訓(xùn)練樣本的一種方法。以人臉識別為例，對于人臉識別的數(shù)據(jù)增強(qiáng)，一般有隨機(jī)裁剪，隨機(jī)加光照，隨機(jī)左右翻轉(zhuǎn)等。

通過類似的手段，無論是圖像處理，還是語音或者自然語言處理，我們都能有效地增加樣本數(shù)量。更多的訓(xùn)練樣本意味著模型能夠?qū)W到更多的本質(zhì)特征，具有對于噪聲更好的魯棒性，從而具有更好的泛化性能，能夠有效地避免過擬合。

2、early stopping

early stopping，顧名思義，就是在訓(xùn)練次數(shù)沒有達(dá)到預(yù)先設(shè)定的最大訓(xùn)練次數(shù)時，我們就讓網(wǎng)絡(luò)停止訓(xùn)練。采用early stopping需要我們在訓(xùn)練集合上劃分出一小部分(大概10%~30%吧)作為驗證集，驗證集不參與訓(xùn)練，可以視為是我們知道結(jié)果的測試集。我們通過實時監(jiān)控模型在驗證集上的表現(xiàn)來(實時監(jiān)控并不意味著每次迭代都去監(jiān)控，可以每1000次去觀察一次)，一旦模型在驗證集上的表現(xiàn)呈現(xiàn)下降趨勢，我們就停止訓(xùn)練，因為再訓(xùn)練下去模型的泛化性能只會更差。

而實際訓(xùn)練中，我們不可能一直坐在電腦旁觀察驗證集的準(zhǔn)確率，更一般的做法是每隔一段時間(比如每1000次迭代)就保存一次模型，然后選擇在驗證集上效果最好的模型作為最終的模型。

3、增加Dropout層

Dropout(https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf )原理非常簡單，Dropout t的作用對象是layer，對于某一層中的每個節(jié)點(diǎn)，Dropout技術(shù)使得該節(jié)點(diǎn)以一定的概率p不參與到訓(xùn)練的過程中(即前向傳導(dǎo)時不參與計算，bp計算時不參與梯度更新)。

如上圖所示，實驗證明了，Dropout的效果非常爆炸，對于模型訓(xùn)練有非常好的效果。

為什么Dropout能起到這么大作用呢

一個原因是通過Dropout，節(jié)點(diǎn)之間的耦合度降低了，節(jié)點(diǎn)對于其他節(jié)點(diǎn)不再那么敏感了，這樣就可以促使模型學(xué)到更加魯棒的特征;

第二個是Dropout 層中的每個節(jié)點(diǎn)都沒有得到充分的訓(xùn)練(因為它們只有一半的出勤率)，這樣就避免了對于訓(xùn)練樣本的過分學(xué)習(xí);

第三個原因是在測試階段，Dropout 層的所有節(jié)點(diǎn)都用上了，這樣就起到了ensemble的作用，ensemble能夠有效地克服模型的過擬合。

在實際的模型訓(xùn)練中，ropout在一般的框架中初始默認(rèn)的0.5概率的丟棄率是保守的選擇，如果模型不是很復(fù)雜，設(shè)置為0.2就夠了。

不過也要注意到Dropout的缺點(diǎn)：

(1)Dropout是一個正則化技術(shù),它減少了模型的有效容量。為了抵消這種影響,我們必須增大模型規(guī)模。不出意外的話,使用Dropout時最佳驗證集的誤差會低很多,但這是以更大的模型和更多訓(xùn)練算法的迭代次數(shù)為代價換來的。對于非常大的數(shù)據(jù)集,正則化帶來的泛化誤差減少得很小。

在這些情況下,使用Dropout和更大模型的計算代價可能超過正則化帶來的好處。

(2)只有極少的訓(xùn)練樣本可用時,Dropout不會很有效。

4、weight penality(L1&L2)

第四種常用的辦法就是weight decay,weight decay通過L1 norm和L2 norm強(qiáng)制地讓模型學(xué)習(xí)到比較小的權(quán)值。

這里有兩個問題：

(1)為什么L1和L2 norm能夠?qū)W習(xí)到比較小的權(quán)值

(2)為什么比較小的權(quán)值能夠防止過擬合

對于第二個問題：

過擬合的本質(zhì)是什么呢 無非就是對于非本質(zhì)特征的噪聲過于敏感，把訓(xùn)練樣本里的噪聲當(dāng)作了特征，以至于在測試集上的表現(xiàn)非常稀爛。當(dāng)權(quán)值比較小時，當(dāng)輸入有輕微的改動(噪聲)時，結(jié)果所受到的影響也比較小，所以懲罰項能在一定程度上防止過擬合。

除了千方百計增加數(shù)據(jù)多樣性，還要增加模型的多樣性

1、試試不斷調(diào)整隱層單元和數(shù)量

調(diào)模型，要有點(diǎn)靠天吃飯的寬容心態(tài)，沒事就調(diào)調(diào)隱層單元和數(shù)量，省的GPU閑著，總有一款適合你。

一般來說，隱層單元數(shù)量多少決定了模型是否欠擬合或過擬合，兩害相權(quán)取其輕，盡量選擇更多的隱層單元，因為可以通過正則化的方法避免過擬合。與此類似的，盡可能的添加隱層數(shù)量，直到測試誤差不再改變?yōu)橹埂?/p>

2、試試兩個模型或者多個模型concat

比如，兩種不同分辨率的圖像數(shù)據(jù)集，分別訓(xùn)練出網(wǎng)絡(luò)模型a和網(wǎng)絡(luò)模型b，那么將a和b的瓶頸層concat在一起，用一個全連接層(或者隨便你怎么連，試著玩玩沒壞處)連起來，，輸入concat后的圖片，訓(xùn)練結(jié)果可能比單個網(wǎng)絡(luò)模型效果要好很多哦。

loss函數(shù)那些事兒

這里只從模型調(diào)優(yōu)的tric角度來介紹下。

Softmax-loss算是最常用的loss方法了，但是Softmax-loss不會適用于所有問題。比如在數(shù)據(jù)量不足夠大的情況下，softmax訓(xùn)練出來的人臉模型性能差，ECCV 2016有篇文章(A Discriminative Feature Learning Approach for Deep Face Recognition)提出了權(quán)衡的解決方案。通過添加center loss使得簡單的softmax就能夠訓(xùn)練出擁有內(nèi)聚性的特征。該特點(diǎn)在人臉識別上尤為重要，從而使得在很少的數(shù)據(jù)情況下訓(xùn)練出來的模型也能有很好的作用。此外，contrastive-loss和triplet-loss也有其各自的好處，需要采樣過程，有興趣的可以多了解下。

花式調(diào)優(yōu)

1、batch size設(shè)置

batch size一般設(shè)定為2的指數(shù)倍，如64，128，512等，因為無論是多核CPU還是GPU加速，內(nèi)存管理仍然以字節(jié)為基本單元做硬件優(yōu)化，2的倍數(shù)設(shè)置將有效提高矩陣分片、張量計算等操作的硬件處理效率。

不同batch size的模型可能會帶來意想不到的準(zhǔn)確率提升，這個調(diào)節(jié)其實是有一定規(guī)律和技巧的。

2、激勵函數(shù)

激勵函數(shù)為模型引入必要的非線性因素。Sigmoid函數(shù)由于其可微分的性質(zhì)是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的最佳選擇，但在深層網(wǎng)絡(luò)中會引入梯度消失和非零點(diǎn)中心問題。Tanh函數(shù)可避免非零點(diǎn)中心問題。ReLU激勵函數(shù)很受歡迎，它更容易學(xué)習(xí)優(yōu)化。因為其分段線性性質(zhì)，導(dǎo)致其前傳，后傳，求導(dǎo)都是分段線性，而傳統(tǒng)的sigmoid函數(shù)，由于兩端飽和，在傳播過程中容易丟棄信息。ReLU激勵函數(shù)缺點(diǎn)是不能用Gradient-Based方法。同時如果de-active了，容易無法再次active。不過有辦法解決，使用maxout激勵函數(shù)。

3、權(quán)重初始化

權(quán)重初始化常采用隨機(jī)生成方法以避免網(wǎng)絡(luò)單元的對稱性，但仍過于太過粗糙，根據(jù)目前最新的實驗結(jié)果，權(quán)重的均勻分布初始化是一個最優(yōu)的選擇，同時均勻分布的函數(shù)范圍由單元的連接數(shù)確定，即越多連接權(quán)重相對越小。

Tensorflow的 word2vec程序中初始化權(quán)重的例子，權(quán)重初始值從一個均勻分布中隨機(jī)采樣：

4、學(xué)習(xí)速率

學(xué)習(xí)速率是重要的超參數(shù)之一，它是在收斂速度和是否收斂之間的權(quán)衡參數(shù)。選擇0.01或者伴隨著迭代逐步減少都是合理的選擇，最新的方法開始研究學(xué)習(xí)速率的自動調(diào)整變化，例如基于目標(biāo)函數(shù)曲率的動量或自適應(yīng)調(diào)參等。

5、選擇優(yōu)化算法

傳統(tǒng)的隨機(jī)梯度下降算法雖然適用很廣，但并不高效，最近出現(xiàn)很多更靈活的優(yōu)化算法，例如Adagrad、RMSProp等，可在迭代優(yōu)化的過程中自適應(yīng)的調(diào)節(jié)學(xué)習(xí)速率等超參數(shù)，效果更佳。

來源：36大數(shù)據(jù)