如何更好地閱讀很多數(shù)學(xué)相關(guān)內(nèi)容的機(jī)器學(xué)習(xí)論文？

閱讀數(shù)學(xué) 機(jī)器學(xué)習(xí) 論文

CarolGuo | 2017-08-21 18:52

【數(shù)據(jù)猿導(dǎo)讀】有些機(jī)器學(xué)習(xí)論文里包含了大量的數(shù)學(xué)公式、理論和證明。通常，閱讀這類論文要比閱讀普通的深度學(xué)習(xí)論文花上更多的時(shí)間。

如何更好地閱讀很多數(shù)學(xué)相關(guān)內(nèi)容的機(jī)器學(xué)習(xí)論文？

有些機(jī)器學(xué)習(xí)論文里包含了大量的數(shù)學(xué)公式、理論和證明。通常，閱讀這類論文要比閱讀普通的深度學(xué)習(xí)論文花上更多的時(shí)間。對(duì)機(jī)器學(xué)習(xí)論文讀者而言，需要什么樣的數(shù)學(xué)背景有哪些書有助于理解機(jī)器學(xué)習(xí)論文可以閱讀哪些書籍來提高閱讀這類論文的能力呢

最近reddit上的網(wǎng)友們針對(duì)以上問題展開了熱烈的討論，我們將討論貼中的觀點(diǎn)整理和總結(jié)如下。

對(duì)包含了大量數(shù)學(xué)公式的機(jī)器學(xué)習(xí)論文，有兩種理解。

第一種是，一篇文章中有大量的公式、代數(shù)理論和復(fù)雜的公式計(jì)算。

一般而言，閱讀論文都不會(huì)只讀一遍。可以先瀏覽標(biāo)題，然后決定是否要閱讀摘要，再?zèng)Q定是否直接跳到結(jié)果部分。

閱讀有著大量代數(shù)理論的論文的秘訣在于，在第一篇粗讀時(shí)，不要一步步跟隨代數(shù)部分。大部分學(xué)生都會(huì)犯下這個(gè)錯(cuò)誤。在第一遍閱讀時(shí)，你并不需要理解一個(gè)冗長(zhǎng)計(jì)算的所有步驟。相反，默認(rèn)它們是正確的，跳過它們，深入閱讀關(guān)鍵的步驟。讀公式之間的文字描述，讀實(shí)驗(yàn)結(jié)果，讀結(jié)論。當(dāng)你大致明白了文章所談?wù)摰臇|西之后，你再?zèng)Q定是否把時(shí)間花費(fèi)在代數(shù)部分。不要在看不懂的步驟上花太多時(shí)間。當(dāng)你以后有空時(shí)，可以重復(fù)閱讀來慢慢理解它們。

當(dāng)你逐漸成長(zhǎng)為“應(yīng)用數(shù)學(xué)家”時(shí)，你的能力也相應(yīng)地增強(qiáng)了，瀏覽代數(shù)部分時(shí)已經(jīng)能大致了解作者想達(dá)到什么目的以及大致所需要的步驟。沒有人能夠快速地閱讀冗長(zhǎng)復(fù)雜的計(jì)算公式。這也是為什么在第一遍閱讀時(shí)要跳過公式的原因。從粗讀開始，在每一次細(xì)讀時(shí)再慢慢琢磨細(xì)節(jié)。

另外，你也應(yīng)注意到，有時(shí)候這些計(jì)算里是有錯(cuò)誤的。我們很難在第一次讀的時(shí)候就發(fā)現(xiàn)它們。很多時(shí)間，這些錯(cuò)誤與文章的觀點(diǎn)是不相關(guān)的，但是它們會(huì)讓讀者產(chǎn)生混淆并阻礙讀者理解數(shù)學(xué)內(nèi)容。如果你已經(jīng)基本理解了作者所做的工作，這些錯(cuò)誤也很容易被找出。而且，當(dāng)你看這些公式時(shí)，要確保你明白它們的真正意義。你可能知道某個(gè)公式的數(shù)學(xué)計(jì)算，但是你了解其背后的含義嗎譬如，你是否能夠解釋在某個(gè)特定系統(tǒng)下該公式的意義何在你能否說出“當(dāng)最大化ELBO(Evidence Lower Bound Objective，似然函數(shù)下限)時(shí)，估計(jì)后驗(yàn)值與似然數(shù)據(jù)所允許的前驗(yàn)值類似” 這就是ELBO表達(dá)式背后的含義。當(dāng)你達(dá)到了這一境界時(shí)，對(duì)冗長(zhǎng)的代數(shù)操作進(jìn)行推理就會(huì)變得更容易了。如何達(dá)到這種境界呢讀很多理論書，做很多代數(shù)題，這里沒有捷徑可走。

第二種是，論文中用到了大量的數(shù)學(xué)理論和證明，依賴大量的數(shù)學(xué)概念、理論和證明(有時(shí)候是過多且不必要的)來驗(yàn)證文章的觀點(diǎn)。這種文章的核心就是數(shù)學(xué)。譬如，論文“為什么在增強(qiáng)學(xué)習(xí)中后驗(yàn)取樣比優(yōu)化更好”就是一篇數(shù)學(xué)理論性很強(qiáng)的文章。

對(duì)有些讀者而言，這類文章更難閱讀，因?yàn)樗鼈兺苋菀琢钊嘶煜?。所有正式的談?wù)摽雌饋矶己苤匾?。?duì)這種論文，閱讀的技巧是相通的：粗讀。我們并不需要去查詢Wikipedia來試圖記住Borel hierarchy是什么。我們可以把這些時(shí)間節(jié)省下來，說不定我們?cè)僖膊粫?huì)讀第二次了。

另外，也可以把用于某個(gè)特例的概念替換為一個(gè)簡(jiǎn)單的場(chǎng)景。很多時(shí)候，人們之所以用到正式的數(shù)學(xué)公式和推導(dǎo)，是因?yàn)樗麄冊(cè)诖虬踩?、不想讓一些詭異的邊角例子破壞他們的推理。譬如，有一些聰明的?shù)學(xué)系博士生會(huì)問：“如果該函數(shù)在每一處都是連續(xù)的但是不可微的，你認(rèn)為還是否適用呢 ”遇到這種情況怎么辦你所能做的就是假設(shè)沒有這么聰明的學(xué)生，把所有Radon-Nikodym導(dǎo)數(shù)都替換為比率，把所有測(cè)量標(biāo)準(zhǔn)都替換為有黎曼積分的簡(jiǎn)單函數(shù)，并假設(shè)這個(gè)作者只是在炫耀自己的數(shù)學(xué)知識(shí)，而你不需要通過這些數(shù)學(xué)知識(shí)來理解他所談?wù)摰臇|西。

有時(shí)候這些方法都不適用，因?yàn)閷?duì)某些文章，你必須認(rèn)真閱讀數(shù)學(xué)理論和推導(dǎo)來理解文章。

有時(shí)候，論文中引用數(shù)學(xué)公式只是為了更好地描述問題，僅僅了解公式的名稱也能幫助你閱讀文章。但是也有特例，譬如，KL散度依賴于扎實(shí)的統(tǒng)計(jì)和信息論理論，當(dāng)你閱讀時(shí)，你會(huì)對(duì)其中的推論和計(jì)算點(diǎn)頭稱贊，但要想完全理解它，的確需要一些時(shí)間。

對(duì)有些人而言，更有效的方法是，拿出紙和筆，按照論文中的計(jì)算步驟一步步完成。這樣有助于理解文章中的內(nèi)容，而且也有助于發(fā)現(xiàn)其中簡(jiǎn)單的錯(cuò)誤或筆誤。很多文章會(huì)省略一些很明顯的步驟，當(dāng)只是用眼睛看的時(shí)候，很難跟著這些公式的思路。但是，如果你自己動(dòng)手重新計(jì)算一次，就能涵蓋文中所跳過的簡(jiǎn)單但重要的步驟。當(dāng)然，每個(gè)人可以根據(jù)自己的情況來決定深入研究的程度。對(duì)于那種嵌套引用其他文章的斷言或理論，你可以決定是繼續(xù)查看參考文獻(xiàn)還是直接跳過。

如果論文作者已經(jīng)將基于論文實(shí)現(xiàn)的代碼公布到了GitHub上，讀者可以粗讀摘要和結(jié)論，然后跳入到程序中。這也是一個(gè)將理論與實(shí)踐相結(jié)合的好方法。譬如，論文“Self-Normalizing Neural Networks”中有著大量的公式，并在附錄中給出了大篇幅的數(shù)學(xué)計(jì)算和證明。但這些附錄中的計(jì)算是從一個(gè)計(jì)算機(jī)輔助的代數(shù)系統(tǒng)中生成出來的，對(duì)讀者而言價(jià)值不大，可以快速地跳過。如果有讀者想檢查這些證明，當(dāng)然也可以細(xì)看。該論文也有相應(yīng)的GitHub代碼，讀者可以借助它來更好地理解文章。

也有人借助于量子物理中的費(fèi)曼圖(Feynman Diagrams)，將復(fù)雜的公式抽象化和圖形化，對(duì)于有物理背景的人而言，是一個(gè)簡(jiǎn)單易用的方法。

另外，閱讀的深度也取決于讀者的研究方向是機(jī)器學(xué)習(xí)的哪個(gè)分支。對(duì)于內(nèi)核方法，需要有線性代數(shù)(元組、矩陣等的計(jì)算)、功能分析等的基礎(chǔ)。對(duì)時(shí)間序列分析而言，需要了解測(cè)量方法和隨機(jī)過程。有些方法需要用到圖論等復(fù)雜理論。

當(dāng)然，從學(xué)習(xí)機(jī)器學(xué)習(xí)的角度出發(fā)，了解一些數(shù)學(xué)理論基礎(chǔ)還是很有必要的，如貝葉斯、最大后驗(yàn)概率、最大似然估計(jì)、高斯分布、一元/多元分類器、線性回歸分析、支持向量機(jī)、隱藏馬爾可夫模型、線性代數(shù)、概率論、微積分等等。很多東西都是這些理論的變形。一些引論類的研究生課程中會(huì)介紹到這些。網(wǎng)上也有很多免費(fèi)資源，譬如你可以去Youtube上找到一些你喜歡的課程，加強(qiáng)自己對(duì)這些數(shù)學(xué)概念的了解。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。