神經(jīng)科學(xué)專注的點(diǎn)包括計(jì)算的細(xì)節(jié)實(shí)現(xiàn)，還有對(duì)神經(jīng)編碼、力學(xué)以及回路的研究。然而，在機(jī)器學(xué)習(xí)領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)則傾向于避免出現(xiàn)這些，而是往往使用簡(jiǎn)單和相對(duì)統(tǒng)一的初始結(jié)構(gòu)，以支持成本函數(shù)(cost funcion)的蠻力最優(yōu)化。近期出現(xiàn)了兩項(xiàng)機(jī)器學(xué)習(xí)方面的進(jìn)展，或許會(huì)將這兩種看似不同的視角連接起來。第一，結(jié)構(gòu)化的架構(gòu)得以使用，這些架構(gòu)包括注意力、遞歸，以及各種長(zhǎng)、短期記憶儲(chǔ)存專用系統(tǒng)。第二，隨著時(shí)間以及層數(shù)的變化，成本函數(shù)和訓(xùn)練程序也會(huì)變化并越來越復(fù)雜。我們根據(jù)這些理論，對(duì)大腦進(jìn)行了進(jìn)一步思考，并作出如下假設(shè)：

(1)大腦最優(yōu)化成本函數(shù)，

(2)在大腦成長(zhǎng)的不同時(shí)期，或在大腦中的不同位置中，成本函數(shù)各不相同，種類多樣。

(3)預(yù)構(gòu)建的架構(gòu)與行為引發(fā)的計(jì)算問題相匹配，優(yōu)化就在這種架構(gòu)中進(jìn)行。這樣一個(gè)由一系列互相影響的成本函數(shù)支撐的混雜的優(yōu)化系統(tǒng)，旨在讓學(xué)習(xí)更加有效地應(yīng)用數(shù)據(jù)，更精確地瞄準(zhǔn)機(jī)制的需要。我們建議了一些方向，神經(jīng)科學(xué)研究人員可以對(duì)這些假設(shè)進(jìn)行改進(jìn)和測(cè)試。

引 言

當(dāng)今的機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)領(lǐng)域沒有共同話題。腦科學(xué)領(lǐng)域中，已經(jīng)發(fā)現(xiàn)了一系列不同的大腦區(qū)域、細(xì)胞類型、分子、元胞狀態(tài)、計(jì)算和信息存儲(chǔ)機(jī)制等。相比之下，機(jī)器學(xué)習(xí)則主要關(guān)注單個(gè)原則的實(shí)例化：函數(shù)優(yōu)化。據(jù)研究發(fā)現(xiàn)，最小化分類錯(cuò)誤等簡(jiǎn)單的目標(biāo)優(yōu)化，就可能會(huì)使多個(gè)網(wǎng)絡(luò)層和循環(huán)網(wǎng)絡(luò)中形成大量的內(nèi)在表征和強(qiáng)大的算法能力。(LeCun et al.，2015;Schmidhuber，2015)。下面我們看看如何將這些觀點(diǎn)統(tǒng)一起來。

當(dāng)然，機(jī)器學(xué)習(xí)中占主導(dǎo)地位的人工神經(jīng)網(wǎng)絡(luò)最初來源于神經(jīng)科學(xué)的啟發(fā)(McCulloch and Pitts，1943)。雖然神經(jīng)科學(xué)一直在發(fā)揮作用(Cox and Dean，2014)，但其中很多重大突破，都不是得益于神經(jīng)科學(xué)的發(fā)現(xiàn)(Sutskever and Martens， 2013)，而是因?yàn)槿藗儗?duì)有效優(yōu)化問題中的數(shù)學(xué)問題進(jìn)行洞察而受到了啟發(fā)。該領(lǐng)域從簡(jiǎn)單的線性系統(tǒng)(Minsky and Papert， 1972)，發(fā)展為非線性網(wǎng)絡(luò)(Haykin，1994)，然后成為深度和循環(huán)網(wǎng)絡(luò)(Schmidhuber，2015; LeCun et al.， 2015)。

誤差的反向傳播(Werbos， 1974， 1982;Rumelhart et al.， 1986)提供了一種有效的方法，可以計(jì)算與多層網(wǎng)絡(luò)權(quán)重相關(guān)的梯度，使得神經(jīng)網(wǎng)絡(luò)可以進(jìn)行有效的訓(xùn)練。訓(xùn)練的方法不斷提升，開始包含沖量項(xiàng)，更優(yōu)良的權(quán)重初始化，共軛梯度等，經(jīng)過這樣的演化，形成了現(xiàn)在用批量隨機(jī)梯度下降實(shí)現(xiàn)優(yōu)化的網(wǎng)絡(luò)。這些進(jìn)展與神經(jīng)科學(xué)幾乎沒有明顯的關(guān)聯(lián)。

然而，我們認(rèn)為神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)已經(jīng)準(zhǔn)備好再次匯聚。論文中關(guān)于機(jī)器學(xué)習(xí)有三個(gè)重要方面：

第一，機(jī)器學(xué)習(xí)主要關(guān)注成本函數(shù)的最優(yōu)化問題(見下圖)。

圖1：傳統(tǒng)設(shè)計(jì)和類腦神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)之間假定的區(qū)別。

A)在傳統(tǒng)深度學(xué)習(xí)中，監(jiān)督訓(xùn)練是基于外部提供的標(biāo)記數(shù)據(jù)。

B)在大腦中，網(wǎng)絡(luò)的監(jiān)督訓(xùn)練能通過在錯(cuò)誤信號(hào)上的梯度下降靜態(tài)發(fā)生，但這一 錯(cuò)誤信號(hào)必須是由內(nèi)部生成的成本函數(shù)產(chǎn)生。這些成本函數(shù)通過神經(jīng)模塊進(jìn)行自計(jì)算，而神經(jīng)模塊是由遺傳和學(xué)習(xí)特定的。內(nèi)部生成的成本函數(shù)創(chuàng)造啟發(fā)能力，能夠自助產(chǎn)生更復(fù)雜的學(xué)習(xí)能力。例如，一個(gè)識(shí)別面部的大腦區(qū)域可能首先會(huì)被訓(xùn)練使用簡(jiǎn)單啟發(fā)能力檢測(cè)面部，就像一條線上面有兩個(gè)點(diǎn)，然后使用由非監(jiān)督學(xué)習(xí)和錯(cuò)誤信號(hào)(從其他與社會(huì)獎(jiǎng)勵(lì)流程有關(guān)的腦部區(qū)域產(chǎn)生的信號(hào))產(chǎn)生的表征進(jìn)一步訓(xùn)練如何區(qū)別有特色的面部表情。

C)內(nèi)部生成的成本函數(shù)和皮質(zhì)深度網(wǎng)絡(luò)的錯(cuò)誤驅(qū)動(dòng)訓(xùn)練部分組成了一個(gè)更大的包含數(shù)個(gè)專門系統(tǒng)的架構(gòu)。盡管可訓(xùn)練的皮質(zhì)區(qū)域在這里扼要表示為前饋神經(jīng)網(wǎng)絡(luò)，LSTM 或其他類型的循環(huán)網(wǎng)絡(luò)可能會(huì)是一個(gè)更為精準(zhǔn)的類比。而且，樹突計(jì)算、spiking 神經(jīng)網(wǎng)絡(luò)、神經(jīng)調(diào)節(jié)、自適應(yīng)、 TDP(timing-dependent plasticity)等很多的神經(jīng)特性將影響到網(wǎng)絡(luò)如何學(xué)習(xí)、學(xué)習(xí)什么。

第二，最近的機(jī)器學(xué)習(xí)研究中，已經(jīng)開始引入復(fù)雜的成本函數(shù)，這些函數(shù)在不同網(wǎng)絡(luò)層中和不同時(shí)間下并不統(tǒng)一，而且它們形成于網(wǎng)絡(luò)不同部分的交互中。比如，為低層次網(wǎng)絡(luò)引入時(shí)間相干性(隨空間變化的非統(tǒng)一成本函數(shù))的目標(biāo)會(huì)提升特征學(xué)習(xí)的性能(Sermanet and Kavukcuoglu，2013)。還有一個(gè)源于內(nèi)部交互的成本函數(shù)的例子，即成本函數(shù)時(shí)間表(隨時(shí)間變化的非統(tǒng)一成本函數(shù)) 會(huì)提升泛化能力(Saxe et al.， 2013;Goodfellow et al.， 2014b; G¨ul，cehre and Bengio，2016)和對(duì)抗網(wǎng)絡(luò)的性能， 這使得生成模型可以基于梯度進(jìn)行訓(xùn)練(Goodfellow et al.， 2014a)。易于訓(xùn)練的網(wǎng)絡(luò)可以用來提供「hint」(提示)，以幫助更強(qiáng)大的網(wǎng)絡(luò)進(jìn)行自助訓(xùn)練。(Romero et al. ，2014)

第三，機(jī)器學(xué)習(xí)中，受最優(yōu)化約束的架構(gòu)已經(jīng)開始變得多樣化。如今，機(jī)器學(xué)習(xí)已經(jīng)引入的內(nèi)容包括：簡(jiǎn)單記憶細(xì)胞，這些細(xì)胞持有多個(gè)連續(xù)狀態(tài)(Hochreiter and Schmidhuber， 1997;Chung et al.， 2014);含有「capsules」(膠囊)等架構(gòu)的更復(fù)雜的基本單元(Hinton et al.， 2011; Livni et al.，2013;Delalleau and Bengio，2011;Tang et al.，2012);以及內(nèi)容可尋址存儲(chǔ)器和位置可尋址存儲(chǔ)器(Graves et al.， 2014);指針(Kurach et al.， 2015);硬編碼算術(shù)操作(Neelakantan et al.，2015)等。目前，我們的這三條假設(shè)還未引起神經(jīng)科學(xué)界的廣泛關(guān)注，因此我們將其闡述了出來，并對(duì)其進(jìn)行考究，然后描述了實(shí)驗(yàn)和測(cè)試的方法。首先，讓我們?cè)賹?duì)其進(jìn)行更準(zhǔn)確的陳述。

假設(shè)1——大腦最優(yōu)化成本函數(shù)

連接這兩個(gè)領(lǐng)域的核心假設(shè)是生物系統(tǒng)能像其他很多機(jī)器學(xué)習(xí)系統(tǒng)一樣能夠優(yōu)化成本函數(shù)。成本函數(shù)的思路意味著大腦中的神經(jīng)元如何改變它們的特性，例如，神經(jīng)突觸的特性，如此無論成本函數(shù)怎么定義它們的角色，它們都能變得更好。人類行為有時(shí)在某個(gè)領(lǐng)域會(huì)有最優(yōu)方法，例如運(yùn)動(dòng)行為中(K¨ording, 2007)，這表明大腦可能學(xué)習(xí)到了最優(yōu)策略。對(duì)象在移動(dòng)系統(tǒng)中，會(huì)最低限度的消耗能量(Taylor and Faisal, 2011)，并且會(huì)采取風(fēng)險(xiǎn)最低、對(duì)身體損傷最小的方式，同時(shí)，最大化金錢和活動(dòng)上的收獲。從計(jì)算上來看，我們現(xiàn)在知道移動(dòng)軌跡的最優(yōu)化為每一個(gè)復(fù)雜的運(yùn)動(dòng)任務(wù)提供了精致的解決方案(Mordatch et al., 2012; Todorov and Jordan, 2002; Harris and Wolpert, 1998)。我們提議，在大腦使用的內(nèi)部表征和流程的塑造上有更為普遍的成本函數(shù)最優(yōu)化。我們同樣表明，這需要大腦在多層網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)中有著有效的信用分配機(jī)制。

假設(shè)2——成本函數(shù)因區(qū)域不同而有區(qū)別，也會(huì)隨著發(fā)育而改變

第二個(gè)實(shí)現(xiàn)原則是成本函數(shù)不需要是全局的。不同大腦區(qū)域的神經(jīng)元可能優(yōu)化不同的事情，比如，運(yùn)動(dòng)行為的均方差，在視覺刺激或注意力分配行為中可能變得令人驚奇。重要的是，這樣的一個(gè)成本函數(shù)能夠在本地生成。例如，神經(jīng)元能夠本地評(píng)估輸入的統(tǒng)計(jì)模型的質(zhì)量(圖 1B )。作為一種替代選擇，某一領(lǐng)域的成本函數(shù)可由另一領(lǐng)域生成。另外，成本函數(shù)可能會(huì)隨時(shí)間發(fā)生變化，比如，早些時(shí)候引導(dǎo)年輕人理解簡(jiǎn)單的視覺對(duì)比，晚些時(shí)候再做一次。這可能會(huì)讓成長(zhǎng)中的大腦基于簡(jiǎn)單的知識(shí)自助產(chǎn)生更為復(fù)雜的知識(shí)。大腦中的成本函數(shù)可能因不同的區(qū)域有不同的復(fù)雜度，也會(huì)隨大腦發(fā)育而產(chǎn)生變化。

假設(shè) 3——專業(yè)化系統(tǒng)能夠高效解決關(guān)鍵計(jì)算問題

第三個(gè)實(shí)現(xiàn)原則是結(jié)構(gòu)很重要?？雌饋?，大腦不同區(qū)域的信息流模式不同，這表明它們解決不同的計(jì)算問題。一些大腦區(qū)域高度循環(huán)，這注定它們進(jìn)行短期記憶存儲(chǔ) (Wang, 2012)。一些區(qū)域包含的細(xì)胞能夠在不同的活化狀態(tài)間切換，比如，作為對(duì)特定神經(jīng)遞質(zhì)的回應(yīng)，一個(gè)持續(xù)釋放信號(hào)的模式與一個(gè)瞬時(shí)釋放信號(hào)的模式。其他區(qū)域的信息流過丘腦時(shí)，丘腦似乎能掌握這些信息。像是丘腦這樣的其他區(qū)域可能會(huì)讓它們決定信息的路線(Sherman, 2005)。像基底神經(jīng)節(jié)(basal ganglia)這樣的區(qū)域涉及到強(qiáng)化學(xué)習(xí)和離散決策的門脈(Sejnowski and Poizner, 2014; Doya, 1999)，就像每一個(gè)程序員了解的那樣，專門算法對(duì)計(jì)算問題有效的解決方案很重要，而大腦似乎很善于利用這樣的專門化(圖 1C)。

這些思路受到了機(jī)器學(xué)習(xí)近期進(jìn)展的啟發(fā)，但我們也提出了大腦與如今的機(jī)器學(xué)習(xí)技術(shù)有很大區(qū)別。特別是，我們能夠用于監(jiān)督學(xué)習(xí)的信息量是有限的(Fodor and Crowther, 2002)。雖然可用于無監(jiān)督學(xué)習(xí)的信息量非常大，但無論其多么強(qiáng)大，我們毫無理由假設(shè)出一個(gè)通用的無監(jiān)督算法，為了掌握這些知識(shí)能夠?qū)W習(xí)人類需要知道的精確事務(wù)。因此，進(jìn)行無監(jiān)督學(xué)習(xí)的發(fā)展挑戰(zhàn)是解決「正確的」問題，去發(fā)現(xiàn)一系列的成本函數(shù)。這些成本函數(shù)將根據(jù)描述的發(fā)展階段，確切地建立回路和行為，以便于最終用相當(dāng)小的一部分信息就足以產(chǎn)生正確行為。例如，一個(gè)成長(zhǎng)中的鴨子會(huì)銘記其父母的模板(Tinbergen, 1965)，然后使用這一模板產(chǎn)生幫助其發(fā)展其他技能的目標(biāo)靶向，比如覓食能力。

從此研究和其他研究(Ullman et al., 2012; Minsky, 1977)中進(jìn)行歸納，我們提出，很多的大腦成本函數(shù)產(chǎn)生于這樣的一個(gè)內(nèi)部自助過程(internal bootstrapping process)。確實(shí)，我們提出生物發(fā)育和強(qiáng)化學(xué)習(xí)實(shí)質(zhì)上能夠編寫出一系列成本函數(shù)，這些成本函數(shù)可精確的預(yù)料大腦內(nèi)部子系統(tǒng)和整個(gè)機(jī)制需要的面對(duì)的未來狀況。這類的發(fā)育型編寫自助法會(huì)產(chǎn)生成本函數(shù)的一個(gè)內(nèi)部基礎(chǔ)架構(gòu)，既不同又復(fù)雜，然而這可以簡(jiǎn)化大腦內(nèi)部流程面臨的學(xué)習(xí)問題。超越家族印記這樣的簡(jiǎn)單任務(wù)，這類自助法可擴(kuò)展出高度的認(rèn)知能力，例如，內(nèi)部生成的成本函數(shù)可訓(xùn)練一個(gè)發(fā)育中的大腦，讓其適當(dāng)?shù)墨@取記憶，或以一種有用的方式組織自我行為。我們將考慮在無監(jiān)督和強(qiáng)化學(xué)習(xí)環(huán)境中運(yùn)用這種潛在的自助機(jī)制，超越如今機(jī)器學(xué)習(xí)中使用的這種課程式學(xué)習(xí)思路(Bengio et al., 2009)。

在此論文的其他部分，我們將詳細(xì)說明這些假設(shè)。首先，我們認(rèn)為局部和多層最優(yōu)化是與我們所知的大腦兼容的，這可能會(huì)令人驚訝。第二點(diǎn)，我們認(rèn)為成本函數(shù)因大腦區(qū)域不同而不同，也會(huì)隨時(shí)間發(fā)生變化，并且將會(huì)描述成本函數(shù)如何以一種協(xié)調(diào)的方式相互作用從而準(zhǔn)許復(fù)雜函數(shù)的自展。第三，我們將列出一組廣泛的、需要由神經(jīng)計(jì)算解決的專門問題。而后，我們討論了上述假設(shè)對(duì)神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)研究途徑的一些影響，而且梗概描述了一組實(shí)驗(yàn)測(cè)試這些假設(shè)。最終，我們從進(jìn)化的角度討論了這一體系結(jié)構(gòu)。

機(jī)器學(xué)習(xí)啟發(fā)下的神經(jīng)科學(xué)

如果一個(gè)假設(shè)能夠帶來合乎實(shí)際且可測(cè)試的預(yù)測(cè)，它就是有用的。所以，現(xiàn)在我們希望重新回顧一下這些神經(jīng)科學(xué)上的假設(shè)，看看可以在那個(gè)層面上直接測(cè)試這些測(cè)試，以及通過神經(jīng)科學(xué)加以改善。

假設(shè)1 —— 成本函數(shù)的存在

有很多一般策略(general strategies)來解決這個(gè)問題：大腦是否以及如何優(yōu)化成本函數(shù)。

第一個(gè)策略是以觀察學(xué)習(xí)終結(jié)點(diǎn)(endpoint)為基礎(chǔ)的。如果大腦使用了一個(gè)成本函數(shù)，而且我們能夠猜出它的身份(identity)，大腦的最終態(tài)應(yīng)該接近成本函數(shù)最優(yōu)(optimal for the cost function )。如果知道自然環(huán)境的統(tǒng)計(jì)情況，并且知道這個(gè)成本函數(shù)，那么，我們就能比較在仿真中得以優(yōu)化的接受域(receptive fields)和被測(cè)量的接受域。人們剛剛開始使用這一策略，因?yàn)楹茈y測(cè)量接受域或大量神經(jīng)元的其他表征特征，但隨著大規(guī)模記錄方法的出現(xiàn)，這種情況正在從技術(shù)上開始被改善。

第二種方法可以直接量化成本函數(shù)描述學(xué)習(xí)的優(yōu)良度。如果學(xué)習(xí)的動(dòng)態(tài)性最小化了一個(gè)成本函數(shù)，那么，基礎(chǔ)的向量場(chǎng)應(yīng)該有一個(gè)強(qiáng)梯度下降法類型組件和一個(gè)弱轉(zhuǎn)動(dòng)組件(weak rotational component)。如果我們能在某種程度上，持續(xù)監(jiān)測(cè)突觸強(qiáng)度，并從外部操縱它們，那么，原則上，我們就可以在突觸權(quán)重空間中測(cè)量向量場(chǎng)，并計(jì)算其散度和旋轉(zhuǎn)。對(duì)于至少一組正在通過某種逼近梯度下降方式接受訓(xùn)練的突觸子集來說，較之轉(zhuǎn)動(dòng)組件，發(fā)散組件應(yīng)當(dāng)強(qiáng)壯一些。由于需要監(jiān)測(cè)大量突觸權(quán)重，實(shí)驗(yàn)難度阻礙了這一策略的發(fā)展。

第三種方法的基礎(chǔ)是攝動(dòng)函數(shù)：基于學(xué)習(xí)的成本函數(shù)應(yīng)該可以撤銷打斷最優(yōu)的攝動(dòng)帶來的影響。舉個(gè)例子，在攝動(dòng)之后，系統(tǒng)應(yīng)該回到最小值，而且實(shí)際上，在一次足夠小的攝動(dòng)后，或許回到同一個(gè)本地最小值。如果我們改變突觸聯(lián)系，比如，在腦機(jī)界面的語境中，我們應(yīng)該能夠得到一個(gè)重組，可以根據(jù)猜出的相關(guān)成本函數(shù)預(yù)測(cè)到它。在大腦皮層的運(yùn)動(dòng)區(qū)，這一策略正在變得可行。

最后，如果我們從結(jié)構(gòu)上知道，哪些細(xì)胞類型和連接調(diào)節(jié)著錯(cuò)誤信號(hào)vs輸入數(shù)據(jù)或其他類型連接，那么，就可以刺激特定連接，以便施加一個(gè)用戶界定的成本函數(shù)。實(shí)際上，我們可以使用大腦自己的網(wǎng)絡(luò)作為一個(gè)可訓(xùn)練的深度學(xué)習(xí)底層(substrate)，然后研究網(wǎng)絡(luò)如何響應(yīng)訓(xùn)練。腦機(jī)界面可被用來設(shè)置特定的本地學(xué)習(xí)問題，其中，要求大腦創(chuàng)建某些用戶指定的表征，而且，這一過程的動(dòng)態(tài)性可以受到監(jiān)控(Sadtler et al .,2014)。為了合理做到這一點(diǎn)，首先，更多地了解被連接用于傳輸成本信號(hào)的系統(tǒng)。比如，可以在連接組回路圖中找到的結(jié)構(gòu)中的大部分內(nèi)容，不僅僅與短時(shí)間計(jì)算相關(guān)，也是為了創(chuàng)造出支持成本函數(shù)及其優(yōu)化的基礎(chǔ)架構(gòu)。

文中已經(jīng)討論過的許多學(xué)習(xí)機(jī)制都對(duì)連接性或動(dòng)態(tài)進(jìn)行了具體預(yù)測(cè)。比如，生物BP的「反饋校準(zhǔn)(feedback alignment) 」表明，在神經(jīng)元分組(neuronal grouping)水平上，皮層反饋連接應(yīng)當(dāng)在很大程度上與相應(yīng)的反饋連接協(xié)調(diào)起來。

一些為了學(xué)習(xí)時(shí)間序列，吸收了樹突巧合監(jiān)測(cè)(dendritic coincidence detection)的模型，預(yù)測(cè)出一個(gè)給定的軸突在給定的樹突段只能產(chǎn)生少量突出(Hawkins and Ahmad, 2015)。涉及 STDP 的學(xué)習(xí)模型將預(yù)測(cè)改變放電率的動(dòng)態(tài)情況(Hinton, 2007, 2016; Bengio et al., 2015a; Bengio and Fischer, 2015; Bengio et al., 2015b)，也會(huì)預(yù)測(cè)特定的網(wǎng)絡(luò)結(jié)構(gòu)，例如，那些基于自編碼器或者再循環(huán)的網(wǎng)絡(luò)結(jié)構(gòu)。其中，STDP 可以產(chǎn)生一種反向傳播的形式。

關(guān)鍵在于建立起優(yōu)化的單元。我們想知道，可以通過某種梯度下降最優(yōu)相似法加以訓(xùn)練的模塊規(guī)模。共享一個(gè)給定誤差信號(hào)或成本函數(shù)的網(wǎng)絡(luò)的大小如何?在何等規(guī)模上，適當(dāng)?shù)挠?xùn)練信號(hào)可以被傳遞?可以說，原則上，大腦被端對(duì)端優(yōu)化了。在這種情況下，我們會(huì)期待找到將訓(xùn)練信號(hào)從每層傳到前一層的連接。

優(yōu)化可以以連續(xù)較小規(guī)模的方式發(fā)生在一個(gè)大腦區(qū)域里，比如，一個(gè)微回路或者一神經(jīng)元(K¨ording and K¨onig, 2000, 2001; Mel, 1992; Hawkins and Ahmad, 2015) 。重要的是，這些優(yōu)化可以在這些規(guī)模上共存?？赡軙?huì)有一些端到端的慢性優(yōu)化，也可能在某個(gè)局部區(qū)域有更強(qiáng)大的優(yōu)化方法，以及每個(gè)細(xì)胞內(nèi)部可能有非常有效的算法。精心設(shè)計(jì)的實(shí)驗(yàn)可以識(shí)別出優(yōu)化規(guī)模，比如，通過區(qū)域攝動(dòng)來量化學(xué)習(xí)范圍。

在某種程度上，結(jié)構(gòu)函數(shù)的緊密關(guān)系是分子和細(xì)胞生物學(xué)的標(biāo)志，但是，在大型鏈結(jié)式學(xué)習(xí)系統(tǒng)中，這種關(guān)系卻難以提?。和ㄟ^讓其經(jīng)受不同訓(xùn)練，可以驅(qū)動(dòng)相同的初始網(wǎng)絡(luò)去計(jì)算很多不同的函數(shù)。但是，理解神經(jīng)網(wǎng)絡(luò)解決問題的方式，還是很難的。

怎么樣才能分辨出梯度下降訓(xùn)練網(wǎng)絡(luò)、未經(jīng)訓(xùn)練或隨機(jī)的網(wǎng)絡(luò)、被訓(xùn)練用來針對(duì)某一種特定任務(wù)的網(wǎng)絡(luò)之間的區(qū)別呢?一種可能的方法是訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)來對(duì)抗各類候選成本函數(shù)，研究產(chǎn)生的神經(jīng)調(diào)諧特性(Todorov, 2002)，然后將它們與那些興趣電路進(jìn)行比較 (Zipser and Andersen, 1988)。這種方法已經(jīng)在 PFC 解釋神經(jīng)動(dòng)力學(xué)基礎(chǔ)決策中有所應(yīng)用(Sussillo, 2014)，并且在后頂葉皮層記憶，后頂葉皮層的工作記憶，以及視覺系統(tǒng)的物體呈現(xiàn)中發(fā)揮作用(Rajan et al., 2016)。在任何情況下，復(fù)雜機(jī)器學(xué)習(xí)系統(tǒng)逆向工程的有效分析方法 和生物大腦逆向工程的方法可能有一些共性。

這是否強(qiáng)調(diào)了功能優(yōu)化和可訓(xùn)練基板意味著我們應(yīng)該放棄基于細(xì)節(jié)測(cè)量和特定的相關(guān)性與動(dòng)態(tài)模式大腦逆向工程?

相反：我們應(yīng)該大規(guī)模繪制腦譜，試著更好地理解 a)大腦如何實(shí)現(xiàn)優(yōu)化，b)訓(xùn)練信號(hào)從哪里來和它們體現(xiàn)了什么成本函數(shù)，還有 c)在不同的組織水平上，存在什么樣的結(jié)構(gòu)來約束這個(gè)優(yōu)化以有效找到這類特定問題的解決方法。答案也許會(huì)受到神經(jīng)元和網(wǎng)絡(luò)本身不同性質(zhì)的影響，如神經(jīng)結(jié)構(gòu)的同質(zhì)化規(guī)則，基因表達(dá)和功能 ，突觸類型的多樣性和細(xì)胞類型的特定連接 (Jiang et al., 2015)，層間的模式預(yù)測(cè)和抑制神經(jīng)元類型的分布，和樹突狀目標(biāo)以及樹突狀定位和本地樹突的生理性和可塑性( Markram et al., 2015; Bloss et al., 2016; Sandler et al., 2016)，或者局部神經(jīng)膠質(zhì)網(wǎng)。它們也可能受到更高級(jí)別的大腦神經(jīng)系統(tǒng)的綜合性質(zhì)，包括發(fā)展引導(dǎo)機(jī)制(Ullman et al., 2012)，信息由路 (Gurney et al., 2001; Stocco et al., 2010)，以及注意力(Buschman and Miller, 2010)和分層決策的影響 (Lee et al., 2015)。

繪制這些系統(tǒng)的細(xì)節(jié)對(duì)于理解大腦如何工作至關(guān)重要，下至至納米級(jí)的離子通道樹突狀組織，上至皮質(zhì)、紋狀體(striatum)和海馬體的全局協(xié)調(diào)，所有這些在我們?cè)敿?xì)說明的框架中都計(jì)算性相關(guān)。因此我們預(yù)計(jì)大規(guī)模、 多分辨率的腦譜會(huì)在測(cè)試這些框架思路中非常有用，對(duì)啟發(fā)其改進(jìn)，以及使用它們進(jìn)行更多的細(xì)節(jié)分析上也非常有幫助。

假設(shè)2 ——生物學(xué)的成本精細(xì)結(jié)構(gòu)

可以清楚的是，我們能夠畫出大腦所有區(qū)域的結(jié)構(gòu)差異、動(dòng)態(tài)差異和每個(gè)區(qū)域所代表內(nèi)容的差異。當(dāng)我們找到這些差異，剩下的問題就是，我們是否能夠闡釋這些由內(nèi)部產(chǎn)生的成本函數(shù)造成的差異，而不是那些在數(shù)據(jù)輸入中產(chǎn)生的差異，或者是反映其他無關(guān)成本函數(shù)的約束的差異。如果我們能夠直接測(cè)量不同區(qū)域成本函數(shù)的各個(gè)方面，這樣我們就能在不同區(qū)域間做出比較。例如，逆強(qiáng)化學(xué)習(xí)方法可能允許從觀察到的可塑性中返回成本函數(shù) (Ng and Russell, 2000)。

此外，當(dāng)我們開始理解特定成本函數(shù)的「神經(jīng)鏈接」— 也許按照特定的突觸或者神經(jīng)調(diào)節(jié)學(xué)習(xí)規(guī)則，基因引導(dǎo)局部布線圖案，或者腦區(qū)之間的互動(dòng)模式編碼 — 我們也能開始理解觀察到的神經(jīng)回路架構(gòu)中的差異，在什么時(shí)候反映出成本函數(shù)中的差異。

我們預(yù)計(jì)，對(duì)于每個(gè)不同的學(xué)習(xí)規(guī)則或成本函數(shù)，可以存在能識(shí)別具體分子類型的細(xì)胞或突觸。此外，對(duì)于每個(gè)專門系統(tǒng)，可能有具體分子識(shí)別的發(fā)育程序，來調(diào)整或以其他方式設(shè)置其參數(shù)。如果進(jìn)化已經(jīng)需要調(diào)整一個(gè)成本函數(shù)的參數(shù)而不會(huì)對(duì)其他成本函數(shù)造成影響，這就是非常有有意義的事。

大腦產(chǎn)生了多少不同類型的內(nèi)部訓(xùn)練信號(hào)?說到錯(cuò)誤信號(hào)時(shí)，我們不只在討論多巴胺和血清素，或者其他經(jīng)典獎(jiǎng)勵(lì)相關(guān)的通路。這個(gè)錯(cuò)誤信號(hào)沒必要等同于獎(jiǎng)勵(lì)信號(hào)，但或許會(huì)通過類似于進(jìn)度下降或者其他的方式用于訓(xùn)練大腦中的特定子網(wǎng)絡(luò)。將用于驅(qū)動(dòng)優(yōu)化大腦中特定子電路的成本函數(shù)，與哪些是「代價(jià)函數(shù)」或「效用函數(shù)」區(qū)分開來非常重要，即預(yù)測(cè)代理聚集未來獎(jiǎng)勵(lì)的功能。在這兩個(gè)案例中，可能會(huì)使用類似的強(qiáng)化學(xué)習(xí)機(jī)制，但是各自對(duì)成本函數(shù)的闡釋是不同的。雖然它們被廣泛延伸到其他研究，但我們還沒有強(qiáng)調(diào)這里的動(dòng)物是否具有全球性實(shí)用功能(e.g., (O’Reilly et al., 2014a; Bach, 2015))。因?yàn)槲覀冋J(rèn)為，即便它們很重要，也只是整個(gè)布局的一部分，也就是說大腦不完全是端到端的強(qiáng)化訓(xùn)練系統(tǒng)。

腦圖譜的研究進(jìn)展可能很快可以允許我們對(duì)腦中的回路信號(hào)類型進(jìn)行分類，對(duì)大腦進(jìn)行細(xì)致的解剖和實(shí)現(xiàn)整個(gè)大腦獎(jiǎng)賞回路的連接，并且詳細(xì)畫出獎(jiǎng)勵(lì)回路是如何與波紋體、皮質(zhì)、海馬體和小腦微電路整合在一起的。這個(gè)程序已經(jīng)被放進(jìn)蒼蠅大腦，這個(gè)大腦有 20 個(gè)特定類型的多巴胺神經(jīng)元，連接到解剖中對(duì)應(yīng)的不同蕈形體，訓(xùn)練不同的氣味分類器在一組高維氣味表示(odor representations)上運(yùn)行(Aso et al., 2014a,b; Caron et al., 2013; Cohn et al., 2015)。我們已經(jīng)知道，即使在同一系統(tǒng)內(nèi)，諸如蒼蠅嗅覺回路，一些神經(jīng)元的布線高度特定的分子編程，而其他布線實(shí)際上是隨機(jī)的，但是這些其他布線也是值得學(xué)習(xí)的(Aso et al., 2014a)。這些設(shè)計(jì)原則之間的相互作用，可能會(huì)在遺傳與學(xué)習(xí)之間產(chǎn)生多種形式的「分工」。同樣的，鳥鳴學(xué)習(xí)是通過使用依靠與記憶中的大鳥名叫版本進(jìn)行比較的專門成本函數(shù)，進(jìn)行強(qiáng)化學(xué)習(xí)的(Fiete et al., 2007)，此過程也包括了學(xué)習(xí)過程中控制鳴聲變調(diào)的專門結(jié)構(gòu)(Aronov et al., 2011)。這些構(gòu)成聲音學(xué)習(xí)成本函數(shù)構(gòu)造基礎(chǔ)的細(xì)節(jié)回路圖譜正在繪制中(Mandelblat-Cerf et al., 2014)。從簡(jiǎn)單的系統(tǒng)開始，繪制獎(jiǎng)勵(lì)回路以及它們?nèi)绾芜M(jìn)化和多樣化發(fā)展應(yīng)該是可能的。這將在理解系統(tǒng)如何學(xué)習(xí)的道路上邁出重要一步。

假設(shè)3 —— 嵌入一個(gè)預(yù)結(jié)構(gòu)化體系結(jié)構(gòu)

同樣的，鳥鳴學(xué)習(xí)是通過使用依靠與記憶中的大鳥名叫版本進(jìn)行比較的專門成本函數(shù)，進(jìn)行強(qiáng)化學(xué)習(xí)達(dá)到的(Fiete et al., 2007)，這個(gè)過程也涉及了學(xué)習(xí)過程中控制鳴聲變調(diào)的專門結(jié)構(gòu)(Aronov et al., 2011)。這些構(gòu)成聲音學(xué)習(xí)成本函數(shù)構(gòu)造基礎(chǔ)的細(xì)節(jié)回路圖譜正在開始繪制中(Mandelblat-Cerf et al., 2014)。從簡(jiǎn)單的系統(tǒng)開始，繪制獎(jiǎng)勵(lì)回路，以及它們?nèi)绾芜M(jìn)化和多樣化發(fā)展應(yīng)該是可能的。這將在理解系統(tǒng)如何學(xué)習(xí)的道路上邁出重要一步。

神經(jīng)科學(xué)啟發(fā)下的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)同樣可以被神經(jīng)科學(xué)改變。在大腦中，大量子系統(tǒng)和層級(jí)一起運(yùn)作，生成一個(gè)呈現(xiàn)出通用智能的代理(agent)。僅用相對(duì)較小的數(shù)據(jù)量，大腦就可以在廣泛?jiǎn)栴}上表現(xiàn)出智能行為。同樣的，在理解大腦上取得的進(jìn)展也有望改善機(jī)器學(xué)習(xí)。這一部分，我們回顧了之前有關(guān)大腦的三個(gè)假設(shè)，并討論這些詳加闡述的假設(shè)將如何有助于打造更加強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。

假設(shè)1—— 存在成本函數(shù)

一位好的機(jī)器學(xué)習(xí)從業(yè)者應(yīng)當(dāng)掌握廣泛的優(yōu)化方法，因地制宜地解決不同問題。我們已經(jīng)指出，大腦是一種暗含的機(jī)器學(xué)習(xí)機(jī)制，歷經(jīng)數(shù)百萬年的進(jìn)化。因此，我們應(yīng)該預(yù)期大腦能夠橫跨許多領(lǐng)域以及數(shù)據(jù)種類，高效優(yōu)化成本函數(shù)。實(shí)際上，我們甚至見證過跨越不同動(dòng)物種群的、某種大腦結(jié)構(gòu)的收斂演化(Shimizu and Karten, 2013; G¨unt¨urk¨un and Bugnyar, 2016)，比如，鳥類大腦仍然沒有皮層，但有發(fā)達(dá)的同源結(jié)構(gòu)——正如試驗(yàn)證實(shí)非洲灰鸚鵡有語言技能一樣——這種結(jié)構(gòu)是相當(dāng)復(fù)雜智能的來源。似乎有希望實(shí)現(xiàn)這一點(diǎn)：通過觀察大腦，學(xué)會(huì)如何實(shí)現(xiàn)真正的通用目的優(yōu)化。

實(shí)際上，通過觀察大腦可以期望發(fā)現(xiàn)多種類型的優(yōu)化。在硬件層面，大腦明確地設(shè)法高效對(duì)函數(shù)進(jìn)行優(yōu)化，盡管低速硬件受制于分子變動(dòng)，這意味著，機(jī)器學(xué)習(xí)硬件的改進(jìn)方向應(yīng)該是更高效的能源利用率。在學(xué)習(xí)規(guī)則的層面，大腦在一種高度非線性的、不可微分的、時(shí)間隨機(jī)的 spiking 系統(tǒng)中解決優(yōu)化問題，該系統(tǒng)包含海量反饋連接，我們?nèi)匀徊恢廊绾吾槍?duì)神經(jīng)網(wǎng)絡(luò)，有效解決這個(gè)問題。在結(jié)構(gòu)層面，大腦能在僅有極少刺激的基礎(chǔ)上，優(yōu)化某類函數(shù)，并在各種時(shí)間尺度上運(yùn)行，而且使用先進(jìn)的積極學(xué)習(xí)形式來推斷因果結(jié)構(gòu)。

盡管就大腦如何實(shí)現(xiàn)優(yōu)化，我們討論過很多理論( (Hinton, 2007, 2016; Bengio et al., 2015a; Balduzzi et al., 2014; Roelfsema et al., 2010; O’Reilly, 1996; O’Reilly et al., 2014a; K¨ording and K¨onig, 2001; Lillicrap et al., 2014)，但是，這些理論仍然是預(yù)備性的。因此，第一步就是理解大腦是否真的以近似全梯度下降的方式進(jìn)行多層信度分配，如果真是這樣，它是如何做到的。無論是哪一種方式，我們都可以預(yù)期問題的回答會(huì)影響到機(jī)器學(xué)習(xí)。如果大腦并不進(jìn)行某種反向傳播(BP)，那么，這意味著理解大腦用來避免這樣做的技巧，大腦也會(huì)受益于此。另一方面，如果大腦不進(jìn)行 BP，那么，潛在的機(jī)制就能支持跨領(lǐng)域的、各種有效優(yōu)化處理，包括從豐富的時(shí)間數(shù)據(jù)流，通過無監(jiān)督機(jī)制進(jìn)行學(xué)習(xí)，而且對(duì)于機(jī)器學(xué)習(xí)來說，背后的結(jié)構(gòu)可能具有長(zhǎng)期價(jià)值。

而且，搜索 BP 的生物合理性形式已經(jīng)產(chǎn)生了一些有趣的洞見，比如，在 BP 中使用隨機(jī)反饋權(quán)重的可能性(Lillicrap et al., 2014)，或者在混沌、自發(fā)的積極循環(huán)網(wǎng)絡(luò)中，意料之外的內(nèi) FORCE 學(xué)習(xí)力量( (Sussillo and Abbott, 2009)。這一點(diǎn)以及這里討論的其他發(fā)現(xiàn)表明，對(duì)于 BP，我們?nèi)匀淮嬖谀承└拘缘牟涣私?mdash;—這不但會(huì)產(chǎn)生更多具有生物合理性的方式，可資用來訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)，從根本上說，這些方式會(huì)更加簡(jiǎn)單，也更加強(qiáng)大。

假設(shè) 2——成本函數(shù)的生物學(xué)精細(xì)結(jié)構(gòu)

一個(gè)好的機(jī)器學(xué)習(xí)從業(yè)者應(yīng)該接觸廣泛學(xué)習(xí)技巧，這意味著能夠使用許多不同的成本函數(shù)。一些問題需要集簇，一些問題需要提取稀疏變量，還有些問題需要預(yù)測(cè)質(zhì)量最大化。大腦也要能夠處理許多不同的數(shù)據(jù)組。同樣，大腦因地制宜地使用廣泛成本函數(shù)解決問題，求生存，也是有意義的。

許多最著名的深度學(xué)習(xí)的成功，從語言建模( Sutskever et al., 2011)到視覺(Krizhevsky et al., 2012)到運(yùn)動(dòng)控制(motor control)( Levine et al., 2015)，都是端到端的單個(gè)任務(wù)目標(biāo)優(yōu)化驅(qū)動(dòng)的。我們已經(jīng)突出了一些情況，其中，深度學(xué)習(xí)已經(jīng)為成本函數(shù)的多樣性開啟了大門，后者將網(wǎng)絡(luò)模塊塑造成了具有專門作用的角色。我們預(yù)期，今后，機(jī)器學(xué)習(xí)會(huì)越來越多地采納這些實(shí)踐經(jīng)驗(yàn)。

在計(jì)算機(jī)視覺方面，我們已經(jīng)開始看到研究人員會(huì)為一個(gè)任務(wù)(比如ImageNet 分類)重適神經(jīng)網(wǎng)絡(luò)訓(xùn)練，然后部署到新任務(wù)上，除了它們被訓(xùn)練用來解決的任務(wù)，或者提供了更加有限的訓(xùn)練數(shù)據(jù)的任務(wù)(Yosinski et al., 2014; Oquab et al., 2014; Noroozi and Favaro, 2016))。我們?cè)O(shè)想這一過程能加以泛化，以系列或并行的方式，各種訓(xùn)練問題，每個(gè)都帶有一個(gè)關(guān)聯(lián)成本函數(shù)——可被用來塑造視覺表征。這樣訓(xùn)練出來的網(wǎng)絡(luò)能夠被共享，增強(qiáng)以及保留在新任務(wù)上。他們能被當(dāng)做前端，介紹給執(zhí)行更加復(fù)雜目標(biāo)的系統(tǒng)，或者服務(wù)于產(chǎn)生訓(xùn)練其他回路的成本函數(shù)((Watter et al., 2015)。作為一個(gè)簡(jiǎn)單的例子，一個(gè)可以區(qū)別不同結(jié)構(gòu)架構(gòu)(比如金字塔或者樓梯等)圖片的網(wǎng)絡(luò)，可被用來評(píng)判一個(gè)建筑施工( building-construction)網(wǎng)絡(luò)。

從科學(xué)角度來說，確定成本函數(shù)參與生物學(xué)大腦的順序，將讓機(jī)器學(xué)習(xí)了解如何利用復(fù)雜和分層行為，通過逐個(gè)擊破的方法(通常被用來解決學(xué)習(xí)問題、積極學(xué)習(xí)以及更多問題)，來建構(gòu)系統(tǒng)。

假設(shè)3——內(nèi)嵌于預(yù)結(jié)構(gòu)化架構(gòu)

一個(gè)好的機(jī)器學(xué)習(xí)從業(yè)者應(yīng)該掌握廣泛算法。動(dòng)態(tài)編程可以高效解決一些問題，哈希算法可以解決另一些問題，有些問題可以通過多層 BP 得到解決。大腦要能解決廣泛學(xué)習(xí)問題，無需進(jìn)行奢侈地再編程。因此，大腦擁有專門結(jié)構(gòu)，允許快速學(xué)會(huì)逼近大量算法，就很有意義了。

第一個(gè)神經(jīng)網(wǎng)絡(luò)是簡(jiǎn)單的單層系統(tǒng)，或線性或受限非線性(Rashevsky, 1939)。1980s 神經(jīng)網(wǎng)絡(luò)研究爆炸式發(fā)展，出現(xiàn)了多層網(wǎng)絡(luò)，接下來是諸如卷積 網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)(Fukushima, 1980; LeCun and Bengio, 1995)。過去二十年，已經(jīng)研究出LSTM( Hochreiter and Schmidhuber, 1997)，內(nèi)容可選址存儲(chǔ)器的控制(Weston et al., 2014; Graves et al., 2014)以及增強(qiáng)學(xué)習(xí)實(shí)現(xiàn)的玩游戲(Mnih et al., 2015)。這些網(wǎng)絡(luò)，盡管在以前看來很新鮮，如今正變成主流算法。還沒有跡象表明研發(fā)各種新結(jié)構(gòu)化結(jié)構(gòu)的工作正在停止，而且大腦回路的非均質(zhì)化和模塊化意味著，需要各種專門架構(gòu)來解決舉止規(guī)范的動(dòng)物所面對(duì)的各種挑戰(zhàn)。

大腦將一堆專門結(jié)構(gòu)以一種有用的方式組合起來。在機(jī)器學(xué)習(xí)中，重新解決這個(gè)問題可能會(huì)很難，因此從觀察大腦的運(yùn)作方式來解決這個(gè)問題，就很有吸引力。理解專門結(jié)構(gòu)的寬度以及將它們組合起來的結(jié)構(gòu)，會(huì)很十分有用。

進(jìn)化會(huì)使成本函數(shù)從優(yōu)化算法中分離嗎?

深度學(xué)習(xí)方法已經(jīng)在機(jī)器學(xué)習(xí)領(lǐng)域中刮起了一片熱潮。驅(qū)動(dòng)其成功的因素是將學(xué)習(xí)問題分離成兩部分：(1)一種算法，反向傳播，允許有效的分布式優(yōu)化;(2)通過設(shè)計(jì)一個(gè)成本函數(shù)和訓(xùn)練過程等方法將給定的問題轉(zhuǎn)化為一個(gè)優(yōu)化問題。如果我們想將深度學(xué)習(xí)應(yīng)用到一個(gè)新的領(lǐng)域，例如，玩Jeopardy，我們不需要改變優(yōu)化算法，我們只需要巧妙地設(shè)置正確的成本函數(shù)。在深度學(xué)習(xí)中，大多數(shù)的工作都是以建立正確的成本函數(shù)為重點(diǎn)的。

我們假設(shè)，大腦也掌握到了分離優(yōu)化機(jī)制和成本函數(shù)的方法。如果神經(jīng)回路，比如皮質(zhì)中的神經(jīng)回路，實(shí)現(xiàn)一個(gè)通用的優(yōu)化算法，那么之后該算法的任何改進(jìn)都將改善全大腦皮質(zhì)的功能。同時(shí)，不同的皮質(zhì)區(qū)，解決不同的問題，所以改變每個(gè)皮層區(qū)的成本函數(shù)相當(dāng)于提高其性能。因此，將優(yōu)化問題和成本函數(shù)產(chǎn)生問題進(jìn)行功能性地和進(jìn)化性地分離，可以進(jìn)化、產(chǎn)生更好、更快的計(jì)算。例如，普通的無監(jiān)督機(jī)制可以結(jié)合特定區(qū)域基于強(qiáng)化或監(jiān)督的機(jī)制以及錯(cuò)誤信號(hào)，進(jìn)來機(jī)器學(xué)習(xí)的很多進(jìn)展已經(jīng)發(fā)現(xiàn)了一種在單一系統(tǒng)中結(jié)合監(jiān)督和無監(jiān)督對(duì)象的自然方式Rasmus and Berglund，2015)。

這顯示出一些有趣的問題：成本函數(shù)和優(yōu)化算法之間的分裂發(fā)生在什么時(shí)候?這種分離是如何實(shí)現(xiàn)的?如何發(fā)展成本函數(shù)和優(yōu)化算法的創(chuàng)新?我們的成本函數(shù)和學(xué)習(xí)算法如何把這些與其他動(dòng)物區(qū)分開來。

關(guān)于這種區(qū)分如何在大腦中形成有很多種可能。六層皮層可能代表著共同的優(yōu)化算法，但在不同的皮層區(qū)域具有不同的成本函數(shù)。這種說法不同于所有的皮質(zhì)區(qū)使用一個(gè)單一的無監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)功能的特異性調(diào)整的輸入算法的說法。在那個(gè)情況下，優(yōu)化機(jī)制和隱含的無監(jiān)督成本函數(shù)將在相同區(qū)域(例如，最小化預(yù)測(cè)誤差)，只有樣本數(shù)據(jù)來自不同領(lǐng)域，而我們建議，優(yōu)化機(jī)制應(yīng)是一樣的跨區(qū)域，但成本函數(shù)和訓(xùn)練中的數(shù)據(jù)則來自不同的區(qū)域。因此，包括它的輸入和輸出數(shù)據(jù)，成本函數(shù)本身就像皮質(zhì)區(qū)的一個(gè)輔助輸入。之后，一些皮質(zhì)微電路也許就可以計(jì)算被傳遞到其他皮質(zhì)微電路的成本函數(shù)。

另一種可能性是，在同一線路中，布線和學(xué)習(xí)規(guī)則在某些方面指定一個(gè)優(yōu)化機(jī)制，并在跨領(lǐng)域中被相對(duì)固定，而另一些指定的成本函數(shù)則更多變。后者很可能類似于作為分子和結(jié)構(gòu)配置元素概念的皮質(zhì)微電路，在現(xiàn)場(chǎng)可編程門陣列類似的細(xì)胞(FPGA)(Marcus et al.，A，B)，而不是一個(gè)同質(zhì)襯底。這樣一種分離的生物性質(zhì)，如果存在，仍然是一個(gè)懸而未決的問題。例如，一個(gè)神經(jīng)元的各個(gè)部分可以分別處理優(yōu)化成本函數(shù)的規(guī)范，或一個(gè)微電路的不同部分，或者是特定類型的細(xì)胞，其中一些通過成本函數(shù)進(jìn)行信號(hào)處理和其他處理。

結(jié) 論

由于大腦的復(fù)雜性和可變性，單純的「自底向上」神經(jīng)數(shù)據(jù)分析面可能會(huì)面對(duì)理解上的挑戰(zhàn)(Robinson, 1992; Jonas and Kording, 2016)。理論框架有可能用來約束被評(píng)估的假設(shè)空間，這使得研究者能首先處理更高等級(jí)的系統(tǒng)原理和結(jié)構(gòu)，然后「放大」以處理細(xì)節(jié)。提出了「自上而下」的理解神經(jīng)計(jì)算框架，包括熵最大化，有效編碼，貝葉斯推理的一一逼近，錯(cuò)誤預(yù)測(cè)的最小化，吸引子動(dòng)力學(xué)，模塊化，促進(jìn)符號(hào)操作的能力，和許多其他的框架(Bialek, 2002; Bialek et al., 2006; Friston, 2010; Knill and Pouget, 2004; Marcus, 2001; Pinker, 1999)。有趣的是，許多「自上而下」的框架歸結(jié)為假定大腦只是優(yōu)化了一個(gè)單一的，給定的單一計(jì)算架構(gòu)成本函數(shù)。我們歸納的這些提議假定了在發(fā)展中演變的異構(gòu)成本函數(shù)組合和專門子系統(tǒng)的多樣性。

許多神經(jīng)科學(xué)家致力于搜索「神經(jīng)碼」，即，哪種刺激有助于驅(qū)動(dòng)個(gè)體神經(jīng)元、區(qū)域或大腦地區(qū)的活動(dòng)。但是，如果大腦能夠一般優(yōu)化成本函數(shù)，那么我們需要意識(shí)到，即使是簡(jiǎn)單的成本函數(shù)也能引起發(fā)復(fù)雜的刺激反應(yīng)。這有可能導(dǎo)致一系列不同的問題。不同的成本函數(shù)確實(shí)是有效思考大腦地區(qū)不同函數(shù)的方法嗎?大腦中成本函數(shù)的優(yōu)化究竟是如何發(fā)生的，這和人工神經(jīng)網(wǎng)絡(luò)的梯度下降實(shí)現(xiàn)方式有何區(qū)別?什么是目前優(yōu)化時(shí)電路中保持不變的附加約束?優(yōu)化是如何與結(jié)構(gòu)構(gòu)架相互作用的?這個(gè)構(gòu)架和我們所勾畫的構(gòu)架相似嗎?哪種計(jì)算連接到構(gòu)架，哪種出現(xiàn)在優(yōu)化中，哪種由極端混合體引起?成本函數(shù)在大腦中被明確計(jì)算到什么程度，與在本地學(xué)習(xí)規(guī)則中相比?大腦已經(jīng)進(jìn)化到可以區(qū)分成本函數(shù)生成機(jī)制和成本函數(shù)優(yōu)化機(jī)制了嗎?如果是的話，怎么辦到的?哪種元層次學(xué)習(xí)可能是大腦用來在眾多選擇中學(xué)習(xí)何時(shí)及如何喚醒不同的成本函數(shù)或?qū)ｉT系統(tǒng)來處理給定任務(wù)的?這個(gè)框架的關(guān)鍵機(jī)制是什么?神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)之間的更深入的對(duì)話能幫助闡釋其中的一些問題。

許多機(jī)器學(xué)習(xí)研究者致力于尋找更快的方法，在神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)端到端的梯度下降。神經(jīng)科學(xué)可能會(huì)在多個(gè)層次上啟發(fā)機(jī)器學(xué)習(xí)。大腦中的優(yōu)化算法已經(jīng)經(jīng)歷了上百萬年的演變。此外，大腦可能已經(jīng)找到了使用在發(fā)展中互相作用的異構(gòu)函數(shù)從而通過引導(dǎo)和塑造無監(jiān)督學(xué)習(xí)的結(jié)果來簡(jiǎn)化學(xué)習(xí)問題的方法。最后，在大腦中進(jìn)化來的專門結(jié)構(gòu)，可能會(huì)告訴我們?nèi)绾卧谝粋€(gè)要求在多個(gè)時(shí)間尺度上解決廣泛計(jì)算問題的世界中提高學(xué)習(xí)效率的方法。從神經(jīng)科學(xué)的角度看問題可能會(huì)幫助機(jī)器學(xué)習(xí)在一個(gè)結(jié)構(gòu)異構(gòu)化的，只有少量監(jiān)督數(shù)據(jù)的世界中，提高到正常智力。

在某種程度上，我們的提議與許多流行的神經(jīng)計(jì)算理論是背道而馳的。這里不只有一個(gè)優(yōu)化機(jī)制而可能有許多個(gè)，不只有一個(gè)成本函數(shù)而有一大群，不只一種表示而有任何有用的表示，不只一個(gè)異構(gòu)的結(jié)構(gòu)而有許多這樣的結(jié)構(gòu)。這些元素被內(nèi)部產(chǎn)生的成本函數(shù)優(yōu)化聯(lián)系到一起，這使得這些系統(tǒng)充分利用彼此。拒絕簡(jiǎn)單的統(tǒng)一理論和先前廣泛的 AI 方法一樣。例如，Minsky 和 Papert 的《心智社會(huì)》(Society of Mind，Minsky, 1988)和更廣泛的基因演化想法及連接系統(tǒng)的內(nèi)部自舉發(fā)展(Minsky, 1977)——強(qiáng)調(diào)了對(duì)內(nèi)部監(jiān)視和批評(píng)體系、專業(yè)通信和儲(chǔ)存機(jī)制以及簡(jiǎn)單控制系統(tǒng)的分層結(jié)構(gòu)的需要。

寫這些早期作品時(shí)，還不是很確定基于梯度優(yōu)化能否引起強(qiáng)大的特征表示和行為政策。我們的提議可以被視為一個(gè)反對(duì)簡(jiǎn)單端到端訓(xùn)練，支持異構(gòu)方法的重新討論。換句話說，這個(gè)框架之可以被視作提出了一種成本函數(shù)及可訓(xùn)練網(wǎng)絡(luò)「社會(huì)」，它允許《Society of Mind》(Minsky, 1988)的內(nèi)部自助過程。從這個(gè)觀點(diǎn)看，智力能被許多計(jì)算專業(yè)結(jié)構(gòu)啟用，每個(gè)結(jié)構(gòu)被自我發(fā)展調(diào)節(jié)的成本函數(shù)訓(xùn)練，其中結(jié)構(gòu)和成本函數(shù)都是被類如神經(jīng)網(wǎng)絡(luò)超參數(shù)的進(jìn)化優(yōu)化過的。

來源：機(jī)器之心