來源：數(shù)據(jù)猿 編譯：閻志濤

對于未來的預(yù)測經(jīng)常是錯誤的，不過多看看不同的人對未來的想法無疑是有價值的。人工智能發(fā)展到現(xiàn)在已經(jīng)在很多領(lǐng)域證明了自己。不過目前的人工智能還遠遠達不到我們期望中的狀態(tài)。

下一個目標(biāo)無疑是人工智能有了更好的感知能力，能夠利用記憶、遷移學(xué)習(xí)以及持續(xù)學(xué)習(xí)能力來處理復(fù)雜的情況，這樣的人工智能可能才逐漸的向通用智能方面發(fā)展。

圖片來自：Towards Data Science

以下是正文：

以下這些是我關(guān)于深度神經(jīng)網(wǎng)絡(luò)以及機器學(xué)習(xí)在更廣泛的人工智能領(lǐng)域如何發(fā)展的看法，以及我們?nèi)绾文軌颢@得越來越復(fù)雜的機器以改善我們的日常生活。

需要注意的是，這些并不是對于未來的預(yù)測，而是對這些領(lǐng)域的發(fā)展軌跡、趨勢以及技術(shù)需求進行更詳細的分析，從而使得我們能夠獲得有用的人工智能。

并不是所有的機器學(xué)習(xí)都是針對人工智能的，還有一些低成就的成功，我們也會一并進行介紹。

1 目標(biāo)

這個領(lǐng)域的目標(biāo)是實現(xiàn)達到或者超過人類的機器，從而能夠在我們的日常的生活中幫助我們。自動駕駛車輛、智能家居、人造助手以及安全的攝像頭是第一個目標(biāo)。

家庭烹飪和清潔機器人以及無人機和機器人是第二個目標(biāo)。另外一個是移動設(shè)備上的智能助手。還有就是能夠聽到或者看到我們?nèi)粘Ｉ畹娜氈悄芘惆橹怼＝K極的目標(biāo)是一個完全自主的綜合體，在人類的日常任務(wù)中，能夠達到或者超過人類。

2 軟件

在這里軟件被定義為通過優(yōu)化算法進行訓(xùn)練的能夠解決一個特定任務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

在今天，神經(jīng)網(wǎng)絡(luò)已經(jīng)變成了從大規(guī)模的數(shù)據(jù)集上進行監(jiān)督學(xué)習(xí)來分類事實的工具。但這并不是人工智能，因為在真實的世界中經(jīng)常需要從沒有經(jīng)歷過的經(jīng)驗中無監(jiān)督的學(xué)習(xí)，這需要能夠結(jié)合不同的環(huán)境中得來的知識去解決面臨的新的問題。

2.1 神經(jīng)網(wǎng)絡(luò)架構(gòu)

幾年前，當(dāng)這個領(lǐng)域蓬勃發(fā)展時，我們經(jīng)常說它具備從數(shù)據(jù)中自動學(xué)習(xí)算法參數(shù)的能力，并且優(yōu)于人的手工的特征工程。但是我們有意識地忘掉了一個小細節(jié)：在訓(xùn)練的基礎(chǔ)上去解決一個任務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)并不是從數(shù)據(jù)中學(xué)得的，實際上它仍舊是由人來設(shè)計的。

圖片來自：The Asimov Institute

從經(jīng)驗中手工設(shè)計仍舊是這個領(lǐng)域的最主要的局限之一。神經(jīng)網(wǎng)絡(luò)架構(gòu)是學(xué)習(xí)算法基礎(chǔ)的核心。盡管我們的學(xué)習(xí)算法能夠掌握新的任務(wù)，如果神經(jīng)網(wǎng)絡(luò)不正確，它們?nèi)耘f不能正常的工作。

從數(shù)據(jù)中學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)的問題在于，在一個大規(guī)模數(shù)據(jù)集上嘗試多個架構(gòu)花費的時間太長。一個人不得不從頭到尾嘗試訓(xùn)練多個架構(gòu)去看看哪個表現(xiàn)得最好。這正是我們今天最為耗時的試錯過程。我們需要在這個問題上投入更多的人的腦力去解決這個重要的問題。

2.2 無監(jiān)督學(xué)習(xí)

圖片來自：Iterative Path

我們不能總是在那里指導(dǎo)神經(jīng)網(wǎng)絡(luò)如何去做，不能總是在幫助它們糾正每一個錯誤，對它們的性能提供反饋，我們有自己的生活要去過。但這就是我們今天對于有監(jiān)督的神經(jīng)網(wǎng)絡(luò)需要做的：對于每一個實例，我們都要去幫助它使得它能夠正確的工作。相反，人類會從一些例子中去學(xué)習(xí)，然后能夠以一種持續(xù)的方式自我修正和學(xué)習(xí)更復(fù)雜的數(shù)據(jù)。

2.3 預(yù)測神經(jīng)網(wǎng)絡(luò)

當(dāng)前的神經(jīng)網(wǎng)絡(luò)的一個主要的局限就是它不具備我們?nèi)祟惔竽X的一個重要特性：它們的預(yù)測能力。

關(guān)于人類大腦如何工作的一個主要的理論是不斷的做出預(yù)測：預(yù)測編碼。如果你仔細想一下，我們每天都會體驗到它。當(dāng)你提起一個你認為很輕但是實際上很重的物體時，你會感到吃驚。因為當(dāng)你準(zhǔn)備提起它時，你已經(jīng)預(yù)測了它將會如何影響你和你的身體，以及對周邊環(huán)境的影響。

預(yù)測不僅僅幫助理解世界，而且還能夠幫助我們知道什么時候不需要、什么時候需要學(xué)習(xí)。

實際上，我們保存關(guān)于我們不知道的或者讓我們感到吃驚的事情的信息，這樣下次遇到的時候我們就不會感到吃驚。

認知能力顯然與我們大腦中的注意力機制有關(guān)系：我們具備先天的能力能夠去忘掉 99.9% 的感官輸入，而僅僅聚焦于對于我們的生存至關(guān)重要的數(shù)據(jù)：威脅在那里以及我們跑到哪里能夠避開它?；蛘撸诋?dāng)今的社會，當(dāng)我們急著要出門時我們的手機在哪里。

構(gòu)建預(yù)測神經(jīng)網(wǎng)絡(luò)是與真實世界交互以及在復(fù)雜的環(huán)境中能夠進行運轉(zhuǎn)的核心，因此這是任何強化學(xué)習(xí)網(wǎng)絡(luò)的核心網(wǎng)絡(luò)。我們已經(jīng)廣泛討論了預(yù)測神經(jīng)網(wǎng)絡(luò)這個話題，并且是研究和創(chuàng)建它們的先鋒組織之一。

2.4 當(dāng)前的神經(jīng)網(wǎng)絡(luò)的局限

我們前面已經(jīng)討論了今天的神經(jīng)網(wǎng)絡(luò)的局限，不能夠預(yù)測、基于內(nèi)容的推理以及不穩(wěn)定性，因此我們需要一種新型的神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)膠囊是解決當(dāng)前的神經(jīng)網(wǎng)絡(luò)局限的一種方法。在這里我們認為膠囊需要擴充一些新的特性：

• 對視頻幀的操作

• 這非常簡單，我們需要做的是讓膠囊路由查看最近播放過的多個數(shù)據(jù)點。這相當(dāng)于對最近的重要數(shù)據(jù)點上的聯(lián)想記憶。

需要注意的是它不是最近幀的最近的表達，而是最近的幀的最不同點的表達。不同內(nèi)容的不同點表達可以通過僅僅保存與預(yù)定義值不同的表達來獲得。這個重要的細節(jié)可以保存最近的歷史相關(guān)信息，而不是一系列相關(guān)的數(shù)據(jù)點的無用的信息。

預(yù)測神經(jīng)網(wǎng)絡(luò)能力

這已經(jīng)是動態(tài)路由的一部分，從而強迫每一層都去預(yù)測下一層的表達。這是一個非常強大的自學(xué)習(xí)技術(shù)，在我們看來，它比我們社區(qū)所開發(fā)的所有的其他類型的無監(jiān)督學(xué)習(xí)都更有效果。膠囊現(xiàn)在需要能夠預(yù)測長時間的時空關(guān)系，但是現(xiàn)在這個能力還沒有被實現(xiàn)。

2.5 持續(xù)學(xué)習(xí)

這一點很重要，因為神經(jīng)網(wǎng)絡(luò)需要不斷學(xué)習(xí)新的數(shù)據(jù)點。目前的神經(jīng)網(wǎng)絡(luò)每一次都只能夠重新訓(xùn)練才能夠?qū)W習(xí)新的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)需要能夠自我評估哪些是它們已經(jīng)知道的以及哪些需要重新訓(xùn)練。

圖片來自：blog.ryan-jenkins.com/

這也是現(xiàn)實生活中的增強學(xué)習(xí)任務(wù)所需要的，這樣我們就能教機器學(xué)習(xí)新的任務(wù)而不會忘記舊的任務(wù)。

2.6 遷移學(xué)習(xí)

或者我們?nèi)绾文軌蜃屵@些算法通過觀看視頻自己學(xué)習(xí)，就像我們想要學(xué)習(xí)如何做一道新菜一樣。這個能力需要我們前面列出的所有的組件，并且對于增強學(xué)習(xí)非常重要?，F(xiàn)在你只需要給機器一個例子，就可以訓(xùn)練你的機器來做你想要它做的事情，就像我們?nèi)祟愐粯印?/p>

2.7 增強學(xué)習(xí)

這是深度神經(jīng)網(wǎng)絡(luò)研究的圣杯：教給機器如何在一個真實世界的環(huán)境中去學(xué)會行動。這需要自我學(xué)習(xí)、持續(xù)學(xué)習(xí)、預(yù)測能力以及很多我們不知道的東西。在增強學(xué)習(xí)領(lǐng)域還有很多的工作要去做，但是對于作者來講，他僅僅是了解了這個問題的皮毛，距離解決它還有很多的路要走。

強化學(xué)習(xí)通常被稱為“蛋糕上的草莓”，這意味著它僅僅是一個塑料綜合大腦上的小型訓(xùn)練。那我們?nèi)绾文軌虻玫揭粋€能夠輕松解決所有問題的“通用”的大腦呢？ 這是一個先有雞還是先有蛋的問題。今天為了一個一個解決增強學(xué)習(xí)的問題，我們使用標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)：

• 一個深度神經(jīng)網(wǎng)絡(luò)，它接受大量的輸入數(shù)據(jù)，例如視頻或者音頻，然后將它們壓縮為表達

• 一個序列學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，例如 RNN，去學(xué)習(xí)任務(wù)

這兩個是解決這個問題的顯而易見的解決方案，然而明顯的是錯誤的。但這正是每個人現(xiàn)在都在使用的，因為它們是目前可用的組件。結(jié)果卻不令人滿意。的確我們可以從頭學(xué)會玩視頻游戲，并且掌握象棋或者圍棋這類完全可以觀察的游戲。但是不需要我告訴你這些遠遠不能夠解決現(xiàn)實世界的復(fù)雜問題。

想象一下一個 AI 可以比人玩 Horizon Zero Dawn 玩得更好，我非常想看到這個發(fā)生。

這正是我們想要的，機器可以和我們?nèi)祟愐粯舆M行操作。我們在這里詳細介紹了增強學(xué)習(xí)的工作和建議。它使用一個可以連續(xù)操作的預(yù)測神經(jīng)網(wǎng)絡(luò)以及一個關(guān)聯(lián)存儲器去存儲當(dāng)前的體驗。

2.8 不會再存在循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）已經(jīng)出現(xiàn)了有一段時日了。RNN 在訓(xùn)練的并行化方面表現(xiàn)得非常不好，即使在特殊定制的機器上運行也非常慢，究其原因是它們非常高的內(nèi)存帶寬使用，因為它們受限于內(nèi)存帶寬而不是受限于計算能力。

基于注意力的神經(jīng)網(wǎng)絡(luò)訓(xùn)練和部署更高效也更快速，并且他們比較小地受到訓(xùn)練和部署的彈性影響。神經(jīng)網(wǎng)絡(luò)中的注意力有可能改變很多的的架構(gòu)，但是現(xiàn)在它還沒有得到應(yīng)有的認可。將關(guān)聯(lián)記憶和注意力結(jié)合在一起將會是下一波神經(jīng)網(wǎng)絡(luò)發(fā)展浪潮中的核心。

注意力神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠像 RNN 一樣學(xué)習(xí)序列，并且能夠減少 100 倍的計算量！誰能夠忽略這個大的進步？我們認識到基于注意力的神經(jīng)網(wǎng)絡(luò)將會慢慢在語音識別領(lǐng)域替換 RNN，并且會在增強學(xué)習(xí)架構(gòu)和通用人工智能領(lǐng)域找到他們的位置。

3 硬件

圖片來自：Rude Baguette

硬件是深度學(xué)習(xí)取得進步的核心，讓我們忘掉深度學(xué)習(xí)在 2008-2012 年的快速擴張，近些年深度學(xué)習(xí)的迅速發(fā)展主要是因為硬件：

• 每個手機上廉價的圖像傳感器使得我們可以收集大量的數(shù)據(jù)集

• GPU 可以加速深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

在過去的 1-2 年，我們看到了機器學(xué)習(xí)硬件的爆發(fā)式的發(fā)展，尤其是針對深度神經(jīng)網(wǎng)絡(luò)。

有好幾個公司在這個領(lǐng)域進行工作：NVIDIA、Intel、Google 等，它們都在開發(fā)定制化、高性能的能夠訓(xùn)練和運行深度神經(jīng)網(wǎng)絡(luò)的芯片。

關(guān)鍵是提供能夠運行最新最有用的神經(jīng)網(wǎng)絡(luò)操作同時能夠提供最低等功率和最高的可衡量的性能。但是這個領(lǐng)域里很少有人能夠理解硬件如何真正的改變機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)以及人工智能。很少有人理解芯片的重要性以及如何去開發(fā)它們。

以下是我們的列表：

訓(xùn)練還是推理  

很多公司在創(chuàng)造能夠進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的芯片，其目的是搶占 NVIDIA 的一部分市場，NVIDIA 是神經(jīng)網(wǎng)絡(luò)訓(xùn)練硬件的事實上的標(biāo)準(zhǔn)。

但是訓(xùn)練僅僅是深度神經(jīng)網(wǎng)絡(luò)應(yīng)用和世界中的一小部分。對于任何一個訓(xùn)練步驟，在真實世界中都有實際應(yīng)用的上百萬次的部署。例如你可以在云上使用一個目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)：它被在很多圖片上訓(xùn)練一次，但是一旦訓(xùn)練完成，它將會被上百萬臺計算機在數(shù)十億的數(shù)據(jù)上去運行。

我們在這里試圖說明的是：訓(xùn)練硬件的重要性就像將你的訓(xùn)練次數(shù)與你真正使用的次數(shù)進行比較一樣。而且一個訓(xùn)練所用的硬件需要額外的硬件和軟件技巧。

這意味這對于相同的性能需要更高的功率，因此不適合進行當(dāng)前的生產(chǎn)部署。訓(xùn)練硬件重要，但是相比于一個容易修改的推理硬件，它并不是很多人想象的那么重要了。

應(yīng)用

能夠提供用更少的能源來進行更快的訓(xùn)練的在這個領(lǐng)域非常重要，因為它能夠使得我們更快地創(chuàng)建和測試新的模型。但是后邊真正重要的一步是運行應(yīng)用的硬件。

目前，還有很多的應(yīng)用由于硬件效率的原因還沒辦法應(yīng)用到實際當(dāng)中，比如我們的手機可以是語音助手，它還遠遠的達不到理想的狀態(tài)，因為我們不能一直打開它。我們的家庭助手都需要連接到供電設(shè)備上，因此不能隨時的跟隨我們在家里隨意移動，除非我們周邊有多個麥克風(fēng)和設(shè)備。

可能最重要的應(yīng)用是將手機屏幕從我們的生活中移走，然后嵌入到我們的視覺系統(tǒng)當(dāng)中。沒有超級有效的硬件，大部分的這些應(yīng)用（小機器人）都會變得不可能。

贏家和輸家

在硬件領(lǐng)域，贏家是單位能耗最低、并且能夠最快進入市場的那些企業(yè)。想象一下在手機中取代 SoC，這每年都在發(fā)生?，F(xiàn)在想象一下將神經(jīng)網(wǎng)絡(luò)加速器嵌入到內(nèi)存當(dāng)中，這可能能夠更快地征服大部分的市場，并且具有非常明顯的滲透率。這就是我們所說的贏家。

在前面，我們簡要討論了應(yīng)用，但是我們需要詳細的討論一下 AI 和神經(jīng)網(wǎng)絡(luò)如何進入和影響我們的生活

如下是列表：

圖像和視頻分類

已經(jīng)有很多云服務(wù)提供商在提供服務(wù)，未來會在更多的智能相機中提供。神經(jīng)網(wǎng)絡(luò)在未來將會越來越多地減少對云的依賴而在本地處理越來越多的數(shù)據(jù)：因為隱私和節(jié)省帶寬而成為贏家。

語音助手

圖片來自：Tech Crunch

他們正在成為我們生活中的一部分，因為他們在我們的“智能”家庭中播放音樂和控制基本設(shè)備。

對話是我們?nèi)祟惢顒又谢A(chǔ)的一個能力，因此我們經(jīng)常認為它是理所當(dāng)然的。與你正在對話的小型設(shè)備正在發(fā)生一場革命，語音助手在服務(wù)我們時變得越來越好。

但是他們?nèi)耘f需要連接電源。我們需要的真正的助手是能夠跟隨我們移動的，我們的手機合適嗎？在這里硬件有一次獲得了勝利，因為硬件的進步使得這個成為可能。

Alexa、Cortona 和 Siri 會一直在你的身邊陪伴。你的手機很快就會成為你的智能家庭，這是智能手機的又一次勝利。我們也希望當(dāng)我們在四處走動時，他們在我們的車里。

我們需要能夠在本地處理聲音，越來越少地依賴云，從而能夠有更好的隱私保護以及降低帶寬的開銷，硬件進步將在 1-2 年內(nèi)把這些提供給我們。

真正人工助手

圖片來自：Boston Web Marketing

能夠識別語音真的很棒，但是我們真正需要的是能夠看到我們看到的，當(dāng)我們移動時能夠隨時分析我們周圍環(huán)境的助手。這是我們真正會愛上的智能助手。

神經(jīng)網(wǎng)絡(luò)硬件能夠滿足你的這個愿望，因為分析視頻流非常耗費計算能力，而且已經(jīng)達到了現(xiàn)在硅基硬件的理論極限。換句話說，這個的實現(xiàn)要比語音助手困難的多。

但是這并不是不可能的，許多智能初創(chuàng)公司，比如 AiPoly 已經(jīng)有了所有的相關(guān)的軟件，但是缺乏能夠支撐在手機上運行的強有力的硬件。還要注意的是，利用可穿戴眼鏡之類的設(shè)備替換手機屏幕將會使得智能助手真正成為我們生活的一部分。

烹飪機器人

圖片來自：How Cool Brands Stay Hot

下一個偉大的設(shè)備將會是一個做飯以及清潔的機器人，我們很快可能就會有相關(guān)的硬件，但是我們?nèi)狈?yīng)的軟件。我們需要遷移學(xué)習(xí)、持續(xù)學(xué)習(xí)以及增強學(xué)習(xí)。

所有的工作看起來都非常有魅力，因為你會看到：每一個配方都是不同的，每一個烹飪的原材料都看起來是不一樣的，我們不可能硬編碼這些選項，我們需要一個綜合體來非常好的學(xué)習(xí)和總結(jié)從而能夠完成相關(guān)的工作。

我們遠沒有達到這個地步，但也不是非常的遙不可及。按照目前的發(fā)展速度，可能需要幾年的時間。勿容置疑，我會從事相關(guān)的工作，就像我過去幾年已經(jīng)在做的一樣。

注：本文經(jīng)由TalkingData數(shù)據(jù)學(xué)堂及閻志濤本人授權(quán)并投遞數(shù)據(jù)猿發(fā)布，本文由閻志濤老師翻譯自Towards Data Science的一篇文章，原文作者為 Eugenio Culurciello。

來源：數(shù)據(jù)猿