編者按：AI在很多方面都表現(xiàn)出了與人類相匹敵甚至超越人類的能力。但是AI如何實現(xiàn)這種能力卻是一個謎題。隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)在科學(xué)領(lǐng)域的應(yīng)用越來越多，AI的黑箱性質(zhì)已經(jīng)愈發(fā)引起技術(shù)專家、科學(xué)家以及倫理學(xué)家的擔(dān)心。于是一批AI專家開始把研究目標(biāo)對準(zhǔn)了AI自己，他們利用各種辦法試圖提高AI執(zhí)行的透明度，從而形成了一種新興的AI學(xué)科——AI神經(jīng)科學(xué)。《科學(xué)》雜志的這篇文章為我們介紹了這些AI偵探是如何破解黑箱的。

加州舊金山，Uber總部，Jason Yosinski正坐在一個小小的玻璃箱里面，揣摩著一個人工智能的思想。身為Uber研究科學(xué)家的Yosinski正在對運行在他的筆記本上的AI進行某種腦科手術(shù)。就像眾多很久快將對現(xiàn)代生活的方方面面提供動力的AI(包括Uber的無人車)一樣， Yosinski的程序用的也是深度神經(jīng)網(wǎng)絡(luò)，其架構(gòu)靈感也部分源自大腦。就像大腦一樣，該程序外部是很難理解的：它是個黑箱。

這個特別的AI已經(jīng)用海量的標(biāo)簽圖像進行了訓(xùn)練，使得它可以識別諸如斑馬、消防車、安全帶等隨機對象。那它能不能認(rèn)出在攝像頭前面駐足的Yosinski和記者呢 Yosinski放大了這個AI其中的一個獨立的計算節(jié)點，或者說神經(jīng)元，好看看是什么促使它響應(yīng)。兩個幽靈式的白色橢圓形彈了出來懸浮在屏幕上。似乎這個神經(jīng)元已經(jīng)學(xué)會了檢測臉部的輪廓。他說：“這個對你我的臉做出響應(yīng)。它會對不同尺寸不同膚色的臉做出響應(yīng)。”

沒人教過這個網(wǎng)絡(luò)識別人臉的本領(lǐng)。在它的訓(xùn)練圖像中人類并沒有被打上標(biāo)簽。但它還是學(xué)會了去了解人臉，也是是作為識別伴隨著人臉出現(xiàn)的東西，如領(lǐng)帶、牛仔帽之類的手段。該神經(jīng)網(wǎng)絡(luò)對人類來說實在是太復(fù)雜了，所以無法理解其確切決定。Yosinski的調(diào)查發(fā)現(xiàn)了其中的一小部分，但整體而言，它仍然是晦澀難懂的。他說：“我們建立了令人驚訝的模型，但我們還不是很理解它們。而且這種理解鴻溝每一年都在與日俱增。”

深度神經(jīng)網(wǎng)絡(luò)，或者用行話來說，深度學(xué)習(xí)，似乎每個月都把觸角延伸到類型的科學(xué)學(xué)科。它們可以預(yù)測合成有機分子的最佳方式。它們可以檢測與自閉癥相關(guān)的基因。它們甚至可以改變科學(xué)本身的進行方式。但凡去做的事情AI往往都成功了。但它們也給以解釋作為事業(yè)基礎(chǔ)的科學(xué)家出了一個糾結(jié)的難題：為什么 為什么要這樣建模

這個解釋問題正在刺激著產(chǎn)業(yè)界和學(xué)術(shù)界新一代的研究者。就像顯微鏡揭示了細(xì)胞一樣，這些研究人員正在設(shè)計工具來洞悉神經(jīng)網(wǎng)絡(luò)是如何做出決策的。一些工具是在沒有滲透進AI的進行下進行調(diào)查的;一些屬于與神經(jīng)網(wǎng)絡(luò)競爭的替代算法，但透明度更高;而有的則采用甚至更多的深度學(xué)習(xí)來探究黑箱。這些湊成一個新學(xué)科。Yosinski稱之為“AI神經(jīng)科學(xué)”。

打開黑箱

近似模仿人類大腦的深度神經(jīng)網(wǎng)絡(luò)正在促進科學(xué)的創(chuàng)新。但這種模型的機制卻很神秘：它們是黑箱?？茖W(xué)家現(xiàn)在正在開發(fā)工具來進入這種機器的大腦。

西雅圖華盛頓大學(xué)的研究生Marco Ribeiro力爭理解這種黑箱，他的手段是一類叫做反事實調(diào)查的AI神經(jīng)科學(xué)工具。其想法是改變AI的輸入——不管是文字、圖像還是任何其他東西——然后用聰明的方式看看哪些變化會影響輸出，以及是如何影響的。比方說讀取電影評論然后對其中積極的打上標(biāo)記的神經(jīng)網(wǎng)絡(luò)。Ribeiro的程序叫做Local Interpretable Model-Agnostic Explanations (LIME)，它會把標(biāo)記為積極的評論取出來，然后通過刪除或者替換文字來做出微妙的變化。這些變化然后再被放到這個黑箱里面跑，看看它還會不會認(rèn)為這些評論是積極的。在數(shù)千次測試的基礎(chǔ)上，LIME可以識別出哪些單詞，或者哪些圖像或分子結(jié)構(gòu)或者任何類型的數(shù)據(jù)的組成部分對AI原先判斷最重要。測試可能會發(fā)現(xiàn)“恐怖”這個詞對于搖鏡頭極其重要，或者“Daniel Day Lewis”會導(dǎo)致對影片的積極評價。但盡管LIME能夠診斷那些個體的例子，在對網(wǎng)絡(luò)的整體洞察方面這一結(jié)果卻揭示不了什么。

像LIME這樣新的反事實方法似乎每個月都會涌現(xiàn)。但Google的另一位計算機科學(xué)家Mukund Sundararajan卻構(gòu)思了一種不需要對神經(jīng)網(wǎng)絡(luò)進行上千次測試的調(diào)查法：如果你想要理解很多而不是一些決策的話，那這種方法就是一種福利了。Sundararajan和他的團隊不是隨機地對輸入做出變化，而是引入了空白對比——一張空白的圖片或者用歸零數(shù)組替代文字——然后把它一步步地過渡到被測試的例子。通過每一步執(zhí)行，他們觀察神經(jīng)網(wǎng)絡(luò)的跳躍情況，并利用這種跳轉(zhuǎn)軌跡推斷出對預(yù)測重要的特性是什么。

Sundararajan將這種過程與選出他所在的玻璃墻空間的關(guān)鍵特征相提并論——這個地方配備的都是些標(biāo)準(zhǔn)的東西，馬克杯、桌子、椅子以及計算機，就像Google的會議室一樣。“我可以給出無數(shù)個推論。”但比方說你慢慢地調(diào)暗了燈光。“等燈光變得很暗時，只有最大的推論最突出。”從空白對比出發(fā)的過渡讓Sundararajan可以比Ribeiro的變化法捕捉更多的神經(jīng)網(wǎng)絡(luò)決策。但更深層次的問題依然無解，Sundararajan說，作為一位父親這種思想狀態(tài)他再熟悉不過了：“我4歲的小孩總是不斷地提醒我‘為什么 ’這個問題的無限遞歸。”

這種迫切性不僅出自科學(xué)。根據(jù)歐盟的要求，采用的算法會對公眾產(chǎn)生重大影響的公司明年必須對其模型的內(nèi)部邏輯做出“解釋”。美國軍方的研究機構(gòu)The Defense Advanced Research Projects Agency(先進研究項目局)在為一個新計劃投入了7000萬美元，新計劃的名字叫做Explainable AI(可解釋的AI)，旨在對支撐無人機與情報挖掘行動的深度學(xué)習(xí)做出解釋。Google機器學(xué)習(xí)研究人員Maya Gupta說，硅谷本身也有打開AI黑箱的驅(qū)動力。當(dāng)她2012年加盟Google時，她詢問了AI工程師有什么問題，當(dāng)時精準(zhǔn)度不是他們關(guān)注的唯一問題。對方告訴她說：“我不知道AI在干什么。我不知道是不是可以信任它。”

對于這種信任的缺失，微軟研究院的計算機科學(xué)家Rich Caruana有切身體會。作為1990年代卡內(nèi)基梅隆大學(xué)的研究生，他曾加入一個團隊，試圖探究是否機器學(xué)習(xí)可以指導(dǎo)對肺炎病人的治療。通常來說，把精神充沛的人送回家是最好的，因為這樣可以避免在醫(yī)院里發(fā)生二次感染。但一些病人，尤其是患有哮喘等復(fù)雜因素的病人，應(yīng)該馬上允許住院。Caruana運用神經(jīng)網(wǎng)絡(luò)對78家醫(yī)院提供的臨床與結(jié)果數(shù)據(jù)集進行了分析?？雌饋硭坪豕ぷ鞑诲e。但令人不安的是，他發(fā)現(xiàn)一個基于相同記錄訓(xùn)練的更簡單、透明的模型卻建議把哮喘病人送回家，這說明了數(shù)據(jù)是有瑕疵的。而他并沒有簡便的方法來了解他的神經(jīng)網(wǎng)絡(luò)是否也得出了同樣糟糕的經(jīng)驗。他說：“對神經(jīng)網(wǎng)絡(luò)的恐懼完全是合理的。真正令我恐懼的是還有哪些神經(jīng)網(wǎng)絡(luò)學(xué)到的東西也是錯的 ”

今天的神經(jīng)網(wǎng)絡(luò)比Caruana還是研究生那會兒強多了，但它們的本質(zhì)是一樣的。一頭是亂糟糟的一團數(shù)據(jù)——比方說數(shù)百萬張狗的圖片。這些數(shù)據(jù)會被吸進有十幾甚至更多計算層組成的網(wǎng)絡(luò)，在這個網(wǎng)絡(luò)里面，神經(jīng)元似的連接會“開火”以對輸入數(shù)據(jù)的特征做出響應(yīng)。每一層會對更加抽象的特征做出反應(yīng)，使得最后一層能區(qū)分出小獵犬與臘腸狗。

一開始的時候這種系統(tǒng)會表現(xiàn)得比較笨拙。但每次結(jié)果都會跟打上標(biāo)簽的狗圖片進行比較。通過一個名為反向傳播的過程，結(jié)果會被送回給神經(jīng)網(wǎng)絡(luò)，使得它可以對每個神經(jīng)元的觸發(fā)器重新賦予權(quán)重。這個過程會重復(fù)幾百萬次，直到神經(jīng)網(wǎng)絡(luò)知道(但我們不知道它怎么做到的)如何區(qū)分不同的狗品種。Caruana說：“”。但這種神秘且靈活的力量正是它們之所以是黑箱的原因。

Gupta對于黑箱采取了不同的策略：回避。幾年前，第二職業(yè)為復(fù)雜實體設(shè)計師的Gupta開始了一個叫做GlassBox的項目。她的目標(biāo)是通過植入可預(yù)測性來馴養(yǎng)神經(jīng)網(wǎng)絡(luò)。其指導(dǎo)原則是單調(diào)性——也就是變量之間這樣的一種關(guān)系，在其他一切均平等的情況下，一個變量的增加會直接增加另一個，就像一間房子的建筑面積和房子價格的關(guān)系一樣。

Gupta將這些單調(diào)關(guān)系嵌入到一個叫做內(nèi)插值查找表的龐大數(shù)據(jù)庫里面。這些數(shù)據(jù)庫基本上就像你要查找sin 0.5的值時要翻的高中三角學(xué)課本背后的那些表。不過她的表不是在一維上有十幾個數(shù)據(jù)項，而是指多維上有幾百萬個條目。然后她將那些表編排到神經(jīng)網(wǎng)絡(luò)里面，這相當(dāng)于增加了額外的一層可預(yù)測的計算層——她說所植入的這些知識最終可以讓網(wǎng)絡(luò)更加可控。

與此同時，Caruana還惦記著肺炎治療方面的教訓(xùn)。為了開發(fā)出一種在準(zhǔn)確率上可與深度學(xué)習(xí)匹敵但可避免不透明性的模型，他向一直跟機器學(xué)習(xí)及其不協(xié)調(diào)的方法相處得都不是很好的一個社區(qū)——統(tǒng)計學(xué)家發(fā)出了求助信號。

在1980年代，統(tǒng)計學(xué)家開拓了一種新的技術(shù)，名字叫做廣義相加模型(GAM)。這種技術(shù)的基礎(chǔ)是線性回歸，是一種在一組數(shù)據(jù)中尋找線性趨勢的方法。但通過尋找多種組合起來可以將數(shù)據(jù)糅合進一條回歸線的操作，GAM還可以處理更棘手的關(guān)系——比方說，對一組數(shù)進行開方，同時對另一組變量求對數(shù)。Caruana對這一過程又進行了增強，利用機器學(xué)習(xí)來發(fā)現(xiàn)那些操作——然后再用作一種強大的模式檢測模型。他說：“出乎我們意料的是，這種做法在很多問題上都非常精確。”而且關(guān)鍵是，每一種操作對底層數(shù)據(jù)的影響都是透明的。

在處理特定類型的雜亂數(shù)據(jù)，比如圖像或者聲音方面，Caruana的GAM表現(xiàn)沒有AI好，一些神經(jīng)網(wǎng)絡(luò)正是靠處理那些數(shù)據(jù)繁榮起來的。但對于任何能放進電子表格的行列之間的數(shù)據(jù)(關(guān)系表)，比如醫(yī)院記錄，這個模型就工作得很好。比方說，Caruana又找回了他原來的肺炎記錄。用他其中的一個GAM重新分析那些數(shù)據(jù)，借此他得以發(fā)現(xiàn)為什么AI會從準(zhǔn)入數(shù)據(jù)學(xué)到了錯誤的經(jīng)驗。因為醫(yī)院通常會將肺炎并發(fā)哮喘的病人予以重癥監(jiān)護，從而改善了他們治療的結(jié)果。由于只看到了病人的迅速改善，AI會建議將病人送回家。(對于同時患有胸痛和心臟病的肺炎患者AI也會犯同樣的樂觀錯誤)

Caruana已經(jīng)開始向加州醫(yī)院兜售GAM解決方案，其中就包括洛杉磯兒童醫(yī)院，該醫(yī)院的10多位醫(yī)生評估了他的結(jié)果。他們很快就理解了它的決策，在會上把大部分的時間都花在討論這個東西對判斷肺炎是否該住院的意義上。一位醫(yī)生說：“你對醫(yī)療保健懂得不多，但你的模型的確懂。”

有時候你得擁抱黑暗。這是尋求實現(xiàn)可解釋性的第三條路徑的研究人員的理論。他們說，我們不要去探究神經(jīng)網(wǎng)絡(luò)，也用不著回避它們，解釋深度學(xué)習(xí)的辦法只要做更多的深度學(xué)習(xí)就好了。

如果我們無法對為什么它們會做某事提出問題并且獲得合理的響應(yīng)的話，大家就會把它束之高閣

就像許多AI編碼者一樣，喬治亞理工技術(shù)學(xué)院Entertainment Intelligence Lab主任Mark Riedl求助于1980年代的視頻游戲來測試自己的作品。Frogger是他喜歡的游戲之一，玩家要控制著與游戲同名的這種兩棲動物穿越車水馬龍的公路去到對面的池塘。訓(xùn)練神經(jīng)網(wǎng)絡(luò)玩專業(yè)級的Frogger非常容易，但解釋AI在做什么卻要比通常難很多。

Riedl不去調(diào)查那個神經(jīng)網(wǎng)絡(luò)，而是讓人類受試者玩游戲然后實時描述自己的策略。Riedl把那些話以及青蛙的上下文記錄到了游戲的代碼里面：“哦，這兒有輛車開過來了;我得往前跳。”在玩家和代碼兩種語言的幫助下，Riedl訓(xùn)練第二個神經(jīng)網(wǎng)絡(luò)在兩者之間進行翻譯，把代碼翻譯成英語。然后他再把那個翻譯網(wǎng)絡(luò)植入到原先玩游戲的網(wǎng)絡(luò)，做出了一個整體的AI，這個AI在車道等待時，會說“我在等待一個洞打開再走。”當(dāng)被困在屏幕一邊時，該AI甚至?xí)l(fā)出沮喪的聲音，不斷抱怨說：“靠，太難了。”

Riedl把他的方法叫做“合理化”，旨在利用這種方法幫助日常用戶理解很快就將幫我們打理家務(wù)和開車的機器人。Riedl說：“如果我們無法對為什么它們會做某事提出問題并且獲得合理的響應(yīng)的話，大家就會把它束之高閣。”但他補充道，那些解釋，不管如何給人以慰藉，卻會引發(fā)另一個問題：“這種合理化錯到什么程度才會讓大家失去信任 ”

再回到Uber，Yosinski被趕出了他的玻璃箱。Uber以城市命名的會議室總是很搶手，而且這里并沒有峰時定價(surge pricing)來限制擁堵。他離開了多哈去找蒙特利爾，下意識的模式識別處理引導(dǎo)著穿越迷宮般的辦公區(qū)——直到他迷路了。他的圖像分類器依然是個迷宮，而且就像Riedl一樣，他征召了第二個AI來幫他理解第一個。

研究人員創(chuàng)建了一種神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)除了能補全相片以外，還能識別出人工智能的瑕疵。

首先，Yosinski重新編排該分類器來生成圖像而不是給圖像打標(biāo)簽。然后他和他的同事給該神經(jīng)網(wǎng)絡(luò)提供彩色的靜態(tài)圖，再通過它回送一個信號，要求比方說“更多的火山”。他們假設(shè)該網(wǎng)絡(luò)最終會將此噪音塑造成自己認(rèn)為的火山的樣子。從某種程度上來說，它做到了：那個火山在人類的肉眼看來正好是一團灰色的沒有特征的東西。AI和人的視角是不一樣的。

接下來，該團隊放出了一個針對自身圖像的生成對抗網(wǎng)絡(luò)(GAN)。此類AI包含了兩種神經(jīng)網(wǎng)絡(luò)。這個“生成器”通過一個圖像的訓(xùn)練集學(xué)會了圖像制作的規(guī)則并且可以合成圖像。第二個“對抗”網(wǎng)絡(luò)則試圖檢測出結(jié)果圖片是真的還是假冒的，提示生成器再來一次。這樣不斷反復(fù)之后最終就可以得出包含有人類可識別特征的粗糙圖像。

Yosinski和他之前的實習(xí)生Anh Nguyen把這個GAN連接到他們原先分類器網(wǎng)絡(luò)內(nèi)部的層。這一次在被告知要創(chuàng)建“更多的火山”時，GAN會將分類器學(xué)到的灰色噪音和自己對圖片結(jié)構(gòu)的知識結(jié)合起來，將其解碼為海量的一組合成的、現(xiàn)實主義風(fēng)格的火山。一些是在休眠的。一些是在晚上的。一些是白天的。還有一些可能是存在瑕疵的——這些都是了解分類器知識鴻溝的線索。

他們的GAN現(xiàn)在可以綁定到任何利用圖像的網(wǎng)絡(luò)上。Yosinski已經(jīng)用它來識別受訓(xùn)為隨機圖像寫標(biāo)題網(wǎng)絡(luò)存在的問題。他把網(wǎng)絡(luò)顛倒過來，這樣就可以為任何隨機標(biāo)題輸入創(chuàng)作合成圖像。把把它連接到GAN之后，他發(fā)現(xiàn)了一個令人吃驚的紕漏。在收到想象“一只鳥站在樹枝上”的提示后，這個按照GAN翻譯的指令執(zhí)行的神經(jīng)網(wǎng)絡(luò)生成了一幅鄉(xiāng)村風(fēng)格的樹和樹枝的臨摹，但是卻沒有鳥。為什么 在給原先的標(biāo)題模型添加修改的圖像之后，他意識到訓(xùn)練網(wǎng)絡(luò)的那個寫標(biāo)題的人從來都沒有描述過有鳥情況下的樹和樹枝。在鳥由什么構(gòu)成方面AI學(xué)到了錯誤的經(jīng)驗。Yosinski說：“這給AI神經(jīng)科學(xué)的一個可能的重要方向提供了靈感。”這是一個開端，一張地圖正在慢慢地從空白一點一點地顯現(xiàn)。

天色漸晚，但Yosinski的工作似乎才剛剛開始。這時候門外又響起了敲門聲。Yosinski和他的AI又被從另一個玻璃盒子會議室趕了出來，回到Uber由城市、計算機和人組成的迷宮式的辦公區(qū)里面。這次他不再迷路了。他穿過了快餐吧，繞過了沙發(fā)區(qū)，通過出口進入電梯。這是個簡單模式。他學(xué)得太快了。

來源：36大數(shù)據(jù)