在今天，人工智能在商業(yè)領(lǐng)域取得了很多成就，比如在圖象識(shí)別、語音識(shí)別以及大規(guī)模的產(chǎn)品推薦等領(lǐng)域。但我們可能沒有想過，這些人工智能的成就到底得益于哪些條件的滿足，為什么這些成就二十年、十年之前沒有到來呢?

“什么是圖靈測(cè)試、強(qiáng)化學(xué)習(xí)?”

在回答這個(gè)問題之前，我們首先要來理清幾個(gè)人工智能科學(xué)的重要概念。

1. 圖靈測(cè)試

回溯到人工智能的鼻祖——圖靈，圖靈測(cè)試最關(guān)鍵、核心的問題是機(jī)器可以思維嗎?其實(shí)通過六十多年的努力，大家造出更快的計(jì)算機(jī)，匯聚更多的數(shù)據(jù)，研究更高級(jí)的算法，都是在試圖回答這個(gè)問題。

2. 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)不僅僅是機(jī)器能夠?qū)W習(xí)人的行為，而且能夠特別好地使用延遲反饋，這種反饋可以延遲在一個(gè)時(shí)間段上。這樣就有可能實(shí)現(xiàn)一種新的學(xué)習(xí)方法，讓機(jī)器學(xué)習(xí)在小數(shù)據(jù)上也能適用，這就是遷移學(xué)習(xí)的概念。所以我們也在這個(gè)角度看，我們可以使用哪一種人工智能技術(shù)讓它產(chǎn)生應(yīng)該有的作用。

提到強(qiáng)化學(xué)習(xí)，我也是Deepmind(一家由人工智能程序師兼神經(jīng)科學(xué)家Demis Hassabis等人聯(lián)合創(chuàng)立，致力于前沿科技研究與實(shí)踐的人工智能企業(yè))的粉絲。我們來看下Deepmind強(qiáng)化學(xué)習(xí)的流程：

這是計(jì)算機(jī)內(nèi)部的表達(dá)形式，這個(gè)形式加上得到的反饋，就可以幫助我們改進(jìn)策略——策略也就是我們平時(shí)做的行為規(guī)劃，工作規(guī)劃，包括游戲里的每個(gè)動(dòng)作也對(duì)應(yīng)著一個(gè)策略——這個(gè)策略又返回來產(chǎn)生一個(gè)新的界面，通過觀察新界面又可以回去學(xué)習(xí)。

在整個(gè)Deepmind流程中，最強(qiáng)的一點(diǎn)是：反饋是持續(xù)給出的，而且只有流程跑到終點(diǎn)時(shí)，才知道到底是贏家還是輸家，是沒有用深度學(xué)習(xí)來選擇的?，F(xiàn)實(shí)生活中有很多類似的例子，比如我們上一門課，只有考試的時(shí)候才知道我們到底學(xué)會(huì)了多少;我們投資一支股票，過了很長(zhǎng)時(shí)間才知道效果如何。這就是延遲反饋。

但這種學(xué)習(xí)也有一個(gè)弱點(diǎn)，就是當(dāng)人為定義策略里面的狀態(tài)空間，限制是非常大的。就像人永遠(yuǎn)預(yù)測(cè)不準(zhǔn)，我們永遠(yuǎn)不能準(zhǔn)確預(yù)知這個(gè)世界會(huì)發(fā)生什么。

于是谷歌提出了Deepmind的第二個(gè)目標(biāo)：整個(gè)流程形成從輸入端到輸出端的深度學(xué)習(xí)，通過幾百輪的學(xué)習(xí)之后，機(jī)器能自我學(xué)會(huì)怎么更好地玩一個(gè)游戲。一開始可能不好，但會(huì)看到越來越好的狀態(tài)，這和我們?nèi)说膶W(xué)習(xí)過程是一樣的，就是一個(gè)學(xué)習(xí)效率和學(xué)習(xí)效果大大提高的過程。

筆記俠備注案例說明：霍蘭德是全世界第一個(gè)博士生，也是遺傳算法之父，希望用進(jìn)化論思想發(fā)展一套程序出來，看是否自己不寫程序，程序可以自己演化出一套程序出來?就像用繁育良種玉米的方法一樣，看能否演化出一個(gè)會(huì)撿易拉罐的機(jī)器人?他們?cè)谟?jì)算機(jī)里面隨機(jī)扔了200個(gè)程序進(jìn)去，每次清掃活動(dòng)都會(huì)收到懲罰或獎(jiǎng)賞，如果把罐子搜集起來，加10分，如果撞了墻，罰5分等等，滿分是500分。然后把表現(xiàn)好的程序留下來并交合，之后的個(gè)體發(fā)生變異。為了對(duì)比，他找了最好的工程師設(shè)計(jì)一套聰明的機(jī)器人清掃策略，這個(gè)程序得了326分(滿分是500分)。而進(jìn)化計(jì)算的程序表現(xiàn)，第一代慘不忍睹，進(jìn)化到250代的時(shí)候，就接近人類設(shè)計(jì)。第400代接近最高水平，第1000代的時(shí)候接近完美，達(dá)到486分。

“人工智能的成功來自于哪些條件?”

說到這里，我們可以回到開始的問題，人工智能的成功來自于哪些條件?

1、清晰的目標(biāo)和邊界;

什么是贏?什么是輸?延到商業(yè)上同樣要有很強(qiáng)的目標(biāo)。同時(shí)，定義不能非常寬泛和模糊，而是要清楚到像下棋一樣，我們需要知道什么時(shí)候會(huì)到達(dá)邊界。

2、高質(zhì)量的大數(shù)據(jù);

我特別要強(qiáng)調(diào)的是高質(zhì)量，數(shù)據(jù)要持續(xù)地反饋，不能接受一次就完，需要不斷地接受才能使得我們學(xué)習(xí)不斷地提高。

3、外部反饋;

反饋的方式、內(nèi)容以及算法一定要匹配。我們聽過一個(gè)說法，人工智能領(lǐng)域已存在幾千萬樣本的數(shù)據(jù)，所以一定可以做得成。我卻認(rèn)為不一定。首先樣本不一定是針對(duì)對(duì)應(yīng)的算法收集的，其次算法不一定能夠持續(xù)獲得，最后反饋不一定很好。

4、人工智能領(lǐng)域需要既懂人工智能又懂商業(yè)的人才;

能把兩個(gè)完全不同的垂直領(lǐng)域聯(lián)結(jié)在一起的人才是必不可少的。這就需要我們從現(xiàn)在就要關(guān)注身邊善于學(xué)習(xí)的人，著重培養(yǎng)他們。

5、計(jì)算能力。

包括云計(jì)算、并行計(jì)算、GPU，這個(gè)能力現(xiàn)在已經(jīng)很強(qiáng)了，也是必不可少的。

“對(duì)話系統(tǒng)的體現(xiàn)”

對(duì)話系統(tǒng)是人工智能的熱點(diǎn)，甚至有的公司會(huì)提出，人機(jī)交互的對(duì)話系統(tǒng)有可能會(huì)成為下一個(gè)入口，下一個(gè)搜索引擎。我們不管商業(yè)上的說法，先看下現(xiàn)有市場(chǎng)上的對(duì)話系統(tǒng)。大致可以分兩類：

閑聊類：包括微軟小冰，很幽默，但也止于閑聊;

功能類：在尋求特殊具體垂直服務(wù)的時(shí)候，比如預(yù)約酒店、航空公司應(yīng)該會(huì)用到，但對(duì)話方式都是要這個(gè)服務(wù)按1，要那個(gè)服務(wù)按2，我感覺體驗(yàn)非常不好。

從技術(shù)上，對(duì)話系統(tǒng)又可以分成兩種：

1、基于規(guī)則。很早就出現(xiàn)了，由很多專家來寫的規(guī)則。好處是很準(zhǔn)確;不好的地方是很難擴(kuò)展，與數(shù)據(jù)無關(guān)，對(duì)數(shù)據(jù)不夠敏感，有并行的不同意外事件不能同時(shí)應(yīng)付。

2、機(jī)器學(xué)習(xí)的算法。我們?cè)谙愀劭萍即髮W(xué)實(shí)驗(yàn)室里進(jìn)行研究，主要目的是再把人工智能往前推進(jìn)一步，尋找深度學(xué)習(xí)之后下一個(gè)技術(shù)熱點(diǎn)。我們關(guān)心的是明天的技術(shù)。

介紹一下我們研發(fā)的類似三明治式的三層算法結(jié)構(gòu)：

第一層：深度學(xué)習(xí);

這塊是我們熟知的一個(gè)遞歸的深度學(xué)習(xí)。

第二層：強(qiáng)化學(xué)習(xí)的學(xué)習(xí)器;

這是在第一層之上做的策略學(xué)習(xí)器。我要特別強(qiáng)調(diào)的是強(qiáng)化學(xué)習(xí)里最難的在于，人工智能機(jī)器人不能全部觀察周圍的世界，只能部分觀察。所以強(qiáng)化學(xué)習(xí)的學(xué)習(xí)器有一個(gè)很怪的名字，叫做“基于部分觀察的馬爾可夫決策過程。”簡(jiǎn)化來說它是強(qiáng)化學(xué)習(xí)里非常難的一個(gè)階段。

第三層：遷移學(xué)習(xí)。

遷移學(xué)習(xí)可以將一個(gè)做好的模型遷移到一個(gè)新的領(lǐng)域。這個(gè)系統(tǒng)應(yīng)該具有閑聊、推薦、引導(dǎo)、提醒、學(xué)習(xí)的功能，就像一個(gè)真人一樣。

如何讓人工智能系統(tǒng)看起來像真人一樣對(duì)話呢?

首先要有基本的深度學(xué)習(xí)對(duì)話功能;

其次要有一個(gè)策略，從而引導(dǎo)對(duì)話的對(duì)象去完成任務(wù);

最后要能實(shí)現(xiàn)個(gè)性化，最好的方式就是貼近用戶，讓用戶跟人工智能系統(tǒng)對(duì)話。我們的實(shí)踐是把整個(gè)的對(duì)話系統(tǒng)放到一個(gè)機(jī)器人里面，讓機(jī)器人通過語音跟我們進(jìn)行對(duì)話問答。實(shí)際上，這個(gè)真正的系統(tǒng)是在手機(jī)上可以和人交流的。

像這樣一個(gè)基于深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)以及遷移學(xué)習(xí)搭建的三層的模型，是非常通用的。

對(duì)話領(lǐng)域只是其中一個(gè)適用場(chǎng)所，這樣的模型把它放到完全不一樣的應(yīng)用領(lǐng)域，它也能工作，這就是通用型的發(fā)展目標(biāo)。比如我們有的學(xué)生就把它應(yīng)用在公認(rèn)很難的股票趨勢(shì)預(yù)測(cè)領(lǐng)域：我們基于A股里某只股票過去十年的數(shù)據(jù)做訓(xùn)練，將數(shù)據(jù)彼此相連，然后產(chǎn)生不同的狀態(tài)，讓狀態(tài)之間能夠互相遷移。

接著是狀態(tài)和狀態(tài)之間的變化，我們用一個(gè)強(qiáng)化學(xué)習(xí)來模擬，最后我們發(fā)現(xiàn)深度學(xué)習(xí)的隱含層里面自動(dòng)產(chǎn)生出來的幾百個(gè)狀態(tài)，基本就把這幾年的經(jīng)濟(jì)狀況給出了一個(gè)很完善的總結(jié)。

所以通過這個(gè)三層模型可以給出一個(gè)非常好的大趨勢(shì)預(yù)測(cè)，我們也做了一些測(cè)試。一旦我們對(duì)一個(gè)領(lǐng)域有了足夠的了解，一旦這個(gè)領(lǐng)域有足夠多的數(shù)據(jù)被我們掌握，我們就可以套用人工智能，通過一個(gè)邊界清晰的方法來解決它，以達(dá)到通用型的人工智能的目的。

“人工智能如何能做到個(gè)性化?”

我個(gè)人一直有個(gè)很強(qiáng)烈的感覺，大數(shù)據(jù)可能只有大公司和富人才能擁有。

深度學(xué)習(xí)是離不開大數(shù)據(jù)的，而大數(shù)據(jù)又離不開大公司。我們熟知的一些大公司都是大數(shù)據(jù)的擁有者。而中、小型公司本身沒有大數(shù)據(jù)，也沒有大數(shù)據(jù)獲取能力。像深度學(xué)習(xí)的紅利則來自于特征的選取，特征的準(zhǔn)確選取又離不開大數(shù)據(jù)。所以這些大數(shù)據(jù)只有大公司和富人才能得到。

當(dāng)然，強(qiáng)化學(xué)習(xí)還有另外一個(gè)重要的角度就是反饋，就是世界對(duì)系統(tǒng)的反饋。這個(gè)反饋可以延遲，但是它的訓(xùn)練也離不開大數(shù)據(jù)，依然是一個(gè)富人的游戲。

現(xiàn)在我們要實(shí)現(xiàn)讓世界上每個(gè)人都能用上人工智能，就一定需要這樣的研究，把一個(gè)大的模型，大數(shù)據(jù)訓(xùn)練出來的模型遷移到一個(gè)小數(shù)據(jù)的范圍內(nèi)，讓它能在小數(shù)據(jù)上也起作用。這樣的模型還會(huì)帶來一個(gè)副產(chǎn)品就是個(gè)性化，也就是如果產(chǎn)品能夠有很強(qiáng)的用戶體驗(yàn)，那么一定要達(dá)到個(gè)性化的效果，這就是之所以要做遷移學(xué)習(xí)的目的。

什么是遷移學(xué)習(xí)呢?把一個(gè)已有模型遷移到一個(gè)未知領(lǐng)域的學(xué)習(xí)過程，就叫做遷移學(xué)習(xí)。當(dāng)我們?cè)谝粋€(gè)數(shù)據(jù)領(lǐng)域已經(jīng)建立了很好的模型，換一個(gè)模型也能讓它應(yīng)用。這樣既節(jié)省了資源，又達(dá)到時(shí)間和效果的收益。

人類自動(dòng)地會(huì)做舉一反三的遷移學(xué)習(xí)，比如學(xué)會(huì)騎自行車后，再學(xué)摩托車會(huì)發(fā)現(xiàn)很簡(jiǎn)單。在人工智能領(lǐng)域，遷移學(xué)習(xí)已有了將近十年的努力，積累了大量的文獻(xiàn)。遷移學(xué)習(xí)大致可以分為以下四種方式：

1、樣本遷移;

通過在數(shù)據(jù)集合里面找到跟目標(biāo)領(lǐng)域相似的數(shù)據(jù)，再把這個(gè)數(shù)據(jù)放大多倍，這就叫做樣本遷移。

2、特征遷移;

通過觀察到數(shù)據(jù)有些相似的特征，然后利用在不同層次間的特征，來進(jìn)行自動(dòng)的遷移，這叫做特征遷移。

3、模型遷移;

利用上千萬的圖象來訓(xùn)練一個(gè)圖象識(shí)別的系統(tǒng)，當(dāng)遇到一個(gè)新的圖象領(lǐng)域，就不需要再尋找?guī)浊f個(gè)圖象來進(jìn)行訓(xùn)練，而只需要把原來的圖像識(shí)別系統(tǒng)遷移到新的領(lǐng)域，這樣 在新的領(lǐng)域只用幾萬張圖片就夠用了，同樣可以達(dá)到很高的效果，這叫做模型遷移。模型遷移的一個(gè)好處是可以區(qū)分，就是可以和深度學(xué)習(xí)結(jié)合起來，區(qū)分不同層次可遷移的度，相似度比較高的那些層次被遷移的可能性就大一些。

4、關(guān)系遷移。

比方說社會(huì)網(wǎng)絡(luò)，社交網(wǎng)絡(luò)之間的遷移。

應(yīng)用遷移學(xué)習(xí)，可以將很多人的大數(shù)據(jù)遷移到一個(gè)人的小數(shù)據(jù)上。這樣做的副產(chǎn)品就是能打破大公司和富人對(duì)大數(shù)據(jù)的壟斷。比方說我們僅用一個(gè)用戶的九個(gè)對(duì)話來訓(xùn)練遷移學(xué)習(xí)的效果，從一個(gè)三萬人得到的大模型遷移到一個(gè)人的小模型身上，這個(gè)效果在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上做起來就特別地得心應(yīng)手，因?yàn)閺?qiáng)化學(xué)習(xí)可以將遷移的結(jié)果變成類似電路當(dāng)中的最短路，使得我們能夠不用很煩瑣的去問用戶很多同樣的問題。

問答環(huán)節(jié)

提問：

人工智能是否提高了IT業(yè)務(wù)的收入?對(duì)RD(研發(fā))來說應(yīng)該優(yōu)先關(guān)注人工智能哪方面的發(fā)展?

楊強(qiáng)：

人工智能有很多領(lǐng)域，我們今天經(jīng)常提到的，到現(xiàn)在為止最成功的一個(gè)領(lǐng)域就是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)的基本概念就是從數(shù)據(jù)經(jīng)常重復(fù)出現(xiàn)的現(xiàn)象中學(xué)出規(guī)律來。它能做的事情就是把簡(jiǎn)單重復(fù)煩瑣的工作給替代掉。

所以我們想想在生活和商業(yè)中哪些工作是簡(jiǎn)單重復(fù)煩瑣的呢?比如電商，過去需要有個(gè)店小二做客服介紹產(chǎn)品，現(xiàn)在電商上可以通過人工智能推薦系統(tǒng)為我們推薦產(chǎn)品;再比如滴滴打車，過去我們需要等車，現(xiàn)在有人工智能系統(tǒng)，自動(dòng)為我們匹配一個(gè)最方便的司機(jī)。

所以人工智能在商業(yè)上面很強(qiáng)的應(yīng)用特征，就是要觀察在商業(yè)活動(dòng)中有沒有一些數(shù)據(jù)能替代掉人的簡(jiǎn)單重復(fù)煩瑣的工作。

當(dāng)然這也說明還有一些比較能創(chuàng)新，需要一些奇思妙想的工種，它的任務(wù)是不但能夠完成這些疑難的問題，而且能夠?yàn)槿斯ぶ悄茏鲆粋€(gè)老師。能夠通過人工加工，使這些問題重復(fù)出現(xiàn)，再讓人工智能給替代掉。所以人和機(jī)器的有機(jī)結(jié)合，我覺得是下一個(gè)看好的商業(yè)方向。

來源：筆記俠