深度學習 VS 深度克隆，誰才是解決聊天機器人的最佳方法？

深度學習克隆機器人

Riza C. Berkan | 2017-08-15 09:13

【數(shù)據(jù)猿導讀】聊天機器人已經(jīng)不新鮮了，F(xiàn)acebook、微軟等很多大平臺都有了自己聊天機器人，但是聊天機器人的發(fā)展好像遇到了瓶頸，本文作者 Riza C. Berkan 博士從深層的技術(shù)角度探討如何解決聊天機器人領(lǐng)域面臨的問題。

對話式 AI (聊天機器人)涉及到三個維度的問題：(1)語言技能(2)知識獲取(3)對話行為。這三者雖然強相關(guān)，但人類大腦通過單獨的實驗，在不同的時間段內(nèi)，可能使用不同的神經(jīng)區(qū)域來獲得這些優(yōu)點。因此，開發(fā)整個過程的計算機模型也需要一些單獨的處理和分布式方法。

深度學習提供了一個看上去可行的模型。但是，它會在一個單一的模式下將所有數(shù)據(jù)都集成到大量的數(shù)據(jù)需求中。這也與我們?nèi)绾瓮ㄟ^閱讀學習相矛盾。和深度學習不同，我們每次閱讀新文章時，顯然不會重新學習語言技能。語言和知識能否分開處理，使后者的成長不需要與前者混合如果可行，我們?nèi)绾文M這種半獨立性

我將介紹一種新的方法，稱為深度克隆方法(DCM)。雖然這些技術(shù)細節(jié)是專有的(正在申請專利)，但是這種方法可能還有許多其他變體值得試驗。

深度克隆

DCM是專門為對話式AI 設(shè)計的新的機器學習方法。術(shù)語“深度”來自其多層架構(gòu)。術(shù)語“克隆”是指將知識從其原始域傳送到會話系統(tǒng)(將文檔轉(zhuǎn)換為聊天記錄)。 DCM將(1)語言技能與(2)知識獲取分離，但不涉及(3)單獨對待的對話行為。 DCM的靈感來源于人腦的閱讀過程，通過閱讀(無監(jiān)督)直接完成學習，而不是涉及語言實驗(受監(jiān)督)。 DCM通過句子處理給定的內(nèi)容句子，將每個句子分解為概念，并通過大量網(wǎng)絡(luò)學習這些概念如何相互關(guān)聯(lián)。已經(jīng)使用這種方法開發(fā)了一些示例聊天機器人，只有通過編輯才能輸入DCM要讀取的內(nèi)容。以下是深度克隆與深度學習的對比：

神經(jīng)元結(jié)構(gòu)

DCM的核心創(chuàng)新是人造語言神經(jīng)元的概念。這個想法是從生物學的靈感來的，大腦的某些區(qū)域已知含有對語言輸入敏感的神經(jīng)元，正如其他區(qū)域?qū)D像或其他感官敏感一樣。此外，語言敏感的神經(jīng)元也可能具有語言角色兼容的不同結(jié)構(gòu)。

另一方面，深度學習無論對哪種應(yīng)用都使用同的神經(jīng)元，典型的神經(jīng)元如下圖所示。在不同網(wǎng)絡(luò)中有神經(jīng)元模型的變化，然而沒有涉及歸因于自然語言處理的任何特定角色。這些神經(jīng)元需要一個數(shù)字輸入，用于從輸入層傳播。因此自然語言必須轉(zhuǎn)換為數(shù)值，以使此操作正常工作，而且根據(jù)這種方法，這個轉(zhuǎn)換可能是無意義的。

在DCM中，通過分解過程確定了六種不同的神經(jīng)元類型。黑色神經(jīng)元代表內(nèi)容(句子)，紅色神經(jīng)元代表事件概念，藍色神經(jīng)元代表對象(對話主題)。綠色神經(jīng)元代表每個句子的類型(維度)，最終幫助黑色神經(jīng)元回答問題。

網(wǎng)絡(luò)結(jié)構(gòu)

通過閱讀每個句子并使連接遵循一組特定規(guī)則，DCM網(wǎng)絡(luò)得到成長。第一條規(guī)則是重復相似神經(jīng)元的連接。這個規(guī)則的唯一例外是遵循內(nèi)容跟蹤的黑色神經(jīng)元。第二條規(guī)則是事件與對象的連接(紅色到藍色)。網(wǎng)絡(luò)的增長與系統(tǒng)讀取的內(nèi)容成正比。

閱讀整個內(nèi)容后，最終網(wǎng)絡(luò)成為多個層級，多個網(wǎng)絡(luò)(稱為高速公路)。基本上有四條主要公路(黑色、紅色、藍色和橙色)。進一步處理最終網(wǎng)絡(luò)以將重復神經(jīng)元壓縮成單獨的神經(jīng)元。這個最終過程產(chǎn)生一個基于事件的本體，其中每個事件概念都連接到大量的儀器上。召回過程需要橫穿4條高速公路，才能找到給定問題(或句子)的最佳匹配概念。通過推理找到最終的黑色神經(jīng)元作為問題的答案。

總結(jié)

以下是深度學習與深度克隆的對比：

深度學習具有不分解作為需要本體論處理的單獨步驟的優(yōu)點。

深度克隆取決于分解過程的質(zhì)量。

深度克隆具有數(shù)據(jù)量小和單步收斂的優(yōu)點。

深度學習是一個黑盒子，而深度克隆是透明的，可以立即修改。

深度克隆的數(shù)據(jù)要求只是內(nèi)容知識，而深度學習可能需要大量的數(shù)據(jù)用于語言檢測和較長的訓練周期。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。