告別傳統(tǒng)模式看機(jī)器學(xué)習(xí)如何走向深度學(xué)習(xí)？

告別傳統(tǒng)模式機(jī)器學(xué)習(xí) 深度學(xué)習(xí)

小鯨 | 2017-09-11 10:40

【數(shù)據(jù)猿導(dǎo)讀】主流的科技公司已在積極地把自己定位成AI或者機(jī)器學(xué)習(xí)公司：谷歌把“AI先行”作為公司戰(zhàn)略，Uber自帶機(jī)器學(xué)習(xí)的血統(tǒng)，而各種AI研究實(shí)驗(yàn)室更是層出不窮。

告別傳統(tǒng)模式看機(jī)器學(xué)習(xí)如何走向深度學(xué)習(xí)？

主流的科技公司已在積極地把自己定位成AI或者機(jī)器學(xué)習(xí)公司：谷歌把“AI先行”作為公司戰(zhàn)略，Uber自帶機(jī)器學(xué)習(xí)的血統(tǒng)，而各種AI研究實(shí)驗(yàn)室更是層出不窮。

這些公司都在想盡辦法說服世界，“機(jī)器智能的革命時(shí)代正在到來”。它們尤其強(qiáng)調(diào)深度學(xué)習(xí)，因?yàn)檫@些都在推動(dòng)自駕汽車、虛擬助手等概念的發(fā)展。

盡管現(xiàn)在這些概念很流行，然而當(dāng)下的實(shí)踐卻沒那么樂觀。

現(xiàn)在，軟件工程師和數(shù)據(jù)科學(xué)家仍在使用許多幾年前的算法和工具。

這也意味著，傳統(tǒng)的機(jī)器學(xué)習(xí)模式仍在支撐著大多數(shù)AI的應(yīng)用，而不是深度神經(jīng)網(wǎng)絡(luò)。工程師仍然用傳統(tǒng)工具來處理機(jī)器學(xué)習(xí)，但是這并不起作用：采用數(shù)據(jù)建模的流水線最終由零散、不兼容的片段構(gòu)成。這種情況在逐漸變化，因?yàn)榇笮涂萍脊菊谘邪l(fā)具有端到端功能的特定機(jī)器學(xué)習(xí)平臺(tái)。

告別_傳統(tǒng)模式_機(jī)器學(xué)習(xí)_深度學(xué)習(xí)-1

機(jī)器學(xué)習(xí)“三明治”中夾了什么

機(jī)器學(xué)習(xí)構(gòu)建有三個(gè)階段——數(shù)據(jù)處理階段、模型建構(gòu)階段、部署及監(jiān)控階段。在中間階段是最美味的，就像三明治中夾的肉，這也是機(jī)器學(xué)習(xí)算法是怎么學(xué)習(xí)預(yù)測(cè)輸入數(shù)據(jù)的。

這個(gè)模型同樣是“深度學(xué)習(xí)”的模型。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法的一個(gè)子類別，它使用多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)輸入和輸出之間的復(fù)雜關(guān)系。神經(jīng)網(wǎng)絡(luò)中的層次越多，其復(fù)雜性就越高。

傳統(tǒng)的數(shù)據(jù)式機(jī)器學(xué)習(xí)算法(即那些不用深度神經(jīng)網(wǎng)絡(luò)的算法)僅能有限地捕捉信息和訓(xùn)練數(shù)據(jù)。大多應(yīng)用僅采用更基本的機(jī)器學(xué)習(xí)算法就可以有效的運(yùn)作，相比之下深度學(xué)習(xí)的復(fù)雜性往往顯得是多余。所以我們?nèi)匀豢吹杰浖こ處熢诖笠?guī)模地使用這些傳統(tǒng)模式，即使是在深度學(xué)習(xí)領(lǐng)域。

但是這個(gè)“三明治”流程也能將機(jī)器學(xué)習(xí)訓(xùn)練前后的結(jié)果連接在一起。

第一階段把涉及到清理和格式化之前的大量數(shù)據(jù)放入模型。最后一個(gè)階段是對(duì)模型進(jìn)行仔細(xì)的部署和監(jiān)控。我們發(fā)現(xiàn)大部分AI的工作時(shí)間并未放在構(gòu)建機(jī)器學(xué)習(xí)模型上，而是在準(zhǔn)備和監(jiān)控這些模型。

機(jī)器學(xué)習(xí)“三明治”里的肉：避免異國(guó)風(fēng)味

盡管現(xiàn)在大型科技公司AI研究實(shí)驗(yàn)室的焦點(diǎn)都是深度學(xué)習(xí)，大多數(shù)機(jī)器學(xué)習(xí)的應(yīng)用卻并不依賴深度神經(jīng)網(wǎng)絡(luò)，而仍采用傳統(tǒng)機(jī)器學(xué)習(xí)的模式。最常見的包括線性/邏輯回歸模型，組合樹算法和增強(qiáng)決策樹模型。這些模型背后，蘊(yùn)含著其他科技公司的應(yīng)用、朋友的建議、市場(chǎng)定位、用戶興趣預(yù)測(cè)，需求/供應(yīng)模型和搜索結(jié)果排名等。

而工程師訓(xùn)練這些模型的工具也十分老舊。最常用的機(jī)器學(xué)習(xí)庫(kù)是十年前發(fā)行的scikit-learn(盡管谷歌TensorFlow的使用者越來越多)。

人們用更簡(jiǎn)單的模型而非采用深度學(xué)習(xí)是有原因的。因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)很難訓(xùn)練，他們需要大量的時(shí)間和計(jì)算能力(通常需要不同的硬件，特別是GPU)。想讓深度學(xué)習(xí)起作用是很難的——它仍然需要大量的人工調(diào)整、直覺、實(shí)驗(yàn)以及試錯(cuò)。

在傳統(tǒng)的機(jī)器學(xué)習(xí)模型中，工程師用于訓(xùn)練和調(diào)整的時(shí)間相對(duì)較短，往往只有幾個(gè)小時(shí)。最后，就算深度學(xué)習(xí)精準(zhǔn)度的小幅提高，用于拓展和開發(fā)所花費(fèi)的時(shí)間也遠(yuǎn)超過精準(zhǔn)度提高的價(jià)值。

怎么把三明治粘在一起從數(shù)據(jù)到部署的工具

所以當(dāng)人們想培養(yǎng)機(jī)器學(xué)習(xí)模式的時(shí)候，傳統(tǒng)的方式很有效。但是這不適用于機(jī)器學(xué)習(xí)的基礎(chǔ)設(shè)施，傳統(tǒng)方式不能將機(jī)器學(xué)習(xí)三部分粘合起來，很容易埋下犯錯(cuò)的隱患。

數(shù)據(jù)收集和處理解釋了機(jī)器學(xué)習(xí)的第一階段。大公司一定有大量數(shù)據(jù)，數(shù)據(jù)分析師和工程師必須處理數(shù)據(jù)并利用數(shù)據(jù)，從而能驗(yàn)證和鞏固多源的副本，將算法標(biāo)準(zhǔn)化，設(shè)計(jì)并證明各種功能。

大多數(shù)公司內(nèi)，工程師使用SQL或Hive queires和Python腳本來聚集和格式化多源數(shù)據(jù)。這往往要耗費(fèi)大量的人力。由于很多大公司的數(shù)據(jù)科學(xué)家或者工程師常常使用各種本地化的腳本或者Jupyter Notebook來工作，使過程分散化，導(dǎo)致重復(fù)性工作出現(xiàn)。

此外，哪怕大型高科技公司也會(huì)犯錯(cuò)誤，必須生產(chǎn)過程中仔細(xì)地部署和監(jiān)測(cè)模型。正如一名工程師所說：“在大型公司，80%的機(jī)器學(xué)習(xí)都由基礎(chǔ)建設(shè)組成。”

然而，傳統(tǒng)的單元測(cè)試，也算傳統(tǒng)軟件測(cè)試的主干，并不適合機(jī)器學(xué)習(xí)模式，因?yàn)槭孪炔⒉恢罊C(jī)器學(xué)習(xí)模型的正確輸出。畢竟，機(jī)器學(xué)習(xí)的目的是讓模型學(xué)習(xí)從數(shù)據(jù)中進(jìn)行預(yù)測(cè)，而不需要工程師專門編寫任何規(guī)則。因此，工程師采用較少的結(jié)構(gòu)化方式來代替單元測(cè)試，他們可以手動(dòng)監(jiān)控儀表盤，并為新模型提供報(bào)警程序。

而實(shí)時(shí)數(shù)據(jù)的轉(zhuǎn)變可能會(huì)讓訓(xùn)練有素的模型出現(xiàn)偏差，所以工程師會(huì)根據(jù)不同應(yīng)用，每天或每月寫入新數(shù)據(jù)來校準(zhǔn)模型。但是，現(xiàn)有的工程基礎(chǔ)設(shè)施缺乏特定機(jī)器學(xué)習(xí)的支持，可能會(huì)導(dǎo)致開發(fā)時(shí)的模型與生產(chǎn)時(shí)的模型之間斷開連接，因?yàn)橐话愦a的更新頻率更低。

很多工程師仍然依賴于原始的設(shè)計(jì)模型和產(chǎn)品生產(chǎn)的方式，例如工程師有時(shí)候需要重建原型，而有些數(shù)據(jù)是用其他語言或結(jié)構(gòu)展現(xiàn)的，所以他們只能使用基礎(chǔ)結(jié)構(gòu)來開發(fā)產(chǎn)品。從數(shù)據(jù)整理階段到訓(xùn)練階段再到部署產(chǎn)品結(jié)構(gòu)階段，任何機(jī)器學(xué)習(xí)發(fā)展階段中的不兼容都能產(chǎn)生錯(cuò)誤。

如何呈現(xiàn) 前進(jìn)的道路

為了解決這些問題，擁有定制化資源的幾家大公司，一直在努力創(chuàng)造屬于自己的機(jī)器學(xué)習(xí)工具。他們的目標(biāo)是有一個(gè)無縫銜接、終端對(duì)終端的機(jī)器學(xué)習(xí)平臺(tái)，能夠與計(jì)算機(jī)完全兼容。

Facebook的FBLearner Flow和Uber的Michelangelo的內(nèi)部機(jī)器學(xué)習(xí)平臺(tái)都做到了這些。他們?cè)试S工程師在一個(gè)原始用戶界面構(gòu)造機(jī)器訓(xùn)練和驗(yàn)證數(shù)據(jù)集，從而能減少該階段的開發(fā)時(shí)間。然后，工程師們只要點(diǎn)擊一下鼠標(biāo)，就可以訓(xùn)練學(xué)習(xí)模式。最終，他們可以輕松地監(jiān)控和升級(jí)產(chǎn)品模式。

像Azure 的機(jī)器學(xué)習(xí)和Amazon的機(jī)器學(xué)習(xí)服務(wù)都公開發(fā)表過可選擇的方案，提供類似端對(duì)端的功能，但只能和Amazon或微軟的服務(wù)平臺(tái)兼容。

盡管這些大公司都在使用機(jī)器學(xué)習(xí)來提升自己的產(chǎn)品，但多數(shù)仍然面臨巨大挑戰(zhàn)，并且效率低下。他們?nèi)韵胗脗鹘y(tǒng)機(jī)器學(xué)習(xí)模式而不是更先進(jìn)的深層學(xué)習(xí)模式，而且仍依賴于傳統(tǒng)基礎(chǔ)工具來匹配機(jī)器學(xué)習(xí)。

幸運(yùn)的是，現(xiàn)在AI是這些公司的研究焦點(diǎn)，他們也在努力讓機(jī)器學(xué)習(xí)變得更有效。有了這些內(nèi)部工具，或者其它第三方機(jī)器學(xué)習(xí)平臺(tái)的參與，能夠讓大家認(rèn)識(shí)到AI的潛力。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。