国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

當(dāng)機(jī)器學(xué)習(xí)的速度加快，AI和大數(shù)據(jù)領(lǐng)域的創(chuàng)投會出現(xiàn)新“浪潮”嗎？

機(jī)器學(xué)習(xí) AI 大數(shù)據(jù)領(lǐng)域創(chuàng)投

36氪 | 2016-04-15 10:36

【數(shù)據(jù)猿導(dǎo)讀】過去很長一段時間，受限于計算機(jī)的運(yùn)算效率，大數(shù)據(jù)機(jī)器學(xué)習(xí)都處于一個發(fā)展十分緩慢的階段。但隨著阿爾法狗持續(xù)炒熱，AI領(lǐng)域以及大數(shù)據(jù)領(lǐng)域也出現(xiàn)了不少創(chuàng)投企業(yè)。最近，微軟亞洲研究院首席研究員霍強(qiáng)博士團(tuán)隊的研究成果，已經(jīng)就能部分解決這樣的難題。他們的最新研究成果可以做到在保證...

當(dāng)機(jī)器學(xué)習(xí)的速度加快，AI和大數(shù)據(jù)領(lǐng)域的創(chuàng)投會出現(xiàn)新“浪潮”嗎？

數(shù)據(jù)時代，如何高效地處理海量數(shù)據(jù)是個難題。過去很長一段時間，受限于計算機(jī)的運(yùn)算效率，大數(shù)據(jù)機(jī)器學(xué)習(xí)都處于一個發(fā)展十分緩慢的階段。當(dāng)這個難題被攻克，AI 領(lǐng)域以及大數(shù)據(jù)領(lǐng)域，也會隨之出現(xiàn)不少新創(chuàng)投機(jī)會。

最近，微軟亞洲研究院首席研究員霍強(qiáng)博士團(tuán)隊的研究成果，已經(jīng)就能部分解決這樣的難題。他們的最新研究成果可以做到在保證訓(xùn)練模型的性能的同時，訓(xùn)練速度可以在增加 GPU的條件下接近線性增長。這意味著大數(shù)據(jù)處理的門檻已經(jīng)大幅降低，大數(shù)據(jù)機(jī)器學(xué)習(xí)在未來很可能就不再是大公司的特權(quán)。

機(jī)器學(xué)習(xí)一直被戲稱為科技公司的 “軍備競賽”，誰擁有更大規(guī)模的數(shù)據(jù)、更快的訓(xùn)練速度、更好的算法，誰就能擁有性能更好的模型。但在過去，計算機(jī)運(yùn)算效率有限，計算資源稀缺，一個公司基于機(jī)器學(xué)習(xí)的方法做出一個算法模型，往往耗時巨大。比如，如果你想通過 10 萬小時的語料數(shù)據(jù)，訓(xùn)練出一個語音識別的模型，往往需要幾個月甚至數(shù)年。所以，在這個領(lǐng)域里，很難看到小團(tuán)隊小公司取得大成績。

大公司的普遍做法就是利用更多的 CPU 和 GPU 做并行訓(xùn)練。這就像是蓋房子，理論上，只要參與的工人越多，完工的周期就越短，工程的效果也就越好。但是如何提高這些 CPU 和 GPU 協(xié)作的效率就是一個難題，就像在蓋房的過程中，需要協(xié)調(diào)各個工種相互配合。目前，業(yè)內(nèi)普遍應(yīng)用的方法有三種：

ASGD(異步隨機(jī)梯度下降)：這是 Google 從 2012年起就在采用的方法，通過大量 GPU 做異步計算。這種方式也有弊端，一是當(dāng)增加 GPU 時需要的通信代價很高，系統(tǒng)設(shè)計優(yōu)化和維護(hù)成本大幅增加，二是同樣的數(shù)據(jù)兩次訓(xùn)練結(jié)果不一定相同。

Model Averaging(模型平均)：簡單來說，這種方法是對一段時間內(nèi)每塊 GPU 的學(xué)習(xí)結(jié)果進(jìn)行平均，形成新的模型，以此為新起點在每塊 GPU 再分別用新數(shù)據(jù)學(xué)習(xí)，對各 GPU 的學(xué)習(xí)結(jié)果再取平均，以此類推。這種方法實現(xiàn)簡單，但是它的問題在于當(dāng)卡的數(shù)量增加時訓(xùn)練模型的性能無法保證。目前實踐的效果是，當(dāng)達(dá)到 16 塊卡時，模型性能下降已很明顯。

1-bitSGD：此方法通過量化壓縮梯度值來減少通信代價，直接實現(xiàn) mini-batch 內(nèi)的多 GPU 數(shù)據(jù)并行處理。它的主要缺點是, 在保證訓(xùn)練模型性能的情況下，當(dāng)卡的數(shù)量增加時，無法做到線性加速。

霍強(qiáng)博士團(tuán)隊的算法，在 Model Averaging 的基礎(chǔ)上，將每一輪模型更新的信息收集起來，在信息整合的過程中，同時利用當(dāng)前信息和歷史模型更新信息，使得每一輪的更新更為平滑，不會出現(xiàn)巨大的波動，使用這樣的濾波方法后，最終生成模型的性能也大大提升。通時，這種方法實現(xiàn)簡單，很 “平民化”。

目前，通過這個算法，語音識別中神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練提升十分顯著。在保證性能的前提下，當(dāng)使用 16 塊 GPU 卡時，訓(xùn)練速度提高了 15 倍，而當(dāng)使用 64 塊卡時，訓(xùn)練速度提高到了 56 倍。接受 36 氪采訪時，霍強(qiáng)博士也在向微軟申請更多的測試資源，測試更多 GPU 卡下的結(jié)果。

與這一技術(shù)的實現(xiàn)過程相比，我們同樣關(guān)注它對 AI、大數(shù)據(jù)領(lǐng)域所能帶來的改變。

最直接的影響或許就是，并行計算未來將 “平民化”，舉例來說可能需要 16 塊 GPU 卡就可以達(dá)到原本 32 塊卡可以達(dá)到的效果，不僅節(jié)約了硬件投入，還減少了人力的投入。目前，這個算法已經(jīng)公開，中小規(guī)模的團(tuán)隊將獲得更多的機(jī)會。對于現(xiàn)有的做大數(shù)據(jù)的公司來說，這或許也是一個新契機(jī)。借助于新的算法，提升訓(xùn)練結(jié)果以及最終的服務(wù)。

AI 領(lǐng)域的一個重要分支 CV，或許會借此獲得新的生機(jī)與活力。因為訓(xùn)練數(shù)據(jù)偏小(相比于語音識別領(lǐng)域)，借助于該技術(shù)，或許有機(jī)會大幅提升模型的性能。若真如此，基于 CV 的創(chuàng)業(yè)可能還會迎來一波小熱潮。

來源：36氪

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。