制約人工智能領域的并非算法不夠先進，而是缺乏高質量數(shù)據(jù)集

人工智能算法數(shù)據(jù)集數(shù)據(jù)分析

車品覺 | 2016-07-06 12:12

【數(shù)據(jù)猿導讀】制約人工智能（AI）領域很多重大突破的，并非算法不夠先進，而是缺乏高質量數(shù)據(jù)集。擁有針對特定領域的龐大數(shù)據(jù)集，能夠成為競爭優(yōu)勢的一個重要來源，尤其是在初創(chuàng)公司能夠快速引發(fā)數(shù)據(jù)網(wǎng)絡效應的情況下（更多的用戶→更多的數(shù)據(jù)→更智能的算法→更好的產(chǎn)品→更多的用戶）。避開這種...

用于機器學習用途的數(shù)據(jù)，其“不合理的有效性”引發(fā)了多年的廣泛爭論。也有觀點認為，制約人工智能（AI）領域很多重大突破的，并非算法不夠先進，而是缺乏高質量數(shù)據(jù)集。想要開發(fā)出最先進的機器學習技術，數(shù)據(jù)至關重要，這是貫穿那些討論的共同主題。

對于在業(yè)務中將機器學習作為核心技術的初創(chuàng)公司來說，能否獲得高質量的訓練數(shù)據(jù)極為關鍵。雖然很多算法和軟件工具都是開源和共享的，但好的數(shù)據(jù)集通常是專有的，且很難創(chuàng)建。因此，擁有針對特定領域的龐大數(shù)據(jù)集，能夠成為競爭優(yōu)勢的一個重要來源，尤其是在初創(chuàng)公司能夠快速引發(fā)數(shù)據(jù)網(wǎng)絡效應的情況下（更多的用戶→更多的數(shù)據(jù)→更智能的算法→更好的產(chǎn)品→更多的用戶）。

所以，如何創(chuàng)建高質量數(shù)據(jù)集以用于訓練學習算法，這是機器學習初創(chuàng)公司必須作出的一個重要的戰(zhàn)略決定。不幸的是，在剛開始的時候，初創(chuàng)公司的標記數(shù)據(jù)常常十分有限，甚至缺失，為他們在數(shù)據(jù)驅動型產(chǎn)品的打造上取得重大進展增添了阻礙。因此，在聘請數(shù)據(jù)科學團隊或者部署昂貴的核心設施之前，有必要從一開始就研究制定好數(shù)據(jù)采集的策略。

很多方法都可以幫助初創(chuàng)公司克服數(shù)據(jù)采集的冷啟動問題。數(shù)據(jù)策略/來源的選擇通常與商業(yè)模式的選擇、公司的關注點（消費者或企業(yè)，水平或垂直，等等）以及融資的情況息息相關。以下是五種數(shù)據(jù)采集策略，雖然并不詳盡，且多少互有重疊，但能讓你對很多可用的方法有一個直觀的感受。

策略一：人工作業(yè)

從零開始創(chuàng)建好的專有數(shù)據(jù)集，幾乎永遠意味著預先投入大量人力采集數(shù)據(jù)，執(zhí)行難以規(guī)模化的人工任務?？啃U力開路的初創(chuàng)公司有很多。例如，很多聊天機器人初創(chuàng)公司聘請人類擔任“AI訓練師”，讓他們手動創(chuàng)建或核實虛擬助手作出的預測（實際效果各異，且員工流動率高）。就連科技巨頭都采用這種策略：Facebook虛擬助手M的所有回答，都由一支合同工隊伍進行檢查和編輯。

只要數(shù)據(jù)網(wǎng)絡效應在某個時候生效，所需人力不再跟隨客戶數(shù)量同步增加，那么用蠻力來手動標記數(shù)據(jù)點的策略就能取得成功。一旦AI系統(tǒng)的進步速度夠快，不明確的異常值就會變得更少，進行手動標記的人員數(shù)量就可以減少或者保持不變。

適用于：幾乎所有的機器學習初創(chuàng)公司

例子：

很多聊天機器人初創(chuàng)公司（包括Magic、GoButler、x.ai和Clara）

MetaMind（手動采集和標記的食物分類數(shù)據(jù)集）

Building Radar（由員工/實習生手動標記建筑物圖片）

策略二：縮小范圍

大多數(shù)初創(chuàng)公司都會試圖從用戶那里直接采集數(shù)據(jù)，但問題在于，在機器學習的好處尚未全部體現(xiàn)出來之前，會很難說服早期采用者使用產(chǎn)品（因為先要有數(shù)據(jù)才能訓練和改進算法）。避開這種兩難處境的一個方法是大幅縮小問題域（如果以后有需要再擴大范圍）。克里斯·迪克森（Chris Dixon）說：“你需要的數(shù)據(jù)量與你試圖解決的問題廣度有關。”

關于縮小范圍的好處，聊天機器人再次成為很好的例子。這個領域的初創(chuàng)公司可以在兩個市場進入策略之間做出選擇：一種是打造水平型虛擬助手，也就是幫助解答很多問題并響應即時請求的機器人，例如Viv、Magic、Awesome、Maluuba和Jam；一種是打造垂直型虛擬助手，也就是力求極為出色地完成某項明確具體工作的機器人，例如x.ai、Clara、DigitalGenius、Kasisto、Meekan和近期的GoButler。雖然兩個方法都可行，但解決閉域問題的初創(chuàng)公司在數(shù)據(jù)的采集上要容易許多。

適用于：垂直整合型公司

例子：

高度專業(yè)化的垂直型聊天機器人（比如x.ai、Clara和GoButler）

Deep Genomics（利用深度學習技術對基因變異進行分類和解讀）

Quantified Skin（利用客戶自拍照進行皮膚分析）

策略三：眾包

除了讓合格的員工（或實習生）手動采集和標記數(shù)據(jù)外，初創(chuàng)公司也可以采用眾包方式。Amazon Mechanical Turk和CrowdFlower等平臺就是利用無數(shù)的在線勞動力來清除無效和不完整數(shù)據(jù)的。比如，VocalIQ就是通過Amazon Mechanical Turk平臺，向自己的虛擬助手輸入成千上萬個用戶提問。此外也可以將工作人員外包，雇傭其他的獨立合同工（Clara和Facebook M就是這么做的）。采用眾包策略的必要條件是，任務必須解釋清楚，并且不能太過費時和枯燥。

另一個方法是激勵民眾自愿提供數(shù)據(jù)。比如，位于巴黎的人工智能初創(chuàng)公司Snips就是通過這種方法獲得特定類型的數(shù)據(jù)的（餐館、酒店和航空公司的確認郵件）。和其他初創(chuàng)公司一樣，Snips使用了一種游戲化的系統(tǒng)，會將用戶在積分榜上進行排名。

適用于：可以輕松實施質量控制的用例

例子：

DeepMind、Maluuba、AlchemyAPI和其他很多公司

VocalIQ（利用Mechanical Turk平臺教導自己的虛擬助手人類的交談方式）

Snips（讓人們免費提供數(shù)據(jù)以供研究）

策略四：副業(yè)

計算機視覺初創(chuàng)公司似乎特別喜歡的一種策略，就是提供一款面向消費者、針對特定領域的免費移動應用。Clarifai、HyperVerge和Madbits都采用了這種策略。他們推出照片應用，以便為他們的核心業(yè)務收集更多的圖像數(shù)據(jù)。

這種策略并非完全沒有風險（畢竟，應用的開發(fā)和推廣也要花費時間和金錢）。初創(chuàng)公司還必須確保他們創(chuàng)造的用例充滿吸引力，足以讓用戶甘愿交出他們的數(shù)據(jù)，哪怕這項服務在一開始缺乏數(shù)據(jù)網(wǎng)絡效應。

適用于：企業(yè)創(chuàng)業(yè)/水平平臺

例子：

Clarifai（照片發(fā)現(xiàn)應用Forevery）

HyperVerge（照片組織應用Silver）

Madbits（照片拼貼應用Momentsia）

策略五：公開可用的數(shù)據(jù)集

很多初創(chuàng)公司都嘗試過這種策略，雖然效果各異。具體做法就是從公開可用的來源挖掘數(shù)據(jù)。諸如Common Crawl這樣的網(wǎng)絡檔案包含了多年采集網(wǎng)絡信息而得到的免費原始數(shù)據(jù)，容量高達幾PB。另外，雅虎和Criteo等公司已經(jīng)向研究團體發(fā)布了龐大的數(shù)據(jù)集（雅虎發(fā)布了13.5 TB的未壓縮數(shù)據(jù)）。隨著近來公開可用的政府數(shù)據(jù)集（在奧巴馬政府的帶頭下）大量增加，免費開放的數(shù)據(jù)源正在變得越來越多。

幾家機器學習初創(chuàng)公司已經(jīng)在利用這類公開數(shù)據(jù)。奧倫·埃齊奧尼（Oren Etzioni）初創(chuàng)Farecast時，使用的樣本包含1.2萬個價格觀察值，這些是他從一家旅游網(wǎng)站的信息中搜刮出來的。同樣，SwiftKey在起初的時候從網(wǎng)上收集了數(shù)TB的數(shù)據(jù)并加以分析，從而建立起自己的語言模型。

適用于：能夠找到相關公開數(shù)據(jù)集的初創(chuàng)公司

例子：

Farecast（第一版的數(shù)據(jù)來自于一家旅游網(wǎng)站）

SwiftKey（從網(wǎng)上收集數(shù)據(jù)建立語言模型）

Jetpac（利用公開的Instagram數(shù)據(jù)開發(fā)移動應用）

還有很多其他的數(shù)據(jù)采集策略沒有在本文中提及。初創(chuàng)公司也可以利用幾個算法技巧避開數(shù)據(jù)問題（比如MetaMind采用的遷移學習）。不管你使用哪種策略，關鍵在于獲取和擁有針對特定領域的龐大數(shù)據(jù)集，用以打造高準確度的模型，這是創(chuàng)業(yè)者在開始時唯獨最難解決的問題。

來源：數(shù)據(jù)分析網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內(nèi)容都會注明來源與作者；轉載我們原創(chuàng)內(nèi)容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。