10月19日消息，國外媒體Slate刊文指出，“大數(shù)據(jù)(Big Data)”一詞已經(jīng)變得沒有以往那么紅火了，為什么會這樣呢 “大數(shù)據(jù)”的問題并不在于數(shù)據(jù)或者大數(shù)據(jù)本身很糟糕，而是在于盲目迷戀數(shù)據(jù)，不加批判地使用，那會引發(fā)災(zāi)難。數(shù)據(jù)也不一定完全反映你想要了解的事情的實際情況。

以下是文章主要內(nèi)容：

5年前——2012年2月——《紐約時報》刊文高呼人類的一個新紀(jì)元的到來：“大數(shù)據(jù)時代”。該文章告訴我們，社會將開始發(fā)生一場革命，在這場革命中，海量數(shù)據(jù)的收集與分析將會改變?nèi)藗兩畹膸缀趺恳粋€方面。數(shù)據(jù)分析不再局限于電子數(shù)據(jù)表和回歸分析：超級計算的到來，伴隨著可持續(xù)記錄數(shù)據(jù)并將數(shù)據(jù)傳送到云端的聯(lián)網(wǎng)傳感器的不斷普及，意味著邁克爾·劉易斯(Michael Lewis)2003年的棒球書籍《Moneyball》所描述的那種先進數(shù)據(jù)分析有望被應(yīng)用于各行各業(yè)，從商業(yè)到學(xué)術(shù)，再到醫(yī)療和兩性關(guān)系。不僅如此，高端的數(shù)據(jù)分析軟件還有助于鑒定完全意想不到的相關(guān)性，比如貸款方用盡額度和他債務(wù)違約的可能性之間的關(guān)系。這勢必將會催生會改變我們思考幾乎一切事物的新穎見解。

《紐約時報》并不是第一個得出這一結(jié)論的企業(yè)機構(gòu)：它的文章引用了麥肯錫咨詢公司2011年的一份重大報告，其觀點也得到了2012年瑞士達(dá)沃斯世界經(jīng)濟論壇題為“大數(shù)據(jù)，大影響”的官方報告的支持。但這種宣言仿佛就是標(biāo)志大數(shù)據(jù)時代開啟的里程碑。在之后的一個月里，巴拉克·奧巴馬(Barack Obama)的白宮成了一個2億美元的國家大數(shù)據(jù)項目，瘋狂熱潮隨即襲來：學(xué)術(shù)機構(gòu)、非盈利組織、政府和企業(yè)都爭相去探究“大數(shù)據(jù)”究竟是什么，他們可以如何好好利用它。

事實證明，這種瘋狂沒有持續(xù)很長時間。5年后，數(shù)據(jù)在我們的日常生活中扮演重要很多的角色，但大數(shù)據(jù)一詞已經(jīng)不再流行——甚至讓人覺得有些討厭。我們被允諾的那場革命究竟發(fā)生了什么呢 數(shù)據(jù)、分析技術(shù)和算法現(xiàn)在又在往什么方向發(fā)展呢 這些問題值得回頭去思考。

科技咨詢公司Gartner在它2015年相當(dāng)有名的“技術(shù)成熟度曲線”報告中不再使用“大數(shù)據(jù)”一次，之后該詞再也沒有回歸。該公司澄清道，這并不是因為企業(yè)放棄挖掘巨量數(shù)據(jù)集獲得洞見的概念。而是因為那種做法已經(jīng)變得廣為流行，以至于它不再符合“新興技術(shù)”的定義。大數(shù)據(jù)幫助驅(qū)動我們的動態(tài)消息、Netflix視頻推薦、自動化股票交易、自動校正功能、健康跟蹤設(shè)備等不計其數(shù)的工具背后的算法。但我們現(xiàn)在不大使用大數(shù)據(jù)一詞了——我們只是將它稱作數(shù)據(jù)。我們開始將數(shù)據(jù)集能夠包含無數(shù)的觀察結(jié)果，先進軟件能夠檢測當(dāng)中的趨勢當(dāng)做理所當(dāng)然的事情。

大數(shù)據(jù)引發(fā)的嚴(yán)重錯誤

雖然該詞仍有被使用，但它更多地帶有一種不好的意味，比如凱茜·奧尼爾(Cathy O’Neil)2016年的著作《數(shù)學(xué)殺傷性武器》(Weapons of Math Destruction)或者弗蘭克·帕斯夸里(Frank Pasquale)2015年的《黑箱社會》(The Black Box Society)。匆忙執(zhí)行和應(yīng)用大數(shù)據(jù)，即進行所謂的“數(shù)據(jù)驅(qū)動型決策”，帶來了嚴(yán)重的錯誤。

有的錯誤相當(dāng)惹人注目：塔吉特(Target)曾向一位沒跟任何人說過自己懷孕的少女的家庭派送嬰兒用品優(yōu)惠券;Pinterest曾恭喜一位單身女性即將結(jié)婚;谷歌照片(Google Photos)也曾引發(fā)軒然大波，該公司被大肆吹捧的AI將黑人誤以為是大猩猩，原因是它的訓(xùn)練數(shù)據(jù)不夠多元化。(值得指出的是，至少在該事件中，“大數(shù)據(jù)”還不夠大。)

其它的錯誤更為微妙，或許也更加陰險。當(dāng)中包括奧尼爾在她的重要著作中記錄的那些不透明的數(shù)據(jù)驅(qū)動式制度性模型：被法庭用來判決罪犯的、帶有種族偏見的累犯模型，或者那些基于可疑的測驗分?jǐn)?shù)數(shù)據(jù)解雇備受愛戴的教師的模型。大數(shù)據(jù)出錯的新案例可謂層出不窮——比如Facebook算法明顯幫助俄羅斯通過針對性的假新聞影響美國總統(tǒng)大選的結(jié)果。

盲目迷戀數(shù)據(jù)與誤用

“大數(shù)據(jù)”的問題并不在于數(shù)據(jù)本身很糟糕，也不在于大數(shù)據(jù)本身很糟糕：謹(jǐn)慎應(yīng)用的話，大型數(shù)據(jù)集還是能夠揭示其它途徑發(fā)現(xiàn)不了的重要趨勢。正如茱莉婭·羅斯·韋斯特(Julia Rose West)在最近給Slate撰寫的文章里所說的，盲目迷戀數(shù)據(jù)，不加批判地使用，往往導(dǎo)致災(zāi)難的發(fā)生。

從本質(zhì)來看，大數(shù)據(jù)不容易解讀。當(dāng)你收集數(shù)十億個數(shù)據(jù)點的時候——一個網(wǎng)站上的點擊或者光標(biāo)位置數(shù)據(jù);大型公共空間十字轉(zhuǎn)門的轉(zhuǎn)動次數(shù);對世界各地每個小時的風(fēng)速觀察;推文——任何給定的數(shù)據(jù)點的來源會變得模糊。這反過來意味著，看似高級別的趨勢可能只是數(shù)據(jù)問題或者方法造成的產(chǎn)物。但也許更重大的問題是，你所擁有的數(shù)據(jù)通常只是你真正想要知道的東西的一個指標(biāo)。大數(shù)據(jù)不能解決那個問題——它反而放大了那個問題。

例如，民意調(diào)查被廣泛用作衡量人們在選舉中的投票意向的指標(biāo)。然而，從湯姆·布拉德利(Tom Bradley)1982年在加州州長競選中敗北，到英國脫歐公投，再到特朗普的當(dāng)選，數(shù)十年來結(jié)果出乎意料的選舉一再提醒我們，民意測驗和人們實際的投票意向之間并不總是完全一致。Facebook以往主要通過用戶有沒有點贊來估量他們對特定的帖子是否有興趣。但隨著經(jīng)過算法優(yōu)化的動態(tài)信息開始大量出現(xiàn)標(biāo)題誘餌、點贊誘餌和嬰兒照片——導(dǎo)致用戶滿意度明顯下降——該公司的高層逐漸意識到，“點贊”這事并不一定意味著用戶真的喜歡特定的內(nèi)容。

指標(biāo)和你實際上要估量的東西之間的差別越大，過于倚重它就越危險。以來自奧尼爾的著作的前述例子為例：學(xué)區(qū)使用數(shù)學(xué)模型來讓教師的表現(xiàn)評估與學(xué)生的測驗分?jǐn)?shù)掛鉤。學(xué)生測驗分?jǐn)?shù)與不在教師控制范圍內(nèi)的無數(shù)重要因素有關(guān)。大數(shù)據(jù)的其中一個優(yōu)勢在于，即便是在非常嘈雜的數(shù)據(jù)集里，你也可以發(fā)現(xiàn)有意義的關(guān)聯(lián)性，這主要得益于數(shù)據(jù)量大以及理論上能夠控制混雜變量的強大軟件算法。例如，奧尼爾描述的那個模型，利用來自多個學(xué)區(qū)和體系的學(xué)生的眾多人口結(jié)構(gòu)方面的相關(guān)性，來生成測驗分?jǐn)?shù)的“預(yù)期”數(shù)據(jù)集，再拿它們與學(xué)生的實際成績進行比較。(由于這個原因，奧尼爾認(rèn)為它是“大數(shù)據(jù)”例子，盡管那個數(shù)據(jù)集并不夠大，沒達(dá)到該詞的一些技術(shù)定義的門檻。)

試想一下，這樣的系統(tǒng)被應(yīng)用在同一所學(xué)校里面——拿每個年級的教師與其它年級的教師比較。要不是大數(shù)據(jù)的魔法，學(xué)生特定學(xué)年異常的測驗分?jǐn)?shù)會非常惹眼。任何評估那些測驗的聰明人，都不會認(rèn)為它們能夠很好地反映學(xué)生的能力，更不用說教他們的老師了。

而前華盛頓特區(qū)教育局長李洋姬(Michelle Rhee)實行的系統(tǒng)相比之下更不透明。因為數(shù)據(jù)集比較大，而不是小，它必須要由第三方的咨詢公司利用專門的數(shù)學(xué)模型來進行分析解讀。這可帶來一種客觀性，但它也排除掉了嚴(yán)密質(zhì)問任何給定的信息輸出，來看看該模型具體如何得出它的結(jié)論的可能性。

例如，奧尼爾分析道，有的教師得到低評分，可能不是因為他們的學(xué)生表現(xiàn)糟糕，而是因為那些學(xué)生之前一年表現(xiàn)得出奇地好——可能因為下面那個年級的教師謊稱那些學(xué)生表現(xiàn)很好，以提升他自己的教學(xué)評分。但對于那種可能性，學(xué)校高層并沒什么興趣去深究那種模型的機制來予以證實。

加入更多指標(biāo)

并不是說學(xué)生測驗分?jǐn)?shù)、民意調(diào)查、內(nèi)容排名算法或者累犯預(yù)測模型統(tǒng)統(tǒng)都需要忽視。除了停用數(shù)據(jù)和回歸到奇聞軼事和直覺判斷以外，至少有兩種可行的方法來處理數(shù)據(jù)集和你想要估量或者預(yù)計的現(xiàn)實世界結(jié)果之間不完全相關(guān)帶來的問題。

其中一種方法是加入更多的指標(biāo)數(shù)據(jù)。Facebook采用這種做法已有很長一段時間。在了解到用戶點贊不能完全反映他們在動態(tài)消息當(dāng)中實際想要看到的東西以后，該公司給它的模型加入了更多的指標(biāo)。它開始測量其它的東西，比如用戶看一篇帖子的時長，他們?yōu)g覽其點擊的文章的時間，他們是在看內(nèi)容之前還是之后點贊。Facebook的工程師盡可能地去權(quán)衡和優(yōu)化那些指標(biāo)，但他們發(fā)現(xiàn)用戶大體上還是對動態(tài)消息里呈現(xiàn)的內(nèi)容不滿意。因此，該公司進一步增加測量指標(biāo)：它開始展開大范圍的用戶調(diào)查，增加新的反應(yīng)表情讓用戶可以傳達(dá)更加細(xì)微的感受，并開始利用AI來按頁面和按出版者檢測帖子的標(biāo)題黨語言。該社交網(wǎng)絡(luò)知道這些指標(biāo)沒有一個是完美的。但是，通過增加更多的指標(biāo)，它理論上能夠更加接近于形成可給用戶展示他們最想要看到的帖子的算法。

這種做法的一個弊端在于，它難度大，成本高昂。另一個弊端在于，你的模型加入的變量越多，它的方法就會變得越錯綜復(fù)雜，越不透明，越難以理解。這是帕斯夸里在《黑箱社會》里闡述的問題的一部分。算法再先進，所利用的數(shù)據(jù)集再好，它也有可能會出錯——而它出錯的時候，診斷問題幾無可能。“過度擬合”和盲目相信也會帶來危險：你的模型越先進，它看上去與你過往所有的觀察越吻合，你對它越有信心，它最終讓你一敗涂地的危險就越大。(想想次貸危機、選舉預(yù)測模型和Zynga吧。)

小數(shù)據(jù)

對于源自大數(shù)據(jù)集偏見的問題，另一個潛在的應(yīng)對方法是部分人所說的“小數(shù)據(jù)”。小數(shù)據(jù)是指，數(shù)據(jù)集足夠簡單到可以直接由人來分析和解讀，不需要求助于超級計算機或者h(yuǎn)adoop作業(yè)。跟“慢餐”一樣，該詞也是因為其相反面的流行而產(chǎn)生。

丹麥作家、營銷顧問馬丁·林德斯特羅姆(Martin Lindstrom)在他2016年的著作《小數(shù)據(jù)：揭示大趨勢的微小線索》中談到了那種做法。例如，丹麥知名玩具廠商樂高(Lego)依據(jù)大量聲稱千禧一代需要即時滿足，更容易被比較輕松的項目吸引的研究，轉(zhuǎn)向提供更大的積木，還在1990年代末和2000年代初打造主題公園和視頻游戲。這種轉(zhuǎn)型沒有奏效。

那種由數(shù)據(jù)驅(qū)動的范式最后被它的營銷者2004年進行的一項范圍小得多的人類學(xué)調(diào)查顛覆。它的營銷者逐個詢問小孩他們最珍愛什么物品，發(fā)現(xiàn)他們最喜歡也最忠于可讓顯示出其苦苦練就的能力的產(chǎn)品——比如一雙因數(shù)百個小時的滑板練習(xí)而磨損的舊運動鞋。據(jù)林德斯特羅姆(他曾擔(dān)當(dāng)樂高的顧問，自己也很喜歡玩樂高積木)說，樂高重新專注于提供它原來的小積木，由此實現(xiàn)復(fù)興。

在很多方面，亞馬遜是可充分說明大數(shù)據(jù)威力的典型例子。它關(guān)于其數(shù)以億計的顧客的購買和商品瀏覽習(xí)慣的數(shù)據(jù)，幫助它成為全世界最成功的零售商之一。不過，布拉德·斯通(Brad Stone)在他的書《萬貨商店》(Everything Store)中稱，該公司的CEO杰夫·貝索斯(Jeff Bezos)有個很有趣(對于他的員工來說則很可怕)的方式來平衡所有的那些客觀數(shù)據(jù)分析。他時不時會將顧客發(fā)來的投訴郵件轉(zhuǎn)發(fā)給他的高層團隊，要求他們不僅僅要解決投訴的問題，還要徹底調(diào)查清楚它發(fā)生的原因，并撰寫一份解釋報告。

這說明，貝索斯不僅僅理解大數(shù)據(jù)提升各個系統(tǒng)運行效率的威力，還知道大數(shù)據(jù)也要可能會掩蓋沒有得到有效估量的特定問題的發(fā)生原因和機制。在根據(jù)你知道該如何測量的事情做出決策的時候，安全的做法是確保也有機制讓你能夠知道你不知道該如何估量的事情。“問題總是，你沒有收集什么數(shù)據(jù) ”奧尼爾在接受電話采訪時表示，“什么數(shù)據(jù)是你看不到的 ”

未來展望

隨著“大數(shù)據(jù)”不再被當(dāng)做熱詞，我們有希望逐漸對數(shù)據(jù)的威力和陷阱形成更加細(xì)致入微的理解?；仡^來看，收集數(shù)據(jù)的傳感器和分析數(shù)據(jù)的超級計算機一下子大量涌現(xiàn)，引發(fā)一股淘金熱，以及很多時候錯失這一切的恐懼會壓過你的審慎情緒，都是可以理解的。與此同時，必然會有深思熟慮的人開始引起我們對這些情況的注意，大數(shù)據(jù)也不可避免地會帶來反效果。

不過，大數(shù)據(jù)誤用帶來的威脅，不會僅僅因為我們不再用敬畏的口吻來說那個詞而消失?？纯碐artner 2017年技術(shù)成熟度曲線的頂峰，你會看到像機器學(xué)習(xí)和深度學(xué)習(xí)這樣的詞，以及代表這些計算技術(shù)的現(xiàn)實應(yīng)用的無人駕駛汽車、虛擬助手等相關(guān)的詞。這些是基于與大數(shù)據(jù)一樣的基礎(chǔ)的新“棚架層”，它們?nèi)家蕾囉诖髷?shù)據(jù)。它們已經(jīng)走在通向真正的突破的道路上——但可以肯定的是，它們也會導(dǎo)致嚴(yán)重的錯誤。

來源：網(wǎng)易科技