大數(shù)據(jù)時(shí)代，我們應(yīng)該具有怎樣的思維方式？

大數(shù)據(jù) 思維方式精確性

aryu | 2016-10-12 18:15

【數(shù)據(jù)猿導(dǎo)讀】在當(dāng)今時(shí)代，最不缺乏的就是信息。信息消費(fèi)了什么，這是很明顯的：它消費(fèi)的是信息接受者的注意力。信息越豐富，就會(huì)導(dǎo)致注意力越匱乏……當(dāng)今，信息并不匱乏，匱乏的是我們處理信息的能力，我們有限的注意力是組織活動(dòng)的主要瓶頸

大數(shù)據(jù)時(shí)代，我們應(yīng)該具有怎樣的思維方式？

《飄》、《湯姆叔叔的小屋》之類的小說和故事在全社會(huì)激起的是強(qiáng)烈的“情感”共鳴，和故事相比，數(shù)據(jù)沒有情節(jié)，它僅代表客觀事實(shí)，數(shù)據(jù)激發(fā)的，更多的是理性思考。作為理性的人類，我們不會(huì)僅僅滿足于感情的宣泄，而是希望通過數(shù)據(jù)掌握更多的事實(shí)，進(jìn)行理性思考。

在當(dāng)今時(shí)代，最不缺乏的就是信息。信息消費(fèi)了什么，這是很明顯的：它消費(fèi)的是信息接受者的注意力。信息越豐富，就會(huì)導(dǎo)致注意力越匱乏……當(dāng)今，信息并不匱乏，匱乏的是我們處理信息的能力，我們有限的注意力是組織活動(dòng)的主要瓶頸。卡內(nèi)基梅隆大學(xué)的赫伯特·西蒙指出，人類的理性是有限的，因此所有的決策都是基于有限理性的結(jié)果。他繼而提出，如果能利用存儲(chǔ)在計(jì)算機(jī)里的信息——即數(shù)據(jù)來輔助決策，人類理性的范圍將會(huì)擴(kuò)大，決策的質(zhì)量就能提高。

在大數(shù)據(jù)時(shí)代，人類社會(huì)面臨的問題之一是如何更好的利用數(shù)據(jù)來輔助決策。

對小數(shù)據(jù)而言，最基本最重要的要求就是減少錯(cuò)誤，保證質(zhì)量。因?yàn)槭占男畔⒘勘容^少，所以我們必須確保記下來的數(shù)據(jù)盡量精確。無論是確定天體的位置還是觀測顯微鏡下物體的大小，為了使結(jié)果更加準(zhǔn)確，很多科學(xué)家都致力于優(yōu)化測量的工具。在采樣的時(shí)候，對精確度的要求就更苛刻了。因?yàn)槭占畔⒌挠邢抟馕吨?xì)微的錯(cuò)誤會(huì)被放大，甚至有可能影響整個(gè)結(jié)果的準(zhǔn)確性。

然而，在不斷涌現(xiàn)的新情況里，允許不精確性的出現(xiàn)已經(jīng)成為一個(gè)新的亮點(diǎn)，而非缺點(diǎn)。因?yàn)榉潘闪巳蒎e(cuò)的標(biāo)準(zhǔn)，人們掌握的數(shù)據(jù)也多了起來，還可以利用這些數(shù)據(jù)做更多新的事情。這樣就不是大量數(shù)據(jù)優(yōu)于少量數(shù)據(jù)那么簡單了，而是大量數(shù)據(jù)創(chuàng)造了更好的結(jié)果。谷歌的翻譯更好并不是因?yàn)樗鼡碛幸粋€(gè)更好的算法機(jī)制，是因?yàn)楣雀璺g增加了各種各樣的數(shù)據(jù)。2006年，谷歌發(fā)布的上萬億的語料庫，就是來自于互聯(lián)網(wǎng)的一些廢棄內(nèi)容。谷歌將其作為“訓(xùn)練集”，可以正確地推算出英語詞匯搭配在一起的可能性。谷歌的這個(gè)語料庫是一個(gè)質(zhì)的突破，使用龐大的數(shù)據(jù)庫使得自然語言處理這一方向取得了飛躍式的發(fā)展。

同時(shí)，我們需要與各種各樣的混亂做斗爭?；靵y，簡單的說就是隨著數(shù)據(jù)量的增加，錯(cuò)誤率也會(huì)相應(yīng)增加。所以，如果采集的數(shù)據(jù)量增加1000倍的話，其中采集的部分?jǐn)?shù)據(jù)就可能是錯(cuò)誤的，而且隨著數(shù)據(jù)量的增加，錯(cuò)誤率可能也會(huì)繼續(xù)增加。在整合來源不同的各類信息的時(shí)候，因?yàn)樗麄兺ǔ２煌耆恢拢砸矔?huì)加大混亂程度。雖然如果我們能夠下足夠多的功夫，這些錯(cuò)誤是可以避免的，但在很多情況下，與致力于避免錯(cuò)誤相比，對錯(cuò)誤的包容會(huì)帶給我們更多好處。

如果將傳統(tǒng)的思維模式——精確性運(yùn)用于數(shù)據(jù)化、網(wǎng)絡(luò)化的21世紀(jì)，就會(huì)錯(cuò)過重要的信息，執(zhí)迷于精確性是信息缺乏時(shí)代的產(chǎn)物。當(dāng)我們掌握了大量新型數(shù)據(jù)時(shí)，精確性就不那么重要了，不因?yàn)橐蕾嚲_性，我們同樣可以掌握事情的發(fā)展趨勢。大數(shù)據(jù)不僅讓我們不再期待精確性，也讓我們無法實(shí)現(xiàn)精確性。然而，除了一開始會(huì)與我們的直覺相矛盾之外，接受數(shù)據(jù)的不精確和不完美，我們反而能更好地進(jìn)行預(yù)測，也能更好的理解這個(gè)世界。

相比依賴于小數(shù)據(jù)和精確性的時(shí)代，大數(shù)據(jù)因?yàn)楦鼜?qiáng)調(diào)數(shù)據(jù)的完整性和混雜性，幫助我們進(jìn)一步接近事實(shí)的真相。“部分”和“確切”的吸引力是可以理解的。但是，當(dāng)我們的視野局限在我們可以分析和能夠確定的數(shù)據(jù)上時(shí)，我們對世界的整體理解就可能產(chǎn)生錯(cuò)誤和偏差。不僅失去了去盡力收集一切數(shù)據(jù)的動(dòng)力，也失去了從各個(gè)不同角度來觀察事物的權(quán)利。所以，局限于狹隘的小數(shù)據(jù)中，我們可以自豪于對精確性的追求，但是，就算我們可以分析的到細(xì)節(jié)中的細(xì)節(jié)，也依然會(huì)錯(cuò)過事物的全貌。就像印象派的畫風(fēng)一樣，近看畫中的每一筆都感覺是混亂的，但是退后一步你就會(huì)發(fā)現(xiàn)這是一副偉大的作品，因?yàn)槟阃撕笠徊降臅r(shí)候就能看出畫作的整體思路了。

這是大數(shù)據(jù)時(shí)代，思維方式的一個(gè)改變，不執(zhí)著于對精確性的追求，擁抱混亂。另外一個(gè)思維方式的轉(zhuǎn)變則是，更加重視相關(guān)關(guān)系，而不偏執(zhí)于基于假設(shè)基礎(chǔ)上對因果關(guān)系的追尋。

在小數(shù)據(jù)的世界中，相關(guān)關(guān)系也是有用的，但在大數(shù)據(jù)的背景下，相關(guān)關(guān)系大放異彩。通過應(yīng)用相關(guān)關(guān)系，我們可以比以前更容易、更便捷、更清楚地分析事物。

相關(guān)關(guān)系的核心是量化兩個(gè)數(shù)據(jù)值之間的數(shù)理關(guān)系。相關(guān)關(guān)系強(qiáng)是指一個(gè)數(shù)據(jù)增加時(shí)，另一個(gè)數(shù)據(jù)值很有可能也會(huì)隨之增加。比如谷歌的流感趨勢：在一個(gè)特定的地理位置，越多的人通過谷歌搜索特定的詞條，該地區(qū)就有更多的人患了流感。相反，相關(guān)關(guān)系弱就意味著當(dāng)一個(gè)數(shù)據(jù)值增加，另一個(gè)數(shù)據(jù)值幾乎不會(huì)發(fā)生變化。例如，我們可以尋找關(guān)于個(gè)人的鞋碼和幸福的相關(guān)關(guān)系，但會(huì)發(fā)現(xiàn)它們幾乎扯不上什么關(guān)系。

相關(guān)關(guān)系通過識(shí)別有用的關(guān)聯(lián)物來幫助我們分析一個(gè)現(xiàn)象，而不是通過揭示其內(nèi)部的運(yùn)作機(jī)制。當(dāng)然，即使是很強(qiáng)的相關(guān)關(guān)系也不一定能解釋每一種情況，比如兩個(gè)事物看上去行為相似，但很有可能只是巧合。相關(guān)關(guān)系沒有絕對，只有可能性。也就是說，不是亞馬遜推薦的每本書都是顧客想買的書。但是，如果相關(guān)關(guān)系強(qiáng)，一個(gè)相關(guān)鏈接成功的概率是很高的。

我們理解世界不再需要建立在假設(shè)的基礎(chǔ)上，這個(gè)假設(shè)是針對現(xiàn)象建立的有關(guān)其生產(chǎn)機(jī)制和內(nèi)在機(jī)理的假設(shè)。因此，我們也不需要建立這樣一個(gè)假設(shè)，關(guān)于哪些詞條可以表示流感在何時(shí)何地傳播;我們不需要了解航空公司怎樣給機(jī)票定價(jià);我們不需要知道沃爾瑪?shù)念櫩偷呐腼兿埠谩Ｈ《氖?，我們可以對打?shù)據(jù)進(jìn)行相關(guān)關(guān)系分析，從而知道哪些檢索詞條是最能顯示流感的傳播的，飛機(jī)票的價(jià)格是否會(huì)飛漲，哪些食物是颶風(fēng)期間待在家里的人最想吃的。我們用數(shù)據(jù)驅(qū)動(dòng)的關(guān)于大數(shù)據(jù)的相關(guān)關(guān)系分析法，取代了基于假想的易出錯(cuò)的方法。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準(zhǔn)確、更快，而且不易受偏見的影響。建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。這種預(yù)測發(fā)生的頻率非常高，以至于我們經(jīng)常忽略了它的創(chuàng)新性。當(dāng)然，它的應(yīng)用會(huì)越來越多。

在社會(huì)環(huán)境下尋找關(guān)聯(lián)物只是大數(shù)據(jù)分析法采取的一種方式。同樣有用的一種方式是，通過找出新種類數(shù)據(jù)之間的相互聯(lián)系來解決日常需要。比方說，一種稱為預(yù)測分析法的方法就被廣泛的應(yīng)用于商業(yè)領(lǐng)域，它可以預(yù)測實(shí)踐的發(fā)生。比如車的某個(gè)零部件出故障。因?yàn)橐粋€(gè)東西要出故障，不會(huì)是瞬間的，而是慢慢地出問題的。通過收集所有的數(shù)據(jù)，我們可以預(yù)先捕捉到事物要出故障的信號(hào)，比方說發(fā)動(dòng)機(jī)的嗡嗡聲、引擎過熱都說明它們可能要出故障了。系統(tǒng)把這些異常情況與正常情況進(jìn)行對比，就會(huì)知道什么地方出了毛病。通過盡早的發(fā)現(xiàn)異常，系統(tǒng)可以提醒我們在故障之前更換零件或者修復(fù)問題。通過找出一個(gè)關(guān)聯(lián)物并監(jiān)控它，我們就能預(yù)測未來。

在小數(shù)據(jù)時(shí)代，相關(guān)關(guān)系分析和因果分析都不容易，都耗資巨大，都要從建立假設(shè)開始。然后我們會(huì)進(jìn)行實(shí)驗(yàn)——這個(gè)假設(shè)要么被證實(shí)要么被推翻。但由于兩者都始于假設(shè)，這些分析都有受偏見影響的可能，而且極易導(dǎo)致錯(cuò)誤。與此同時(shí)，用來做相關(guān)關(guān)系分析的數(shù)據(jù)很難得到，收集這些數(shù)據(jù)時(shí)也耗資巨大。現(xiàn)今，可用的數(shù)據(jù)如此之多，也就不存在這些難題了。

通過找出可能相關(guān)的事物，我們可以在此基礎(chǔ)上進(jìn)行進(jìn)一步的因果關(guān)系分析，如果存在因果關(guān)系的話，我們再進(jìn)一步找出原因。這種便捷的機(jī)制通過嚴(yán)格的實(shí)驗(yàn)降低了因果分析的成本。我們也可以從相互聯(lián)系中找到一些重要的變量，這些變量可以用到驗(yàn)證因果關(guān)系的實(shí)驗(yàn)中去。相關(guān)關(guān)系很有用，不僅僅是因?yàn)樗転槲覀兲峁┬碌囊暯?，而且提供的視角都很清晰?/p>

在小數(shù)據(jù)時(shí)代，我們會(huì)假想世界是怎么運(yùn)作的，然后通過收集和分析數(shù)據(jù)來驗(yàn)證這種假想。在不久的將來，我們會(huì)在大數(shù)據(jù)的指導(dǎo)下探索世界，不再受限于各種假想。我們的研究始于數(shù)據(jù)，也因?yàn)閿?shù)據(jù)我們發(fā)現(xiàn)了以前不曾發(fā)現(xiàn)的聯(lián)系。

總之，除了糾結(jié)于數(shù)據(jù)的準(zhǔn)確性、正確性和嚴(yán)格度之外，我們也應(yīng)該容許一些不精確的存在。數(shù)據(jù)不可能是完全正確或完全錯(cuò)誤的，當(dāng)數(shù)據(jù)的規(guī)模以數(shù)量級(jí)增加時(shí)，這些混亂也就算不上問題了。事實(shí)上，它可能是有好處的，因?yàn)樗赡芴峁┮恍┪覀儫o法想到的細(xì)節(jié)。又因?yàn)槲覀冇酶旄阋说姆绞秸业綌?shù)據(jù)的相關(guān)性，并且效果往往更好，而不必努力去尋找因果關(guān)系。當(dāng)然，在某些情況下，我們依然要靜心做因果關(guān)系研究和試驗(yàn)。但是，在日常很多情況下，我們知道“是什么”就夠了，而不必非要弄清楚“為什么”。

來源：簡書

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。