分享：大數(shù)據(jù)經(jīng)典案例與謬誤

大數(shù)據(jù) 案例紙牌屋謬誤

作物靜思 | 2016-09-19 11:50

【數(shù)據(jù)猿導(dǎo)讀】紙牌屋、啤酒尿布等案例已經(jīng)是大數(shù)據(jù)時(shí)代最有代表性的案例了。如今，宣告成功應(yīng)用了大數(shù)據(jù)的案例還在不斷誕生，人們對(duì)此已經(jīng)開始冷靜思考。對(duì)于大數(shù)據(jù)的謬誤該怎么思考呢

1 紙牌屋案例

提到大數(shù)據(jù)在互聯(lián)網(wǎng)視頻領(lǐng)域的商業(yè)應(yīng)用，業(yè)界曾經(jīng)流傳著這樣一個(gè)謊言——通過分析3000萬北美用戶觀看視頻的行為數(shù)據(jù)，發(fā)現(xiàn)凱文.斯派西、大衛(wèi).芬奇和英劇《紙牌屋》3個(gè)關(guān)鍵詞的受眾存在交集，由此預(yù)測(cè)將三種元素結(jié)合在一起的片子將會(huì)大火特火，因此成功推出這部劇集。

事實(shí)上，翻拍英劇《紙牌屋》的創(chuàng)意來自制片方MRC公司。當(dāng)時(shí)這家電影公司正準(zhǔn)備轉(zhuǎn)型拍攝電視劇，并打算用自己手里積攢的電影資源大干一場(chǎng)，碰巧公司的一位實(shí)習(xí)生在飛機(jī)上看了這部英國舊劇集。也就是說，促使《紙牌屋》誕生的決定性因素根本就不是“大數(shù)據(jù)”，而是影視圈里永恒的關(guān)鍵詞——“資金”和“人脈”。

2 啤酒尿布案例

“啤酒與尿布”案例是大數(shù)據(jù)營銷的一個(gè)神話，據(jù)媒體稱是發(fā)生在美國沃爾瑪連鎖店超市的真實(shí)案例。根據(jù)大數(shù)據(jù)發(fā)現(xiàn)的相關(guān)性，沃爾瑪決定把尿布和啤酒擺在一起出售，這個(gè)奇怪的舉措使尿布和啤酒的銷量雙雙增加。按理說，這個(gè)了不起的發(fā)現(xiàn)應(yīng)該給所有超市帶來啟示，大家都應(yīng)紛紛效仿才對(duì)，可實(shí)際上，如果我們到超市去認(rèn)真觀察一下，就會(huì)發(fā)現(xiàn)根本沒有類似的物品擺放，相近的都很少。追溯這宗噱頭十足的新聞的根源，調(diào)查者已經(jīng)證明，這個(gè)江湖傳說只是數(shù)據(jù)分析公司的經(jīng)理人虛構(gòu)出來的故事。

3 懷孕的女高中生案例

一個(gè)更為聳動(dòng)的大數(shù)據(jù)案例是“懷孕的女高中生”。據(jù)說Target百貨公司通過大數(shù)據(jù)模型建立“懷孕預(yù)測(cè)指數(shù)”，通過這個(gè)指數(shù)，Target能夠在很小的誤差范圍內(nèi)預(yù)測(cè)到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠產(chǎn)品的廣告寄發(fā)給顧客。《紐約時(shí)報(bào)》甚至報(bào)道了Target的這種優(yōu)惠廣告間接地令一個(gè)蒙在鼓里的父親意外發(fā)現(xiàn)他的高中生女兒懷孕了。但在這個(gè)成功的營銷事件的背后，是這些優(yōu)惠廣告只是隨機(jī)的發(fā)送給用戶，其中大量收到優(yōu)惠廣告的婦女并非孕婦，當(dāng)然她們只是把廣告扔進(jìn)垃圾桶，不會(huì)為此鬧上門找Target公司理論。

檢視另外一些著名的大數(shù)據(jù)案例案例，我們已經(jīng)知道波士頓市“顛簸的街道”項(xiàng)目失敗了，谷歌流感趨勢(shì)預(yù)測(cè)也失敗了。其他很多宣稱成功運(yùn)用大數(shù)據(jù)分析、發(fā)現(xiàn)前所未見的規(guī)律、取得重大商業(yè)成就的案例也都似是而非。

今天，宣告成功應(yīng)用了大數(shù)據(jù)的案例還在不斷誕生，人們對(duì)此已經(jīng)開始冷靜思考。我們要問的是：這些項(xiàng)目中采用了什么樣的判別標(biāo)準(zhǔn)?吹噓大數(shù)據(jù)神話的人憑什么認(rèn)定，運(yùn)用這種又全又大的定量統(tǒng)計(jì)新方法更好，而用傳統(tǒng)的抽樣量化方法或定性方法做研究肯定不如它?

大數(shù)據(jù)的謬誤

1 “數(shù)據(jù)”概念謬誤

對(duì)數(shù)據(jù)概念理解的錯(cuò)誤反映了大數(shù)據(jù)專家們思維的混亂。數(shù)據(jù)概念有兩種含義。一種含義的數(shù)據(jù)在歷史上早就在使用，這是人們拿來比較、衡量大小、多少的概念——即量值、數(shù)值、數(shù)目字。圍繞無知地把這個(gè)老概念和另一個(gè)數(shù)據(jù)的新概念混淆。

新的比特?cái)?shù)據(jù)的概念到了20世紀(jì)才誕生。這個(gè)基于比特的數(shù)據(jù)概念是信息科技的獨(dú)特產(chǎn)物——即數(shù)據(jù)是比特的集合，數(shù)據(jù)是結(jié)構(gòu)化的比特團(tuán)、組。這是對(duì)我們當(dāng)今社會(huì)真正重要的一種數(shù)據(jù)的含義。

如果把比特看作原子，數(shù)據(jù)就對(duì)應(yīng)著分子，比特和數(shù)據(jù)是賽博空間里的基本單元，就像原子和分子是實(shí)體空間里的基本單元那樣。比特形態(tài)數(shù)量有限，只有兩種，具體的數(shù)據(jù)對(duì)象則千姿百態(tài)，是比特的無窮無盡的排列組合。與之相對(duì)應(yīng)，原子的數(shù)量只有180來種，而原子所可能組成的分子種類則是無限的。

2 “量化”謬誤

從舊概念出發(fā)，基于量值統(tǒng)計(jì)的大數(shù)據(jù)成為紅得發(fā)紫的顯學(xué)。大數(shù)據(jù)把“量化”研究方法拔高到了無以復(fù)加的地位。這種以“數(shù)”服人的惡劣風(fēng)氣發(fā)端于北美，是從美國向世界各地蔓延的一種傳染病——數(shù)目字崇拜癥。

尼爾.波茨曼早在上世紀(jì)六十年代就指出，單純用量化方法對(duì)人進(jìn)行界定存在嚴(yán)重缺陷。當(dāng)時(shí)在美國用IQ值來測(cè)定人的智商曾經(jīng)非常流行。把活生生的、有豐富側(cè)面的、不斷變化著的人簡單地用數(shù)目字評(píng)價(jià)會(huì)導(dǎo)致認(rèn)識(shí)的異化。今天的大數(shù)據(jù)雖然描述人的參數(shù)很多，其數(shù)量種類遠(yuǎn)遠(yuǎn)超過當(dāng)年單一的IQ值，仍然只是對(duì)某一時(shí)刻、少數(shù)側(cè)面的個(gè)人屬性的抽象概括。以為通過最大限度地量化就能洞悉關(guān)于個(gè)人和人群的一切，這是一種理性的譫妄。

癡迷于極致的量化將導(dǎo)致我們走向“還原主義”的歧途。就算我們能夠用盡當(dāng)前科技的所有手段，用所有傳感器收集人的所有方面的所有數(shù)據(jù)，那又如何?拿到數(shù)據(jù)越多的人就越正確嗎?拿到了這些全面的數(shù)據(jù)就能自動(dòng)掌握真理嗎?就像把一個(gè)活人分解成同樣重量、種類的一堆原子，把這堆原子交給你，你能管這堆東西叫一個(gè)人嗎?

3 “歷史”謬誤

過去積攢的統(tǒng)計(jì)數(shù)據(jù)是歷史、是浮云，記錄下來的舊數(shù)字再多、花樣再豐富，對(duì)未來趨勢(shì)的預(yù)測(cè)能力也非常有限，不能太當(dāng)真。那個(gè)著名的關(guān)于豬的寓言，就是用來說明這個(gè)道理的：

一頭生活在豬圈里的豬注意到每天都有飼養(yǎng)員喂它食物，它收集了99天的完備數(shù)據(jù)，基于大數(shù)據(jù)統(tǒng)計(jì)作出預(yù)測(cè)：未來每天都有免費(fèi)的食物提供給自己。在第100天，它的預(yù)測(cè)得到了證實(shí)，一個(gè)光彩奪目的大數(shù)據(jù)成功案例誕生了!但在第101天，它被送進(jìn)了屠宰場(chǎng)。

大數(shù)據(jù)許諾通過收集歷史數(shù)據(jù)預(yù)測(cè)未來。很多自我膨脹的量化統(tǒng)計(jì)專家迷信，收集越多越全的數(shù)據(jù)，就越能保證發(fā)現(xiàn)重大的規(guī)律，對(duì)未來的預(yù)測(cè)就越準(zhǔn)確，越能創(chuàng)造爆炸性的商業(yè)成功，越能讓企業(yè)立于不敗之地。

但是這些頭腦熱到發(fā)昏的專家們忘記了，歷史都是人的歷史。他們沒有理解索羅斯根據(jù)卡爾.波普爾對(duì)歷史主義的批判提出的反身性原理——人都是有主觀能動(dòng)性的、易變的。無論是個(gè)人還是大范圍的群體，一旦他們了解了你作出的預(yù)言，他們行動(dòng)的轉(zhuǎn)向往往會(huì)讓你的預(yù)言破產(chǎn)。谷歌流感趨勢(shì)預(yù)測(cè)失敗的一個(gè)可能原因就在于此。

從那些失敗案例人們已經(jīng)開始認(rèn)識(shí)到，大數(shù)據(jù)的膚淺預(yù)測(cè)的作用是可疑的，它根本無法應(yīng)對(duì)黑天鵝事件。就像全世界頂尖的數(shù)學(xué)天才聚集的華爾街金融機(jī)構(gòu)那樣——他們?cè)?jīng)根據(jù)各種統(tǒng)計(jì)數(shù)據(jù)成功預(yù)測(cè)市場(chǎng)走勢(shì)，并持續(xù)掙錢盈利。但時(shí)間拉到足夠長，一旦發(fā)生一個(gè)房貸債券市場(chǎng)崩盤這樣的小概率事件，數(shù)據(jù)統(tǒng)計(jì)專家們就落得滿盤皆輸，一次就把之前多年掙到的錢賠光，甚至陷入負(fù)債、破產(chǎn)的境地。

4 “大”謬誤

“大”方向的錯(cuò)誤影響更為深遠(yuǎn)，也更加致命。大數(shù)據(jù)反復(fù)強(qiáng)調(diào)數(shù)據(jù)量大、數(shù)據(jù)全，上帝視角的敘事在召喚一種集體潛意識(shí)：即只有有權(quán)有錢的超級(jí)機(jī)構(gòu)才有能力、有資格匯聚一切信息。很顯然，大數(shù)據(jù)所隱喻的，仍然是僵化腐朽的金字塔式的、封建層級(jí)化的社會(huì)結(jié)構(gòu)。

想想現(xiàn)在，別人許諾在互聯(lián)網(wǎng)時(shí)代提供給你的人人平等的地球村、對(duì)等網(wǎng)絡(luò)和扁平的世界哪去了?想想當(dāng)年，前蘇聯(lián)的計(jì)劃經(jīng)濟(jì)委員會(huì)里的少數(shù)精英掌握著每種商品的全部信息，小到火柴和肥皂的產(chǎn)量、庫存、運(yùn)輸、成本和售價(jià)、銷量等等，結(jié)果怎么樣呢?我們要問，大數(shù)據(jù)是不是催生了棱鏡計(jì)劃?為什么個(gè)人不能保存電纜門(Cablegate)的全部資料?為什么黑客不能獲取麥迪遜網(wǎng)站所有用戶的郵箱?為什么網(wǎng)民不能隨時(shí)查閱汽車牌照信息數(shù)據(jù)庫?

量化統(tǒng)計(jì)大數(shù)據(jù)的“大”和“統(tǒng)”背后隱含的觀念，是數(shù)據(jù)必須向一個(gè)中心全面集中，是壁壘森嚴(yán)的超級(jí)關(guān)系數(shù)據(jù)庫、數(shù)據(jù)中心，是歡欣鼓舞地打造一座賽博世界的全景式監(jiān)獄，是信息為少數(shù)頂尖精英嚴(yán)格控制以保障“隱私和安全”，是排斥隨便哪個(gè)阿貓阿狗染指數(shù)據(jù)庫的任何副本，以防其圖謀不軌——網(wǎng)絡(luò)草根們存在的意義，只是向大核心貢獻(xiàn)自己的所有信息數(shù)據(jù)。一盤散沙的個(gè)人既不該被允許查閱別人的任何信息，甚至也不能了解自己的那些數(shù)據(jù)被收集和記錄。因此不要過于迷信大數(shù)據(jù)尤其是感念不清，以及只停留在自己嘴巴或這是別人嘴巴上的大數(shù)據(jù)。真真的要沉下心研究以下大數(shù)據(jù)究竟有什么組成，怎樣適當(dāng)?shù)膽?yīng)用。避免在神話下被愚化。

來源：作物靜思

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。