用大數(shù)據(jù)失敗案例的血淚教訓(xùn)來訴說8個(gè)不能犯的錯(cuò)誤

大數(shù)據(jù) 大數(shù)據(jù)應(yīng)用應(yīng)用場景管理層

九次方大數(shù)據(jù) | 2016-12-13 12:42

【數(shù)據(jù)猿導(dǎo)讀】近年來，大數(shù)據(jù)旋風(fēng)以“迅雷不及掩耳之勢”席卷全球，不僅是信息領(lǐng)域，經(jīng)濟(jì)、政治、社會(huì)等諸多領(lǐng)域都“磨刀霍霍”向大數(shù)據(jù)，準(zhǔn)備在其中逐得一席之地。然而，很多公司在邁入大數(shù)據(jù)領(lǐng)域后遭遇“滑鐵盧”

用大數(shù)據(jù)失敗案例的血淚教訓(xùn)來訴說8個(gè)不能犯的錯(cuò)誤

近年來，大數(shù)據(jù)旋風(fēng)以“迅雷不及掩耳之勢”席卷全球，不僅是信息領(lǐng)域，經(jīng)濟(jì)、政治、社會(huì)等諸多領(lǐng)域都“磨刀霍霍”向大數(shù)據(jù)，準(zhǔn)備在其中逐得一席之地。然而，很多公司在邁入大數(shù)據(jù)領(lǐng)域后遭遇“滑鐵盧”。在此，本文盤點(diǎn)了一系列大數(shù)據(jù)失敗項(xiàng)目，深究其原因，具有警示意義。

對數(shù)據(jù)過于相信

2008年，Google第一次開始預(yù)測流感就取得了很好的效果，比美國疾病預(yù)防控制中心提前兩禮拜預(yù)測到了流感的爆發(fā)。但是，幾年之后，Google的預(yù)測比實(shí)際情況(由防控中心根據(jù)全美就診數(shù)據(jù)推算得出)高出了50%。媒體過于渲染了Google的成功，出于好奇目的而搜索相關(guān)關(guān)鍵詞的人越來越多，從而導(dǎo)致了數(shù)據(jù)的扭曲。

低估大數(shù)據(jù)復(fù)雜程度

在美國有幾個(gè)互聯(lián)網(wǎng)金融公司專做中小企業(yè)貸款。但是中小企業(yè)貸款涉及的數(shù)據(jù)更復(fù)雜，而且中小企業(yè)涉及到整個(gè)行業(yè)非常特殊的一些數(shù)據(jù)，比如非標(biāo)準(zhǔn)的財(cái)務(wù)報(bào)表和不同行業(yè)、不同范式的合同，他們沒有很專業(yè)的知識，是很難理解或者很難有時(shí)間把它準(zhǔn)確挖掘出來。

當(dāng)時(shí)大數(shù)據(jù)團(tuán)隊(duì)想用一個(gè)很完美的模型把所有的問題都解決掉，比如把市場和信貸的解決方案全部用一個(gè)模型來解決，但因?yàn)閿?shù)據(jù)的復(fù)雜程度，最后證明這種方法是失敗的，而且90%的時(shí)間都在做數(shù)據(jù)清理。這就說明，想通過大數(shù)據(jù)技術(shù)一下子解決所有的問題是很難成功的，而是要用抽絲剝繭、循序漸進(jìn)的方式。

管理層的惰性

某家旅游公司系統(tǒng)通過web日志數(shù)據(jù)的挖掘來提升客戶洞察。結(jié)果證明，用戶在瀏覽網(wǎng)站之后，隨后的消費(fèi)行為模式與管理層所認(rèn)為的不一致。當(dāng)團(tuán)隊(duì)匯報(bào)此事時(shí)，管理層認(rèn)為不值一提。但是，該團(tuán)隊(duì)并沒有放棄，并通過嚴(yán)密的A/B測試，回?fù)袅斯芾韺拥妮p視。

這個(gè)案例的最終結(jié)果，不是每個(gè)CIO都能期盼的。但是，有一點(diǎn)是可以確定的：做好和管理層打交道的準(zhǔn)備，讓他們充分理解大數(shù)據(jù)是什么以及相應(yīng)的價(jià)值。

應(yīng)用場景選擇錯(cuò)誤

一家保險(xiǎn)公司想了解日常習(xí)慣和購買生命保險(xiǎn)意愿之間的關(guān)聯(lián)性。由于隨后覺得習(xí)慣太過于寬泛，該公司將調(diào)查范疇限定到是否吸煙上。但是，工作仍然沒有實(shí)質(zhì)進(jìn)展。不到半年，他們就終止了整個(gè)項(xiàng)目，因?yàn)橐恢蔽茨馨l(fā)現(xiàn)任何有價(jià)值的信息。

這個(gè)項(xiàng)目的失敗是由于問題的復(fù)雜性。在抽煙與否之間，該公司沒有注意到還有大片灰色地帶：很多人是先抽煙而后又戒煙了。在將問題簡單化動(dòng)機(jī)的驅(qū)動(dòng)下，這個(gè)部分被忽略了。

問題梳理不夠全面

一家全球性公司的大數(shù)據(jù)團(tuán)隊(duì)發(fā)現(xiàn)了很多深刻的洞察，并且計(jì)劃通過云讓全公司共享。結(jié)果這個(gè)團(tuán)隊(duì)低估了效率方面的損耗，由于網(wǎng)絡(luò)擁塞的問題，無法滿足全球各個(gè)分支順暢提交數(shù)據(jù)運(yùn)行分析的需求。

該公司應(yīng)該仔細(xì)思考下如何支撐大數(shù)據(jù)項(xiàng)目，梳理所需的技能并協(xié)調(diào)各IT分支的力量進(jìn)行支持。由于網(wǎng)絡(luò)、安全或基礎(chǔ)設(shè)施的問題，已經(jīng)有太多的大數(shù)據(jù)項(xiàng)目栽了跟頭。

缺乏大數(shù)據(jù)分析技能

一家零售公司的首席執(zhí)行官不認(rèn)同亞馬遜規(guī)?；⒈馄交姆?wù)模式，因此讓CIO構(gòu)建一個(gè)客戶推薦引擎。項(xiàng)目最初的規(guī)劃是半年為期，但是團(tuán)隊(duì)很快認(rèn)識到諸如協(xié)同過濾(collaborative filtering)之類的概念無法實(shí)現(xiàn)。為此，一個(gè)團(tuán)隊(duì)成員提出做一個(gè)“假的推薦引擎”，把床單作為唯一的推薦產(chǎn)品。這個(gè)假引擎的工作邏輯是：買攪拌機(jī)的人會(huì)買床單，買野營書籍的人會(huì)買床單，買書的人會(huì)買床單。就是如此，床單是唯一的、默認(rèn)的推薦品。

盡管可笑，這個(gè)主意其實(shí)并不壞，默認(rèn)的推薦也能給企業(yè)帶來銷售上的提升。但是，由于大數(shù)據(jù)相關(guān)技能的缺失，真正意義上的引擎未能實(shí)現(xiàn)。

提出了錯(cuò)誤的問題

一家全球領(lǐng)先的汽車制造商決定開展一個(gè)情感分析項(xiàng)目，為期6個(gè)月，耗資1千萬美元。項(xiàng)目結(jié)束之后，該廠商將結(jié)果分享給經(jīng)銷商并試圖改變銷售模式。然后，所得出的結(jié)果最終被證明是錯(cuò)誤的。項(xiàng)目團(tuán)隊(duì)沒有花足夠的時(shí)間去了解經(jīng)銷商所面臨的問題或業(yè)務(wù)建議，從而導(dǎo)致相關(guān)的分析毫無價(jià)值。

應(yīng)用了錯(cuò)誤的模型。某銀行為判斷電信行業(yè)的客戶流失情況，從電信業(yè)聘請了一位專家，后者也很快構(gòu)建了評估用戶是否即將流失的模型。當(dāng)時(shí)已進(jìn)入評測驗(yàn)證的最后階段，模型很快就將上線，而銀行也開始準(zhǔn)備給那些被認(rèn)為即將流失的客戶發(fā)出信件加以挽留。

但是，為了保險(xiǎn)起見，一位內(nèi)部專家被要求對模型進(jìn)行評估。這位銀行業(yè)專家很快發(fā)現(xiàn)了令人驚奇的事情：不錯(cuò)，那些客戶的確即將流失，但并不是因?yàn)閷︺y行的服務(wù)不滿意。他們之所以轉(zhuǎn)移財(cái)產(chǎn)(有時(shí)是悄無聲息的)，是因?yàn)楦星閱栴}——正在為離婚做準(zhǔn)備。

可見，了解模型的適用性、數(shù)據(jù)抽象的級別以及模型中隱含的細(xì)微差別，這些都是非常具有挑戰(zhàn)性的。

管理層阻力

盡管數(shù)據(jù)當(dāng)中包含大量重要信息,但Fortune Knowledge公司發(fā)現(xiàn)有62%的企業(yè)領(lǐng)導(dǎo)者仍然傾向于相信自己的直覺,更有61%的受訪者認(rèn)為領(lǐng)導(dǎo)者的實(shí)際洞察力在決策過程中擁有高于數(shù)據(jù)分析結(jié)論的優(yōu)先參考價(jià)值。

選擇錯(cuò)誤的使用方法

企業(yè)往往會(huì)犯下兩種錯(cuò)誤,要么構(gòu)建起一套過分激進(jìn)、自己根本無法駕馭的大數(shù)據(jù)項(xiàng)目,要么嘗試?yán)脗鹘y(tǒng)數(shù)據(jù)技術(shù)處理大數(shù)據(jù)問題。無論是哪種情況,都很有可能導(dǎo)致項(xiàng)目陷入困境。

提出錯(cuò)誤的問題

數(shù)據(jù)科學(xué)非常復(fù)雜,其中包含專業(yè)知識門類(需要深入了解銀行、零售或者其它行業(yè)的實(shí)際業(yè)務(wù)狀況);數(shù)學(xué)與統(tǒng)計(jì)學(xué)經(jīng)驗(yàn)以及編程技能等等。很多企業(yè)所雇用的數(shù)據(jù)科學(xué)家只了解數(shù)學(xué)與編程方面的知識,卻欠缺最重要的技能組成部分——對相關(guān)行業(yè)的了解，因此最好能從企業(yè)內(nèi)部出發(fā)尋找數(shù)據(jù)科學(xué)家。

缺乏必要的技能組合

這項(xiàng)理由與“提出錯(cuò)誤的問題”緊密相關(guān)。很多大數(shù)據(jù)項(xiàng)目之所以陷入困境甚至最終失敗,正是因?yàn)椴痪邆浔匾南嚓P(guān)技能。通常負(fù)責(zé)此類項(xiàng)目的都是IT技術(shù)人員——而他們往往無法向數(shù)據(jù)提出足以指導(dǎo)決策的正確問題。

與企業(yè)戰(zhàn)略存在沖突

要讓大數(shù)據(jù)項(xiàng)目獲得成功,大家必須擺脫將其作為單一“項(xiàng)目”的思路、真正把它當(dāng)成企業(yè)使用數(shù)據(jù)的核心方式。問題在于,其它部門的價(jià)值或者戰(zhàn)略目標(biāo)有可能在優(yōu)先級方面高于大數(shù)據(jù),這種沖突往往會(huì)令我們有力無處使。

大數(shù)據(jù)孤島

大數(shù)據(jù)供應(yīng)商總愛談?wù)?ldquo;數(shù)據(jù)湖”或者“數(shù)據(jù)中樞”,但事實(shí)上很多企業(yè)建立起來的只能算是“數(shù)據(jù)水坑兒”,各個(gè)水坑兒之間存在著明顯的邊界——例如市場營銷數(shù)據(jù)水坑兒與制造數(shù)據(jù)水坑兒等等。需要強(qiáng)調(diào)的是,只有盡量緩和不同部門之間的隔閡并將各方的數(shù)據(jù)流匯總起來,大數(shù)據(jù)才能真正發(fā)揮自身價(jià)值。

在大數(shù)據(jù)技術(shù)之外遇到了其它意外狀況。數(shù)據(jù)分析僅僅是大數(shù)據(jù)項(xiàng)目當(dāng)中的組成部分之一,訪問并處理數(shù)據(jù)的能力同樣重要。除此之外,常常被忽略的因素還有網(wǎng)絡(luò)傳輸能力限制與人員培訓(xùn)等等。

回避問題

有時(shí)候我們可以肯定或者懷疑數(shù)據(jù)會(huì)迫使自身做出一些原本希望盡量避免的運(yùn)營舉措,例如制藥行業(yè)之所以如此排斥情感分析機(jī)制、是因?yàn)樗麄儾幌Ｍ麑⒉涣几弊饔脠?bào)告給美國食品藥品管理局并承擔(dān)隨之而來的法律責(zé)任。

在這份理由清單中,大家可能已經(jīng)發(fā)現(xiàn)了一個(gè)共同的主題:無論我們?nèi)绾胃叨汝P(guān)注數(shù)據(jù)本身,都會(huì)有人為因素介入進(jìn)來。即使我們努力希望獲取對數(shù)據(jù)的全面控制權(quán),大數(shù)據(jù)處理流程最終還是由人來打理的,其中包括眾多初始決策——例如選擇哪些數(shù)據(jù)進(jìn)行收集與分析、向分析結(jié)論提出哪些問題等等。

為防止大數(shù)據(jù)項(xiàng)目遭遇失敗，引入迭代機(jī)制是非常必要的。使用靈活而開放的數(shù)據(jù)基礎(chǔ)設(shè)施,保證其允許企業(yè)員工不斷調(diào)整實(shí)際方案、直到他們的努力獲得理想的回饋，最終以迭代為武器順利邁向大數(shù)據(jù)有效使用的勝利彼岸。

來源：九次方大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。