2014年被公司派往汕尾呆了一個月，暫時離開日常的工作，晚上沒什么娛樂，于是常常獨自去到海邊，發(fā)呆沉思：十年來的往事翻滾，想起自己不同階段的那首不押韻的小詩“京師揮紅葉，鵬城斬秋山;獨攬白云色，…….”,現(xiàn)實離詩中意境還相差甚遠，然心中從未放棄!

幾經(jīng)思考，定下“忘掉大數(shù)據(jù)”這個題目，開始醞釀框架及骨干觀點，偶爾在朋友圈發(fā)些感悟，但遲遲沒有系統(tǒng)的形諸文字，直到最近，應(yīng)眾多朋友要求終于動筆，整整推遲了兩年!

“忘掉大數(shù)據(jù)”系列將分為“道”、“法”、“術(shù)”三篇，“道”篇就是之前發(fā)布的“萬物皆數(shù)據(jù)，數(shù)據(jù)藏大道”，主要介紹我對數(shù)據(jù)的認(rèn)識;“法”篇也即本篇，將講大數(shù)據(jù)實戰(zhàn)的原則性問題及實操法則;而“術(shù)”篇將介紹各個細分領(lǐng)域的具體方法、技巧、案例!

“道”篇發(fā)布后，先是中國統(tǒng)計網(wǎng)聯(lián)系轉(zhuǎn)載，后被眾多網(wǎng)站、公眾號轉(zhuǎn)發(fā)，朋友們也紛紛要求加快推出，既受鼓舞，也感壓力!

數(shù)據(jù)太多，數(shù)據(jù)的觀點太多，令我們無所適從。我想，寫“忘掉大數(shù)據(jù)”，不僅僅是面向數(shù)據(jù)專業(yè)人士，當(dāng)然希望數(shù)據(jù)技術(shù)人員能夠正確理解數(shù)據(jù)，跳出技術(shù)的框框，從應(yīng)用出發(fā)，掌握數(shù)據(jù)與商業(yè)連接的方法;而更大的愿望是讓更多的非數(shù)據(jù)專業(yè)人士能夠認(rèn)識到數(shù)據(jù)并不神秘，它有一定的技術(shù)特性，但本質(zhì)上是事實的表征、抽樣，學(xué)會善用數(shù)據(jù)方法解決業(yè)務(wù)問題。大數(shù)據(jù)不只是數(shù)據(jù)技術(shù)人員的事情，人人都有意識的去用數(shù)據(jù)更加重要。人人都懂得運用數(shù)據(jù)影響“行動”，大數(shù)據(jù)應(yīng)用才能真正繁榮!

接觸過數(shù)據(jù)的類型不同及深入程度、開展的場景不同往往會帶來不同的大數(shù)據(jù)觀點，筆者試圖擺脫局限，超越實戰(zhàn)經(jīng)驗，用道家思想抽象出一個更具普適性的框架。“忘掉大數(shù)據(jù)”的“道”、“法”、“術(shù)”三篇，對比著看效果會更好。

萬物皆有道，何為數(shù)據(jù)道;一切皆有法，何為數(shù)據(jù)法?

在“道”篇里面，筆者認(rèn)為數(shù)據(jù)是人類對世界的觀測，人們運用數(shù)據(jù)通過模型產(chǎn)生新的數(shù)據(jù)，影響人或者人工智能體的行動，繼而觀測，源源不斷產(chǎn)生數(shù)據(jù)，循環(huán)往復(fù)，生生不息，推動人類社會進步。

上述的整個過程，是數(shù)據(jù)的抽象，也就是數(shù)據(jù)的“道”，而這個過程要遵循什么法則?各個關(guān)鍵元素如“觀測”、“數(shù)據(jù)”、”模型“、“行動”又有哪些訣竅?

筆者十年實戰(zhàn)所思，覺得可歸之為五“講”四“美”：效益原則、應(yīng)用原則、前瞻原則、開放原則、道德原則這五個原則，不能違背，而要做出實效，“觀測”、“數(shù)據(jù)”、”模型“、“行動”四個環(huán)節(jié)缺一不可，都要做“美”。

大數(shù)據(jù)修煉必須“講”的五個原則

講“效益”：要算ROI，無規(guī)模毋寧做

大數(shù)據(jù)需要昂貴的成本，作為商業(yè)行為，不能像搞學(xué)術(shù)研究那樣不考慮回報。大到數(shù)據(jù)體系、中到數(shù)據(jù)產(chǎn)品、小到具體的模型算法，值不值得做的標(biāo)準(zhǔn)一看ROI，二看效益規(guī)模!ROI不高，相信沒幾個企業(yè)愿意投入;而一個模型轉(zhuǎn)化率再高，如果數(shù)據(jù)量很小，業(yè)務(wù)提升不明顯。除非講故事，做市場的話就一定得講規(guī)模，“啤酒與尿布”故事很好，但不具備規(guī)模效益，超市也就沒有必要大費周章把它們擺在一起。

量化別人，也要量化自己。不少數(shù)據(jù)團隊很苦惱，干得很累，但得不到認(rèn)可。我們要學(xué)會利用自己的優(yōu)勢量化數(shù)據(jù)的貢獻，盤點一下，哪些事情缺乏數(shù)據(jù)就一定做不成?哪些事情沒有數(shù)據(jù)也能做，但在數(shù)據(jù)的驅(qū)動下能有大幅度的提升?大數(shù)據(jù)獲取的用戶質(zhì)量是不是更好?…….以效益為導(dǎo)向，給自己設(shè)置KPI，推動各項工作，將團隊的價值顯性化，得到認(rèn)可，才能實現(xiàn)可持續(xù)發(fā)展。

講“應(yīng)用”：應(yīng)用驅(qū)動，建立數(shù)據(jù)供應(yīng)鏈

一切從應(yīng)用出發(fā)，大數(shù)據(jù)的結(jié)果最終都是要落實到”行動”中，沒有相配套的生產(chǎn)流程承接，那就是學(xué)術(shù)研究。有明確的應(yīng)用場景，才能確定要找的數(shù)據(jù)。很多企業(yè)都有這種情況，IT部門按自己的理解做了一堆的標(biāo)簽，開發(fā)了一系列功能，但是業(yè)務(wù)部門一看，標(biāo)簽很多，真正可用的很少，主要原因就是這些數(shù)據(jù)沒與業(yè)務(wù)很好的結(jié)合。

建立數(shù)據(jù)供應(yīng)鏈，實現(xiàn)數(shù)據(jù)與商業(yè)的連接。數(shù)據(jù)供應(yīng)鏈的關(guān)鍵要素歸根到底是兩個東西，一個是能力，包括數(shù)據(jù)獲取的能力、數(shù)據(jù)治理的能力、平臺的能力、數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)的能力、數(shù)據(jù)解讀的能力等等，運用這些能力，構(gòu)建數(shù)據(jù)生產(chǎn)體系，把源數(shù)據(jù)經(jīng)過一系列處理流程供應(yīng)到商業(yè)側(cè);第二個是產(chǎn)品，能力的具備，只能解決單個的場景，解決少數(shù)人用數(shù)據(jù)的問題，只有將這些能力沉淀為產(chǎn)品，實現(xiàn)系統(tǒng)化、自動化、工程化，才能更有規(guī)模的解決商業(yè)問題，解決更多人的用數(shù)據(jù)問題。

講“前瞻”：無前瞻，不長遠

前瞻的收集數(shù)據(jù)。“數(shù)”到用時方恨少，等到要用的時候才意識到去收集已經(jīng)晚了。數(shù)據(jù)培育需要具備孕育孩子一般的耐心，數(shù)據(jù)收集進來不是馬上能夠產(chǎn)生效益的，要累積到一定程度，在多種數(shù)據(jù)的綜合作用下，經(jīng)特定的應(yīng)用場景催化，才能產(chǎn)生意想不到的效果。養(yǎng)好數(shù)據(jù)，則事半功倍。

前瞻的做模型。從最原始的數(shù)據(jù)出發(fā)建模，時間周期還是挺長的，但業(yè)務(wù)不能等!因而有必要提前規(guī)劃應(yīng)用場景，根據(jù)需要做一些半成品，譬如我們提前歷時三個月儲備了快遞員的識別模型，后來大促的時候，基于快遞員的細分挖掘在一天內(nèi)就搞定出數(shù)!

既要看“數(shù)”吃飯，也要前瞻布局!

講“開放”：平臺集中，數(shù)據(jù)開放

數(shù)據(jù)建設(shè)往往會經(jīng)歷這樣的過程，一開始還沒出現(xiàn)企業(yè)級的數(shù)據(jù)中心，一些部門對自己的數(shù)據(jù)進行了匯聚開發(fā)了一些應(yīng)用;接著發(fā)現(xiàn)自己的數(shù)據(jù)不夠用于是接入了其他部門的數(shù)據(jù);然后一看這么多部門接入的數(shù)據(jù)及應(yīng)用類似，于是企業(yè)統(tǒng)一建設(shè)數(shù)據(jù)平臺，統(tǒng)一匯聚，統(tǒng)一管理數(shù)據(jù)資產(chǎn)，統(tǒng)一整合一些應(yīng)用;統(tǒng)一之后各部門又會根據(jù)自己新的業(yè)務(wù)環(huán)境產(chǎn)生獨特的數(shù)據(jù)創(chuàng)新的應(yīng)用;當(dāng)這些獨特的數(shù)據(jù)創(chuàng)新的應(yīng)用被更多的部門需要之后，又要進入企業(yè)級的架構(gòu)里面……

如果平臺集中、數(shù)據(jù)匯聚之后數(shù)據(jù)就管死了，那就沒法滿足業(yè)務(wù)的個性化需求，創(chuàng)新也就中止。數(shù)據(jù)用起來才能產(chǎn)生價值，讓用數(shù)據(jù)的部門方便的拿到數(shù)據(jù)，而且是要包含一定細節(jié)的數(shù)據(jù)，如果只能憑空設(shè)想去獲取或者只能看一些統(tǒng)計數(shù)據(jù)，用數(shù)據(jù)的思路將嚴(yán)重受限，而能夠直接接觸相對底層的數(shù)據(jù)，將極大地激發(fā)他們的想象力。數(shù)據(jù)應(yīng)用創(chuàng)新的最大來源，一定是用數(shù)據(jù)的這些人員。

因而，平臺集中之后，一定要把數(shù)據(jù)開放出去，把數(shù)據(jù)能力開放出去，阿里巴巴把數(shù)據(jù)挖掘部門拆掉，將挖掘分析人員前置到各業(yè)務(wù)線，正是基于這樣的原則。

近年來政府、運營商等已開始推進數(shù)據(jù)對外部的開放，此舉必將促進數(shù)據(jù)應(yīng)用的創(chuàng)新繁榮，帶動公共服務(wù)、各行業(yè)的提升。

講“道德”：做大數(shù)據(jù)要注重用戶隱私保護

為了維護個人信息安全，國家制定了信息數(shù)據(jù)采集的標(biāo)準(zhǔn)正在報批中。美國FCC認(rèn)為Verizon在用戶的流量里植入追蹤碼鑒別用戶消費行徑的行為侵犯了用戶隱私。隱私保護越來越受到關(guān)注。

雖然相關(guān)法規(guī)還不健全，但作為數(shù)據(jù)從業(yè)者，筆者把“數(shù)據(jù)道德”看作一個基本準(zhǔn)則：

不對單個用戶進行研究，阿里巴巴甚至設(shè)置了分析用戶的最小集;

要繼承數(shù)據(jù)表征的事實所屬領(lǐng)域的“道德”。譬如相片數(shù)據(jù)，背后是肖像權(quán)等法律法規(guī)，最近Facebook也遇到類似的麻煩，用戶指控“臉紋”識別侵犯隱私權(quán)。

大數(shù)據(jù)出成效?做到四個“美”!

“美”的觀測： 觀測是數(shù)據(jù)應(yīng)用的起點，也是終點

數(shù)據(jù)源于觀測，應(yīng)用的效果也要通過觀測收集數(shù)據(jù)來評價。做“美”觀測，是大數(shù)據(jù)成功的第一步。首先我們要重新審視生產(chǎn)過程的每一個環(huán)節(jié)，尤其是與客戶接觸的界面，發(fā)現(xiàn)遺漏的維度，優(yōu)化采集程序，把數(shù)據(jù)留存下來;其次是善于運用他人的觀測結(jié)果，收集外部的數(shù)據(jù)，補充自有維度的不足;第三要注意不同環(huán)節(jié)觀測結(jié)果之間的可拼接，實現(xiàn)全流程監(jiān)控。

“美”的數(shù)據(jù)：數(shù)據(jù)無大小，有效數(shù)據(jù)需具備四個特征

大小數(shù)據(jù)的爭論很多，數(shù)據(jù)量不大，有人會說你這是小數(shù)據(jù)不是大數(shù)據(jù)，在他們眼里，大數(shù)據(jù)=數(shù)據(jù)量大、hadoop等技術(shù)、非結(jié)構(gòu)化等，不符合就斥之為小數(shù)據(jù)。而筆者認(rèn)為哪些都是技術(shù)特性，而技術(shù)在發(fā)展，今天的“大”數(shù)據(jù)都是明天的“小”數(shù)據(jù)。數(shù)據(jù)就是數(shù)據(jù)，不分什么大小，數(shù)據(jù)一直在，而技術(shù)手段會不斷進步。

GDP這個數(shù)據(jù)大不大?沒錯，它只是一個數(shù)字，在大小數(shù)據(jù)論者眼中小到不能再小，可是它的背后是960萬平方公里國土、14億人口的生活、消費、勞動……你能說它不大?

又譬如基于身份證號碼推測性別是不是很簡單，不是大數(shù)據(jù)?可是當(dāng)你沒有這些信息的時候，只能通過海量的用戶網(wǎng)頁瀏覽、搜索等雜七雜八的“大”數(shù)據(jù)通過很復(fù)雜的算法來推測，這個大數(shù)據(jù)模型能比前面的準(zhǔn)確?它大在哪里?

數(shù)據(jù)無所謂大小，有效才是硬道理。大數(shù)據(jù)的4V特點更多的是技術(shù)特性，對實戰(zhàn)并沒幫助。有效的數(shù)據(jù)應(yīng)具備如下四個特征：

精準(zhǔn)(precise)：數(shù)據(jù)應(yīng)具備一定的精度，或者說準(zhǔn)確度，當(dāng)然并不是精準(zhǔn)度越高越好，要兼顧規(guī)模，能滿足ROI要求即可。

規(guī)模(scale)：數(shù)據(jù)應(yīng)具備一定的規(guī)模，要么可持續(xù)，要么橫向能擴展。

溫度(hot)：溫度包含兩層含義，第一層是數(shù)據(jù)距離事實的距離，越接近說明溫度越高，譬如用戶變換城市7天內(nèi)就可能變換號碼，7天后這個數(shù)據(jù)就算找出來已經(jīng)冷了;第二層是用戶與我們的關(guān)系，很多的時候用戶并不是不需要，而是與我們沒有交情，做數(shù)據(jù)營銷，不要想著一下子就泡上人家，要像談戀愛那樣持續(xù)加熱升溫，直至成交。

連接(connect)：找出數(shù)據(jù)，能不能與fit的場景關(guān)聯(lián)?能不能有效接觸客戶?譬如公交卡數(shù)據(jù)很好，可是公交卡是匿名的，找出來也接觸不了。

有效的數(shù)據(jù)，那就是精準(zhǔn)有規(guī)模(體現(xiàn)效益原則)，溫度高則容易轉(zhuǎn)化，而連接特性提醒我們要做好數(shù)據(jù)應(yīng)用的臨門一腳。

“美”的模型：互聯(lián)網(wǎng)化迭代建模

模型之“美”，在于“迭代”，因為“迭代”，模型顯得生動靈性，引無數(shù)人員為之癡迷。

在互聯(lián)網(wǎng)里面，如果不能快速的對消費者需求做出反應(yīng)，產(chǎn)品很快就會被淘汰。做大數(shù)據(jù)也一樣，過時的數(shù)據(jù)沒有溫度更沒價值，如果我們采用傳統(tǒng)的數(shù)據(jù)挖掘流程，從商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備到建模、評估、部署等，如軟件工程的瀑布模型一樣周期很長，一步一步做下來恐怕活動早就結(jié)束了。另一方面，營銷場景往往涉及新的商品，沒有訓(xùn)練集，如何解決冷啟動問題?數(shù)據(jù)時效很重要，做大數(shù)據(jù)也要講互聯(lián)網(wǎng)思維，小步快跑，先用簡單的算法快速輸出數(shù)據(jù)，后續(xù)在實戰(zhàn)中不斷檢驗、修正、迭代優(yōu)化，不斷提升數(shù)據(jù)的精準(zhǔn)性。

如何快速建模?還原用戶的生活場景，把豐富的經(jīng)驗知識輸入到模型中，加快模型的進化。要懂得用戶，從身份屬性、狀態(tài)變化、行為表達、興趣偏好、關(guān)系推測等方面尋找蛛絲馬跡，再想方設(shè)法找到能關(guān)聯(lián)的數(shù)據(jù)。

模型并不是越復(fù)雜越好，不同的場景對精準(zhǔn)的要求不一樣，根據(jù)ROI原則，算法要取舍。

“美”的行動：有效的應(yīng)用場景比數(shù)據(jù)更重要

都在說大數(shù)據(jù)，但真正有效的成果鳳毛麟角，數(shù)據(jù)團隊要想獲得認(rèn)可不容易。很多時候，并不是數(shù)據(jù)不好，而是沒有有效的應(yīng)用場景相配套。目標(biāo)清單精準(zhǔn)，可是打電話過去轉(zhuǎn)化不了幾個，用戶普遍對此很反感，而它掛掉電話，接著就可能去實體門店購買你推介的產(chǎn)品。

一個好的應(yīng)用場景，可能能激發(fā)那些原來看起來沒有需求的用戶的購買欲望。因而挖掘數(shù)據(jù)，不僅僅要考慮命中用戶需求，還可以考慮命中某些營銷特性，針對這些特性的策劃場景，吸引這類用戶的注意，通過精心設(shè)計的文案引起用戶的共鳴，實現(xiàn)轉(zhuǎn)化。

互聯(lián)網(wǎng)產(chǎn)生大量數(shù)據(jù)，也是大數(shù)據(jù)應(yīng)用落地的主要陣地，這也是大數(shù)據(jù)應(yīng)用率先在互聯(lián)網(wǎng)行業(yè)繁榮的原因。傳統(tǒng)行業(yè)發(fā)力大數(shù)據(jù)，也應(yīng)從電子渠道開始!

結(jié)語：數(shù)據(jù)本無“法”，實戰(zhàn)出真理

一口氣寫了這么多，但限于篇幅，沒法詳細描述，先推出簡約版，里面很多觀點皆可擴充獨立成文，后面的“術(shù)”篇將聚焦更細的領(lǐng)域結(jié)合具體的案例來寫。

水無常形，法無定法。堅定心中的道，順應(yīng)變化變換不同的“法”。筆者所認(rèn)識的“道”與“法”，也僅供參考!

來源：數(shù)據(jù)分析網(wǎng)