關于大數(shù)據(jù)分析的四個關鍵環(huán)節(jié)

大數(shù)據(jù) 分析關鍵

桑文鋒 | 2017-08-17 10:20

【數(shù)據(jù)猿導讀】隨著大數(shù)據(jù)時代的到來，AI 概念的火熱，人們的認知有所提高。為什么說大數(shù)據(jù)有價值?這是不是只是一個虛的概念?大家怎么考慮數(shù)據(jù)驅動問題?為什么掌握更多的數(shù)據(jù)就會更有效?這些問題很難回答，但是，大數(shù)據(jù)絕不是大而空洞的。

什么是大數(shù)據(jù)

隨著大數(shù)據(jù)時代的到來，AI 概念的火熱，人們的認知有所提高。為什么說大數(shù)據(jù)有價值這是不是只是一個虛的概念大家怎么考慮數(shù)據(jù)驅動問題為什么掌握更多的數(shù)據(jù)就會更有效這些問題很難回答，但是，大數(shù)據(jù)絕不是大而空洞的。

信息論之父香農曾表示，信息是用來消除不信任的東西，比如預測明天會不會下雨，如果知道了今天的天氣、風速、云層、氣壓等信息，有助于得出更準確的結論。所以大數(shù)據(jù)是用來消除不確定性的，掌握更多的有效數(shù)據(jù)，可以驅動企業(yè)進行科學客觀的決策。

桑文鋒對大數(shù)據(jù)有著自己的理解，數(shù)據(jù)采集遵循“大”、“全”、“細”、“時”四字法則。

“大”強調宏觀的“大”，而非物理的“大”。大數(shù)據(jù)不是一味追求數(shù)據(jù)量的“大”。比如每天各地級市的蘋果價格數(shù)據(jù)統(tǒng)計只有 2MB，但基于此研發(fā)出一款蘋果智能調度系統(tǒng)，就是一個大數(shù)據(jù)應用，而有些數(shù)據(jù)雖然很大，卻價值有限;

“全”強調多種數(shù)據(jù)源。大數(shù)據(jù)采集講求全量，而不是抽樣。除了采集客戶端數(shù)據(jù)，還需采集服務端日志、業(yè)務數(shù)據(jù)庫，以及第三方服務等數(shù)據(jù)，全面覆蓋，比如美國大選前的民意調查，希拉里有70%以上勝算，但是川普成為了美國總統(tǒng)，因為采樣數(shù)據(jù)有偏差，支持川普的底層人民不會上網回復。

“細”強調多維度數(shù)據(jù)采集，即把事件的維度、屬性、字段等都進行采集。如電商行業(yè)“加入購物車”的事件，除了采集用戶的 click 數(shù)據(jù)，還應采集用戶點擊的是哪個商品、對應的商戶等數(shù)據(jù)，方便后續(xù)交叉分析。

“時”強調數(shù)據(jù)的時效性。顯然，具有時效性的數(shù)據(jù)才有參考價值。如國家指數(shù)，CPI 指數(shù)，月初收集到信息和月中拿到信息，價值顯然不同，數(shù)據(jù)需要實時拿到，實時分析。

從另一個視角看待數(shù)據(jù)的價值，可以分為兩點，數(shù)據(jù)驅動決策，數(shù)據(jù)驅動產品智能。數(shù)據(jù)的最大價值是產品智能，有了數(shù)據(jù)基礎，再搭建好策略算法，去回灌產品，提升產品本身的學習能力，可以不斷迭代。如今日頭條的新聞推薦，百度搜索的搜索引擎優(yōu)化，都是數(shù)據(jù)驅動產品智能的體現(xiàn)。

大數(shù)據(jù)_分析_關鍵-1

▌ 數(shù)據(jù)分析四個關鍵環(huán)節(jié)

桑文鋒把數(shù)據(jù)分析分為四個環(huán)節(jié)，數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)分析、指標。他提出了一個觀點，要想做好數(shù)據(jù)分析，一定要有自底向上的理念。很多公司的數(shù)據(jù)分析自頂向下推動，用業(yè)務分析指標來決定收集什么數(shù)據(jù)，這是需求驅動工程師的模式，不利于公司長久的數(shù)據(jù)采集。而一個健康的自底向上模式，可以幫助公司真正建立符合自己業(yè)務的數(shù)據(jù)流和數(shù)據(jù)分析體系。

一、數(shù)據(jù)采集

想要真正做好大數(shù)據(jù)分析，首先要把數(shù)據(jù)基礎建好，核心就是“全”和“細”。

搜集數(shù)據(jù)時不能只通過 APP 或客戶端收集數(shù)據(jù)，服務器的數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)都要同時收集打通，收集全量數(shù)據(jù)，而非抽樣數(shù)據(jù)，同時還要記錄相關維度，否則分析業(yè)務時可能會發(fā)現(xiàn)歷史數(shù)據(jù)不夠，所以不要在意數(shù)據(jù)量過大，磁盤存儲的成本相比數(shù)據(jù)積累的價值，非常廉價。

常見的數(shù)據(jù)采集方式歸結為三類，可視化/全埋點、代碼埋點、數(shù)據(jù)導入工具。

大數(shù)據(jù)_分析_關鍵-2

第一種是可視化/全埋點，這種方式不需要工程師做太多配合，產品經理、運營經理想做分析直接在界面點選，系統(tǒng)把數(shù)據(jù)收集起來，比較靈活。但是也有不好的地方，有許多維度信息會丟失，數(shù)據(jù)不夠精準。

第二種是代碼埋點，代碼埋點不特指前端埋點，后端服務器數(shù)據(jù)模塊、日志，這些深層次的都可以代碼埋點，比如電商行業(yè)中交易相關的數(shù)據(jù)可以在后端采集。代碼埋點的優(yōu)勢是，數(shù)據(jù)更加準確，通過前端去采集數(shù)據(jù)，常會發(fā)現(xiàn)數(shù)據(jù)對不上，跟自己的實際后臺數(shù)據(jù)差異非常大?？赡苡腥齻€原因：第一個原因是本身統(tǒng)計口徑不一樣，一定出現(xiàn)丟失;第二點是流量過大，導致數(shù)據(jù)丟失異常;第三點是SDK兼容，某些客戶的某些設備數(shù)據(jù)發(fā)不出去，導致數(shù)據(jù)不對稱。而代碼埋點的后臺是公司自己的服務器，自己核心的模擬可以做校準，基本進行更準確的數(shù)據(jù)采集。

第三種是通過導入輔助工具，將后臺生成的日志、數(shù)據(jù)表、線下數(shù)據(jù)用實時批量方式灌到里面，這是一個很強的耦合。

數(shù)據(jù)采集需要采集數(shù)據(jù)和分析數(shù)據(jù)的人共同參與進來，分析數(shù)據(jù)的人明確業(yè)務指標，并且對于數(shù)據(jù)的準確性有敏感的判斷力，采集數(shù)據(jù)的人再結合業(yè)務進行系統(tǒng)性的采集。

二、數(shù)據(jù)建模

很多公司都有業(yè)務數(shù)據(jù)庫，里面存放著用戶注冊信息、交易信息等，然后產品經理、運營人員向技術人員尋求幫助，用業(yè)務數(shù)據(jù)庫支持業(yè)務上的數(shù)據(jù)分析。但是這樣維護成本很高，且?guī)浊f、幾億條數(shù)據(jù)不能很好地操作。所以，數(shù)據(jù)分析和正常業(yè)務運轉有兩項分析，數(shù)據(jù)分析單獨建模、單獨解決問題。

數(shù)據(jù)建模有兩大標準：易理解和性能好。

數(shù)據(jù)驅動不是數(shù)據(jù)分析師、數(shù)據(jù)庫管理員的專利，讓公司每一個業(yè)務人員都能在工作中運用數(shù)據(jù)進行數(shù)據(jù)分析，并能在獲得秒級響應，驗證自己的新點子新思維，嘗試新方法，才是全員數(shù)據(jù)驅動的健康狀態(tài)。

多維數(shù)據(jù)分析模型(OLAP)是用戶數(shù)據(jù)分析中最有效的模型，它把用戶的訪問數(shù)據(jù)都歸類為維度和指標，城市是維度，操作系統(tǒng)也是維度，銷售額、用戶量是指標。建立好多維數(shù)據(jù)分析模型，解決的不是某個業(yè)務指標分析的問題，使用者可以靈活組合，滿足各種需求。

三、數(shù)據(jù)分析

數(shù)據(jù)分析支持產品改進

產品經理在改進產品功能時，往往是拍腦袋靈光一現(xiàn)，再對初級的點子進行再加工，這是不科學的?！毒鎰?chuàng)業(yè)》中講過一個理念，把數(shù)據(jù)分析引入產品迭代，對已有的功能進行數(shù)據(jù)采集和數(shù)據(jù)分析，得出有用的結論引入下一輪迭代，從而改進產品。在這個過程中大數(shù)據(jù)分析很關鍵。

Facebook 的創(chuàng)始人曾經介紹過他的公司如何確定產品改進方向。Facebook 采用了一種機制：每一個員工如果有一個點子，可以抽樣幾十萬用戶進行嘗試，如果結果不行，就放棄這個點子，如果這個效果非常好，就推廣到更大范圍。這是把數(shù)據(jù)分析引入產品迭代的科學方法。

桑文鋒在 2007 年加入百度時，也發(fā)現(xiàn)了一個現(xiàn)象，他打開郵箱會收到幾十封報表，將百度知道的訪問量、提問量、回答量等一一介紹。當百度的產品經理提出一個需求時，工程師會從數(shù)據(jù)的角度提出疑問，這個功能為什么好有什么數(shù)據(jù)支撐這個功能上線時如何評估有什么預期數(shù)據(jù) 這也是一種數(shù)據(jù)驅動產品的體現(xiàn)。

數(shù)據(jù)驅動運營監(jiān)控

運營監(jiān)控通常使用海盜模型，所謂的運營就是五件事：觸達是怎么吸引用戶過來;然后激活用戶，讓用戶真正變成有效的用戶;然后留存，提高用戶粘性，讓用戶能停留在你的產品中不斷使用;接下來是引薦，獲取用戶這么困難，能不能發(fā)動已有的用戶，讓已有用戶帶來新用戶，實現(xiàn)自傳播;最后是營收，做產品最終要賺錢。要用數(shù)據(jù)分析，讓運營做的更好。

數(shù)據(jù)分析方法

互聯(lián)網常見分析方法有幾種，多維分析、漏斗分析、留存分析、用戶路徑、用戶分群、點擊分析等等，不同的數(shù)據(jù)分析方法適用于不同的業(yè)務場景，需要自主選擇。

舉個多維分析的例子，神策數(shù)據(jù)有一個視頻行業(yè)的客戶叫做開眼，他們的軟件有一個下載頁面，運營人員曾經發(fā)現(xiàn)他們的安卓 APP 下載量遠低于 iOS，這是不合理的。他們考慮過是不是 iOS 用戶更愿意看視頻，隨后從多個維度進行了分析，否定了這個結論，當他們發(fā)現(xiàn)某些安卓版本的下載量為零，分析到屏幕寬高時，看出這個版本下載按鈕顯示不出來，所以下載比例非常低。就這樣通過多維分析，找出了產品改進點。

舉個漏斗分析的例子，神策數(shù)據(jù)的官網訪問量很高，但是注冊-登錄用戶的轉化率很低，需要進行改進。所以大家就思考如何把轉化漏斗激活地更好，后來神策做了小的改變，在提交申請試用后加了一個查看登錄頁面，這樣用戶收到賬戶名密碼后可以隨手登錄，優(yōu)化了用戶體驗，轉化率也有了可觀的提升。

四、指標

如何定義指標對于創(chuàng)業(yè)公司來說，有兩種方法非常有效：第一關鍵指標法和海盜指標法。

第一關鍵指標法是《精益數(shù)據(jù)分析》中提出的理論，任何一個產品在某個階段，都有一個最需要關注的指標，其他指標都是這個指標的衍生，這個指標決定了公司當前的工作重點，對一個初創(chuàng)公司來說，可能開始關注日活，圍繞日活又擴展了一些指標，當公司的產品成熟后，變現(xiàn)就會成為關鍵，凈收入(GMV)會變成第一關鍵指標。

來源：神策數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。