新手支招：走上大數(shù)據(jù)路途的六大規(guī)則

新手大數(shù)據(jù) 規(guī)則

陳俊勛 | 2017-06-20 11:09

【數(shù)據(jù)猿導(dǎo)讀】由于“大數(shù)據(jù)”的熱點(diǎn)集中和可以處理海量數(shù)據(jù)如大規(guī)模并行計算(massively parallel computing)、云計算、hadoop和MapReduce。我也堅信大數(shù)據(jù)確實(shí)帶來新業(yè)務(wù)機(jī)遇，但目前更關(guān)注數(shù)據(jù)如何驅(qū)動企業(yè)實(shí)際價值。本文將分享Countly與客戶合作所獲取的經(jīng)驗。...

“大數(shù)據(jù)”是近兩年來各界最熱議的話題之一。那么大數(shù)據(jù)究竟是什么

據(jù)我個人理解，大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)(Structured Data)和非結(jié)構(gòu)化數(shù)據(jù)(Unstructured Data)。數(shù)據(jù)來源包括傳統(tǒng)交易如企業(yè)ERP、財務(wù)、CRM系統(tǒng)和潛在海量的數(shù)字來源如網(wǎng)頁、移動應(yīng)用用戶行為、教育視頻點(diǎn)播和媒體資源。

新手_大數(shù)據(jù)_規(guī)則-1

由于“大數(shù)據(jù)”的熱點(diǎn)集中和可以處理海量數(shù)據(jù)如大規(guī)模并行計算(massively parallel computing)、云計算、hadoop和MapReduce。因此，Oracle、IBM、微軟、SAP和其他大廠家目前共同在推動相關(guān)對話。但光談技術(shù)解決不了中國非500強(qiáng)企業(yè)所面臨的行業(yè)競爭和混亂。這些企業(yè)已了解轉(zhuǎn)型的必要性和緊迫性，關(guān)注的話題包含集合傳統(tǒng)數(shù)據(jù)和數(shù)字?jǐn)?shù)據(jù)產(chǎn)生的洞察和如何形成研究問題。當(dāng)然非500強(qiáng)企業(yè)也了解B744引擎放不進(jìn)拖拉機(jī)，所以偏向先建立扎實(shí)的數(shù)據(jù)分析基礎(chǔ)，優(yōu)化用戶體驗。

我也堅信大數(shù)據(jù)確實(shí)帶來新業(yè)務(wù)機(jī)遇，但目前更關(guān)注數(shù)據(jù)如何驅(qū)動企業(yè)實(shí)際價值。本文將分享Countly與客戶合作所獲取的經(jīng)驗。

大數(shù)據(jù)的六大規(guī)則。

從Countly累計的經(jīng)驗，我整理了一些規(guī)則適合“小”和“大”的數(shù)據(jù)領(lǐng)域。當(dāng)你開始你的大數(shù)據(jù)路途，這些規(guī)則將會幫你縮短學(xué)習(xí)曲線，并獲得更大的價值：

1、在早期階段，先建立數(shù)據(jù)燈塔再考慮大數(shù)據(jù)。

好好規(guī)劃你的數(shù)據(jù)項目。在最初期，建議“失敗快，但往前跌”(fail faster while failing forward)的規(guī)劃。不要花24個月搭建海量的大數(shù)據(jù)環(huán)境，后期再發(fā)現(xiàn)這是你最大的錯誤。

你可以相當(dāng)快開始采集數(shù)據(jù)、建立非完善的數(shù)據(jù)倉庫和做數(shù)據(jù)分析。這種組建可稱為數(shù)據(jù)燈塔，先關(guān)注三大趨勢：

發(fā)現(xiàn)以前未知的走勢或關(guān)鍵驅(qū)動因素

摸索異常的記錄

理解數(shù)據(jù)中的相關(guān)性

覆蓋率有可能不完善，但獲取一些立竿見影的成果和指引后期的擴(kuò)展。關(guān)鍵是一開始得考慮規(guī)劃擴(kuò)展性和靈活性的選擇。

2、建立大數(shù)據(jù)思考。

Avinash Kaushik，一位數(shù)字分析的專家，倡導(dǎo)采用框架的數(shù)字營銷計量模型確保數(shù)據(jù)分析項目針對公司最重要的業(yè)務(wù)(請查看Avinash所整理的以下例子)。此外，你必須與高層有共識，不需太細(xì)，但在一頁面總結(jié)明確的業(yè)務(wù)目標(biāo)與實(shí)現(xiàn)。

數(shù)字營銷核心指標(biāo)

新手_大數(shù)據(jù)_規(guī)則-2

當(dāng)你通過數(shù)據(jù)燈塔掌握這些數(shù)據(jù)，你所獲取的見解將帶給你驚喜。你對企業(yè)的影響將是巨大的，因為在很多企業(yè)還沒集合傳統(tǒng)數(shù)據(jù)和數(shù)字?jǐn)?shù)據(jù)。

3、如果大數(shù)據(jù)思考比大數(shù)據(jù)技術(shù)更重要，那么在技術(shù)方面我們又能做些什么呢

當(dāng)你的公司使用免費(fèi)的用戶分析平臺，如Google Analytics或友盟，你的數(shù)據(jù)將是產(chǎn)品，為廠家建立附加值(如谷歌Adsense)。由于虛擬商業(yè)模式抄襲是市場最隆重的贊美，自部署或在私人化的部署越主流以保障數(shù)據(jù)安全和靈活融合數(shù)據(jù)。

讓我們繼續(xù)討論數(shù)字?jǐn)?shù)據(jù)解決方案。由于你需要評估成本、二次開發(fā)靈活性、可擴(kuò)展性、數(shù)據(jù)所有權(quán)和性能，可考慮開放的平臺，如Countly用戶行為分析平臺和其他推薦數(shù)據(jù)可視化和其他實(shí)用的Javascript軟件。

4、先追求正確的時刻獲取數(shù)據(jù)，而不是實(shí)時數(shù)據(jù)。

另外，建議你先徹底了解你的公司目前如何組織數(shù)據(jù)，然后把數(shù)字?jǐn)?shù)據(jù)融入現(xiàn)有流程。始終目標(biāo)是如何匹配數(shù)據(jù)傳化成見解和洞察。如果實(shí)時數(shù)據(jù)沒創(chuàng)造業(yè)務(wù)價值，你何必投入資源實(shí)現(xiàn)呢而且你的公司將省很多錢，因為海量的實(shí)時數(shù)據(jù)肯定不便宜!

數(shù)據(jù)采集過后，你的公司需要任何人工處理嗎如果答案是需要，那么你不需要實(shí)時數(shù)據(jù)，你需要正確的時刻獲取數(shù)據(jù)。如果你有智能或規(guī)則驅(qū)動的自動化系統(tǒng)，那么你可考慮獲取實(shí)時數(shù)據(jù)的“原材料”。

5、數(shù)據(jù)質(zhì)量差，但還是得做業(yè)務(wù)決定。

我們的目標(biāo)應(yīng)該是盡可能地采集、處理和存儲數(shù)據(jù)。這流程可能不完善，但數(shù)字?jǐn)?shù)據(jù)仍然具有價值。因為相對于任何的傳統(tǒng)來源，數(shù)字?jǐn)?shù)據(jù)讓你建立最完善的用戶畫面與傳化。

數(shù)字?jǐn)?shù)據(jù)質(zhì)量確實(shí)有優(yōu)化的空間，如何處理視頻或眼花繚亂的社會媒體平臺。但市場不會等你做這些優(yōu)化，所以開始憑數(shù)據(jù)做小決定。記住，即使這些決定將是革命性的，因為數(shù)字與傳統(tǒng)數(shù)據(jù)集在好多公司從來沒集合!隨著經(jīng)驗的累計和了解數(shù)據(jù)的限制，你將可以做更多附加值的決定。

6、消除噪音比找到信號更有價值。

到目前為止，我們查詢的目標(biāo)是從所有噪音摸索有價值的信號。以掌握正確的信號，前提包括清晰的研究問題、數(shù)據(jù)規(guī)模較小、數(shù)據(jù)集更完整。前美國國防部長DonaldRumsfeld所謂的已知的已知(Known Knowns)和已知的未知(Known Unknowns)。Rumsfeld采用這概念討論反恐情報的噪音，但也適用于分析和研究(請查看以下模式),做明智的業(yè)務(wù)決定。當(dāng)然，“未知”的象限需要你的公司累計經(jīng)驗才可以比較進(jìn)行有效探討。

已知的已知模式(來自TextOre)

新手_大數(shù)據(jù)_規(guī)則-3