一家大型消費(fèi)品企業(yè)，其數(shù)據(jù)生產(chǎn)能力與中等規(guī)模的互聯(lián)網(wǎng)公司已不相上下，支撐日常業(yè)務(wù)的IT系統(tǒng)多達(dá)十余個(gè)，越來(lái)越多的企業(yè)管理層都希望能像互聯(lián)網(wǎng)公司那樣管理用戶和數(shù)據(jù)，用數(shù)據(jù)驅(qū)動(dòng)決策。

然而，面對(duì)龐雜而分散的數(shù)據(jù)以及對(duì)快速實(shí)時(shí)產(chǎn)生數(shù)據(jù)的渴求，不僅傳統(tǒng)企業(yè)的IT及經(jīng)營(yíng)分析部門束手無(wú)策，就連消費(fèi)品行業(yè)一直倚重的管理咨詢公司也是愛(ài)莫能助，因?yàn)閿?shù)據(jù)規(guī)模之龐大和其中涉及到的相關(guān)數(shù)據(jù)挖掘與分析技術(shù)，已經(jīng)大大超越了管理咨詢顧問(wèn)們的算力。

2015年，我們團(tuán)隊(duì)有幸為中國(guó)一家時(shí)尚消費(fèi)品龍頭企業(yè)搭建數(shù)據(jù)平臺(tái)。歷時(shí)半年，就完成了內(nèi)部數(shù)據(jù)的打通和洞察、用戶畫(huà)像和會(huì)員體系的搭建以及外部數(shù)據(jù)的獲取與跟蹤。本文將從這三個(gè)方面分享一些主要經(jīng)驗(yàn)，希望有助更多傳統(tǒng)企業(yè)用數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)進(jìn)行精細(xì)化運(yùn)營(yíng)。

大數(shù)據(jù)與商業(yè)智能

“大數(shù)據(jù)”三個(gè)字的意義更多是指一種概念和思維方式，既不是某種具體工作也不是某種特定技術(shù)。它至多可以看作是與數(shù)據(jù)科學(xué)有關(guān)的各種算法、技術(shù)和工具的總稱，比如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、分布式運(yùn)算，等等。在企業(yè)管理領(lǐng)域，相比大數(shù)據(jù)，“商業(yè)智能”(Business Inteligence，BI)的歷史要久遠(yuǎn)許多。在各大企業(yè)軟件廠商(如IBM、Oracle、Microsoft、Informatica、SAP、Sybase和Teradata)的不斷教育下，大中型企業(yè)幾乎都采用了BI軟件。其實(shí)，BI的概念也很寬泛，包含了各種技術(shù)和工具如數(shù)據(jù)倉(cāng)庫(kù)(或數(shù)據(jù)集市)、查詢報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等等。那么，二者相比，究竟有何區(qū)別與優(yōu)劣?

商業(yè)智能(BI)

一般而言，大型消費(fèi)品企業(yè)日常運(yùn)營(yíng)所需IT系統(tǒng)多達(dá)十余個(gè)，包括1)分銷系統(tǒng): 全國(guó)上千家實(shí)體店面每日的銷售配貨，日訂單量在數(shù)十萬(wàn)量級(jí);2)電商訂單系統(tǒng): 負(fù)責(zé)處理十余個(gè)電商平臺(tái)(京東、天貓、唯品會(huì)、一號(hào)店、聚美、亞馬遜、當(dāng)當(dāng)網(wǎng)、有贊等)的訂單管理與客服;3)倉(cāng)庫(kù)管理系統(tǒng)，負(fù)責(zé)全國(guó)各大區(qū)域的倉(cāng)儲(chǔ)物流，數(shù)千個(gè)SKU的備貨情況;4)BI系統(tǒng): 負(fù)責(zé)各主要業(yè)務(wù)系統(tǒng)的數(shù)據(jù)聚合，制成日常統(tǒng)計(jì)報(bào)表;5)其他財(cái)務(wù)、人力資源、績(jī)效管理、品牌/分公司訂貨系統(tǒng)等，日數(shù)據(jù)量極其龐大。

為了追求高度的抽象化與通用性，企業(yè)BI軟件大部分時(shí)間所承擔(dān)的責(zé)任是一家公司的各類報(bào)表應(yīng)用：將各個(gè)IT系統(tǒng)的數(shù)據(jù)聚合至BI，進(jìn)行統(tǒng)計(jì)匯總，并統(tǒng)一在前端呈現(xiàn)出圖表與數(shù)值，便于業(yè)務(wù)人員了解日常數(shù)據(jù)和運(yùn)營(yíng)情況。所以，除了ETL[1]部分，BI軟件絕大多數(shù)的功能通用性極強(qiáng)，具有跨行業(yè)、非定制化的特點(diǎn)。

這也就決定了BI軟件的賣點(diǎn)在于監(jiān)控和繪制通用性的統(tǒng)計(jì)報(bào)表，比如時(shí)間序列統(tǒng)計(jì)、分布統(tǒng)計(jì)、分段統(tǒng)計(jì)等等。圖1展示了這家消費(fèi)品企業(yè)兩年間平均價(jià)格變動(dòng)與總銷量的時(shí)間序列，可以看出銷量?jī)赡陙?lái)穩(wěn)步增長(zhǎng)，有小周期性(1、2月份賣得少，換季月份賣得多)，而賣出商品的價(jià)格兩年保持基本一致，并呈明顯周期性變化(冬季產(chǎn)品價(jià)格比夏季高出許多)。圖2展示了公司旗下各品牌的銷量分布和占比，可見(jiàn)此公司有一個(gè)相當(dāng)強(qiáng)悍的主品牌，以及2-3個(gè)在垂直領(lǐng)域表現(xiàn)不菲的子品牌，定期輸出銷量分布，可以監(jiān)控各品牌的發(fā)展情況并衡量品牌策略是否成功。

BI軟件的強(qiáng)項(xiàng)是將這些業(yè)務(wù)數(shù)據(jù)匯總起來(lái)，無(wú)需編程即可繪制出可供長(zhǎng)期監(jiān)控的可視化報(bào)表，同時(shí)實(shí)現(xiàn)隨時(shí)更新，而不是傳統(tǒng)管理咨詢所能提供的靜態(tài)報(bào)告，這些報(bào)告往往在出爐第一天就過(guò)時(shí)了。

數(shù)據(jù)科學(xué)

在一個(gè)數(shù)據(jù)工程師的眼里，BI軟件做的事情其實(shí)就是數(shù)據(jù)分析的范疇，任何數(shù)據(jù)洞察、數(shù)據(jù)挖掘工作都需要涉及到這些通用維度的基本統(tǒng)計(jì)。但在這種淺層分析的基礎(chǔ)之上，數(shù)據(jù)科學(xué)家可以通過(guò)帶入較強(qiáng)的人為干預(yù)和行業(yè)性輸入，做到許多高于BI的數(shù)據(jù)洞察。而將這些洞察落地，運(yùn)用至具體產(chǎn)品設(shè)計(jì)、營(yíng)銷方案、會(huì)員體系構(gòu)建和售后服務(wù)中，便可以像互聯(lián)網(wǎng)公司一樣，實(shí)現(xiàn)以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。

圖3是用戶重復(fù)購(gòu)買間隔的CDF曲線(Cumulative distribution function)。橫坐標(biāo)代表天數(shù)，縱坐標(biāo)代表百分比。數(shù)據(jù)顯示，有37%的用戶在第一次購(gòu)買后的一個(gè)月(30天)內(nèi)會(huì)進(jìn)行第二次購(gòu)買，而45%的用戶在第二次購(gòu)買后的一個(gè)月內(nèi)進(jìn)行了第三次購(gòu)買，51%的用戶在第三次購(gòu)買后的一個(gè)月內(nèi)進(jìn)行了第四次購(gòu)買。隨著購(gòu)買次數(shù)的增加，CDF曲線向左傾斜，也就意味著用戶在建立了品牌認(rèn)知后，購(gòu)買頻率顯著增高，兩次購(gòu)買之間的間隔明顯縮短。因此，誘發(fā)新用戶建立品牌意識(shí)，進(jìn)行二次購(gòu)買的窗口為3-4個(gè)月的換季檔，而對(duì)老客戶的消費(fèi)喚醒窗口期則更短，以1-2個(gè)月為最優(yōu)。這是一個(gè)很典型的數(shù)據(jù)工程師利用自己的行業(yè)知識(shí)和經(jīng)驗(yàn)來(lái)實(shí)現(xiàn)數(shù)據(jù)洞察的例子，也是BI軟件無(wú)法做到的。首先研究復(fù)購(gòu)間隔是消費(fèi)品行業(yè)獨(dú)有的場(chǎng)景，更重要的是想要完成這個(gè)洞察，其中所涉及的統(tǒng)計(jì)工作具有很強(qiáng)的定制性，也較為復(fù)雜，需要編寫(xiě)統(tǒng)計(jì)腳本或是使用多條復(fù)合SQL[2](結(jié)構(gòu)化查詢語(yǔ)言，Structured Query Language)來(lái)實(shí)現(xiàn)，數(shù)據(jù)工程師的價(jià)值也在此有了體現(xiàn)。

除了復(fù)雜和高定制性的統(tǒng)計(jì)邏輯外，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的處理和挖掘也并非BI軟件的強(qiáng)項(xiàng)。對(duì)于大型消費(fèi)品公司來(lái)說(shuō)，全電商渠道的運(yùn)營(yíng)已經(jīng)成了常態(tài)，每日來(lái)自京東、天貓、唯品會(huì)、一號(hào)店、聚美等大型電商平臺(tái)的訂單數(shù)高達(dá)數(shù)萬(wàn)個(gè)。這些訂單的郵寄地址里包含了巨大信息量，比如用戶所在城市、地理位置，甚至身份、職業(yè)、消費(fèi)能力等等。通過(guò)程序和地圖API[3](ApplicationProgramming Interface，應(yīng)用程序編程接口)將這些郵寄地址轉(zhuǎn)化為經(jīng)緯度后，可以對(duì)用戶群做大量的精細(xì)研究。圖4便是我們利用送貨地址做的用戶群分布熱力圖，以北京海淀區(qū)為例，大量用戶密集集中在中關(guān)村周邊，其次便是各大高校宿舍聚集的區(qū)域。紅色標(biāo)簽為品牌線下店鋪位置，可見(jiàn)門店已經(jīng)覆蓋了中關(guān)村、北京大學(xué)和五道口等地，但對(duì)于知春路片區(qū)以及用戶相對(duì)集中的牡丹園并未開(kāi)設(shè)分店。相比之下安貞里分店四周并沒(méi)有特別多的目標(biāo)用戶群出沒(méi)。

圖4:

熱力圖這樣的算力往往超過(guò)了管理咨詢公司的能力范圍，對(duì)于用戶選址卻很有價(jià)值。

對(duì)于一些并無(wú)日常監(jiān)控必要的統(tǒng)計(jì)，有時(shí)也會(huì)貢獻(xiàn)許多有價(jià)值的洞察。圖5展示了線上用戶購(gòu)買時(shí)間的分布情況?？梢钥闯?，周末線上購(gòu)物的時(shí)間十分均勻，除了半夜之外大部分時(shí)間段都有網(wǎng)購(gòu)發(fā)生。相比之下工作日的線上購(gòu)物時(shí)間分布就變得十分有趣，大量的訂單集中發(fā)生在早上9點(diǎn)和10點(diǎn)之間，也就是說(shuō)大量的時(shí)尚白領(lǐng)在上班途中或是步入辦公室后的第一件事便是“敗”一件自己心儀的寶貝，然后才能心情舒暢地開(kāi)始一天的工作。那么不管是自營(yíng)電商促銷、短信推廣還是各宣傳陣地的推送，工作日早上8點(diǎn)至10點(diǎn)都是一個(gè)不錯(cuò)的窗口。

和圖5類似，圖6將線上用戶的購(gòu)買數(shù)據(jù)按照一周7天進(jìn)行分布統(tǒng)計(jì)，也發(fā)現(xiàn)一些有意思的現(xiàn)象，比如周六、周日上網(wǎng)買東西的用戶極少，每周網(wǎng)購(gòu)的高峰出現(xiàn)在周一和周二。或許上班族們都是通過(guò)線上血拼來(lái)?yè)嵛孔约?，治?ldquo;周一綜合癥”的。而越臨近周末，大家在線買東西的熱情也就越低。

像圖5、圖6這樣的數(shù)據(jù)洞察往往也是BI軟件無(wú)法捕捉到的。數(shù)據(jù)工程師們可以將這些沒(méi)有長(zhǎng)期監(jiān)控意義的指標(biāo)轉(zhuǎn)化成具有商業(yè)價(jià)值的洞察。同時(shí)這又是傳統(tǒng)的管理咨詢公司無(wú)法做到的，因?yàn)樗麄內(nèi)狈δ芰φ先绱撕Ａ康臄?shù)據(jù)并按天甚至按小時(shí)進(jìn)行實(shí)時(shí)輸出。

個(gè)人認(rèn)為，數(shù)據(jù)科學(xué)(大數(shù)據(jù))和“廣義”的商業(yè)智能沒(méi)有本質(zhì)區(qū)別，兩者都涵蓋了非常廣泛的內(nèi)容，并且核心都是通過(guò)數(shù)據(jù)處理和分析，提升業(yè)務(wù)表現(xiàn)。但我們平時(shí)所談?wù)摰?ldquo;BI”主要是軟件廠商所提供的BI軟件/套件，用于實(shí)現(xiàn)業(yè)務(wù)報(bào)表和統(tǒng)計(jì)監(jiān)控的功能，和數(shù)據(jù)科學(xué)還是有著比較大的差異?？梢哉f(shuō)BI軟件提供了一種非常抽象、便利的數(shù)據(jù)匯總、統(tǒng)計(jì)和可視化工具，完成了數(shù)據(jù)科學(xué)的一部分工作;但許多深層次、行業(yè)性、高于BI軟件的分析與洞察，則需要數(shù)據(jù)工程師參與以及特定數(shù)據(jù)系統(tǒng)的支撐來(lái)共同完成。

[1] ETL即Extract-Transform-Load 的縮寫(xiě)(也往往被簡(jiǎn)稱為“數(shù)據(jù)抽取”)，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過(guò)程。傳統(tǒng)消費(fèi)品企業(yè)面對(duì)零散的數(shù)據(jù)庫(kù)，特別需要ETL的服務(wù)。

[2] 結(jié)構(gòu)化查詢語(yǔ)言(Structured Query Language)簡(jiǎn)稱SQL，是一種特殊目的的編程語(yǔ)言，是一種數(shù)據(jù)庫(kù)查詢和程序設(shè)計(jì)語(yǔ)言，用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫(kù)系統(tǒng);同時(shí)也是數(shù)據(jù)庫(kù)腳本文件的擴(kuò)展名。

[3] API(Application Programming Interface，應(yīng)用程序編程接口)是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開(kāi)發(fā)人員基于某軟件或硬件得以訪問(wèn)一組例程的能力，而又無(wú)需訪問(wèn)源碼或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。

作者簡(jiǎn)介：

任棟霓，一面網(wǎng)絡(luò)聯(lián)合創(chuàng)始人。香港科技大學(xué)計(jì)算機(jī)科學(xué)本科、碩士、博士畢業(yè)。曾就職于騰訊（騰訊視頻）、日本國(guó)立情報(bào)學(xué)研究所（東京）。曾在華為諾亞方舟研究院（香港）從事移動(dòng)大數(shù)據(jù)（MBB）系統(tǒng)研究與開(kāi)發(fā)。并曾就職于快播技術(shù)架構(gòu)組，從事圖像/人臉識(shí)別和搜索技術(shù)的研究與產(chǎn)品開(kāi)發(fā)。 何明科，一面網(wǎng)絡(luò)聯(lián)合創(chuàng)始人、CEO。畢業(yè)于清華大學(xué)汽車工程系獲工學(xué)學(xué)士學(xué)位，就讀于斯坦福大學(xué)商學(xué)院獲MBA學(xué)位。曾擔(dān)任58同城集團(tuán)高級(jí)副總裁、軟銀賽富副總裁。 一面網(wǎng)絡(luò)成立于2014年，是一家從事數(shù)據(jù)沉淀、處理、整合、理解以及可視化工作的公司。

來(lái)源：百度百家