揭秘京東高效物流背后的主心骨

大數(shù)據(jù) 京東物流智慧物流

InfoQ | 2016-11-11 13:10

【數(shù)據(jù)猿導(dǎo)讀】很多人對京東物流的高效印象深刻，用戶體驗(yàn)受到廣大用戶的認(rèn)可，但是，在這些體驗(yàn)背后隱藏著高昂的運(yùn)營成本。青龍系統(tǒng)作為支撐京東物流的核心系統(tǒng)，在這個(gè)過程中，也逐漸為外界矚目，日處理數(shù)百萬訂單，大促銷期間上千萬單，數(shù)十萬操作人員在這個(gè)物流網(wǎng)絡(luò)中服務(wù)，智慧化物流系統(tǒng)成為迫切...

2015年，在國務(wù)院提出“互聯(lián)網(wǎng)+”行動(dòng)戰(zhàn)略之后，以“互聯(lián)網(wǎng)+物流”的智慧物流概念也被不斷提及，但是，由于物流系統(tǒng)本身的復(fù)雜性和業(yè)務(wù)差異性，究竟如何打造智慧物流系統(tǒng)，鮮有落地的方案。

很多人對京東物流的高效印象深刻，用戶體驗(yàn)受到廣大用戶的認(rèn)可，但是，在這些體驗(yàn)背后隱藏著高昂的運(yùn)營成本。青龍系統(tǒng)作為支撐京東物流的核心系統(tǒng)，在這個(gè)過程中，也逐漸為外界矚目，日處理數(shù)百萬訂單，大促銷期間上千萬單，數(shù)十萬操作人員在這個(gè)物流網(wǎng)絡(luò)中服務(wù)，智慧化物流系統(tǒng)成為迫切需求。

青龍系統(tǒng)從2012年研發(fā)版本1.0，到目前的6.0的演進(jìn)過程中，我們也逐步認(rèn)識到，以大數(shù)據(jù)處理為核心是構(gòu)建智慧物流的關(guān)鍵。

“大數(shù)據(jù)”的經(jīng)典定義是可以歸納為4個(gè)V：海量的數(shù)據(jù)規(guī)模(volume)、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系(velocity)、多樣的數(shù)據(jù)類型(variety)和巨大的數(shù)據(jù)價(jià)值(value)。從青龍系統(tǒng)看，每天處理億級數(shù)據(jù)，具有海量信息的數(shù)據(jù)規(guī)模;支持快速的數(shù)據(jù)流轉(zhuǎn)，實(shí)現(xiàn)了物流各個(gè)節(jié)點(diǎn)實(shí)時(shí)數(shù)據(jù)監(jiān)控優(yōu)化;系統(tǒng)處理各種各樣的信息，包含了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);數(shù)據(jù)具有極大的價(jià)值，推動(dòng)系統(tǒng)成本和效率優(yōu)化1%，可以節(jié)約上億成本，具有了顯著的大數(shù)據(jù)特征。

如何從大數(shù)據(jù)到智慧系統(tǒng)

我們在實(shí)戰(zhàn)中認(rèn)識到，把大數(shù)據(jù)轉(zhuǎn)化為智慧系統(tǒng)，需要具備兩個(gè)基礎(chǔ)：

首先是業(yè)務(wù)數(shù)據(jù)化，并且具有數(shù)據(jù)質(zhì)量保障。京東物流在青龍系統(tǒng)的支撐下，實(shí)現(xiàn)了所有物流操作的線上化，也就是數(shù)據(jù)化，并且，對每個(gè)操作環(huán)節(jié)都是可以進(jìn)行實(shí)時(shí)分析，這就奠定了很好的基礎(chǔ)。如果業(yè)務(wù)都是線下操作，或者系統(tǒng)無法準(zhǔn)確及時(shí)收集數(shù)據(jù)，那么，即時(shí)數(shù)據(jù)量夠大，缺乏關(guān)鍵數(shù)據(jù)和數(shù)據(jù)不準(zhǔn)確，也會給大數(shù)據(jù)處理帶來很大的困難。

第二基礎(chǔ)就是大數(shù)據(jù)處理技術(shù)，包括收集，傳輸，存儲，計(jì)算，展示等一系列技術(shù)。青龍系統(tǒng)在數(shù)據(jù)處理技術(shù)上也踩過很多坑，最早我們用數(shù)據(jù)庫生產(chǎn)庫做一些數(shù)據(jù)的分析，發(fā)現(xiàn)很快性能就不行了，因?yàn)閿?shù)據(jù)分析SQL一執(zhí)行，生產(chǎn)庫性能急劇下降，然后開始利用讀庫，并結(jié)合MQ，也就是操作數(shù)據(jù)庫的時(shí)候，會發(fā)出一個(gè)MQ，數(shù)據(jù)分析處理系統(tǒng)接收MQ重新解析，但是，也不能很好解決問題。后面，我們總結(jié)發(fā)現(xiàn)一點(diǎn)，作為傳統(tǒng)的技術(shù)人員，我們是試圖用OLTP的方法來解決OLAP的問題，這在方向上就存在問題。

上面的圖是我們的總結(jié)，當(dāng)你做一個(gè)大數(shù)據(jù)應(yīng)用，首先要分清你自己的應(yīng)用場景。至少有兩個(gè)維度：一個(gè)是實(shí)時(shí)性的維度，你做大數(shù)據(jù)分析是秒級的還是離線的，也就是24小時(shí)以后拿到也沒問題。另一個(gè)是一致性維度，你對一致性到底是什么樣的要求，要求是百分之百一致的，另外很多場景不要求一致，很多的消息推送不要求一致。

從這兩個(gè)維度來看可以劃分四個(gè)場景，強(qiáng)實(shí)時(shí)性強(qiáng)一致性、強(qiáng)實(shí)時(shí)性弱一致性、弱實(shí)時(shí)性強(qiáng)一致性、弱實(shí)時(shí)性弱一致性。到底你的應(yīng)用落在什么樣的場景，你要分清楚。

你如果問你的運(yùn)營團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)，他肯定說要百分之百一致，肯定要實(shí)時(shí)，不僅是分鐘量級的，最好是秒級的，甚至比秒級還小，完全一樣的。你可以告訴他，要實(shí)現(xiàn)這個(gè)沒問題，但你要實(shí)現(xiàn)這個(gè)對應(yīng)的代價(jià)非常大，你用代價(jià)換取價(jià)值是不是足夠。

另外還有一個(gè)維度，就是數(shù)據(jù)量。你的數(shù)據(jù)到底是什么樣的量級，GB、TB，甚至是PB。從現(xiàn)在新系統(tǒng)發(fā)展來看，架構(gòu)支撐業(yè)務(wù)兩年發(fā)展已經(jīng)足夠了，要對兩年內(nèi)數(shù)據(jù)量有一個(gè)預(yù)估。

這幾個(gè)維度確定以后，現(xiàn)在從ETL數(shù)據(jù)抽取到數(shù)據(jù)傳輸、數(shù)據(jù)存儲，以及數(shù)據(jù)計(jì)算，技術(shù)相對比較成熟了，你可以選擇合適的技術(shù)。

下面是京東大數(shù)據(jù)平臺的系統(tǒng)架構(gòu)。

這個(gè)系統(tǒng)對于實(shí)時(shí)數(shù)據(jù)，離線數(shù)據(jù)，都有完整的解決方案，對于青龍系統(tǒng)來講，可以基于公司大數(shù)據(jù)平臺，進(jìn)行對應(yīng)的實(shí)時(shí)數(shù)據(jù)處理和離線數(shù)據(jù)分析。大數(shù)據(jù)平臺技術(shù)棧很多，有些公司可能不會自己開發(fā)，但它非常重要，因?yàn)樗梢詮募夹g(shù)上提供基礎(chǔ)數(shù)據(jù)質(zhì)量保障。如果數(shù)據(jù)質(zhì)量得不到保障的，那你后面做所進(jìn)行的分析就是不靠譜的，數(shù)據(jù)平臺本身數(shù)據(jù)質(zhì)量就很差。

另外如果你對一致性要求很高，它可能10%的信息都丟失了，如果你對實(shí)時(shí)性要求很高，它可能延遲好幾個(gè)小時(shí)，在這種情況下數(shù)據(jù)分析應(yīng)用不可能做好。

在可靠的數(shù)據(jù)源和處理技術(shù)基礎(chǔ)上，就可以逐步構(gòu)建智慧物流系統(tǒng)。

第一步主要是通過大數(shù)據(jù)技術(shù)準(zhǔn)確及時(shí)還原業(yè)務(wù)。也就是我們可以及時(shí)準(zhǔn)確采集業(yè)務(wù)運(yùn)行的數(shù)據(jù)，并分不同層次需求展示出來。

上圖是著名的南丁格爾的玫瑰圖，從這張圖中可以清楚看到，因?yàn)樾l(wèi)生條件差、治療和估計(jì)不足，導(dǎo)致的可治療卻死亡了的人數(shù)所占比重非常大，是因?yàn)槭軅劳鋈藬?shù)的幾倍。

對于物流系統(tǒng)來講也是一樣，圖形化展示，一圖勝千言。在時(shí)間維度，實(shí)時(shí)展示實(shí)各個(gè)節(jié)點(diǎn)的生產(chǎn)量，相鄰節(jié)點(diǎn)的差異，可以很好把控業(yè)務(wù)。我們還發(fā)現(xiàn)，移動(dòng)端的開發(fā)，對業(yè)務(wù)非常有幫助。

對于物流來講，是商品流，實(shí)物流，資金流，信息流的結(jié)合，因此，地理維度展示也非常有幫助。青龍系統(tǒng)做到了車輛，配送員實(shí)時(shí)展示，例如在京東APP上就可以查看訂單的實(shí)時(shí)軌跡。

第二步就是通過大數(shù)據(jù)提升業(yè)務(wù)。這塊對于離線數(shù)據(jù)，大家都比較熟悉，包括業(yè)務(wù)日報(bào)，周報(bào)，月報(bào)等，這都是業(yè)務(wù)管理的基礎(chǔ)，如果不能做到及時(shí)準(zhǔn)確，數(shù)字化運(yùn)營是無法進(jìn)行的，更不用說智慧化了。對于物流這種勞動(dòng)密集型行業(yè)，我們利用實(shí)時(shí)數(shù)據(jù)，進(jìn)行業(yè)界排行，對現(xiàn)場也起到很好的激勵(lì)作用。

在對業(yè)務(wù)能夠進(jìn)行實(shí)時(shí)監(jiān)控和準(zhǔn)確評估后，就可以進(jìn)行第三步，也就是利用大數(shù)據(jù)對業(yè)務(wù)進(jìn)行預(yù)測。

預(yù)測一直是大數(shù)據(jù)應(yīng)用的核心，也是最有價(jià)值的地方。對于物流行業(yè)，如果能夠提前進(jìn)行業(yè)務(wù)量預(yù)測，那么，對于資源調(diào)度等非常有意義，不僅能夠?qū)崿F(xiàn)更好的時(shí)效，而且能夠避免浪費(fèi)。舉一個(gè)青龍系統(tǒng)的例子，就是單量預(yù)測，根據(jù)用戶下單量，倉儲生產(chǎn)能力，路由情況等，可以進(jìn)行建模預(yù)測。

最后一步就是依托大數(shù)據(jù)進(jìn)行智能決策。做到了這一步，才可以稱作智慧物流。目前，做決策最好的方式依然是人機(jī)結(jié)合，能夠利用大數(shù)據(jù)和人工智能的技術(shù)，為人工提供輔助決策，讓人工的決策更加合理。

我們也有一個(gè)實(shí)際案例，京東的用戶，都有過配送員給大家送貨的經(jīng)歷，配送員也就是從配送站取貨送給客戶。因?yàn)榫〇|業(yè)務(wù)每年增長也非?？?，就遇到如何增加配送站的問題。在以前沒有系統(tǒng)輔助決策，就只能拍腦袋，但隨著規(guī)模越來越大，發(fā)現(xiàn)拍腦袋代價(jià)會很大，于是，我們就想用大數(shù)據(jù)的方法來解決一下如何建配送站的問題。

首先，建站依賴于什么?大家看過《大數(shù)據(jù)時(shí)代》的話就知道，利用大數(shù)據(jù)進(jìn)行預(yù)測，非常重要的是找到它的關(guān)聯(lián)物，建站最直觀的是跟訂單相關(guān)的，我們也從訂單開始著手來分析這個(gè)問題。

我們從訂單分布數(shù)據(jù)，加上我們的客戶分布數(shù)據(jù)進(jìn)行分析，通過訂單聚合等技術(shù)手段，找到訂單很密的點(diǎn)，這個(gè)過程有很多的模型可以供參考。然后，加入更多的數(shù)據(jù)，包括位置信息、當(dāng)?shù)刈饨鸪杀?、管理成本、從分撥中心到傳站的距離等，我們就能輸出一個(gè)模型分布，根據(jù)不同的維度，將建站預(yù)測展示給用戶，輔助業(yè)務(wù)管理人員進(jìn)行決策，并且，可以根據(jù)業(yè)務(wù)人員的使用情況，輸入更多的業(yè)務(wù)知識，形成業(yè)務(wù)閉環(huán)，讓系統(tǒng)更加智能化。

上面的圖，是研發(fā)青龍系統(tǒng)的總結(jié)，分成了兩個(gè)維度，一個(gè)是你做這個(gè)系統(tǒng)的難度，另一個(gè)是你做這個(gè)系統(tǒng)的價(jià)值。

首先，要選擇應(yīng)用場景，選擇合適的大數(shù)據(jù)技術(shù)架構(gòu)，把數(shù)據(jù)質(zhì)量能夠做好。然后，要對業(yè)務(wù)進(jìn)行分析，第一步主要進(jìn)行業(yè)務(wù)還原，包括業(yè)務(wù)節(jié)點(diǎn)，環(huán)比、同比，環(huán)節(jié)差異，最好用圖形化的方式展示出來。

之后可以進(jìn)行下一步，做業(yè)務(wù)評估，評估業(yè)務(wù)健康度，這也有很多的方法，如同比，環(huán)比，和業(yè)界平均指標(biāo)對標(biāo)的方法。如果能通過大數(shù)據(jù)做到和友商實(shí)時(shí)對標(biāo)，就能發(fā)現(xiàn)自己的薄弱點(diǎn)，哪塊是需要改進(jìn)的，就可以進(jìn)行優(yōu)化，優(yōu)化完，系統(tǒng)指標(biāo)運(yùn)行一下，可以看看是不是真的改進(jìn)了。

利用灰度的方法，也可以對業(yè)務(wù)改進(jìn)進(jìn)行效果評估。大數(shù)據(jù)來講最核心預(yù)測，作為一個(gè)業(yè)務(wù)負(fù)責(zé)人，如果能夠提前知道業(yè)務(wù)情況，現(xiàn)場的管理就能處理的更好。再往上走就是業(yè)務(wù)決策系統(tǒng)，Google的AlphaGo就是一個(gè)典型例子，但是實(shí)際的業(yè)務(wù)可能更加復(fù)雜。

智慧物流，我們認(rèn)為就是以大數(shù)據(jù)處理技術(shù)作為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好的結(jié)合起來，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢，達(dá)到系統(tǒng)最佳的狀態(tài)，當(dāng)然，這個(gè)是不斷進(jìn)化的過程。

當(dāng)前，青龍系統(tǒng)已經(jīng)具備初步智能化的特征，上面是我們2016年的規(guī)劃，我們會持續(xù)進(jìn)行軟件系統(tǒng)優(yōu)化，利用機(jī)器學(xué)習(xí)等智能化技術(shù)，另外，引入更多的智能硬件，不斷將智能化深入，從而支持京物流更加高效，為用戶提供更好的體驗(yàn)。

來源：InfoQ

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。