揭秘eBay四大系統(tǒng) 學(xué)會從行為數(shù)據(jù)中尋找價值

eBay 海淘大數(shù)據(jù) 行為數(shù)據(jù)

王聰彬 | 2016-06-03 10:10

【數(shù)據(jù)猿導(dǎo)讀】不論國外還是國內(nèi)的電子商務(wù)企業(yè)，他們的相同點(diǎn)都是以業(yè)務(wù)為導(dǎo)向。eBay的做法是用數(shù)據(jù)驅(qū)動商業(yè)，其上所有的數(shù)據(jù)產(chǎn)品都是針對業(yè)務(wù)而生，數(shù)據(jù)部門需要對不斷變化的用戶需求找到解決之法，也就是從客戶的行為數(shù)據(jù)中來尋找價值

揭秘eBay四大系統(tǒng) 學(xué)會從行為數(shù)據(jù)中尋找價值

喜歡海淘的朋友應(yīng)該對eBay并不陌生，如果你還不了解，可以把eBay+PayPal理解為淘寶+支付寶的組合，當(dāng)然eBay不僅有C2C還有B2C的模式。雖然介紹了背景，但今天要說的并不是電子商務(wù)的發(fā)展，而是大數(shù)據(jù)在電商內(nèi)如何發(fā)揮價值。

因?yàn)椴徽搰膺€是國內(nèi)的電子商務(wù)企業(yè)，他們的相同點(diǎn)都是以業(yè)務(wù)為導(dǎo)向。eBay的做法是用數(shù)據(jù)驅(qū)動商業(yè)，其上所有的數(shù)據(jù)產(chǎn)品都是針對業(yè)務(wù)而生，數(shù)據(jù)部門需要對不斷變化的用戶需求找到解決之法，也就是從客戶的行為數(shù)據(jù)中來尋找價值。

行為數(shù)據(jù)用混合的手段來處理

數(shù)據(jù)是eBay發(fā)展的基礎(chǔ)和價值所在，所以eBay數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)從eBay成立的第一天就已經(jīng)存在，從數(shù)據(jù)倉庫到數(shù)據(jù)分析再到數(shù)據(jù)服務(wù)，部門的名字一直隨著發(fā)展在不斷變化。但萬變不離其宗，數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)就是一個針對數(shù)據(jù)展開想象的部門。

eBay數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)分布在美國西雅圖、圣何塞以及中國上海，而中國團(tuán)隊(duì)全職和外包人員總共將近有100人，其中有不同的職位和分工，包括數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、商業(yè)需求分析師、產(chǎn)品經(jīng)理四大類。兩個區(qū)域的團(tuán)隊(duì)互相協(xié)作，共同開發(fā)核心數(shù)據(jù)的同時也支持不同的業(yè)務(wù)部門。

eBay中國數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)主管李煒

eBay目前整體有四大系統(tǒng)，其中三個為生產(chǎn)系統(tǒng)，一個為測試開發(fā)系統(tǒng)。生產(chǎn)系統(tǒng)包括：第一，保存交易型數(shù)據(jù)和用戶數(shù)據(jù)的企業(yè)及數(shù)據(jù)倉庫(EnterpriseData Warehouse);第二，Teradata為eBay特別定制的分析系統(tǒng)，主要進(jìn)行非結(jié)構(gòu)化的用戶行為數(shù)據(jù)處理;第三，專門為數(shù)據(jù)分析師使用，方便快速找到想要的數(shù)據(jù)。eBay中國數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)主管李煒指出，前兩個系統(tǒng)主要為生產(chǎn)環(huán)境做批處理，最后一個系統(tǒng)是幫助數(shù)據(jù)科學(xué)家進(jìn)行測試和制作分析報告。

由于eBay電子商務(wù)的性質(zhì)，其用戶行為數(shù)據(jù)占80%以上，而通過買家和賣家的行為數(shù)據(jù)eBay可以做很多個性化的應(yīng)用。買家更喜歡買哪些種類下的產(chǎn)品，有哪些購物習(xí)慣、什么時間購買，這些數(shù)據(jù)可以幫助賣家了解哪些是自己最大的客戶群，以及基于機(jī)器學(xué)習(xí)對未來的熱點(diǎn)市場進(jìn)行預(yù)測。

“eBay的行為數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這對于關(guān)系型數(shù)據(jù)庫的壓力非常大。”李煒談到。因此eBay則使用了混合方案，使用Hadoop來應(yīng)對海量非結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)首先加載到Hadoop上，完成行級結(jié)構(gòu)化處理，在將這些預(yù)處理好的數(shù)據(jù)送到不同的系統(tǒng)，之后處理已經(jīng)模式化的數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

eBay擁有龐大的Hadoop節(jié)點(diǎn)和Teradata節(jié)點(diǎn)，這也帶來了三大挑戰(zhàn)：

第一、不同系統(tǒng)間的數(shù)據(jù)搬移，eBay每天產(chǎn)生的數(shù)據(jù)量是巨大的，這些數(shù)據(jù)要在多個平臺上搬移，在搬移的過程中要保證不同系統(tǒng)中數(shù)據(jù)的同步和數(shù)據(jù)質(zhì)量。

第二、不同系統(tǒng)的管理，隨著eBay系統(tǒng)平臺的越來越多樣化，對于Teradata和Hadoop等系統(tǒng)的管理，以及搬移數(shù)據(jù)的管理都需要不斷增強(qiáng)。

第三、技術(shù)能力提升，不同平臺有不同的技術(shù)，這就需要員工具備綜合技術(shù)能力。

只要有業(yè)務(wù)需求就有數(shù)據(jù)產(chǎn)品

對于eBay來講數(shù)據(jù)平臺要具備高可靠性、高可用性、易用性。eBay與Teradata的合作已有20年之久，eBay也是目前Teradata最大的客戶之一。李煒回顧了Teradata系統(tǒng)在eBay上這20年中經(jīng)歷了多次演變，到目前為止eBay的核心數(shù)據(jù)、交易型企業(yè)級數(shù)據(jù)和用戶行為數(shù)據(jù)都在Teradata上進(jìn)行存儲管理和應(yīng)用。

以數(shù)據(jù)驅(qū)動商業(yè)是eBay的文化，大數(shù)據(jù)平臺最終是為了產(chǎn)生價值，現(xiàn)在除了傳統(tǒng)的數(shù)據(jù)整合，eBay在各個業(yè)務(wù)環(huán)境中都有著不同的數(shù)據(jù)產(chǎn)品。

eBay有一款針對賣家的線上免費(fèi)工具Seller Hub，可以為每一位賣家進(jìn)行深入的分析，哪些商品更暢銷，產(chǎn)品如何標(biāo)價才能具備競爭優(yōu)勢等。這中間會使用到數(shù)據(jù)模型，李煒強(qiáng)調(diào)模型不僅僅從eBay網(wǎng)站中的所有類目中調(diào)取價格，而且還會比對相似產(chǎn)品的關(guān)聯(lián)價格，最終為賣家提供指導(dǎo)價格。

結(jié)合了自身數(shù)據(jù)和第三方數(shù)據(jù)也讓eBay可以完善網(wǎng)站上不能捕獲的一些數(shù)據(jù)來繪制用戶畫像，像性別、職業(yè)、收入等。包括對用戶畫像進(jìn)行分級，哪些是潛力賣家，哪些是高風(fēng)險買家，從而更精準(zhǔn)地進(jìn)行市場推廣。

剛剛更多說的是eBay如何用數(shù)據(jù)提供一些產(chǎn)品，在內(nèi)部eBay同樣用數(shù)據(jù)在優(yōu)化自身網(wǎng)站，在對頁面的設(shè)計(jì)、新功能的設(shè)計(jì)上都會提供相應(yīng)的建議。

2016年，eBay還將繼續(xù)發(fā)展B2C和C2C市場，但是eBay有B2C、C2C、二手貨多種賣家的存在，如何管理各個類目中的商品成為一個非常大的挑戰(zhàn)，eBay要做到把大部分的類目最終關(guān)聯(lián)到結(jié)構(gòu)化的產(chǎn)品系列中，實(shí)現(xiàn)精細(xì)化的管理。

用戶的需求是多樣化的，eBay也會有越來越多的需求，未來與Teradata的合作上，不僅僅是硬件一體機(jī)層面，在美國eBay已經(jīng)開始使用了Teradata提供的云服務(wù)，并且已經(jīng)落地了一些具體的應(yīng)用。

來源：ZDnet

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。