?

国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

微票兒賣瘋了!年增長4000%背后的大數(shù)據(jù)與云計(jì)算

【數(shù)據(jù)猿導(dǎo)讀】 近期,一個票務(wù)平臺火了,日出票達(dá)100萬張,峰值200萬張,年增長率超4000%的驕人成績羨煞旁人。此次,微票兒技術(shù)VP楊淼淼做客“騰訊云會客廳”,解讀微票兒成績背后的大數(shù)據(jù)和云計(jì)算技術(shù)體系

微票兒賣瘋了!年增長4000%背后的大數(shù)據(jù)與云計(jì)算

微票兒,一個近期特別引人關(guān)注的網(wǎng)上購票平臺:估值近百億、與格瓦拉合并、年增長率超4000%、月活突破2千萬,覆蓋全國500個城市4500多家影院,日出票達(dá)100萬張,峰值200萬張……

這一連串的數(shù)據(jù)背后,有著什么樣的支撐技術(shù)?日前,微影時代研發(fā)中心技術(shù)副總裁楊森淼做客“騰訊云會客廳”,對話騰訊云副總裁曾佳欣,解讀了微票兒年增長4000%背后的大數(shù)據(jù)和云計(jì)算技術(shù)體系。

楊森淼表示,微票兒的核心在于利用大數(shù)據(jù)做精準(zhǔn)營銷及服務(wù),通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)、奇異值分解(SVD)等算法對200TB用戶數(shù)據(jù)和行業(yè)數(shù)據(jù)進(jìn)行分析,微票兒得以精準(zhǔn)地把握用戶需求,提升了票房轉(zhuǎn)化率;同時,面對用戶量高速增長時期高峰值、大流量的挑戰(zhàn),云計(jì)算資源的高伸縮性、安全性也是支撐不間斷運(yùn)營的必備條件。

騰訊云副總裁曾佳欣(右)對話微票兒技術(shù)副總裁楊森淼(左)

騰訊云副總裁曾佳欣(右)對話微票兒技術(shù)副總裁楊森淼(左)

大數(shù)據(jù)與深度學(xué)習(xí)的應(yīng)用

成立僅短短500多天,楊森淼認(rèn)為,微票兒能夠入駐“7億活躍用戶的微信、8億活躍用戶的QQ”,大數(shù)據(jù)是其核心優(yōu)勢。

微票兒會根據(jù)用戶熱度建議影院優(yōu)化排片,首先通過數(shù)據(jù)分析用戶位置和用戶附近的影院,然后反哺上游,并為影院經(jīng)理也開發(fā)微票專業(yè)版,幫助他們了解到自身影院數(shù)據(jù),以確定排期和行業(yè)大盤??梢哉f我們的核心競爭力就是利用整個大數(shù)據(jù)來為電影行業(yè)、演出及體育行業(yè)去做服務(wù)、連接和營銷。

具體而言,微票兒大數(shù)據(jù)分析的數(shù)據(jù)來源主要包括4大類:

微票兒服務(wù)器生產(chǎn)的日志,包括請求訪問的數(shù)據(jù)、接口調(diào)用產(chǎn)生的各種日志;業(yè)務(wù)積累的數(shù)據(jù),像影片排期、票房、交易訂單的數(shù)據(jù)、每一項(xiàng)營銷活動、評論等;行業(yè)大數(shù)據(jù),主要是泛娛樂行業(yè)網(wǎng)站外部可查可統(tǒng)計(jì)的數(shù)據(jù)及報告;電影社區(qū)和用戶互動數(shù)據(jù)。

目前微票兒產(chǎn)生的日志條目數(shù)上百億條,業(yè)務(wù)累計(jì)的數(shù)據(jù)量不少于千萬量級,行業(yè)大數(shù)據(jù)則是以爆炸性的速度不斷擴(kuò)展,目前微票兒的大數(shù)據(jù)的數(shù)據(jù)存儲總量已達(dá)200T。

微票兒通過將這些數(shù)據(jù)充分融合,為每個用戶、電影、演出、渠道實(shí)體構(gòu)建完整的畫像,這其中的難度主要在于不同來源的數(shù)據(jù)的關(guān)系建立,數(shù)據(jù)種類繁雜,來源不一導(dǎo)致很難構(gòu)建統(tǒng)一的映射關(guān)系,目前微票兒通過不斷完善匹配關(guān)系表再輔以匹配的模型,如語義匹配,海報或宣傳照的相似度圖像匹配等進(jìn)行校正,不斷的將數(shù)據(jù)融合滿足業(yè)務(wù)上的拓展及應(yīng)用。

算法

從邏輯上來看,這個過程又包含了兩個部分的算法。

1.特征工程算法

特征工程是指為了提高算法準(zhǔn)確性,對數(shù)據(jù)做的一系列數(shù)學(xué)變換。這部分工程尤為重要,不光考驗(yàn)算法工程師的數(shù)學(xué)能力,同樣考驗(yàn)工程能力。

巨大的數(shù)據(jù)集合無法在單機(jī)上進(jìn)行特征抽取的時候,就需要工程人員需要從單機(jī)算法設(shè)計(jì)成為并行特征抽取算法。微票兒特征抽取工程上多采用深度學(xué)習(xí)(Deep Learning)技術(shù),這是因?yàn)樯疃葘W(xué)習(xí)天然的網(wǎng)絡(luò)拓補(bǔ)結(jié)構(gòu)更容易并行,并行存儲也可以滿足龐大數(shù)據(jù)量的存儲需求。

當(dāng)然,這些算法更多的是要去迎合使用場景。比如CNN(Convolutional Neural Network)和SVD(Singular Value Decomposition),這兩種降維方法會因?yàn)闃I(yè)務(wù)場景不同而區(qū)分使用。

2.目標(biāo)結(jié)果算法

通過特征工程算法得到的重要維度,交給“目標(biāo)結(jié)果算法”來處理。

除了常規(guī)機(jī)器學(xué)習(xí)/深度學(xué)習(xí)算法以外,微票兒對于不確定數(shù)學(xué)的相關(guān)算法也有一些應(yīng)用。因?yàn)樵S多場景下,精確估計(jì)表現(xiàn)并不是很理想,尤其當(dāng)自變量解釋能力不強(qiáng)的時候。

比如常用的Regression算法對于確定信息有著極高的預(yù)測能力,但是對于不確定信息來說顯得比較無力。針對這類場景,微票兒采用了不確定信息的描述,諸如“Entrop(熵)”和“lyapunov”。

計(jì)算平臺

計(jì)算架構(gòu)上,由于深度學(xué)習(xí)技術(shù)的應(yīng)用突破更多的是來源于模式識別,所依賴平臺多為造價昂貴的CUDA平臺(微票兒完成“圖片特征抽取”這樣的大型任務(wù),會消耗掉500臺左右的集群資源)。因此,除了日常所需的數(shù)據(jù)存儲和抽取集群以外,微票兒把算法重點(diǎn)放在更遠(yuǎn)的并行內(nèi)存計(jì)算技術(shù)上。

楊森淼希望可以把深度學(xué)習(xí)計(jì)算并行在造價低廉的內(nèi)存計(jì)算平臺上(如Spark集群),可以在不減少輸入?yún)?shù)和神經(jīng)網(wǎng)絡(luò)規(guī)模的前提下,更優(yōu)地完成任務(wù)。為了抵消與高速“GPU”的速度差,微票兒使用了眾多集群,并采用“伸縮”模式,訓(xùn)練過程結(jié)束之后,集群自動伸縮為一般模式,這樣避免了與“GPU”集群一樣的硬件必須消耗問題。

很容易看到,大數(shù)據(jù)平臺不完全在云上。楊森淼比較了自建大數(shù)據(jù)平臺和云大數(shù)據(jù)平臺的優(yōu)劣:

1.自建大數(shù)據(jù)平臺的優(yōu)點(diǎn)

2.自建大數(shù)據(jù)平臺的缺點(diǎn)

用戶根據(jù)自身需求規(guī)劃建設(shè)完全貼合業(yè)務(wù)需求的大數(shù)據(jù)平臺,且平臺建設(shè)與業(yè)務(wù)發(fā)展相互促進(jìn)。技術(shù)機(jī)構(gòu)版本的升級、新技術(shù)的引入,資產(chǎn)管理、自動化運(yùn)維、權(quán)限認(rèn)證等系統(tǒng)研發(fā)完全由用戶自己決定,可控性強(qiáng)。大數(shù)據(jù)平臺技術(shù)團(tuán)隊(duì)對架構(gòu)中每項(xiàng)技術(shù)都會有持續(xù)深入的研究,保障了平臺的穩(wěn)定及不斷創(chuàng)新,增強(qiáng)了公司的技術(shù)影響力。

3.云大數(shù)據(jù)平臺的優(yōu)點(diǎn)

對平臺技術(shù)團(tuán)隊(duì)成員的綜合能力(學(xué)習(xí)能力、創(chuàng)新能力)要求較高。IT行業(yè)的特殊性、對團(tuán)隊(duì)成員的穩(wěn)定性要求較高。

4.云大數(shù)據(jù)平臺的缺點(diǎn)

服務(wù)商有完善的解決方案體系,根據(jù)用戶的具體需求及應(yīng)用場景為用戶提供合適的技術(shù)架構(gòu)。每套技術(shù)架構(gòu)又是一套完整的生態(tài)系統(tǒng),除了大數(shù)據(jù)平臺本身,還附有資產(chǎn)管理系統(tǒng)、自動化運(yùn)維系統(tǒng)、監(jiān)控報警系統(tǒng)、權(quán)限認(rèn)證系統(tǒng)、安全保障系統(tǒng)、各層面HA等。

微票兒根據(jù)業(yè)務(wù)場景選擇自建平臺或者云平臺:

后續(xù)努力的方向,楊森淼表示,是如何發(fā)揮好在“大數(shù)據(jù)和社交”兩個方面的核心優(yōu)勢,用“懂社交的大數(shù)據(jù)”把電影演出等娛樂產(chǎn)業(yè)和觀眾更好的連接在一起,比如騰訊云的優(yōu)圖人臉識別有效幫助了微票兒的數(shù)據(jù)采集,而這個能夠更加豐富自身大數(shù)據(jù),實(shí)現(xiàn)更好的洞察。

云計(jì)算保障無縫擴(kuò)容

作為網(wǎng)上購票平臺,在用戶量高速增長時期,都不可避免的會遇到高峰值、大流量的挑戰(zhàn),如何擁有一個穩(wěn)定、安全的服務(wù)器,無疑是最關(guān)鍵的問題。今年國慶檔,微票兒在中國電影票房的份額占比突破25%,日均出票量達(dá)到100多萬,峰值甚至高于200多萬儲票量——服務(wù)流量較日常值最多增長四倍多,各個服務(wù)單元也需迅速擴(kuò)容4-6倍的容量。

楊森淼表示,傳統(tǒng)IDC機(jī)房方式在基礎(chǔ)設(shè)施建設(shè)、安全管理、寬帶和硬件快速擴(kuò)容等多個方面有著很多的弊端,自主購買硬件設(shè)備也會帶來大量IT成本投入,還需要一個巨大的運(yùn)維團(tuán)隊(duì)。通過與騰訊云的合作,在購票高峰時段,微票兒迅速通過云去擴(kuò)容。不僅如此,騰訊云的動態(tài)可擴(kuò)展性有效幫助微票兒面對每日活動,快速擴(kuò)展,并在高峰后及時退掉擴(kuò)容設(shè)備,節(jié)約資源。

選擇騰訊云,是微票兒基于詳細(xì)考察和比較國內(nèi)幾家主流云服務(wù)公司,針對靈活度和擴(kuò)展性、售后服務(wù)響應(yīng)時間、平臺服務(wù)器性能和價格等幾個因素進(jìn)行綜合評判之后做出的決策。楊森淼表示,如此選擇的原因,是比較看重騰訊云技術(shù)團(tuán)隊(duì)的專業(yè)性和技術(shù)性。

在騰訊云平臺上,隨著微票兒的服務(wù)極速擴(kuò)張,從云主機(jī)云DB負(fù)載均衡CDN安全掃描分布式防御等平臺提供的各個功能都迅速快捷的得到使用,但每種新鮮事物在初次使用的時候肯定都會碰到問題,加之個別服務(wù)的使用與傳統(tǒng)IDC方式的區(qū)別,微票兒在使用過程中確實(shí)碰到了一些小問題,不過在騰訊云平臺的強(qiáng)大的技術(shù)支持團(tuán)隊(duì)的快速高效的溝通下,都很快解決了。楊森淼表示,通過騰訊云的服務(wù),微票兒的運(yùn)維團(tuán)隊(duì)人并不多,但是每一次業(yè)務(wù)高峰期,都能迅速做出反應(yīng)。

另外,微票兒在“云”上,DDOS攻擊等外部攻擊都無需自己擔(dān)心。騰訊云有覆蓋全國400+的網(wǎng)絡(luò)節(jié)點(diǎn),以及百G的DDOS防護(hù)能力,能夠有效幫助微票兒解決平臺用戶量劇增問題。不僅如此,騰訊云在云服務(wù)器、CDN加速服務(wù)、云監(jiān)測、負(fù)載均衡等方面,也在為微票兒提供著高性能、專業(yè)、可靠的服務(wù)支持。

總結(jié)

在移動互聯(lián)網(wǎng)的時代,各行各業(yè)都在不斷的產(chǎn)生著變革,微票兒借助大數(shù)據(jù)、云計(jì)算等先進(jìn)技術(shù)力量,得以在日益嚴(yán)峻競爭環(huán)境下脫穎而出。

楊森淼建議,創(chuàng)業(yè)者在移動互聯(lián)網(wǎng)時代應(yīng)該大膽地?fù)肀录夹g(shù),擁抱云計(jì)算帶來的便利。她認(rèn)為,IT的技術(shù)演進(jìn)和變化非常之快,在最近的3-5年,云計(jì)算和移動化應(yīng)該會有很大的需求并成為主流。未來,大數(shù)據(jù)和社交將幫助微票兒更好地連接用戶,云計(jì)算則為微票兒提供更專業(yè)的移動互聯(lián)網(wǎng)+O2O運(yùn)營服務(wù)。

了解更多信息,請點(diǎn)播采訪視頻:微票兒日均訂單100萬,云計(jì)算支撐其崛起

提供給客戶的每套解決方案往往不能完全貼合用戶需求,加上技術(shù)架構(gòu)各個組件及環(huán)節(jié)的定制封裝,為用戶增加了不同程度的學(xué)習(xí)及維護(hù)成本。當(dāng)用戶需要將一些前沿技術(shù)或第三方組件整合到云大數(shù)據(jù)平臺時,服務(wù)商往往需要很長的時間甚至直接告訴用戶暫沒有這方面的研發(fā)計(jì)劃。業(yè)務(wù)數(shù)據(jù)倉庫的建立目前還在本地物理集群,因?yàn)樯婕皹I(yè)務(wù)數(shù)據(jù)量大,且計(jì)算及配置環(huán)節(jié)較多,對數(shù)據(jù)準(zhǔn)確度要求較高。一些競品分析預(yù)測、票房預(yù)測、輿情預(yù)測及用戶行為分析等方面的分析、預(yù)測類計(jì)算,則是在云上完成的。一是因?yàn)閿?shù)據(jù)來源較多,變化較快,云存儲及計(jì)算資源申請分配靈活,可以較快響應(yīng)需求;二來微票兒所有業(yè)務(wù)數(shù)據(jù)庫都在云上,這樣傳輸數(shù)據(jù)也更加方便。一些實(shí)時計(jì)算及準(zhǔn)實(shí)時業(yè)務(wù)服務(wù),也大都在云上進(jìn)行,這樣可以最大程度的縮短由于網(wǎng)絡(luò)或數(shù)據(jù)交互帶來的時延。數(shù)據(jù)傳輸方面,關(guān)系數(shù)據(jù)T+1與T+0數(shù)據(jù)批量同步,百萬級數(shù)據(jù)同步基本在1分鐘內(nèi)完成,流數(shù)據(jù)實(shí)時接收處理,秒級響應(yīng)。


來源:東北網(wǎng)

聲明:數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范,相關(guān)內(nèi)容都會注明來源與作者;轉(zhuǎn)載我們原創(chuàng)內(nèi)容時,也請務(wù)必注明“來源:數(shù)據(jù)猿”與作者名稱,否則將會受到數(shù)據(jù)猿追責(zé)。

刷新相關(guān)文章

旅游交通大數(shù)據(jù)——大眾旅游時代的“富礦”
旅游交通大數(shù)據(jù)——大眾旅游時代的“富礦”
#榜樣的力量#疾控AI分析平臺WDCIP——以科技力量貢獻(xiàn)“大數(shù)據(jù)”智慧丨數(shù)據(jù)猿新冠戰(zhàn)“疫”公益策劃
#榜樣的力量#疾控AI分析平臺WDCIP——以科技力量貢獻(xiàn)“大數(shù)...
張涵誠:大數(shù)據(jù)招商平臺可推動地方供給側(cè)改革
張涵誠:大數(shù)據(jù)招商平臺可推動地方供給側(cè)改革

我要評論

返回頂部