国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

今天不談電商，只聊搜狐的大數(shù)據(jù)實踐！

電商搜狐大數(shù)據(jù) 互聯(lián)網(wǎng)

ZD至頂網(wǎng) | 2016-06-01 17:38

【數(shù)據(jù)猿導(dǎo)讀】隨著大數(shù)據(jù)的熱度越來越高，大家對數(shù)據(jù)的價值越來越重視，運用數(shù)據(jù)指導(dǎo)業(yè)務(wù)的發(fā)展，滿足用戶不斷的新需要成為搜狐業(yè)務(wù)發(fā)展的新動力。在這樣的背景下，搜狐成立了一個大數(shù)據(jù)項目小組，內(nèi)部代號“大耳狐”

整天看到、聽到的都是各個電商企業(yè)的大數(shù)據(jù)實踐，今天換個口味，聊聊互聯(lián)網(wǎng)行業(yè)，談?wù)l呢?搜狐。雖然從業(yè)務(wù)線來劃分，搜狐有焦點、搜狐汽車、暢言、說吧……，不過在筆者看來這些統(tǒng)一都可以歸結(jié)為互聯(lián)網(wǎng)，業(yè)務(wù)模式基本是服務(wù)讀者，靠的是廣告和內(nèi)容。因此，如何精準(zhǔn)地投放廣告、推送內(nèi)容就顯得尤為關(guān)鍵，而這正是搜狐大數(shù)據(jù)所要做的。

按搜狐大數(shù)據(jù)平臺負(fù)責(zé)人、研發(fā)中心高級經(jīng)理、搜狐-英特爾聯(lián)合創(chuàng)新實驗室搜狐負(fù)責(zé)人彭毅的話說，隨著大數(shù)據(jù)的熱度越來越高，大家對數(shù)據(jù)的價值越來越重視，運用數(shù)據(jù)指導(dǎo)業(yè)務(wù)的發(fā)展，滿足用戶不斷的新需要成為搜狐業(yè)務(wù)發(fā)展的新動力。在這樣的背景下，搜狐成立了一個大數(shù)據(jù)項目小組，內(nèi)部代號“大耳狐”。

據(jù)彭毅介紹，最開始他們做的主要是為了滿足業(yè)務(wù)部門對于數(shù)據(jù)處理平臺的計算需求，通俗地講就是提供平臺支撐。不過隨著業(yè)務(wù)的不斷發(fā)展，只做這些已經(jīng)難以滿足實際的業(yè)務(wù)需求，所以他們現(xiàn)在也在做更多的擴展，比如在滿足底層平臺技術(shù)和業(yè)務(wù)線需求的前提下，他們正在考慮深度學(xué)習(xí)方面的研究。

言歸正傳，還是從搜狐正式開始做大數(shù)據(jù)方面的工作，也就是大數(shù)據(jù)項目組的成立說起。從去年年初成立到現(xiàn)在不過一年多的時間，這一年彭毅和他的團隊可以說做了不少工作，從搭建平臺，包括技術(shù)選型(Hadoop、Spark等)、硬件選型到平臺部署、應(yīng)用調(diào)試。這其中，他們參考了很多像Facebook、推特等廣泛使用大數(shù)據(jù)技術(shù)廠商所公開的一些資料，并最終在英特爾的協(xié)助下確定了現(xiàn)有的硬件選型，包括CPU型號、內(nèi)存大小、硬盤個數(shù)、網(wǎng)絡(luò)吞吐量等均做了權(quán)衡。

在此基礎(chǔ)上，搜狐部署了其基于開源Hadoop版本做的搜狐自有的Hadoop平臺。彭毅表示，在底層調(diào)優(yōu)上，包括計算力的高效使用，以及如何在英特爾架構(gòu)平臺把性能發(fā)揮到極致，雙方進(jìn)行了非常深入的合作。目前，經(jīng)過幾次擴容升級，當(dāng)前搜狐大數(shù)據(jù)平臺已經(jīng)有1000臺物理機左右的規(guī)模，現(xiàn)有平臺數(shù)據(jù)在30PB。

看得出大數(shù)據(jù)在搜狐內(nèi)部需求的迅猛增長，在采訪中，搜狐大數(shù)據(jù)平臺核心技術(shù)人員、搜狐研發(fā)中心高級研究員王帥表示，他們每天產(chǎn)生的日志數(shù)據(jù)在20TB左右，產(chǎn)生的各種數(shù)據(jù)在60TB-200TB之間，雖然無法與BAT同日而語，但就整個業(yè)界平均水平而言，搜狐每天所產(chǎn)生的量是非?？捎^的，到這也就不難理解為什么他們在短短一年間就進(jìn)行了幾次擴容。

在采訪中，王帥還特別舉了一個大數(shù)據(jù)實際應(yīng)用的例子，廣告的精準(zhǔn)投放。他說，用戶在使用各種產(chǎn)品時會產(chǎn)生各種行為數(shù)據(jù)，比如點擊了什么、瀏覽了什么、搜索了什么，這些數(shù)據(jù)可以實時收集，然后經(jīng)過卡夫卡集群做中間的數(shù)據(jù)調(diào)度，再把它們導(dǎo)入Hadoop集群，業(yè)務(wù)部門根據(jù)收集回來的數(shù)據(jù)做精準(zhǔn)計算，像用戶畫像之類的，然后根據(jù)結(jié)果反推，進(jìn)行精準(zhǔn)的廣告投放。

看起來似乎并不難，其實并不容易，最簡單地講，每個用戶每天的數(shù)據(jù)都在發(fā)生變化，所以每天都需要重新計算，這個計算量可想而知。當(dāng)然，這只是其中一個方面，在談到做大數(shù)據(jù)過程中所遇到的挑戰(zhàn)時，彭毅也是百感交集。他說，幾乎每一塊，包括平臺、軟件、硬件、底層架構(gòu)都可能遇到難題，比如搜狐遇到一個很實際的問題就是從舊有的Hadoop平臺遷移到新的平臺上，這其中他們費了不少力氣。

而這其實也正是筆者相對即將應(yīng)用大數(shù)據(jù)的用戶所說的話，大數(shù)據(jù)應(yīng)用絕對不是像很多人說說那么簡單，做起來會涉及到方方面面的內(nèi)容，所以選幾個靠譜的合作商還是很有必要的。

最后分享一下搜狐大數(shù)據(jù)團隊的人員構(gòu)成，1000臺機器的集群，猜猜有多少人?在維護(hù)這個平臺的大概只有兩三個人，總的項目組成員也不過十幾個。據(jù)彭毅介紹，得益于英特爾的協(xié)助以及大耳狐平臺的開發(fā)，他們只有十幾個人就能完成這些研發(fā)、維護(hù)的工作。其中這十幾個人中有一部分負(fù)責(zé)和大數(shù)據(jù)平臺相關(guān)的維護(hù)工作，他們的職責(zé)是讓整個集群的運維管理更智能化;另一部分主要是做Hadoop大數(shù)據(jù)相關(guān)的技術(shù)研究，包括兼容性、前瞻性(大數(shù)據(jù)技術(shù)的演進(jìn))等，還有最后一部分是面向用戶的，如何更好地結(jié)合用戶需求做一些優(yōu)化、調(diào)整。

“通過使用我們的產(chǎn)品，為用戶提供更為精準(zhǔn)的內(nèi)容，是作為搜狐這樣一個媒體公司一直以來追求的目標(biāo)”，彭毅這樣總結(jié)他們大數(shù)據(jù)應(yīng)用的目標(biāo)。而這或許應(yīng)該是大數(shù)據(jù)對所有用戶的最終價值體現(xiàn)。

來源：ZD至頂網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。