鏈家網(wǎng)架構(gòu)師呂毅:鏈家網(wǎng)大數(shù)據(jù)平臺(tái)的架構(gòu)演進(jìn)
呂毅 | 2016-11-09 10:45
【數(shù)據(jù)猿導(dǎo)讀】 技術(shù)角色都是工程師,高級(jí)、資深與架構(gòu),只是對(duì)工程師能力的一種認(rèn)可。既然都是工程師,工作內(nèi)容的變化不大,還是以研發(fā)工作為主。只是隨著階段遞進(jìn),需要承擔(dān)的責(zé)任越大,這需要不斷提升自己與同事的技術(shù)能力,優(yōu)化解決問題的方法,來(lái)支撐好本職工作

記者:請(qǐng)先和大家介紹一下您和目前所從事的工作以及關(guān)注哪些技術(shù)領(lǐng)域?
呂毅:大家好,我目前負(fù)責(zé)鏈家網(wǎng)大數(shù)據(jù)平臺(tái)建設(shè),也就是大家常說(shuō)的 Data infrastructure 相關(guān)的工作,目標(biāo)是通過(guò)技術(shù)手段,面向全公司提供平臺(tái)化工具化的大數(shù)據(jù)服務(wù),提供數(shù)據(jù)全面并使用便捷的數(shù)據(jù)分析、數(shù)據(jù)獲取的平臺(tái)。
平日里,我一方面會(huì)關(guān)注開源項(xiàng)目,以及它所能構(gòu)建出的能力;另一方面比較關(guān)注技術(shù)解決方案與架構(gòu)變遷,關(guān)注公司內(nèi)、行業(yè)內(nèi)如何通過(guò)技術(shù)手段解決實(shí)際業(yè)務(wù)問題,以及架構(gòu)改造引入的成本與帶來(lái)的好處。
記者:您在新浪、百度等大公司都供職過(guò)比較長(zhǎng)的時(shí)間,可否談下您此前公司的感受?
呂毅:這兩段工作經(jīng)歷都幫助我獲得了全方面的成長(zhǎng)。在新浪平臺(tái)架構(gòu)部期間,會(huì)接觸各種技術(shù)方向的工程師,開闊了技術(shù)視野的同時(shí),也體會(huì)到了技術(shù)驅(qū)動(dòng)型項(xiàng)目的開展方式。在百度期間,一直在手機(jī)百度這款移動(dòng) APP 的服務(wù)端團(tuán)隊(duì)做研發(fā)工作,因?yàn)閷儆跇I(yè)務(wù)團(tuán)隊(duì),接觸的項(xiàng)目角色多且項(xiàng)目節(jié)奏快,提升了我綜合能力的同時(shí),也對(duì)項(xiàng)目管理與工作流程有了清晰的認(rèn)識(shí),特別是我在百度的中后期,主導(dǎo)一些跨團(tuán)隊(duì)的平臺(tái)服務(wù)建設(shè),提升了不少架構(gòu)設(shè)計(jì)的能力。
綜合來(lái)看,技術(shù)方面一直在成長(zhǎng),技術(shù)外的部分在不同階段有不同的收獲。
記者:您已經(jīng)在鏈家網(wǎng)工作一年多,能夠談下作為一名技術(shù)人員的你,當(dāng)時(shí)為何選擇鏈家網(wǎng)?
呂毅:我一直青睞開創(chuàng)中的團(tuán)隊(duì)。畢業(yè)時(shí)選擇新浪 SAE,是 SAE 剛剛創(chuàng)立不久,并且在那時(shí)是國(guó)內(nèi)第一家 PaaS 平臺(tái)。之后選擇手機(jī)百度 APP 團(tuán)隊(duì),是因?yàn)槟菚r(shí)的手機(jī)百度整體還是三四十人的小團(tuán)隊(duì),太多移動(dòng)領(lǐng)域的挑戰(zhàn)需要去解決。
在去年,鏈家網(wǎng)剛搬到西二旗辦公不久,那會(huì)鏈家網(wǎng)整體一百多人,這個(gè)垂直領(lǐng)域同樣有太多技術(shù)工作待開展,迫切需要有效的線上解決方案來(lái)改善房產(chǎn)交易。正是這些技術(shù)挑戰(zhàn),吸引著我選擇了鏈家網(wǎng)。來(lái)鏈家網(wǎng)工作已一年多,實(shí)現(xiàn)了很多技術(shù)項(xiàng)目,產(chǎn)生價(jià)值的同時(shí)也驗(yàn)證了我之前的想法。
記者:此外,作為一名技術(shù)人員,您至今成為了一個(gè)團(tuán)隊(duì)的技術(shù)負(fù)責(zé)人,能夠談下在做工程師、高級(jí)工程師、架構(gòu)師,其中的變化有哪些?尤其同時(shí)負(fù)責(zé)技術(shù)與管理時(shí),有什么心得和體會(huì)可分享?
呂毅:在我眼中,技術(shù)角色都是工程師,高級(jí)、資深與架構(gòu),只是對(duì)工程師能力的一種認(rèn)可。既然都是工程師,工作內(nèi)容的變化不大,還是以研發(fā)工作為主。只是隨著階段遞進(jìn),需要承擔(dān)的責(zé)任越大,這需要不斷提升自己與同事的技術(shù)能力,優(yōu)化解決問題的方法,來(lái)支撐好本職工作。
隨著負(fù)責(zé)的項(xiàng)目越多越重要,與自己一起做事的同事會(huì)多起來(lái),今年初我們還是7人團(tuán)隊(duì),管理與研發(fā)工作的比例大概是1:2,如今我們已是16人團(tuán)隊(duì),我的管理與研發(fā)工作比例已是1:1。期間感受是,給予團(tuán)隊(duì)成員技術(shù)提升空間的同時(shí),也應(yīng)給予骨干成員管理工作鍛煉的機(jī)會(huì)。一些小組內(nèi)的工作他們可以直接決策,我會(huì)與他們做好及時(shí)同步。這可以避免我過(guò)度關(guān)注細(xì)節(jié),也可以幫助成員全面成長(zhǎng),同時(shí)也是梯隊(duì)建設(shè)的過(guò)程。我還是希望有些精力開展技術(shù)攻堅(jiān),帶領(lǐng)團(tuán)隊(duì)凌峰再登高。
記者:從工程師到架構(gòu)師的轉(zhuǎn)變需要做好哪些準(zhǔn)備呢?
呂毅:回答這個(gè)問題顯得有些賣弄,簡(jiǎn)單兩點(diǎn)吧。
第一點(diǎn)是技術(shù)規(guī)劃,工程師時(shí)更關(guān)注當(dāng)下問題,而架構(gòu)師除了當(dāng)下,還需要及時(shí)規(guī)劃好半年到一年的事情,把半年內(nèi)的技術(shù)架構(gòu)設(shè)計(jì)清楚,達(dá)到可執(zhí)行狀態(tài)并有效落地,并且逐步去接近一年的目標(biāo)。這需要工程師鍛煉自己的技術(shù)規(guī)劃、方案設(shè)計(jì)與前瞻性能力。
第二點(diǎn)是關(guān)注細(xì)節(jié),工程師階段常常完成手頭任務(wù)即可,很少理解實(shí)現(xiàn)細(xì)節(jié)、有無(wú)更優(yōu)方案、背后原理這些刨根問題的問題。而架構(gòu)師則需要設(shè)計(jì)出架構(gòu)的同時(shí),看的出整體項(xiàng)目的關(guān)鍵環(huán)節(jié),并有能力詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)這些環(huán)節(jié)中的細(xì)節(jié)。架構(gòu)不太容易出太大偏差,但成敗往往由細(xì)節(jié)決定。
好了,只說(shuō)兩點(diǎn)吧,有宏觀的規(guī)劃與微觀的細(xì)節(jié),不發(fā)散了,若展開詳細(xì)講,我看能寫本書了。
記者:鏈家網(wǎng)大數(shù)據(jù)部門已經(jīng)成立一年多,緣何會(huì)成立這樣的一個(gè)部門?
呂毅:鏈家已經(jīng)成立十五年,線下經(jīng)紀(jì)人13萬(wàn)名,圍繞的線下房產(chǎn)交易,有大量的運(yùn)營(yíng)需求需要數(shù)據(jù)支撐,分城市、分商圈、分門店的情況都需要細(xì)分。所以,在鏈家網(wǎng)成立初期,集團(tuán)運(yùn)營(yíng)數(shù)據(jù)需求就已經(jīng)有了,故在2015年初就搭建了第一套系統(tǒng)來(lái)支持?jǐn)?shù)據(jù)報(bào)表,逐漸圍繞著上層需求,構(gòu)建起了鏈家網(wǎng)大數(shù)據(jù)架構(gòu)。也是在那時(shí),成立的大數(shù)據(jù)部門,為公司做好數(shù)據(jù)支撐。
記者:目前該團(tuán)隊(duì)主要支持公司哪些業(yè)務(wù)?以及改變了什么?
呂毅:我們目前數(shù)據(jù)分析方向上支持的團(tuán)隊(duì)有運(yùn)營(yíng)體系、研究院、內(nèi)容體系、市場(chǎng)部門、數(shù)據(jù)開發(fā)團(tuán)隊(duì),以及各業(yè)務(wù)線數(shù)據(jù)分析 PM。數(shù)據(jù)產(chǎn)品方面,我們面向用戶的產(chǎn)品鏈家網(wǎng)、掌上鏈家 APP 中的數(shù)據(jù)頻道、趨勢(shì)數(shù)據(jù)是由大數(shù)據(jù)團(tuán)隊(duì)做數(shù)據(jù)與技術(shù)支持,面向內(nèi)部的房客管理、客源情況數(shù)據(jù)也是基于大數(shù)據(jù)的數(shù)據(jù)應(yīng)用產(chǎn)品。
記者:能否簡(jiǎn)單分享下當(dāng)前的大數(shù)據(jù)平臺(tái)的架構(gòu)演進(jìn)?
呂毅:鏈家網(wǎng)大數(shù)據(jù)從最初的技術(shù)支持報(bào)表需求,到年初的技術(shù)實(shí)現(xiàn)自助報(bào)表需求,到現(xiàn)在的技術(shù)搭建平臺(tái)提供數(shù)據(jù)分析、數(shù)據(jù)獲取服務(wù),這正是鏈家網(wǎng)大數(shù)據(jù)這一年多所經(jīng)歷的,其中涉及到的架構(gòu)變遷、新技術(shù)方案的引入、大數(shù)據(jù)平臺(tái)化等等,這里提供一張我們一兩個(gè)月前的設(shè)計(jì)圖。
圖1:鏈家網(wǎng)大數(shù)據(jù)平臺(tái)
我們?cè)谌齻€(gè)月前開始著手規(guī)劃鏈家網(wǎng)大數(shù)據(jù)平臺(tái),從目前鏈家網(wǎng)大數(shù)據(jù)應(yīng)用的需求為主,設(shè)計(jì)了上圖中的幾大部分。最上層提供數(shù)據(jù)服務(wù),包括數(shù)據(jù)分析服務(wù)與數(shù)據(jù) API 服務(wù)。中間構(gòu)建大數(shù)據(jù)工具鏈,提供 OLAP 引擎、AdHoc 引擎與調(diào)度引擎,底層是集群部分,目前技術(shù)選型以開源為主,旁路的我們?cè)谧黾喊踩c集群調(diào)度工作。貫穿上中下三部分的數(shù)據(jù)管理,涵蓋應(yīng)用層的權(quán)限管理、全公司元數(shù)據(jù)與指標(biāo)的管理平臺(tái)、調(diào)度任務(wù)管理和集群權(quán)限管理。
【作者簡(jiǎn)介】呂毅,鏈家網(wǎng)大數(shù)據(jù)平臺(tái)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人,鏈家網(wǎng)架構(gòu)師。2015年8月加入鏈家網(wǎng),之前負(fù)責(zé)過(guò)鏈家網(wǎng)基礎(chǔ)服務(wù)平臺(tái)建設(shè)。 曾供職于百度移動(dòng)云事業(yè)部(2012~2015),新浪平臺(tái)架構(gòu)部 SAE(2010~2012)。
來(lái)源:CSDN 大數(shù)據(jù)
刷新相關(guān)文章
我要評(píng)論
活動(dòng)推薦more >
- 2018 上海國(guó)際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國(guó)際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國(guó)國(guó)際信息通信展覽會(huì)將于2018-09-26
- 第五屆FEA消費(fèi)金融國(guó)際峰會(huì)62018-06-21
- 第五屆FEA消費(fèi)金融國(guó)際峰會(huì)2018-06-21
- “無(wú)界區(qū)塊鏈技術(shù)峰會(huì)2018”2018-06-14
不容錯(cuò)過(guò)的資訊
-
1#后疫情時(shí)代的新思考#疫情之下,關(guān)于醫(yī)
-
2數(shù)據(jù)軟件產(chǎn)品和服務(wù)商DataHunter完成B輪
-
3眾盟科技獲ADMIC 2020金粲獎(jiǎng)“年度汽車
-
4數(shù)據(jù)智能 無(wú)限未來(lái)—2020世界人工智能大
-
5#2020非凡大賞:數(shù)字化風(fēng)起云涌時(shí),共尋
-
6#榜樣的力量#天璣數(shù)據(jù)大腦疫情風(fēng)險(xiǎn)感知
-
7#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
8#榜樣的力量#實(shí)時(shí)新型肺炎疫情數(shù)據(jù)小程
-
9#榜樣的力量#華佗疫情防控平臺(tái)丨數(shù)據(jù)猿
-
10#后疫情時(shí)代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新