感悟：數(shù)據(jù)平臺(tái)架構(gòu)的策略、哲學(xué)與全局意識(shí)很重要

數(shù)據(jù)平臺(tái) 策略哲學(xué) 全局意識(shí)

foreach_break | 2017-07-04 15:24

【數(shù)據(jù)猿導(dǎo)讀】數(shù)據(jù)產(chǎn)品要有價(jià)值，必須獲取足量、高質(zhì)的數(shù)據(jù)，建立跨部門、跨業(yè)務(wù)的統(tǒng)一數(shù)據(jù)視圖前景美妙但步履維艱，保持持久熱情、對(duì)數(shù)據(jù)產(chǎn)品的價(jià)值心里有數(shù)并盡可能地獲取資源上的支持，是技術(shù)之外的重要話題。

感悟：數(shù)據(jù)平臺(tái)架構(gòu)的策略、哲學(xué)與全局意識(shí)很重要

1、明確技術(shù)與業(yè)務(wù)的關(guān)系

(1)知識(shí)和發(fā)明來(lái)自實(shí)踐和生產(chǎn)的實(shí)際需要，OSI的7層模型再美、再學(xué)院化也沒(méi)有干過(guò)TCP/IP;

(2)切莫強(qiáng)求技術(shù)驅(qū)動(dòng)，技術(shù)職責(zé)第一要?jiǎng)?wù)是做好深度服務(wù)業(yè)務(wù);

(3)數(shù)據(jù)產(chǎn)品不同于一般業(yè)務(wù)系統(tǒng)。隔行如隔山，跨部門項(xiàng)目往往對(duì)雙方團(tuán)隊(duì)的時(shí)間管理、利益妥協(xié)、溝通協(xié)作和交付提出了很高很難的要求，數(shù)據(jù)產(chǎn)品要有價(jià)值，必須獲取足量、高質(zhì)的數(shù)據(jù)，建立跨部門、跨業(yè)務(wù)的統(tǒng)一數(shù)據(jù)視圖前景美妙但步履維艱，保持持久熱情、對(duì)數(shù)據(jù)產(chǎn)品的價(jià)值心里有數(shù)并盡可能地獲取資源上的支持，是技術(shù)之外的重要話題。

2、價(jià)值導(dǎo)向，數(shù)據(jù)平臺(tái)架構(gòu)的策略、哲學(xué)與全局意識(shí)很重要

(1)成本意識(shí)——只用合適的。深入理解業(yè)務(wù)和數(shù)據(jù)規(guī)模，不走冤枉路，不用牛刀去殺機(jī)，牛刀的維護(hù)成本很高很高;不輕視MySQL、不高估Hadoop，不盲目崇拜Storm和Samza的流計(jì)算;

(2)專業(yè)意識(shí)——不過(guò)分給離線計(jì)算強(qiáng)調(diào)效率，不過(guò)分給準(zhǔn)實(shí)時(shí)計(jì)算強(qiáng)調(diào)規(guī)模(優(yōu)勢(shì)火力學(xué)說(shuō));

(3)產(chǎn)品意識(shí)——不是最牛逼的技術(shù)就是最牛逼的產(chǎn)品(比如企查查，碼農(nóng)要重視產(chǎn)品、市場(chǎng)及領(lǐng)域知識(shí));

(4)機(jī)動(dòng)意識(shí)——靈活處理業(yè)務(wù)場(chǎng)景的技術(shù)需求?？臻g換時(shí)間(緩存)、時(shí)間換空間(大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)、比如HDFS和MongoDB的Sharding);

(5)歷史意識(shí)——不是所有的技術(shù)債都要大肆批評(píng)，為公司歷史業(yè)務(wù)作出貢獻(xiàn)的代碼應(yīng)該保持尊敬，其中的一些問(wèn)題更應(yīng)該歷史地看待，自己做得不一定比前人更好。計(jì)算跑向數(shù)據(jù)——比如傳統(tǒng)的存儲(chǔ)過(guò)程，免去了數(shù)據(jù)傳輸性能好，但擴(kuò)展性很差，跨數(shù)據(jù)庫(kù)的DB-Link技術(shù)可以看做分布式計(jì)算的早期手段;數(shù)據(jù)跑向計(jì)算——如Hadoop的MR，有不可忽視的數(shù)據(jù)運(yùn)輸代價(jià)，但計(jì)算和業(yè)務(wù)邏輯處理更加自由靈活;

(6)戰(zhàn)略意識(shí)——正確認(rèn)識(shí)數(shù)據(jù)產(chǎn)品的特點(diǎn)：周期長(zhǎng)、開(kāi)發(fā)難、低反饋、弱可控，客戶與業(yè)務(wù)需求總是迫切的。將冗長(zhǎng)切分，局部和階段性反饋并測(cè)試尤為重要，重視一點(diǎn)可視化往往有奇效。沒(méi)有客戶的數(shù)據(jù)產(chǎn)品沒(méi)有價(jià)值，從立項(xiàng)開(kāi)始，就要有生存、競(jìng)爭(zhēng)、運(yùn)營(yíng)的綜合考慮。讓現(xiàn)有數(shù)據(jù)產(chǎn)生價(jià)值是數(shù)據(jù)團(tuán)隊(duì)的第一使命，而逐步產(chǎn)生價(jià)值、釋放數(shù)據(jù)活力、融通部門利益則是一種全局運(yùn)營(yíng)意識(shí)。

3、分而治之

(測(cè)試大數(shù)據(jù)處理手段有效與否的基本方法就是去求個(gè)和、排個(gè)序、分個(gè)組。如同1+1=2，這是基本所有大數(shù)據(jù)處理場(chǎng)景的最小化抽象。那么就會(huì)體會(huì)到——分開(kāi)了求和排序難，不分卻治不了大數(shù)據(jù))

4、存儲(chǔ)與索引分離、冷熱分離、讀寫分離、二八原理、分級(jí)實(shí)施

(1)讀寫混合的通?？梢陨纤輼I(yè)務(wù)進(jìn)行梳理，找出重點(diǎn)、降級(jí)實(shí)施;

(2)有時(shí)候分布式算法想破天，不如將服務(wù)器內(nèi)存升級(jí)到512G來(lái)得簡(jiǎn)單和高效，分布式的同時(shí)不要忘了集中式的簡(jiǎn)單帶來(lái)的收益;

(3)存儲(chǔ)與索引在一起，既有傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)作為代表，也有華為為HBase拓展本地二級(jí)索引的例子，但通常分離之后可以同時(shí)享受專業(yè)的分布式存儲(chǔ)和專業(yè)的索引技術(shù)帶來(lái)的雙重好處，缺點(diǎn)是可能需要一個(gè)觸發(fā)器或協(xié)程，但是同步與計(jì)算的地位是同等重要的，可以從Storm的ACK機(jī)制及Kafka的Log機(jī)制獲取處理此類嚴(yán)峻問(wèn)題的靈感;這不僅僅是ETL和微服務(wù)的需求，也是一致性的挑戰(zhàn)。

5、專業(yè)的干專業(yè)的事、學(xué)習(xí)但不重復(fù)造輪子

(1)每個(gè)框架都有自己的原語(yǔ)、有限的服務(wù)能力和缺點(diǎn)，這是極為正常的，整合和有限改造是普遍存在的;

(2)克服追求技術(shù)唯美的碼農(nóng)心理障礙，不輕信自己可以做得比別人更好，以可控交付和快速反饋為首要原則;

(3)項(xiàng)目的死亡通常是因?yàn)楫a(chǎn)品需求和碼農(nóng)的認(rèn)知圖像不一致造成，這需要產(chǎn)品了解一定技術(shù)特點(diǎn)，更需要技術(shù)了解產(chǎn)品的真正目的;

(4)輕視產(chǎn)品或者領(lǐng)域?qū)＜?，是技術(shù)的狹隘而不是別人的無(wú)知。

6、分布式鎖，真的很難

(1)鎖與分布式事務(wù)永遠(yuǎn)是前沿技術(shù);

(2)即使是電話通訊這種鏈路型的也會(huì)中斷，何況計(jì)算機(jī)網(wǎng)絡(luò)還是分包為基礎(chǔ);

(3)腦裂是自然的，我們要做的是局部可控、提前預(yù)案、降低損失、快速維護(hù);

(4)同步并非最差，異步并非最佳，任何優(yōu)勢(shì)背后都有先天劣勢(shì);

(5)高性能和簡(jiǎn)約架構(gòu)是一對(duì)矛盾，吸氣量太大還容易爆缸，但一旦認(rèn)識(shí)到代價(jià)是正常和必不可缺之后，往往可以柳暗花明;

(6)不死磕，compromise是工程意義上的折衷而不是碼農(nóng)心理上的妥協(xié)。

7、推和拉(Push&Pull)

(1)都是常用手段，難點(diǎn)都在于狀態(tài)同步與可靠交付，相對(duì)來(lái)講拉更簡(jiǎn)單一些，但為了一致性和狀態(tài)的到達(dá)往往會(huì)浪費(fèi)計(jì)算資源

(2)有時(shí)候耗費(fèi)某些資源換取更簡(jiǎn)單平坦的架構(gòu)，收獲更低的維護(hù)代價(jià)比死磕高性能收益更大。比如全雙工通訊很美，但WebSocket技術(shù)對(duì)Socket、進(jìn)程、內(nèi)存資源的占用讓W(xué)eb服務(wù)更加復(fù)雜;

(3)函數(shù)計(jì)算的優(yōu)點(diǎn)之一就是不可變的數(shù)據(jù)結(jié)構(gòu)，狀態(tài)的不可變意味著失敗的計(jì)算環(huán)節(jié)可以被重放，看似浪費(fèi)資源，但實(shí)際是用簡(jiǎn)單的變換迭代換取思維上的簡(jiǎn)潔性，讓業(yè)務(wù)邏輯與計(jì)算環(huán)節(jié)更明顯地浮現(xiàn)出來(lái)，這就是更有價(jià)值的收益。

8、可靠性與高性能是一對(duì)矛盾

P2P還是Master-Slave，要視業(yè)務(wù)特點(diǎn)決定，P2P更適合高性能、硬實(shí)時(shí)系統(tǒng)，MS架構(gòu)相對(duì)簡(jiǎn)單、易于理解和操作、但有著主節(jié)點(diǎn)宕機(jī)導(dǎo)致服務(wù)可靠性下降的危險(xiǎn)(Hadoop為此升級(jí)了雙NameNode節(jié)點(diǎn)、MySQL生態(tài)也有雙主節(jié)點(diǎn)的成熟策略)。

9、重視函數(shù)式思想，不死磕面向?qū)ο?，生態(tài)很關(guān)鍵

(1)并行處理的難點(diǎn)之一就是狀態(tài)的改變、到達(dá)、回退與追蹤的復(fù)雜，這一點(diǎn)不僅在框架和代碼級(jí)別，在流服務(wù)體系中也很重要。Storm采用Clojure作為編程語(yǔ)言的目的除了這種語(yǔ)言很酷之外，更重要的是其對(duì)不可變的數(shù)據(jù)結(jié)構(gòu)和函數(shù)計(jì)算的支持很到位;

(2)Spark牛逼的地方就是深入貫徹函數(shù)計(jì)算，并提供了完善的RDD操作原語(yǔ)與多語(yǔ)言支持，對(duì)關(guān)系型數(shù)據(jù)庫(kù)、HDFS等也有很好的支持，特色鮮明而且瞄準(zhǔn)Hadoop生態(tài)，它的戰(zhàn)略眼光及架構(gòu)值得反復(fù)學(xué)習(xí);

HyperTable瞄準(zhǔn)了HBase的某些性能瓶頸以此來(lái)打造同樣的列式數(shù)據(jù)庫(kù)，但在市場(chǎng)上它失敗了。C++實(shí)現(xiàn)底層帶來(lái)了高性能的同時(shí)也帶來(lái)了生態(tài)疏離。

來(lái)源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。