關(guān)于數(shù)據(jù)、數(shù)據(jù)流、數(shù)據(jù)管道的一些看法（二）

數(shù)據(jù)猿數(shù)據(jù)流數(shù)據(jù)管道大數(shù)據(jù)

Austin Liu | 2019-11-11 10:31

【數(shù)據(jù)猿導(dǎo)讀】再來(lái)一波硬科普

關(guān)于數(shù)據(jù)、數(shù)據(jù)流、數(shù)據(jù)管道的一些看法（二）

這個(gè)系列的上一篇就是寫(xiě)關(guān)于ETL 名字叫數(shù)據(jù)，數(shù)據(jù)流，數(shù)據(jù)管道（點(diǎn)這里閱讀）現(xiàn)在補(bǔ)充一些事情，算是對(duì)上一篇內(nèi)容有一個(gè)交代。

上篇提到了大數(shù)據(jù)，眾多種類的數(shù)據(jù)庫(kù)如何將數(shù)據(jù)灌入到大數(shù)據(jù)的那塊“處女地”?？此迫菀?，實(shí)際上問(wèn)題那是梵天的星星，一般獲取數(shù)據(jù)時(shí)你會(huì)遇到什么問(wèn)題。

1 數(shù)據(jù)庫(kù)的種類的問(wèn)題，有人說(shuō)了哎，你用一種數(shù)據(jù)庫(kù)不就完事了，好吧，說(shuō)這樣話的人我就直接跳過(guò)，現(xiàn)在哪家公司只用一種數(shù)據(jù)庫(kù)的，你傳統(tǒng)數(shù)據(jù)庫(kù)就算是一種，你NOSQL 的數(shù)據(jù)庫(kù)就一個(gè)沒(méi)有，如果真是這樣，我只能給你送365個(gè)祝福了，估計(jì)你公司的業(yè)務(wù)也需要祝福了吧？

2 數(shù)據(jù)庫(kù)里面的表的數(shù)據(jù)結(jié)構(gòu)千奇百怪，現(xiàn)在公司里面的尤其是第三方開(kāi)發(fā)的項(xiàng)目，那是沒(méi)法看，表里面字段七扭八歪的不說(shuō)，各種奇葩的字段名是只有你想不到（你見(jiàn)過(guò)用漢語(yǔ)拼音簡(jiǎn)寫(xiě)的字段名嗎，我見(jiàn)過(guò)），還有沒(méi)有讓傳統(tǒng)ETL工具能進(jìn)行增量提取數(shù)據(jù)的有效時(shí)間字段，如果將這些都怪罪到開(kāi)發(fā)的頭上，有時(shí)候是不公平的，有的表的確有時(shí)間字段，但時(shí)間字段的含義，變動(dòng)都不是為BIG DATA 服務(wù)的，而如果讓開(kāi)發(fā)應(yīng)用的工程師在開(kāi)發(fā)系統(tǒng)之前還要考慮BIG DATA的需求，未免有點(diǎn)強(qiáng)人所難了。

3 實(shí)時(shí)計(jì)算的大數(shù)據(jù)項(xiàng)目，目前我們就有業(yè)務(wù)部門(mén)需要5 - 10 分鐘一次獲得當(dāng)前的CALL CENTER 的工作情況，數(shù)據(jù)量不少，如果每次在應(yīng)用服務(wù)器來(lái)操作，勢(shì)必給業(yè)務(wù)帶來(lái)影響，而放到BIG DATA 的問(wèn)題就是，不能實(shí)時(shí)運(yùn)算，難道大數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)分析，還要不斷的借助各種傳統(tǒng)的ETL 的增量數(shù)據(jù)提??？？？ OMG

4 字段的變更，在開(kāi)發(fā)部門(mén)業(yè)務(wù)的需求以及字段的變更，增加，是常有的事情，傳統(tǒng)的ETL 工具一般只要是你數(shù)據(jù)源的字段變化了，趴窩的幾率會(huì)很高，不是字段順序與源和目的端不一致的問(wèn)題，就是字段的源與目的之間的字段缺斤短兩，如果能有一個(gè)ETL 能進(jìn)行相關(guān)的元數(shù)據(jù)管理，那將是涉及這些變化的開(kāi)發(fā)，運(yùn)維，BIG DATA 之間的福音。

5 ETL 在數(shù)據(jù)的權(quán)限管理上，傳統(tǒng)的ETL 工具也是問(wèn)題多多，而有一個(gè)良好的用戶權(quán)限的管理，從與技術(shù)無(wú)關(guān)的角度來(lái)說(shuō)，至少你公司的審計(jì)，你公司的安全部門(mén)，都的過(guò)問(wèn)此事，尤其外企，對(duì)數(shù)據(jù)的流向，權(quán)限那是很重視的。

但實(shí)際上，以上5條能達(dá)到的ETL工具少之又少，但各種炫技，提供各種高大上的界面，以及各種出自名師的開(kāi)源離線同步工具,并且加上各種并行任務(wù)，告訴你抽取數(shù)據(jù)有多快怎么把表給你分成100個(gè)TASK，提供各種數(shù)據(jù)質(zhì)量的監(jiān)控，解決數(shù)據(jù)失真的問(wèn)題等等等等，那是一個(gè)比一個(gè)牛，在撕開(kāi)外衣后，里面的棉絮能嗆死你。

所以，一個(gè)ETL 幾家歡喜，幾家愁， ETL 工具最重要的點(diǎn)要搞清楚，否則和姑娘買(mǎi)車(chē)一樣，看顏色，看內(nèi)飾，看銷售的小哥哥，就是不看發(fā)動(dòng)機(jī)，變速箱，底盤(pán)這三大件，那就只能是小伙子火力壯，門(mén)外涼快去。
這三大件是什么

1 實(shí)時(shí)的數(shù)據(jù)流，從數(shù)據(jù)庫(kù)底層做功課而不是去用SQL 來(lái)去提取數(shù)據(jù)。
2 支持多種數(shù)據(jù)庫(kù)之間，數(shù)據(jù)庫(kù)與大數(shù)據(jù)產(chǎn)品之間的任意往來(lái)
3 元數(shù)據(jù)管理，避免多個(gè)department 的羅圈架

當(dāng)然從貴到喊“爹娘 ”的ETL 到免費(fèi)被吹捧到天上的 ETL 工具，此時(shí)大部分都變得不再喧囂，因?yàn)槭裁矗驗(yàn)椴恍小?/p>

一個(gè)產(chǎn)品的好壞，最重要的是能解決用戶的痛點(diǎn)的問(wèn)題，如同我買(mǎi)車(chē)，我說(shuō)我家里的路坑坑洼洼，我要底盤(pán)高的，動(dòng)力好的，你給我來(lái)一個(gè)蘭坡基尼，告訴我如何的快，如何的炫，如何馬力強(qiáng)勁，如何能0 首付，我此時(shí)只能說(shuō)，我勒個(gè)去。

那ETL 工具中如何能侵入到數(shù)據(jù)庫(kù)內(nèi)部，與數(shù)據(jù)的上層邏輯剝離，直接提取數(shù)據(jù)才是一種功夫，至少人家對(duì)各種數(shù)據(jù)庫(kù)都的有相關(guān)的研究，而不是花里胡哨通過(guò)各種界面，各種并發(fā)，來(lái)填補(bǔ)內(nèi)心的空虛，說(shuō)句實(shí)話，你不知道你面對(duì)的表是什么情況，如同你初入社會(huì)，你不知道你遇到的會(huì)是“綠茶”，還是“掉渣燒餅”。那怎么能搞定“綠茶”，“掉渣燒餅”，才是考驗(yàn)?zāi)鉋TL工具的試金石。

說(shuō)道這里，還的說(shuō)另外一個(gè)問(wèn)題就是侵入性，如果一款ETL 要在數(shù)據(jù)庫(kù)上安裝AGENT ，然后才能進(jìn)行提取，例如大名鼎鼎的那誰(shuí)（就是那個(gè)數(shù)據(jù)庫(kù)產(chǎn)品在走下坡路的數(shù)據(jù)庫(kù)業(yè)界霸主的產(chǎn)品），如果你能順利的完成部署（且不說(shuō)和他公司數(shù)據(jù)庫(kù)媲美的價(jià)格），我只能說(shuō)你公司好“純凈”。大公司任何一款產(chǎn)品如果要侵入到數(shù)據(jù)庫(kù)服務(wù)器的層面，那都不會(huì)是容易的事，安全部門(mén)要審核，運(yùn)維部門(mén)要審核，很可能開(kāi)發(fā)部門(mén)也的來(lái)圍觀一下，然后就送你一首涼涼。一款不侵入數(shù)據(jù)庫(kù)服務(wù)器，或者最小化侵入數(shù)據(jù)庫(kù)的產(chǎn)品才是能繼續(xù)前行的KEY。

但這里就有矛盾了，上面是要從數(shù)據(jù)庫(kù)底層來(lái)搞，下面又說(shuō)不要侵入到數(shù)據(jù)庫(kù)中，此時(shí)有人想說(shuō)你是要找，年薪500萬(wàn)，身高1.8米，無(wú)父無(wú)母，北京三環(huán)有100多平的房子的未婚純情肌肉帥哥，Day Dream!

其實(shí)我們目前倒是使用了一款“綠巨人”，至少?gòu)牟渴鸬浆F(xiàn)在8個(gè)月的時(shí)間，我倒是沒(méi)有聽(tīng)說(shuō)有什么抱怨。其實(shí)市場(chǎng)上類似的東西也是有幾種的，期間也聯(lián)系了一家做演示，不過(guò)人家脾氣大，根本不來(lái)，而綠巨人這家，來(lái)了一個(gè)“智慧型”女士來(lái)做PPT ，每句都能說(shuō)到點(diǎn)子上，讓你無(wú)法拒絕，那感受好像有點(diǎn)Soufflé，我想大部分人能明白我的意思。
（注：避免廣告嫌疑，這款軟件從頭到尾外號(hào)就叫“綠巨人”）

其實(shí)現(xiàn)在說(shuō)的大數(shù)據(jù)工作主要部分，到底是什么，我看核心就兩塊 1 ETL 數(shù)據(jù)的抽取， 2 得到數(shù)據(jù)后的建模，分析，界面展示。

數(shù)據(jù)中臺(tái)又是什么，數(shù)據(jù)中臺(tái)是指通過(guò)數(shù)據(jù)技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。這不就是，數(shù)據(jù)，數(shù)據(jù)流，與數(shù)據(jù)管道，打開(kāi)數(shù)據(jù)流的水龍頭就有源源不斷的你要的數(shù)據(jù)流入你要的器皿。

難點(diǎn)在哪里，數(shù)據(jù)抽取，如果數(shù)據(jù)的抽取困難，數(shù)據(jù)不準(zhǔn)確，不及時(shí)，你怎么能保證你后續(xù)數(shù)據(jù)分析的準(zhǔn)確性，和及時(shí)性。

目前我們的“綠巨人”就承擔(dān)了從多種數(shù)據(jù)庫(kù)中實(shí)時(shí)抽數(shù)并且從底層還不強(qiáng)行介入的工作，所以擁有一個(gè)“綠巨人”你的BIG DATA 甚至是多種數(shù)據(jù)庫(kù)的數(shù)據(jù)分發(fā)和匯聚都變得容易。

如同上次的那篇文字，如果數(shù)據(jù)如同水一樣，打開(kāi)水龍頭就可以來(lái)去自如，那數(shù)據(jù)的處理，分析的工作就會(huì)變得容易，簡(jiǎn)單，高效。

在最后的最后，我也表達(dá)一下對(duì)這款產(chǎn)品的 unsatisfactory operation，希望能全面支持POSTGRESQL 你都支持TIDB了是吧，當(dāng)然目前也是支持POSTGRESQL 的源端，如果目的端能支持就更好了，另外MONGODB 如果能產(chǎn)出一個(gè)MONGODB to FILE （JOSN）的圖形化的tools，那就更完美了。因?yàn)槲覀兡壳暗腗ONGODB 還在半自動(dòng)化的導(dǎo)出，尾音（真的很煩）

來(lái)源：AustinDatabases

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。