關(guān)于數(shù)據(jù)、數(shù)據(jù)流、數(shù)據(jù)管道的一些看法（一）

數(shù)據(jù)流數(shù)據(jù)管道數(shù)據(jù)猿

Austin Liu | 2019-11-10 10:29

【數(shù)據(jù)猿導(dǎo)讀】來一波硬科普

關(guān)于數(shù)據(jù)、數(shù)據(jù)流、數(shù)據(jù)管道的一些看法（一）

最近間接的獲取了不少關(guān)于數(shù)據(jù)流，及數(shù)據(jù)融合，管道等方面的知識(shí)，由于腦子內(nèi)存小，不寫出來很快就會(huì)忘記，所以還是硬著頭皮寫一寫。

數(shù)據(jù)作為一個(gè)專有名詞，至少有10年的時(shí)間，圍繞這個(gè)詞衍生出很多詞匯。

大數(shù)據(jù)分析、數(shù)據(jù)敏捷分析、數(shù)據(jù)spss、大數(shù)據(jù)應(yīng)用、智能數(shù)據(jù)AI、圍繞這些詞匯的產(chǎn)品也不少，如HADOOP、SPARK、HIVE、Teradata、greenlum 等產(chǎn)品。

這些產(chǎn)品已經(jīng)在很多公司中的大數(shù)據(jù)分析中得到廣泛的應(yīng)用。今天想說的并不是這些產(chǎn)品，想談的是一個(gè)最近悄然熱門的行業(yè) Datapiple，數(shù)據(jù)管道。

什么是數(shù)據(jù)管道，為什么需要數(shù)據(jù)管道軟件，數(shù)據(jù)管道在目前的企業(yè)中到底有什么地位，如何應(yīng)用？

有人馬上會(huì)說，你別糊弄人，你說的不就是ETL嘛，老掉牙了。是嗎？那我提幾個(gè)問題，你看看如何解決。

問題1 ：
業(yè)務(wù)部門數(shù)據(jù)由于歷史原因，使用的RDS 類型多種多樣，有ORALCE ，有SQL SERVER ，有MYSQL ，甚至有MONGODB ，現(xiàn)在大數(shù)據(jù)分析，要整合部分這些數(shù)據(jù)庫的數(shù)據(jù)，到一個(gè)大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)分析？

問題2：
業(yè)務(wù)部門數(shù)據(jù)表設(shè)計(jì)之初，沒有考慮ETL數(shù)據(jù)抽取的問題，換言之沒有時(shí)間字段，你如何在上百G的數(shù)據(jù)中抽取增量數(shù)據(jù)？

問題3：
業(yè)務(wù)部門多種需求，要求在業(yè)務(wù)獲得數(shù)據(jù)的1個(gè)小時(shí)內(nèi)，將更新的業(yè)務(wù)數(shù)據(jù)傳遞到數(shù)據(jù)部門進(jìn)行處理，獲得DATAVIEW

問題4：
業(yè)務(wù)部門中都有數(shù)據(jù)分析人員，有的人員精通 T-SQL, 有的擅長 PL/SQL，還有的只會(huì)JAVA ，你如何滿足這樣多種多樣的數(shù)據(jù)目的地需求。

問題5：
目前由于數(shù)據(jù)庫更新，將ORACLE 數(shù)據(jù)庫替代，使用PostgresQL 來代替ORACLE。目前需要進(jìn)行灰度發(fā)布，ORACLE 和 POSTGRESQL 數(shù)據(jù)之間進(jìn)行實(shí)時(shí)同步，當(dāng)程序跑通，上線兩個(gè)禮拜后沒有問題，將ORACLE 清除。

說沒有什么了不起的同學(xué)，站出來，把我上面的問題一并解決吧，估計(jì)已經(jīng)吐血了。

在提升一個(gè)高度，站到CDO的角度，你公司使用的數(shù)據(jù)庫類型，我不關(guān)心，我只關(guān)心你的數(shù)據(jù)流是否能及時(shí)傳導(dǎo)到我的各種目的地，讓我進(jìn)行分布式的運(yùn)算。同時(shí)數(shù)據(jù)必須在管道中進(jìn)行加工處理，而我還要一些RAW的數(shù)據(jù)對(duì)我計(jì)算的數(shù)據(jù)進(jìn)行驗(yàn)證，也就是單點(diǎn)多傳，數(shù)據(jù)清洗，數(shù)據(jù)整理的要求。

估計(jì)說ETL 的同學(xué)，你的膽汁都吐出來了吧??！

這時(shí)候我聽到一個(gè)聲音 ORACLE OGG ， I am sorry，

1、OGG 有多貴你知道嗎？

2、OGG 能滿足上面所有需求嗎？

價(jià)格我們先放到一邊，讓OGG 支持 ORALCE 到 PG 的數(shù)據(jù)流， ORACLE 到 TIDB 的數(shù)據(jù)流， MONGO DB 到傳統(tǒng)數(shù)據(jù)的數(shù)據(jù)流（對(duì)你沒有聽錯(cuò)是MONGO DB 到傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)流）

OGG還需要在數(shù)據(jù)的源端，安裝AGENT，造成某些服務(wù)器的負(fù)擔(dān)和不安全性，如果是外企，還要在評(píng)估一番你的數(shù)據(jù)獲取方式安全與否，然后在推諉，扯皮，審批一番，在中國市場瞬息變化的行情下，半年過去了。等批準(zhǔn)的時(shí)候，市場早就變化了，數(shù)據(jù)變質(zhì)了。

而每次數(shù)據(jù)不能及時(shí)供應(yīng)的背鍋俠，運(yùn)維，還是站在背鍋俠的最前端，多個(gè)數(shù)據(jù)源數(shù)據(jù)獲取不及時(shí)造成數(shù)據(jù)獲取延遲，數(shù)據(jù)獲取不準(zhǔn)確，數(shù)據(jù)提供的格式不對(duì)，數(shù)據(jù)提取時(shí)，對(duì)業(yè)務(wù)系統(tǒng)的負(fù)擔(dān)，造成業(yè)務(wù)投訴。

終上所述，集中了業(yè)務(wù)數(shù)據(jù)分析，大數(shù)據(jù)部門，運(yùn)維，人的，機(jī)器的，程序的，各種問題，在這個(gè) 數(shù)據(jù)通道的需求中集中爆發(fā)，各種不滿和委屈淋漓盡致。

我們需要什么：

1、一個(gè)能實(shí)時(shí)獲取數(shù)據(jù)流，將業(yè)務(wù)數(shù)據(jù)像水一樣的方式，通過水管順暢的流向各個(gè)目的端，支持者。

2、一個(gè)能支持各種數(shù)據(jù)庫，及大數(shù)據(jù)軟件的數(shù)據(jù)交換中心的支持者

3、一個(gè)能在數(shù)據(jù)交換的過程中，還能做點(diǎn)數(shù)據(jù)的小變動(dòng)，將不必要的數(shù)據(jù)，截止在數(shù)據(jù)的源端的工具。

4、一個(gè)能方便快捷，部署，不在數(shù)據(jù)源端做任何安裝的數(shù)據(jù)獲取軟件

5、將復(fù)雜的ETL + 數(shù)據(jù)調(diào)度，轉(zhuǎn)換為無需擔(dān)心的數(shù)據(jù)一致性必然傳輸。

這樣的軟件有沒有，根本就沒有吧 NO NO NO

基于每個(gè)數(shù)據(jù)庫的底層原理，ORACLE REDO、ARCHIVE、SQL SERVER CDC、MYSQL BINLOG、 POSTGRESQL WAL、MONGODB 的OPLOG 將這些底層編碼破解的方法，就是獲得上述能力的先決條件。

避免有廣告的嫌疑，這里不提任何公司的名字，但在中國市場，已經(jīng)有這樣的高科技企業(yè)，實(shí)現(xiàn)了這樣的功能。每個(gè)高速發(fā)展的企業(yè)，也需要這樣的軟件，將死的數(shù)據(jù)，變化為數(shù)據(jù)流，讓每個(gè)數(shù)據(jù)的索取者，和數(shù)據(jù)提供者，皆大歡喜，一身輕松。

來源：AustinDatabases

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。