【金猿產(chǎn)品展】DataPipeline——為客戶連接一切數(shù)據(jù)、應(yīng)用和設(shè)備

金猿產(chǎn)品展 DataPipeline 數(shù)據(jù)融合

原創(chuàng) DataPipeline | 2021-01-07 21:53

【數(shù)據(jù)猿導(dǎo)讀】本產(chǎn)品由DataPipeline投遞并參與“數(shù)據(jù)猿年度金猿策劃活動(dòng)——2020大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新服務(wù)產(chǎn)品榜單及獎(jiǎng)項(xiàng)”評(píng)選。

【金猿產(chǎn)品展】DataPipeline——為客戶連接一切數(shù)據(jù)、應(yīng)用和設(shè)備

DataPipeline 實(shí)時(shí)數(shù)據(jù)融合產(chǎn)品通過多種實(shí)時(shí)數(shù)據(jù)技術(shù)，支持廣泛的數(shù)據(jù)節(jié)點(diǎn)類型，協(xié)助企業(yè)構(gòu)建以業(yè)務(wù)目標(biāo)為導(dǎo)向的數(shù)據(jù)鏈路，按需快速定制、部署、執(zhí)行數(shù)據(jù)任務(wù)，以支持從傳統(tǒng)數(shù)據(jù)處理到實(shí)時(shí)數(shù)據(jù)應(yīng)用的各類場(chǎng)景。

應(yīng)用場(chǎng)景/人群

某股份制商業(yè)銀行實(shí)時(shí)數(shù)據(jù)管道項(xiàng)目

金猿產(chǎn)品展_DataPipeline_數(shù)據(jù)融合-1

主要應(yīng)用場(chǎng)景：

●客戶行為等實(shí)時(shí)數(shù)據(jù)的標(biāo)準(zhǔn)化補(bǔ)全并分發(fā)到各個(gè)應(yīng)用系統(tǒng)；
●業(yè)務(wù)系統(tǒng)的實(shí)時(shí)賬戶變動(dòng)與指標(biāo)變化傳輸?shù)紾aussDB作為實(shí)時(shí)分析依據(jù)；
●實(shí)時(shí)數(shù)據(jù)加載到Redis作為業(yè)務(wù)實(shí)時(shí)查詢使用；
●主數(shù)據(jù)系統(tǒng)數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)加載到SequoiaDB作為歷史數(shù)據(jù)查詢使用。

某持牌金融科技服務(wù)公司數(shù)據(jù)庫(kù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)采集項(xiàng)目

金猿產(chǎn)品展_DataPipeline_數(shù)據(jù)融合-2

主要應(yīng)用場(chǎng)景：

●多源異構(gòu)：DB2，Oracle，MySQL等多種數(shù)據(jù)庫(kù)進(jìn)行近實(shí)時(shí)的數(shù)據(jù)采集功能，并對(duì)數(shù)據(jù)源建立高效的管理功能，實(shí)現(xiàn)對(duì)數(shù)據(jù)源、目的地的數(shù)據(jù)連接統(tǒng)一管理管理，通過界面進(jìn)行數(shù)據(jù)源與目的地注冊(cè)，刪除數(shù)據(jù)源，同時(shí)根據(jù)需求不斷迭代支持新的數(shù)據(jù)庫(kù)；

●實(shí)時(shí)采集：利用解析數(shù)據(jù)庫(kù)歸檔日志的方式，實(shí)現(xiàn)秒級(jí)的數(shù)據(jù)變更捕獲，將解析的變更記錄傳送到數(shù)據(jù)目的地中，包括日志中提取數(shù)據(jù)變更的增、刪、改等DML操作記錄，以及新增表、刪除表、添加字段、刪除字段等自動(dòng)同步到目的地中；

●標(biāo)準(zhǔn)管理：統(tǒng)一的可視化管理頁(yè)面，提供平臺(tái)級(jí)別的數(shù)據(jù)管理功能，包括產(chǎn)品權(quán)限、數(shù)據(jù)時(shí)效管理和安全管控等方面功能，為數(shù)據(jù)工程師、運(yùn)維人員提供直觀的數(shù)據(jù)任務(wù)地圖，隨時(shí)可以洞悉數(shù)據(jù)的最新動(dòng)態(tài)，極大提升運(yùn)維工作效率和效益。

產(chǎn)品功能

基于日志的實(shí)時(shí)增量數(shù)據(jù)獲取技術(shù)保證實(shí)時(shí)數(shù)據(jù)全面、準(zhǔn)確。DataPipeline 實(shí)時(shí)數(shù)據(jù)融合產(chǎn)品支持?jǐn)?shù)十種主流數(shù)據(jù)庫(kù)作為數(shù)據(jù)節(jié)點(diǎn)，打破企業(yè)域內(nèi)各類異構(gòu)數(shù)據(jù)技術(shù)構(gòu)成的樊籬，讓存儲(chǔ)在不同類型數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)隨需可得；采用基于日志的增量數(shù)據(jù)獲取技術(shù)(Log-based change data capture)，為主數(shù)據(jù)管理、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)提供實(shí)時(shí)、準(zhǔn)確的數(shù)據(jù)變化，從而使得客戶可以根據(jù)最新數(shù)據(jù)進(jìn)行運(yùn)營(yíng)管理與決策制定；支持一對(duì)多數(shù)據(jù)分發(fā)，針對(duì)數(shù)據(jù)分發(fā)、外部數(shù)據(jù)管理等場(chǎng)景，確保整個(gè)企業(yè)使用的數(shù)據(jù)準(zhǔn)確、可靠、一致。

使用分層管理按需服務(wù)的配置型平臺(tái)來(lái)提升 IT 敏捷開發(fā)效率。一方面保證數(shù)據(jù)節(jié)點(diǎn)的安全性、穩(wěn)定性、業(yè)務(wù)連續(xù)性，一方面為數(shù)據(jù)應(yīng)用提供更多的自主性，使客戶可以將數(shù)據(jù)獲取的范圍、數(shù)據(jù)任務(wù)的生命周期、系統(tǒng)資源投入的多寡等權(quán)限更多的交給實(shí)際使用數(shù)據(jù)的業(yè)務(wù)部門及應(yīng)用開發(fā)人員。提升敏捷開發(fā)效率，實(shí)現(xiàn)多速 IT，從而在業(yè)務(wù)需求變化時(shí)從容應(yīng)對(duì)，達(dá)成數(shù)字化轉(zhuǎn)型目標(biāo)。

通過高容錯(cuò)的分布式系統(tǒng)和卓越的性能來(lái)降低風(fēng)險(xiǎn)。DataPipeline實(shí)時(shí)數(shù)據(jù)融合所有組件均支持高可用，融合引擎基于容器化分布式集群部署，支持動(dòng)態(tài)擴(kuò)縮容；在節(jié)點(diǎn)管理、鏈路管理、任務(wù)管理中均有各個(gè)層次穩(wěn)定性相關(guān)策略配置。針對(duì)數(shù)據(jù)采集、消息隊(duì)列及數(shù)據(jù)加載的各個(gè)組件都進(jìn)行了一系列專門的性能優(yōu)化，完全滿足客戶從數(shù)據(jù)遷移、數(shù)據(jù)交換到實(shí)時(shí)數(shù)據(jù)服務(wù)、實(shí)時(shí)數(shù)據(jù)分析的各類時(shí)間窗口要求和時(shí)效性要求。

產(chǎn)品優(yōu)勢(shì)

DataPipeline實(shí)時(shí)數(shù)據(jù)融合以專業(yè)化產(chǎn)品的方式提供給用戶進(jìn)行配置式構(gòu)建，大大降低了企業(yè)搭建基礎(chǔ)平臺(tái)的研發(fā)成本與運(yùn)維成本，讓客戶能夠?qū)r(shí)間精力與優(yōu)質(zhì)資源投入到數(shù)據(jù)價(jià)值釋放與商業(yè)價(jià)值實(shí)現(xiàn)上去。

企業(yè)級(jí)平臺(tái)的建設(shè)周期從三到六個(gè)月減少為一周以內(nèi)，財(cái)務(wù)成本由300萬(wàn)+減少到50萬(wàn)以內(nèi)，數(shù)據(jù)融合任務(wù)的研發(fā)交付時(shí)間從2周減少為5分鐘；

通過多種實(shí)時(shí)數(shù)據(jù)技術(shù)，支持廣泛的數(shù)據(jù)節(jié)點(diǎn)類型，協(xié)助客戶構(gòu)建以業(yè)務(wù)目標(biāo)為導(dǎo)向的數(shù)據(jù)鏈路，支持從傳統(tǒng)數(shù)據(jù)處理到實(shí)時(shí)數(shù)據(jù)應(yīng)用的各類場(chǎng)景；

使用分層管理按需服務(wù)的配置型平臺(tái)來(lái)提升敏捷開發(fā)效率，實(shí)現(xiàn)多速 IT，從容應(yīng)對(duì)業(yè)務(wù)變化，達(dá)成數(shù)字化轉(zhuǎn)型目標(biāo)。

使用客戶/人群

DataPipeline服務(wù)了百余家客戶。在銀行、保險(xiǎn)、證券、資管、零售、能源、制造業(yè)、汽車、商業(yè)地產(chǎn)、醫(yī)療、互聯(lián)網(wǎng)科技等重點(diǎn)領(lǐng)域被廣泛使用，服務(wù)了中國(guó)人壽、民生銀行、山東城商行聯(lián)盟、財(cái)通證券、中國(guó)石油、金風(fēng)科技、法國(guó)威立雅集團(tuán)、吉利汽車集團(tuán)、星巴克、百勝中國(guó)、玫琳凱、太平鳥、龍湖地產(chǎn)、陽(yáng)光城集團(tuán)、邵逸夫醫(yī)院、叮當(dāng)快藥、正保遠(yuǎn)程教育集團(tuán)等在各自行業(yè)信息化水平領(lǐng)先的客戶。

市場(chǎng)價(jià)值

DataPipeline實(shí)時(shí)數(shù)據(jù)融合平臺(tái)滿足了行業(yè)領(lǐng)先客戶對(duì)數(shù)據(jù)處理與分析的更高要求，幫助客戶通過更加專業(yè)全面、更加靈活穩(wěn)定、更加敏捷高效的方式處理異構(gòu)數(shù)據(jù)融合中紛繁復(fù)雜的各種問題，解除傳統(tǒng)數(shù)據(jù)集成工具的時(shí)效性束縛，打破多種異構(gòu)數(shù)據(jù)管理工具的技術(shù)壁壘，是先進(jìn)企業(yè)釋放實(shí)時(shí)數(shù)據(jù)價(jià)值最好的選擇。

產(chǎn)品所屬企業(yè)·DataPipeline：

DataPipeline致力于成為中國(guó)的世界級(jí)數(shù)據(jù)中間件廠商。堅(jiān)持技術(shù)驅(qū)動(dòng)，深耕企業(yè)服務(wù)，不斷創(chuàng)新產(chǎn)品與服務(wù)，利用實(shí)時(shí)數(shù)據(jù)融合產(chǎn)品打破技術(shù)壁壘，讓客戶專注數(shù)據(jù)價(jià)值釋放。DataPipeline 核心團(tuán)隊(duì)分別來(lái)自谷歌、Yelp、亞馬遜、IBM、甲骨文、中科院等國(guó)內(nèi)外知名企業(yè)，皆擁有數(shù)十年大數(shù)據(jù)開發(fā)和項(xiàng)目經(jīng)驗(yàn)。目前已經(jīng)成功服務(wù)了星巴克、金風(fēng)科技、財(cái)通證券、龍湖地產(chǎn)、喜茶、玫琳凱、叮當(dāng)快藥、智慧圖、銷售易等多家行業(yè)領(lǐng)先的企業(yè)客戶，行業(yè)覆蓋零售、制造、金融、醫(yī)療、能源、政府和互聯(lián)網(wǎng)等，在平臺(tái)功能和服務(wù)能力上均得到了國(guó)內(nèi)市場(chǎng)的普遍好評(píng)。

2019 年獲得百度風(fēng)投領(lǐng)投，經(jīng)緯中國(guó)、清流資本跟投的數(shù)千萬(wàn) A+ 輪融資，目前公司總部位于北京，并且在北京、南京分別設(shè)有研發(fā)和服務(wù)中心。未來(lái)，DataPipeline 將加速提升數(shù)據(jù)融合平臺(tái)的硬實(shí)力，持續(xù)優(yōu)化行業(yè)客戶服務(wù)的軟實(shí)力，全面提升公司的核心競(jìng)爭(zhēng)力。

來(lái)源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。