【金猿產(chǎn)品展】DataPipeline：批流一體數(shù)據(jù)融合平臺(tái)

金猿產(chǎn)品展 DataPipeline 數(shù)據(jù)融合數(shù)據(jù)猿

DataPipeline | 2019-12-22 17:37

【數(shù)據(jù)猿導(dǎo)讀】本產(chǎn)品由DataPipeline投遞數(shù)據(jù)猿參與評(píng)選

【金猿產(chǎn)品展】DataPipeline：批流一體數(shù)據(jù)融合平臺(tái)

本產(chǎn)品由DataPipeline投遞數(shù)據(jù)猿參與評(píng)選。

DataPipeline 是一款批流一體數(shù)據(jù)融合平臺(tái)，無需任何代碼，通過可視化圖形配置界面只需 5 分鐘即可自服務(wù)部署一條實(shí)時(shí)數(shù)據(jù)管道，并提供豐富的管理功能：數(shù)據(jù)的批流一體處理、API 數(shù)據(jù)接入、數(shù)據(jù)質(zhì)量管控、數(shù)據(jù)任務(wù)流管理，可視化運(yùn)維管理、錯(cuò)誤隊(duì)列管理、用戶管理、元數(shù)據(jù)管理等，幫助客戶實(shí)現(xiàn)高效地連接復(fù)雜的異構(gòu)數(shù)據(jù)源和目的地，大數(shù)據(jù)量高并發(fā)數(shù)據(jù)同步，可視化實(shí)時(shí)監(jiān)測(cè)保障數(shù)據(jù)質(zhì)量等價(jià)值，為客戶靈活的數(shù)據(jù)消費(fèi)需求提供強(qiáng)有力的技術(shù)驅(qū)動(dòng)。

金猿產(chǎn)品展_DataPipeline_數(shù)據(jù)融合_數(shù)據(jù)猿-1

應(yīng)用場(chǎng)景／人群

DataPipeline 的目標(biāo)人群集中于金融、零售、制造，地產(chǎn)、互聯(lián)網(wǎng)行業(yè)，主要具備以下特征：大中型企業(yè)，亟需打通內(nèi)外部系統(tǒng)，解決多源異構(gòu)數(shù)據(jù)傳輸問題；數(shù)據(jù)價(jià)值密度較高；重視數(shù)據(jù)的時(shí)效性。

產(chǎn)品功能

批流一體數(shù)據(jù)讀寫

進(jìn)行一到多的數(shù)據(jù)分發(fā)任務(wù)，支持批流一體數(shù)據(jù)同步，可批量選擇數(shù)據(jù)讀取對(duì)象，系統(tǒng)自動(dòng)匹配異構(gòu)數(shù)據(jù)源之間的表結(jié)構(gòu)，并支持可視化配置所有屬性。

核心功能：個(gè)性化任務(wù)設(shè)置，設(shè)置讀取條件，清洗腳本，自動(dòng)匹配映射關(guān)系。

數(shù)據(jù)清洗

通過數(shù)據(jù)清洗組件實(shí)現(xiàn)輕量化數(shù)據(jù)清洗，同時(shí)提供高級(jí)清洗組件，滿足大部分?jǐn)?shù)據(jù)處理需求。

核心功能：可視化清洗組件，高級(jí)清洗組件，表結(jié)構(gòu)修改工具。

任務(wù)流

可通過定時(shí)（或外部請(qǐng)求）實(shí)現(xiàn)數(shù)據(jù)同步任務(wù)、腳本任務(wù)之間設(shè)置上下游流向關(guān)系，形成有向無環(huán)圖（DAG）。

核心功能：任務(wù)調(diào)度，遠(yuǎn)程命令調(diào)度，任務(wù)調(diào)度監(jiān)控。

錯(cuò)誤隊(duì)列

實(shí)時(shí)收集如臟數(shù)據(jù)、寫入設(shè)置有誤等數(shù)據(jù)相關(guān)錯(cuò)誤，后置處理數(shù)據(jù)錯(cuò)誤，避免數(shù)據(jù)無法寫入目的地導(dǎo)致任務(wù)暫停的問題。支持個(gè)性化設(shè)置錯(cuò)誤隊(duì)列。

核心功能：錯(cuò)誤隊(duì)列設(shè)置，錯(cuò)誤隊(duì)列展示，篩選功能。

元數(shù)據(jù)管理

可查看或修改已連接 DataPipeline 的所有數(shù)據(jù)源的技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、樣例數(shù)據(jù)。

核心功能：技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、樣例數(shù)據(jù)、歷史表結(jié)構(gòu)變化。

運(yùn)維管理

通過可視化運(yùn)維看板，一站式綜合管控內(nèi)部所有數(shù)據(jù)的交換進(jìn)展，提供多樣化的圖表，直觀可視，打造數(shù)據(jù)交換的 “管理駕駛艙”。

核心功能：數(shù)據(jù)任務(wù)看板、速率進(jìn)度信息、報(bào)表統(tǒng)計(jì)、日志審計(jì)。

產(chǎn)品優(yōu)勢(shì)

在技術(shù)上，DataPipeline 聚焦流式數(shù)據(jù)處理、高性能同步，快速解決數(shù)據(jù)融合問題。

在實(shí)時(shí)性上

相較于傳統(tǒng)數(shù)據(jù)集成的批模式，DataPipeline模式最核心的區(qū)別是將批量變?yōu)閷?shí)時(shí)：輸入的數(shù)據(jù)不再是周期性地獲取，而是源源不斷的來自于數(shù)據(jù)庫(kù)的日志、消息隊(duì)列的消息。進(jìn)而通過一個(gè)實(shí)時(shí)計(jì)算引擎，進(jìn)行各種聚合運(yùn)算，產(chǎn)生輸出結(jié)果，并且寫入下游。

在解決多源異構(gòu)問題上

可以支持市場(chǎng)主流關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。同時(shí)還可以快速實(shí)現(xiàn)云上數(shù)據(jù)平臺(tái)的數(shù)據(jù)打通、支持各種大數(shù)據(jù)平臺(tái)、文件系統(tǒng)同步。

在易用性上

DataPipeline 能夠自適應(yīng)表結(jié)構(gòu)變化自動(dòng)同步，無需人工干預(yù)，降低了醫(yī)療行業(yè)應(yīng)用場(chǎng)景定制化的難度和Kafka技術(shù)的使用門檻，以較小的代價(jià)用新技術(shù)解決了傳統(tǒng)數(shù)據(jù)融合的難題。

在穩(wěn)定性上

DataPipeline繼承了開源的所有優(yōu)勢(shì)，產(chǎn)品靈活、自主可控、可擴(kuò)展，同時(shí)側(cè)重于豐富用戶所需的管理功能：數(shù)據(jù)管理，監(jiān)控，運(yùn)維，穩(wěn)定性，容錯(cuò)性，以及故障排查的能力。

在用戶體驗(yàn)上

更強(qiáng)調(diào)自動(dòng)化、智能化。打破了以往對(duì)于數(shù)據(jù)融合平臺(tái)看不見摸不著的傳統(tǒng)印象，采用可視化的數(shù)據(jù)融合管理界面。即便是無專業(yè)大數(shù)據(jù)技術(shù)背景的數(shù)據(jù)從業(yè)人員，也可在短時(shí)間內(nèi)自主配置一條數(shù)據(jù)管道。

具體表現(xiàn)在：通過可視化運(yùn)維看板（數(shù)據(jù)任務(wù)看板、速率進(jìn)度信息、報(bào)表統(tǒng)計(jì)、日志審計(jì)），可以看到數(shù)據(jù)同步的狀態(tài)、數(shù)據(jù)的來源與結(jié)構(gòu)，及時(shí)了解數(shù)據(jù)的接入、交換和數(shù)據(jù)流向。當(dāng)數(shù)據(jù)同步出現(xiàn)問題時(shí)，基于完善的糾錯(cuò)機(jī)制與系統(tǒng)狀態(tài)監(jiān)控，可第一時(shí)間找到數(shù)據(jù)源并進(jìn)行處理。

金猿產(chǎn)品展_DataPipeline_數(shù)據(jù)融合_數(shù)據(jù)猿-2

服務(wù)客戶／使用人數(shù)

DataPipeline已經(jīng)成功服務(wù)了星巴克、金風(fēng)科技、財(cái)通證券、龍湖地產(chǎn)、喜茶、陽(yáng)光城集團(tuán)、玫琳凱、叮當(dāng)快藥、智慧圖、正保遠(yuǎn)程教育、銷售易、貝發(fā)集團(tuán)、長(zhǎng)城汽車金融、邵逸夫醫(yī)院等多家行業(yè)領(lǐng)先的企業(yè)客戶，同時(shí)已與數(shù)十家產(chǎn)業(yè)上下游合作伙伴建立了戰(zhàn)略合作關(guān)系。

市場(chǎng)價(jià)值

目前，中國(guó)企業(yè)在大數(shù)據(jù)流通、交換、利用方面大部分還處于起步階段，關(guān)鍵原因是沒有做好數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)同步等基礎(chǔ)工作。

接下來數(shù)據(jù)應(yīng)用集成未來會(huì)產(chǎn)生 3 個(gè)變化：

第一，相較過去變得更加復(fù)雜。原來可能只有一些數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)，但是現(xiàn)在有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)等。

第二，時(shí)效性更強(qiáng)。隨著企業(yè)實(shí)時(shí)決策要求的提高，需要根據(jù)數(shù)據(jù)做到及時(shí)分析。

第三，高擴(kuò)展性、靈活變化。隨著社會(huì)的快速發(fā)展，業(yè)務(wù)部門對(duì)數(shù)據(jù)的需求也在時(shí)刻變化。意味著用戶的 IT 架構(gòu)、軟件和整體發(fā)展戰(zhàn)略都需要適應(yīng)這種變化。

以上是數(shù)據(jù)使用面臨的三大挑戰(zhàn)，但相應(yīng)地也會(huì)產(chǎn)生一些新的機(jī)會(huì)。目前市場(chǎng)上也有一些應(yīng)用長(zhǎng)達(dá) 10 年的工具，它們都是基于傳統(tǒng)的軟件架構(gòu)；而新出現(xiàn)的工具則偏云化，主要部署在云上，以分布式架構(gòu)支持大量數(shù)據(jù)和實(shí)時(shí)應(yīng)用的工具還比較少。

基于以上背景，目前DataPipeline差異化戰(zhàn)略：

（1）應(yīng)用可以部署在云上；

（2）實(shí)時(shí)同步數(shù)據(jù)，滿足企業(yè)實(shí)時(shí)性要求；

（3）采用分布式架構(gòu)，能夠支撐業(yè)務(wù)、數(shù)據(jù)、架構(gòu)的變化；

（4）用戶體驗(yàn)方面，更強(qiáng)調(diào)自動(dòng)化、智能化。用戶基于可視化界面監(jiān)控全部數(shù)據(jù)任務(wù)，降低處理數(shù)據(jù)問題的成本。

產(chǎn)品所屬企業(yè)·DataPipeline：

DataPipeline 是一家企業(yè)級(jí)批流一體數(shù)據(jù)融合服務(wù)商和解決方案提供商，國(guó)內(nèi)實(shí)時(shí)數(shù)據(jù)管道技術(shù)的倡導(dǎo)者。通過平臺(tái)和技術(shù)為企業(yè)客戶解決數(shù)據(jù)準(zhǔn)備過程中的各種痛點(diǎn)，幫助客戶更敏捷、更高效、更簡(jiǎn)單地實(shí)現(xiàn)復(fù)雜異構(gòu)數(shù)據(jù)源到目的地的實(shí)時(shí)數(shù)據(jù)融合和數(shù)據(jù)管理等綜合服務(wù)。從而打破傳統(tǒng) ETL 給客戶靈活數(shù)據(jù)應(yīng)用帶來的束縛，讓數(shù)據(jù)準(zhǔn)備過程不再成為數(shù)據(jù)消費(fèi)的瓶頸。

DataPipeline 核心團(tuán)隊(duì)分別來自谷歌、Yelp、亞馬遜、IBM、甲骨文、中科院等國(guó)內(nèi)外知名企業(yè)，皆擁有數(shù)十年大數(shù)據(jù)開發(fā)和項(xiàng)目經(jīng)驗(yàn)。目前已經(jīng)成功服務(wù)了星巴克、金風(fēng)科技、財(cái)通證券、龍湖地產(chǎn)、喜茶、玫琳凱、叮當(dāng)快藥、智慧圖、銷售易、貝發(fā)集團(tuán)、長(zhǎng)城汽車金融、邵逸夫醫(yī)院等多家行業(yè)領(lǐng)先的企業(yè)客戶，行業(yè)覆蓋零售、制造、金融、醫(yī)療、能源、政府和互聯(lián)網(wǎng)等，在平臺(tái)功能和服務(wù)能力上均得到了國(guó)內(nèi)市場(chǎng)的普遍好評(píng)。

2019 年獲得百度風(fēng)投領(lǐng)投，經(jīng)緯中國(guó)、清流資本跟投的數(shù)千萬(wàn) A+ 輪融資，目前公司總部位于北京，并且在北京、南京分別設(shè)有研發(fā)和服務(wù)中心。未來，DataPipeline 將加速提升數(shù)據(jù)融合平臺(tái)的硬實(shí)力，持續(xù)優(yōu)化行業(yè)客戶服務(wù)的軟實(shí)力，全面提升公司的核心競(jìng)爭(zhēng)力。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。