本文由DataPipelineCEO陳誠撰寫并投遞參與“數(shù)據(jù)猿年度金猿策劃活動(dòng)——2023大數(shù)據(jù)產(chǎn)業(yè)年度趨勢(shì)人物榜單及獎(jiǎng)項(xiàng)”評(píng)選。

我們處在一個(gè)“見證奇跡”的時(shí)代。在過去的20年間，我們見證了大數(shù)據(jù)技術(shù)快速發(fā)展所帶來的巨大改變。如今我們看到，以大數(shù)據(jù)為基礎(chǔ)的智能時(shí)代已然來臨，這將為全球信息技術(shù)帶來前所未有的機(jī)遇和挑戰(zhàn)，促成未來生產(chǎn)力的爆發(fā)。但從行業(yè)實(shí)際應(yīng)用的角度出發(fā)，如何釋放企業(yè)積累和持續(xù)產(chǎn)生的大量數(shù)據(jù)價(jià)值，使其成為撬動(dòng)未來生產(chǎn)力的支點(diǎn)，實(shí)現(xiàn)業(yè)務(wù)和效率的雙重提升，是邁向新征程的重中之重。

實(shí)時(shí)數(shù)據(jù)+AIGC有望開辟新的維度

隨著AI時(shí)代的到來，數(shù)據(jù)的增長(zhǎng)呈現(xiàn)上升趨勢(shì)，包括直接獲得的數(shù)據(jù)、通過業(yè)務(wù)系統(tǒng)或機(jī)器數(shù)據(jù)捕獲的數(shù)據(jù)以及由AI模型生成的數(shù)據(jù)。這些數(shù)據(jù)對(duì)于企業(yè)感知用戶需求、優(yōu)化體驗(yàn)和決策至關(guān)重要。盡管AIGC技術(shù)的創(chuàng)新或許能為突破傳統(tǒng)瓶頸問題帶來全新的解決方案，但作為新興技術(shù)，AIGC如何清晰的實(shí)現(xiàn)業(yè)務(wù)價(jià)值，還需要依賴可靠性和可信度極高的數(shù)據(jù)。在這個(gè)過程中，作為下一代數(shù)據(jù)基礎(chǔ)設(shè)施提供商，DataPipeline將發(fā)揮重要的作用。

圖源來自Gartner

數(shù)據(jù)領(lǐng)域在過去幾十年得到迅速發(fā)展，現(xiàn)在每個(gè)企業(yè)都成為了“數(shù)據(jù)公司”。隨著AIGC技術(shù)的發(fā)展，企業(yè)可以通過它來分析和處理內(nèi)部所產(chǎn)生的大量獨(dú)有數(shù)據(jù)資產(chǎn)，這種方式可以在市場(chǎng)分析、客戶洞察、產(chǎn)品開發(fā)等多個(gè)方面發(fā)揮巨大作用，并且實(shí)現(xiàn)業(yè)務(wù)的持續(xù)創(chuàng)新和增長(zhǎng)。因此，建立一個(gè)能夠處理實(shí)時(shí)數(shù)據(jù)的基礎(chǔ)設(shè)施變得至關(guān)重要，它能確保AIGC應(yīng)用獲取及時(shí)、可靠、精準(zhǔn)的數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)分析和高效洞察，從而幫助企業(yè)充分釋放數(shù)據(jù)價(jià)值。

從DataPipeline的產(chǎn)品結(jié)構(gòu)上看，我們致力于將企業(yè)的數(shù)據(jù)這一核心生產(chǎn)要素和企業(yè)的價(jià)值通過基于DataOps的數(shù)據(jù)管理手段進(jìn)行鏈接，并沉淀成必要的數(shù)字化底層能力。隨著國家科技實(shí)力的不斷提升和AIGC技術(shù)的嶄露頭角，數(shù)據(jù)流動(dòng)所帶來的價(jià)值也越發(fā)重要。不難預(yù)見，DataPipeline所提供的實(shí)時(shí)數(shù)據(jù)處理能力，將成為企業(yè)實(shí)現(xiàn)AIGC技術(shù)有效應(yīng)用的關(guān)鍵。

DataPipeline產(chǎn)品架構(gòu)圖

影響數(shù)據(jù)生產(chǎn)力的兩大關(guān)鍵因素

一項(xiàng)技術(shù)從萌芽之初發(fā)展到穩(wěn)定成熟的過程中，不可避免的會(huì)經(jīng)歷多個(gè)階段。2000年，大數(shù)據(jù)概念的首次出現(xiàn)，便引起了數(shù)據(jù)處理領(lǐng)域的高度關(guān)注。到了2014年，當(dāng)大數(shù)據(jù)最后一次被Gartner收錄至Emerging Technologies Hype Cycle中，意味著大數(shù)據(jù)已步入穩(wěn)定的成熟期。十年后的今天，大數(shù)據(jù)已成為企業(yè)戰(zhàn)略的重要核心，數(shù)據(jù)在各行各業(yè)的發(fā)展運(yùn)營(yíng)、業(yè)務(wù)開拓、市場(chǎng)洞察和管理決策等方面中的重要性不言而喻。

“數(shù)據(jù)是新時(shí)代的石油。”這句話雖然有些老生常談，但它卻揭示了一個(gè)事實(shí)：在當(dāng)今世界，數(shù)據(jù)已成為企業(yè)最重要的資產(chǎn)之一。在這個(gè)共識(shí)之下，企業(yè)以數(shù)據(jù)驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型，實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)力的充分釋放。但是，數(shù)據(jù)技術(shù)的更新迭代和市場(chǎng)需求的快速升級(jí)，使數(shù)據(jù)管理在內(nèi)外部作用下面臨著新的挑戰(zhàn)。如何推動(dòng)數(shù)據(jù)與業(yè)務(wù)深度融合，讓數(shù)據(jù)在業(yè)務(wù)中發(fā)揮實(shí)際作用并為企業(yè)創(chuàng)造價(jià)值，成為了每個(gè)企業(yè)不容忽視的重要課題。

隨著新的業(yè)務(wù)形態(tài)不斷出現(xiàn)，各行業(yè)的客戶行為也發(fā)生著日新月異的變化，例如服務(wù)場(chǎng)景的社交化、營(yíng)銷渠道的線上線下一體化等，這對(duì)傳統(tǒng)的經(jīng)營(yíng)模式帶來了巨大挑戰(zhàn)。企業(yè)在釋放數(shù)據(jù)生產(chǎn)力的過程中，有著兩個(gè)關(guān)鍵的影響因素。

一是數(shù)據(jù)應(yīng)用場(chǎng)景不斷豐富。隨著數(shù)據(jù)技術(shù)的更新迭代和市場(chǎng)需求的快速升級(jí)，在業(yè)務(wù)側(cè)，數(shù)據(jù)驅(qū)動(dòng)了各種各樣的應(yīng)用場(chǎng)景，如風(fēng)控、營(yíng)銷、客戶體驗(yàn)、內(nèi)部管理等多種用數(shù)場(chǎng)景推動(dòng)了數(shù)據(jù)管理理念與實(shí)踐的變革。在技術(shù)側(cè)，數(shù)據(jù)源的架構(gòu)變得繁多和復(fù)雜，數(shù)據(jù)應(yīng)用也逐漸變得更加垂直和場(chǎng)景化，這倒逼了現(xiàn)代數(shù)據(jù)架構(gòu)飛速發(fā)展。

二是數(shù)據(jù)供給速度持續(xù)提高。業(yè)務(wù)部門想要快速抓住商機(jī)、及時(shí)構(gòu)建應(yīng)用并留存客戶進(jìn)行營(yíng)銷，不僅需要用數(shù)據(jù)快速測(cè)算市場(chǎng)規(guī)模，更需要在時(shí)間窗口打開的時(shí)機(jī)內(nèi)提供相應(yīng)的產(chǎn)品和服務(wù)從而占領(lǐng)市場(chǎng)，這導(dǎo)致業(yè)務(wù)部門對(duì)數(shù)據(jù)處理的時(shí)效性要求變得越來越高。

在應(yīng)對(duì)不斷豐富的場(chǎng)景和數(shù)據(jù)處理速度的變化時(shí)，企業(yè)面臨的核心問題是如何獲得時(shí)效性更強(qiáng)、可靠性更高和可觀測(cè)性更強(qiáng)的數(shù)據(jù)基礎(chǔ)設(shè)施，以提高企業(yè)的運(yùn)營(yíng)效率和幫助企業(yè)發(fā)現(xiàn)新的業(yè)務(wù)增長(zhǎng)點(diǎn)。

基礎(chǔ)設(shè)施可靠性和業(yè)務(wù)需求間的平衡

構(gòu)建實(shí)時(shí)數(shù)據(jù)管理體系是一個(gè)逐步演進(jìn)的過程，這也反映了企業(yè)對(duì)數(shù)據(jù)時(shí)效性需求的巨大變化。我們發(fā)現(xiàn)，隨著業(yè)務(wù)應(yīng)用需要最新的數(shù)據(jù)以做出有效的決策，數(shù)據(jù)處理的時(shí)效性要求已從按季、月計(jì)算轉(zhuǎn)變?yōu)橐苑昼姟⒚霝閱挝?。這一過程的關(guān)鍵在于增強(qiáng)多方角色協(xié)同與敏捷開發(fā)程度，確保數(shù)據(jù)從生產(chǎn)到消費(fèi)的各個(gè)環(huán)節(jié)都緊密相連，從而形成一個(gè)有機(jī)的整體。當(dāng)前趨勢(shì)表明，基于大數(shù)據(jù)平臺(tái)、流式計(jì)算引擎的數(shù)據(jù)處理模式相對(duì)數(shù)倉的數(shù)據(jù)處理模式而言，并不是替代和顛覆的關(guān)系，而是會(huì)共同且長(zhǎng)期的存在于企業(yè)的數(shù)據(jù)架構(gòu)當(dāng)中，并不斷引入和集成，更新、更加場(chǎng)景化的處理模式，從而應(yīng)對(duì)快速變化的業(yè)務(wù)需求和市場(chǎng)需求。

DataPipeline作為安全可靠的數(shù)字基礎(chǔ)設(shè)施，一方面，我們能夠高效地將數(shù)據(jù)從異構(gòu)的數(shù)據(jù)源集成到業(yè)務(wù)系統(tǒng)，優(yōu)化數(shù)據(jù)流程和提升數(shù)據(jù)處理的時(shí)效性，幫助企業(yè)迅速響應(yīng)市場(chǎng)變化。另一方面，我們通過對(duì)業(yè)務(wù)需求進(jìn)行精確判斷和篩選，確保理解客戶業(yè)務(wù)需求和最終目標(biāo)，避免資源浪費(fèi)?；谶@種方法，我們既能清晰地規(guī)劃產(chǎn)品發(fā)展路線，又能高效配置資源，從而實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)力的最大化。

技術(shù)投入和成本效益的平衡

目前，我們可以大約接觸到1400多種大數(shù)據(jù)技術(shù)。盡管技術(shù)的多樣性為創(chuàng)新提供了廣闊空間，但也帶來了技術(shù)投入和成本效益之間的考量。自2010年開始，伴隨互聯(lián)網(wǎng)行業(yè)的崛起，數(shù)據(jù)量級(jí)呈現(xiàn)爆炸式增長(zhǎng)，出現(xiàn)了更加復(fù)雜和多樣的數(shù)據(jù)源，數(shù)據(jù)的流轉(zhuǎn)、存儲(chǔ)以及管理等問題變得更加復(fù)雜。到今天，多重系統(tǒng)和并行邏輯的使用仍會(huì)導(dǎo)致數(shù)據(jù)架構(gòu)變得復(fù)雜，而AIGC等新技術(shù)的引入，會(huì)進(jìn)一步增加數(shù)據(jù)架構(gòu)的復(fù)雜性，這嚴(yán)重降低和阻礙了數(shù)據(jù)價(jià)值的釋放與效率。因此，對(duì)于企業(yè)而言，建立統(tǒng)一的數(shù)據(jù)架構(gòu)和管理機(jī)制至關(guān)重要，它不僅簡(jiǎn)化了管理流程，而且確保了技術(shù)投入和成本效益之間的平衡。

我們致力于讓數(shù)據(jù)回歸業(yè)務(wù)，讓客戶關(guān)心業(yè)務(wù)本身。DataPipeline提供統(tǒng)一的實(shí)時(shí)數(shù)據(jù)管理平臺(tái)，通過對(duì)數(shù)據(jù)鏈路持續(xù)構(gòu)建，像交付應(yīng)用一樣快速、靈活地交付數(shù)據(jù)，并在過程中管理好數(shù)據(jù)鏈路的可觀測(cè)性，讓數(shù)據(jù)業(yè)務(wù)人員更容易地發(fā)現(xiàn)數(shù)據(jù)、安全地使用數(shù)據(jù)，最終達(dá)到降低TCO，提高ROI，幫助各行各業(yè)的企業(yè)實(shí)現(xiàn)數(shù)字化和智能化轉(zhuǎn)型的長(zhǎng)期戰(zhàn)略目標(biāo)。

發(fā)揮未來生產(chǎn)力

目前，以人工智能、云計(jì)算、大數(shù)據(jù)及互聯(lián)網(wǎng)技術(shù)為代表的技術(shù)正對(duì)各行各業(yè)的業(yè)務(wù)模式和競(jìng)爭(zhēng)形態(tài)進(jìn)行重塑。在新的發(fā)展格局之下，技術(shù)場(chǎng)景的快速分化產(chǎn)生大量不同特性的存儲(chǔ)與計(jì)算引擎、信創(chuàng)大勢(shì)下優(yōu)秀國產(chǎn)基礎(chǔ)軟件涌現(xiàn)、業(yè)務(wù)導(dǎo)向下數(shù)據(jù)結(jié)構(gòu)的快速迭代、網(wǎng)絡(luò)技術(shù)革新帶來的豐富數(shù)據(jù)源，繁榮的技術(shù)生態(tài)正在呼喚更創(chuàng)新的數(shù)據(jù)管理方式。

同時(shí)，業(yè)務(wù)全場(chǎng)景創(chuàng)新、數(shù)據(jù)量爆炸式增長(zhǎng)且滲透度高、數(shù)據(jù)時(shí)效性需求增加、數(shù)據(jù)采集/獲取/應(yīng)用的復(fù)雜度提升、異構(gòu)數(shù)據(jù)技術(shù)引擎的涌現(xiàn)與驅(qū)動(dòng)，這幾個(gè)因素的加權(quán)將帶來必然的數(shù)據(jù)管理理念與實(shí)踐的變革。

自DataPipeline創(chuàng)立之初，我們便秉承著“連接一切數(shù)據(jù)、應(yīng)用和設(shè)備”的使命，將業(yè)務(wù)聚焦于組織的數(shù)據(jù)管理全景，始終致力于釋放數(shù)據(jù)生產(chǎn)力。在多年的發(fā)展中，DataPipeline深耕對(duì)數(shù)據(jù)安全性、可靠性及運(yùn)行性能有著最高行業(yè)標(biāo)準(zhǔn)的金融業(yè)，旨在打造具有高標(biāo)準(zhǔn)的行業(yè)級(jí)標(biāo)桿案例，再逐步覆蓋能源、運(yùn)營(yíng)商、政企等行業(yè)，目前已服務(wù)了中國銀行、中國民生銀行、中國石油、中國電信等世界五百強(qiáng)企業(yè)在內(nèi)的數(shù)百家客戶。實(shí)踐證明，DataPipeline通過打造實(shí)時(shí)數(shù)據(jù)管理基礎(chǔ)，有效滿足了眾多客戶根據(jù)自身特點(diǎn)和業(yè)務(wù)場(chǎng)景的需求。這不僅讓客戶能夠充分地挖掘數(shù)據(jù)潛力，也使他們能夠敏捷應(yīng)對(duì)業(yè)務(wù)變化。通過這種方式，DataPipeline成功地支持了各行各業(yè)的數(shù)字化和智能化轉(zhuǎn)型進(jìn)程。

DataPipeline獲得重點(diǎn)領(lǐng)域信息化領(lǐng)先客戶的深入認(rèn)同

同時(shí)，我們深知新技術(shù)的應(yīng)用需要全產(chǎn)業(yè)鏈的共同探索。為此，DataPipeline不斷加強(qiáng)生態(tài)系統(tǒng)的建設(shè)，積極投入產(chǎn)業(yè)適配。目前，DataPipeline已與多家生態(tài)伙伴開展生態(tài)建設(shè)，共同構(gòu)建自主安全的上下游業(yè)務(wù)生態(tài)，旨在向下深度整合各類數(shù)據(jù)管理技術(shù)，向上支撐各行業(yè)的數(shù)字化和智能化應(yīng)用，確保它們的成功落地和穩(wěn)定運(yùn)行。

DataPipeline生態(tài)圖譜

我們相信，在不遠(yuǎn)的未來，數(shù)據(jù)生產(chǎn)力必將得到更進(jìn)一步的釋放！

·關(guān)于陳誠：

陳誠，DataPipeline創(chuàng)始人&CEO，本科就讀于上海交通大學(xué)，留學(xué)于美國密歇根大學(xué)并獲榮譽(yù)畢業(yè)，曾就職于美國 Google、Yelp 等國際知名公司；專注于大數(shù)據(jù)、計(jì)算機(jī)算法、軟件工程、互聯(lián)網(wǎng)產(chǎn)品等領(lǐng)域的研究，曾參與大數(shù)據(jù)團(tuán)隊(duì)構(gòu)建實(shí)時(shí)可擴(kuò)展大數(shù)據(jù)平臺(tái)每年給 Yelp 節(jié)省上千萬美元。

來源：數(shù)據(jù)猿