科技飛速發(fā)展，大數(shù)據(jù)浪潮席卷全球，數(shù)字化腳步日趨加快，然而數(shù)據(jù)集成在大眾的認(rèn)知中卻似乎沒(méi)有很大的變化。那么事實(shí)果真如此嗎？答案是否定的。即使在AI功能日趨完善的當(dāng)下，數(shù)據(jù)集成對(duì)于眾多企業(yè)來(lái)說(shuō)，依然必不可少。

近日，在數(shù)據(jù)猿舉辦的“2024第七屆金猿&魔方論壇”中，谷云科技聯(lián)合創(chuàng)始人兼CTO陸才慧作為數(shù)據(jù)集成行業(yè)的領(lǐng)軍人物發(fā)表了關(guān)于《AI趨勢(shì)下國(guó)產(chǎn)化數(shù)據(jù)集成技術(shù)的發(fā)展新范式》的主題演講，深入探討了數(shù)據(jù)集成行業(yè)的過(guò)去、現(xiàn)在與未來(lái)，以及谷云科技多年來(lái)深耕數(shù)據(jù)集成行業(yè)的心路歷程與實(shí)踐成果。

AI大勢(shì)來(lái)襲，ETL再成焦點(diǎn)

近期，國(guó)家發(fā)展改革委、國(guó)家數(shù)據(jù)局、工業(yè)和信息化部印發(fā)《國(guó)家數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)指引》。其中明確指出，要構(gòu)建集成數(shù)據(jù)采集、存儲(chǔ)、清洗、標(biāo)注、管理、應(yīng)用等功能的一體化數(shù)據(jù)基礎(chǔ)通用工具平臺(tái)，提升數(shù)據(jù)加工效率，保證數(shù)據(jù)質(zhì)量。曾經(jīng)不太受關(guān)注的的數(shù)據(jù)集成行業(yè)，再次以高關(guān)注度闖入大眾視野。

據(jù)IDC的報(bào)告顯示，全球數(shù)據(jù)集成軟件市場(chǎng)規(guī)模在2023年達(dá)到了近200億美元，預(yù)計(jì)到2026年將超過(guò)300億美元。數(shù)據(jù)集成的市場(chǎng)規(guī)模空前巨大。另?yè)?jù)Gartner預(yù)測(cè)2023年超過(guò)50%的大型企業(yè)將采用數(shù)據(jù)集成工具來(lái)支持其數(shù)據(jù)管理策略。這一趨勢(shì)表明，數(shù)據(jù)集成技術(shù)正成為企業(yè)數(shù)字化轉(zhuǎn)型的剛需。

陸才慧在演講中針對(duì)當(dāng)今數(shù)據(jù)集成行業(yè)發(fā)展的幾點(diǎn)難題，提出了自己的看法。

第一，開(kāi)發(fā)效率低下。想要隨心所欲地采集數(shù)據(jù)，依然是一個(gè)龐大且復(fù)雜的工程，需要專業(yè)的第三方或者大數(shù)據(jù)專業(yè)從業(yè)者才能完成。第二，隨著數(shù)據(jù)量級(jí)的不斷擴(kuò)大，數(shù)據(jù)集成平臺(tái)的穩(wěn)定性也存在較大隱患。第三，數(shù)據(jù)的實(shí)時(shí)性嚴(yán)重不足。尤其是AI的加入，給數(shù)據(jù)的實(shí)時(shí)性帶來(lái)了更高的要求。最后，隨著數(shù)據(jù)泄露事件的頻發(fā)，企業(yè)對(duì)數(shù)據(jù)安全和隱私保護(hù)的重視程度日益提高，數(shù)據(jù)安全和隱私保護(hù)依然是繞不開(kāi)的一個(gè)話題。

面對(duì)困境，國(guó)產(chǎn)數(shù)據(jù)集成如何破局？陸才慧認(rèn)為，隨著AI的飛速發(fā)展，ETL技術(shù)將會(huì)從幕后走向前臺(tái)，在企業(yè)數(shù)字化、智能化轉(zhuǎn)型的過(guò)程中起到不可或缺的作用。

“數(shù)據(jù)集成的核心在于ETL。這一過(guò)程涉及數(shù)據(jù)的清洗、整合、轉(zhuǎn)換和存儲(chǔ)，是數(shù)據(jù)從源頭到應(yīng)用的必經(jīng)之路，是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析平臺(tái)的基石。經(jīng)過(guò)長(zhǎng)期洞察，我們發(fā)現(xiàn)隨著AI及大數(shù)據(jù)的快速發(fā)展，ETL工具也隨之發(fā)生了質(zhì)的變化。比如架構(gòu)發(fā)生了變化，應(yīng)用性以及實(shí)時(shí)性都得到了顯著的提升，這些都將成為破除ETL發(fā)展障礙的關(guān)鍵。”

一站式全域數(shù)據(jù)集成平臺(tái)贏在哪里？

AI趨勢(shì)下，市場(chǎng)需求的不斷變化給谷云科技帶來(lái)了更多的思考。ETL如何在時(shí)刻變化的環(huán)境下，同時(shí)兼顧數(shù)據(jù)的傳輸穩(wěn)定、實(shí)時(shí)數(shù)據(jù)的批量處理以及保障信息安全？通過(guò)與大量客戶的交流以及項(xiàng)目的實(shí)踐，谷云科技將主要精力聚焦在打造更符合國(guó)內(nèi)企業(yè)使用場(chǎng)景的的國(guó)產(chǎn)化一站式全域數(shù)據(jù)集成平臺(tái)。

關(guān)于一站式全域數(shù)據(jù)集成平臺(tái)，陸才慧做了以下分享。

谷云科技的一站式全域數(shù)據(jù)集成平臺(tái)整合了ETL/ELT、API、CDC、調(diào)度和計(jì)算等功能，不僅簡(jiǎn)化了企業(yè)的數(shù)據(jù)集成的工作流，更提升了數(shù)據(jù)處理的實(shí)時(shí)性和準(zhǔn)確性。

谷云科技的全域數(shù)據(jù)集成平臺(tái)提供了低代碼以及可視化的操作界面，即使是非技術(shù)背景的業(yè)務(wù)人員也能輕松地完成數(shù)據(jù)清洗和轉(zhuǎn)換、通過(guò)看板或者API發(fā)布數(shù)據(jù)等操作，大幅提升數(shù)據(jù)集成的開(kāi)發(fā)效率。

針對(duì)架構(gòu)的變革趨勢(shì)，谷云科技采用了云原生微服務(wù)式的輕量化架構(gòu)。平臺(tái)可以動(dòng)態(tài)地調(diào)整資源，以適應(yīng)不同規(guī)模的數(shù)據(jù)集成任務(wù)，在面對(duì)龐大數(shù)據(jù)量級(jí)的情況下，依然保持較高的穩(wěn)定性和執(zhí)行效率，這在傳統(tǒng)的單體架構(gòu)類型的產(chǎn)品中是無(wú)法實(shí)現(xiàn)的。與此同時(shí)，云原生微服務(wù)架構(gòu)在彈性、可擴(kuò)展性和高可用性上更勝一籌，從而可以使谷云科技的數(shù)據(jù)集成平臺(tái)能夠服務(wù)無(wú)論是大中型企業(yè)還是中小型企業(yè)甚至是小團(tuán)隊(duì)或者個(gè)人等任意體量的客戶群體。

谷云科技還十分注重對(duì)實(shí)時(shí)性數(shù)據(jù)的處理。陸才慧在演講中進(jìn)一步解釋道：“我們的平臺(tái)可以實(shí)時(shí)地從數(shù)據(jù)源捕獲變化以及數(shù)據(jù)的及時(shí)更新，并將這些變化快速地反映到目標(biāo)系統(tǒng)中，這樣可以使得系統(tǒng)調(diào)用的數(shù)據(jù)更準(zhǔn)確、更及時(shí)、來(lái)源更清晰，這種實(shí)時(shí)性的反饋對(duì)于用戶決策支持來(lái)說(shuō)非常有價(jià)值，特別是當(dāng)下很多AI應(yīng)用來(lái)說(shuō)，價(jià)值更為明顯。”

此外，支持反向ETL也是谷云科技數(shù)據(jù)集成產(chǎn)品的一個(gè)重要功能。傳統(tǒng)ETL更關(guān)注數(shù)據(jù)從源端到數(shù)倉(cāng)，然而往往業(yè)務(wù)人員則更關(guān)注干凈的數(shù)據(jù)如何從數(shù)倉(cāng)再次回流到業(yè)務(wù)系統(tǒng)產(chǎn)生價(jià)值，這便是反向ETL的意義所在。“我們通過(guò)大量的連接器，把數(shù)倉(cāng)里面的數(shù)據(jù)推送到各種SaaS以及各種業(yè)務(wù)系統(tǒng)中，同時(shí)，我們?cè)谠炊艘仓С至私俜N數(shù)據(jù)源為反向ETL提供支撐。”

除了以上這些，谷云科技還完成了多項(xiàng)支持國(guó)產(chǎn)信創(chuàng)的相關(guān)認(rèn)證，能夠幫助客戶快速完成全流程國(guó)產(chǎn)化的信息化系統(tǒng)搭建。“我們還通過(guò)開(kāi)放社區(qū)來(lái)增強(qiáng)數(shù)據(jù)集成迭代的速度，希望未來(lái)可以實(shí)現(xiàn)自主研發(fā)而非過(guò)度依賴大數(shù)據(jù)工程師。我們的目標(biāo)是成為客戶最信賴的數(shù)據(jù)集成伙伴，幫助他們實(shí)現(xiàn)數(shù)據(jù)的價(jià)值，推動(dòng)業(yè)務(wù)的增長(zhǎng)。”陸才慧補(bǔ)充說(shuō)。

在數(shù)據(jù)集成這條道路上，谷云科技正以“把簡(jiǎn)單留給客戶，把復(fù)雜留給自己”的精神，不斷探索前行。

AI趨勢(shì)下，數(shù)據(jù)集成的未來(lái)誰(shuí)主沉浮？

當(dāng)AI大勢(shì)來(lái)襲，如何讓數(shù)據(jù)無(wú)縫、實(shí)時(shí)流動(dòng)，賦予企業(yè)敏銳的洞察力、精準(zhǔn)的判斷力、敏捷的決策力來(lái)應(yīng)對(duì)多變的市場(chǎng)環(huán)境是數(shù)據(jù)集成領(lǐng)域未來(lái)發(fā)展的機(jī)遇和競(jìng)爭(zhēng)關(guān)鍵點(diǎn)所在。

陸才慧認(rèn)為：“AI的出現(xiàn)對(duì)于數(shù)據(jù)集成領(lǐng)域來(lái)說(shuō)既是挑戰(zhàn)更是機(jī)遇。首先，我們要考慮的是如何利用AI大模型來(lái)促進(jìn)數(shù)據(jù)集成的效率，比如如何利用大模型幫助我們建立數(shù)據(jù)管道，并提升數(shù)據(jù)采集的效率。其次，數(shù)據(jù)集成平臺(tái)如何支撐AI Agent。在不遠(yuǎn)的將來(lái)，業(yè)務(wù)系統(tǒng)的所有邏輯都有可能由AI Agent來(lái)構(gòu)建，在這樣的情況下，如何跟AI Agent去融合是值得長(zhǎng)期思考的問(wèn)題。第三，ChatBI的出現(xiàn)對(duì)于數(shù)據(jù)集成提出了更高的要求，如何與ChatBI更好地融合，從而實(shí)現(xiàn)數(shù)據(jù)按需使用也是一個(gè)值得探索的方向。”歸根結(jié)底，AI也好，數(shù)據(jù)集成也罷，最終要實(shí)現(xiàn)的目標(biāo)依然是聚焦業(yè)務(wù)，助力企業(yè)更好地發(fā)展。

為了探索數(shù)據(jù)集成平臺(tái)與AI Agent的融合，谷云科技在2024年年末推出了企業(yè)級(jí)的AI Agent智能體構(gòu)建平臺(tái)。它的出現(xiàn)也恰好驗(yàn)證了谷云科技對(duì)于AI趨勢(shì)下數(shù)據(jù)集成未來(lái)發(fā)展的探索實(shí)踐。

谷云科技在技術(shù)方面的探索從未停止，但空有技術(shù)顯然無(wú)法在數(shù)據(jù)集成領(lǐng)域的未來(lái)占有一席之地。“在數(shù)據(jù)集成領(lǐng)域，我們不僅要關(guān)注數(shù)據(jù)的技術(shù)性問(wèn)題，更要關(guān)注數(shù)據(jù)的業(yè)務(wù)價(jià)值。”谷云科技憑借其在數(shù)據(jù)集成領(lǐng)域的深厚積累，已經(jīng)累積服務(wù)了超過(guò)600家企業(yè)，其中包括金融、制造、零售等多個(gè)行業(yè)，社區(qū)用戶也已經(jīng)突破20000人。對(duì)于未來(lái)，陸才慧也充滿了信心。

而關(guān)于未來(lái)，陸才慧總結(jié)道：“隨著國(guó)產(chǎn)化進(jìn)程的進(jìn)一步推動(dòng)，國(guó)產(chǎn)數(shù)據(jù)集成平臺(tái)在對(duì)市場(chǎng)需求的理解以及響應(yīng)上會(huì)更有優(yōu)勢(shì)。我認(rèn)為未來(lái)1—2年將會(huì)是國(guó)產(chǎn)數(shù)據(jù)集成工具飛速發(fā)展的一個(gè)時(shí)期。我們堅(jiān)信不管是從產(chǎn)品功能還是市場(chǎng)覆蓋度，都會(huì)全面超越國(guó)外的數(shù)據(jù)集成工具，包括在穩(wěn)定性、操作應(yīng)用方面，還將會(huì)有一個(gè)全面的提升。另外，我們會(huì)更加專注于跟AI融合的創(chuàng)新。國(guó)內(nèi)的工具與國(guó)外的工具相比，雖然在性能上還有一定的差異，但是國(guó)內(nèi)工具基于本土化的創(chuàng)新具有全球的領(lǐng)先優(yōu)勢(shì)，因此我們依然要不斷保持這種創(chuàng)新能力。同時(shí)我們也會(huì)考慮，推出全球化版本，將我們的能力反向輸出給全球。”

人工智能技術(shù)不斷發(fā)展，卓越的數(shù)據(jù)管理變得至關(guān)重要。通過(guò)強(qiáng)大的集成策略、先進(jìn)的技術(shù)方法以及對(duì)于AI技術(shù)融合的不斷探索實(shí)踐，谷云科技的數(shù)據(jù)集成能力和專業(yè)性正在被越來(lái)越多的用戶認(rèn)可，而越來(lái)越多的企業(yè)用戶也正在借力谷云科技的數(shù)據(jù)集成方法和服務(wù)，釋放自身數(shù)據(jù)資產(chǎn)的潛在價(jià)值，為支撐業(yè)務(wù)、增強(qiáng)決策以及科技創(chuàng)新鋪平道路。

來(lái)源：數(shù)據(jù)猿