這一兩年，北美以Facebook、谷歌為驅(qū)動的存算分離的虛擬數(shù)倉架構(gòu)，正在非?？焖俚南磁片F(xiàn)代的數(shù)據(jù)融合市場。其大的背景驅(qū)動是市場正在經(jīng)歷從數(shù)字化轉(zhuǎn)向信息互聯(lián)網(wǎng)和產(chǎn)業(yè)互聯(lián)網(wǎng)階次性的臺階變化。在這種變化之下，其實背后的技術(shù)驅(qū)動還是非常清晰很明顯的，就是以Java、SQL為核心的流程驅(qū)動業(yè)務(wù)轉(zhuǎn)向了AI和分布式這些技術(shù)框架的數(shù)字驅(qū)動業(yè)務(wù)。產(chǎn)業(yè)互聯(lián)網(wǎng)帶來了數(shù)據(jù)使用方式上的一次革命性升級。

1、第一個變化，就是數(shù)據(jù)新鮮度的變化。我們在使用什么時間的數(shù)據(jù)，是在消費(fèi)以天、小時級、分鐘級、秒級還是百毫秒級的數(shù)據(jù)？

俄烏戰(zhàn)爭，兩個相同工業(yè)體系相同裝備體系的國家，用不同的軍事思想和技術(shù)手段打了一場令人瞠目結(jié)舌的仗。信息技術(shù)已經(jīng)改變戰(zhàn)爭模式， 如果不能支撐實時性的戰(zhàn)情數(shù)據(jù)流，不能確保數(shù)據(jù)的鮮活度，從本質(zhì)上來講雙方打得就不是同一場戰(zhàn)爭了，因此市場需要高度重視HTAP系統(tǒng)提供新鮮分析的重要性。

今年一篇論文《我的HTAP系統(tǒng)有多好？》，談到的第一個技術(shù)指標(biāo)就是Freshness（新鮮度）。就你在消費(fèi)什么時間的數(shù)據(jù)？用什么樣的一個方式？如果基于傳統(tǒng)BI架構(gòu)的話，我們需要從Oracle、MySQL這些交易型的生產(chǎn)系統(tǒng)里把數(shù)據(jù)同步出來，用ETL的方式或者是批處理的方式加工到數(shù)據(jù)倉庫里頭。所以在數(shù)據(jù)倉庫里,待分析的原材料已經(jīng)是以天為時間的信息了。

你是在消費(fèi)以天、小時級、分鐘級、秒級還是百毫秒級的數(shù)據(jù)？我們怎么去把一些從最早的Storm、Spark Streaming這些流計算的框架到現(xiàn)在比較成熟的像Kafka、Flink的框架來驅(qū)動一個流數(shù)據(jù)作業(yè)？比如量化交易里,我們怎么去對沖擊成本？對實時的掛單數(shù)據(jù)去做一個預(yù)測？這個肯定要基于3秒之內(nèi)的掛單數(shù)據(jù)來完成。

現(xiàn)在的一些開源框架，通過工程化的手段能夠被市場接受了。把TP和AP做融合，成為湖倉一體的概念；然后把MPP數(shù)據(jù)庫與湖倉一體融合，成為新技術(shù)趨勢。實際上就是將MPP數(shù)據(jù)庫加Hadoop開源。

這種現(xiàn)象會帶來什么風(fēng)險？MPP數(shù)據(jù)庫不能單獨支持湖倉一體，它需要 Hbase 和 ES 來配合，本質(zhì)還是屬于數(shù)據(jù)集。在某大型股份制銀行，為了支持手機(jī)銀行端的個性化數(shù)倉，實現(xiàn)手機(jī)端對大屏小屏化的趨勢，傳統(tǒng) MPP 結(jié)構(gòu)根本沒法滿足剛才說的這種服務(wù)價值，還要配套數(shù)百個節(jié)點，所以現(xiàn)在市場上湖倉一體的本質(zhì)還是一個集成方案，需要在傳統(tǒng)MPP數(shù)據(jù)庫和開源Hadoop之間做大量的數(shù)據(jù)同步和一致性校驗。既然要有數(shù)據(jù)同步，就必然有時間窗口、數(shù)據(jù)的不及時性、不一致性。

HTAP現(xiàn)在作為一種主流的技術(shù)框架，已經(jīng)開始進(jìn)入到核心數(shù)據(jù)驅(qū)動業(yè)務(wù)的前端，支撐我們消費(fèi)最新鮮的數(shù)據(jù)。我們怎么用數(shù)據(jù)，流的形式跟庫發(fā)生關(guān)系HTAP就是Hybrid Transaction and Analytical Process就是混合負(fù)載架構(gòu)。

2、第二個變化，我們面向誰在提供數(shù)據(jù)服務(wù)？互聯(lián)網(wǎng)的數(shù)據(jù)產(chǎn)銷合一方式帶動了流程驅(qū)動向數(shù)據(jù)驅(qū)動的數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型，數(shù)據(jù)從服務(wù)決策者轉(zhuǎn)向服務(wù)一線人員，HTAP系統(tǒng)才能保障每個人都能實時看到同樣高質(zhì)量的數(shù)據(jù)。

烏克蘭的反攻又是如此之快，雖然俄方用上了核武器卻依舊久攻不勝，核心是少了一樣“殺手锏”：通過實時高并發(fā)數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建最短秒殺傷鏈。俄烏軍事行動，進(jìn)一步驗證了馬賽克理論的分布式作戰(zhàn)思想，分布式調(diào)度的核心是N條實時高并發(fā)的數(shù)據(jù)鏈，戰(zhàn)場下沉式服務(wù)要支撐每一個士兵的作戰(zhàn)請求，數(shù)據(jù)庫必須能支撐高并發(fā)。烏軍化整為零，將作戰(zhàn)體系分解為數(shù)量更多、規(guī)模更小、功能更少、更容易組合的作戰(zhàn)模塊，從而奪取戰(zhàn)場的綜合制權(quán)。20秒殺傷鏈替代了集中指揮調(diào)度中心，讓前線的士兵可以像使用滴滴打車一樣匹配作戰(zhàn)目標(biāo)、火力資源。

我們在面前誰提供數(shù)據(jù)服務(wù)？這個問題是非常關(guān)鍵。

傳統(tǒng)BI以報表、可視化更多是面向C-Level的決策，所以是宏觀的、共性的、統(tǒng)計趨勢性的問題。但互聯(lián)網(wǎng)帶來的金融服務(wù)的業(yè)務(wù)化，越來越多地把數(shù)據(jù)驅(qū)動業(yè)務(wù)推到了理財經(jīng)理，推到了營業(yè)廳一線，甚至推到了C端客戶。從大屏演示轉(zhuǎn)向了C端客戶的小屏操作，這種個性化的數(shù)據(jù)驅(qū)動和要求對后臺的技術(shù)設(shè)施提出了一個非常關(guān)鍵的、很難逾越的技術(shù)指標(biāo)就是：高并發(fā)。

我們以前在數(shù)據(jù)消費(fèi)的時候更多的都是在數(shù)據(jù)倉庫里完成。數(shù)據(jù)倉庫是OLAP分析型業(yè)務(wù)，通過侵占更多的資源來完成一個大IO操作。所以MPP數(shù)據(jù)庫有一個很大的挑戰(zhàn)就是它不能夠支持高并發(fā)，它的作業(yè)是排隊機(jī)制。當(dāng)遇到個性化服務(wù)下沉?xí)r，它就碰到了一個瓶頸。

市場提出了一個新概念Lakehouse（湖倉一體），就是把數(shù)據(jù)倉庫處理結(jié)果再同步到一個大數(shù)據(jù)平臺，比較受歡迎的方式就是MPP再加上Hbase。我曾經(jīng)看到一個國產(chǎn)化項目，真的把MPP數(shù)據(jù)庫給替代了。但是面向1億多用戶的小屏服務(wù)的時，它不得已還要同步到一個大規(guī)模的Hbase里頭，Hbase來支撐MPP數(shù)據(jù)庫的個性化的駕駛艙與提交，又變回開源且復(fù)雜的工程。就這個項目大概300多個節(jié)點Hbase、600多個運(yùn)維開發(fā)人員，每年的運(yùn)維費(fèi)用、開發(fā)服務(wù)費(fèi)用大概3個多億的人力成本。

所以用產(chǎn)品級基礎(chǔ)設(shè)施架構(gòu)去替代開源工程和大規(guī)模人力外包服務(wù)是一個很典型的一個技術(shù)平臺趨勢。無疑又是HTAP混布型數(shù)據(jù)庫，可以支撐替代MPP加Hbase這個結(jié)構(gòu)來實現(xiàn)服務(wù)下沉。

3、最后一個變化，基于存算分離、聯(lián)邦計算的數(shù)據(jù)編織架構(gòu)，帶來了一次去ETL、去主數(shù)據(jù)MDM，數(shù)據(jù)處理的邏輯開始被漸漸從傳統(tǒng)的指標(biāo)加工轉(zhuǎn)向數(shù)據(jù)特征加工，支撐AI智能服務(wù)應(yīng)用。

一、合適的數(shù)據(jù)在哪里？

這是傳統(tǒng)數(shù)據(jù)治理的一些范疇和問題，傳統(tǒng)的數(shù)據(jù)治理都是以主數(shù)據(jù)、數(shù)據(jù)字典這些方法去做數(shù)據(jù)標(biāo)準(zhǔn)，通過對Delta體系里規(guī)定的關(guān)鍵指標(biāo)分解到庫這個實體，從主題、視圖一層一層展開去做。

去年Delta2.0、Gartner均提出了Data Fabric，這是一個全新的數(shù)據(jù)組織結(jié)構(gòu)，也是自下而上通過對IT信息化系統(tǒng)還原進(jìn)而對存儲過程、SQL語句的還原。數(shù)據(jù)編織把IT反饋的數(shù)據(jù)依賴邏輯用一個更高維的數(shù)據(jù)結(jié)構(gòu)表達(dá)，就是知識圖譜、復(fù)雜網(wǎng)絡(luò)，通過把字段和庫、表之間的關(guān)系，還有主鍵外鏈的這種業(yè)務(wù)邏輯，表達(dá)到一個點和邊高維的可計算的元數(shù)據(jù)網(wǎng)絡(luò)里頭，通過元數(shù)據(jù)網(wǎng)絡(luò)的計算來承擔(dān)。因此新興的方式開始從傳統(tǒng)的數(shù)據(jù)治理走向了Data Fabric數(shù)據(jù)編織。

在數(shù)據(jù)編織架構(gòu)里，很多我們耳熟能詳?shù)腅TL、MDM主數(shù)據(jù)處理的邏輯漸漸被洗牌掉，我們開始用一種新興的‘不動Data’而‘動Code（代碼）’的方式來完成大規(guī)模數(shù)據(jù)在分布式環(huán)境下的融合、處理和計算。

新興的數(shù)據(jù)編織技術(shù)有兩個核心，幫助他在工具箱里頭獲得的能力。第一個是2016年Google提的Query Federation，可以將一個SQL在邏輯計劃拆解粉碎以后通過聯(lián)邦計算的方式推送到被融合的數(shù)據(jù)庫的節(jié)點上執(zhí)行，也就是通過一個大的HTAP數(shù)據(jù)庫去連接不同的Oracle、MySQL，或者是Hbase、Hive這些數(shù)據(jù)庫，然后將統(tǒng)一的SQL透明化的執(zhí)行在邊緣側(cè)。第二個是數(shù)據(jù)編織Data Fabric，可以通過抽象語義層來完成存算分離的架構(gòu)。存算分離架構(gòu)帶來的好處就是數(shù)據(jù)存儲還在各個Oracle、MySQL里頭，因此在統(tǒng)一的HTAP系統(tǒng)里面只有計算節(jié)點，通過內(nèi)存的計算，它獲取的數(shù)據(jù)并不是把整個庫同步到目標(biāo)層，而是只是針對這個SQL語句，所涉及到的字段級別在計算場景這一時刻同步到內(nèi)存里完成計算。

二、如何實現(xiàn)有效的數(shù)據(jù)編織呢？

赫伯特·西蒙在數(shù)據(jù)驅(qū)動業(yè)務(wù)里曾經(jīng)設(shè)計過，也是我們在工程里面經(jīng)常對外講的“符號主義”。面向確定性流程的數(shù)據(jù)管道我們可以把它描述出來，在一個免代碼的中臺環(huán)境里面把它描述成一個數(shù)據(jù)流，然后把這個數(shù)據(jù)流封裝成一個容器，服務(wù)發(fā)布到任何一個分布式的Hadoop集群、大數(shù)據(jù)平臺之上去執(zhí)行，這樣我們就可以彈性的定義不同的數(shù)據(jù)管道。

數(shù)據(jù)管道一旦定義出來就可以發(fā)布成一個云原生的Docker服務(wù)鏡像，給數(shù)據(jù)使用者。數(shù)據(jù)使用者可以訂閱，每天像數(shù)據(jù)API一樣去使用。如果加上AI專家系統(tǒng)，就可以編排很多個管道。AI的專家系統(tǒng)其實是由業(yè)務(wù)人員、數(shù)據(jù)驅(qū)動的業(yè)務(wù)人員去使用，通過拖拉拽的形式完成數(shù)據(jù)的服務(wù)流的定義，它就可以去SQL化甚至去ID化的來生成這種服務(wù)定義的接口。

這整個過程，也就是從數(shù)據(jù)湖到湖倉一體再到數(shù)據(jù)編織，完成的是燃油車到油電混到純電技術(shù)的改造。激光雷達(dá)、無人駕駛、電池重組技術(shù)這些內(nèi)容在以前的燃油車時代是不用看的，這也也意味著我們現(xiàn)在的信息化市場、IT市場經(jīng)歷一次結(jié)構(gòu)性的變化。

今天IT向DT的遷移，流程驅(qū)動轉(zhuǎn)向數(shù)據(jù)驅(qū)動，并不僅僅是一個概念的迭代。而更多的是，很多基礎(chǔ)的核心組件發(fā)生一些變化。這些組件從嚴(yán)謹(jǐn)?shù)膱?zhí)行人類指令的這些系統(tǒng)架構(gòu)、代碼程序，轉(zhuǎn)向了由數(shù)據(jù)驅(qū)動的供給和消費(fèi)。

這不是簡單的替代邏輯，是產(chǎn)業(yè)鏈升級邏輯。作為一個科技產(chǎn)業(yè)從業(yè)者，我對“2023年大數(shù)據(jù)產(chǎn)業(yè)”也做兩點趨勢判斷：

1、信創(chuàng)是一項非常清晰的國家戰(zhàn)略

所有支撐市場服務(wù)的開源工程必將轉(zhuǎn)向原創(chuàng)產(chǎn)品，國產(chǎn)數(shù)據(jù)庫必須摒棄利用開源封裝的偽軟殼技術(shù)，才能掌握硬核技術(shù)核心突破外部限制，實現(xiàn)技術(shù)創(chuàng)新科技創(chuàng)新。

國產(chǎn)數(shù)據(jù)庫起步晚，在信息、人才、技術(shù)等多重窘境之下，很多企業(yè)采用“拿來主義”的手段彌補(bǔ)國產(chǎn)技術(shù)的空白。要么基于開源系統(tǒng)改進(jìn)，要么從廠商購買源碼授權(quán)，我前面也提了很多開源工程，也完成了服務(wù)且暫時被市場接受，但其產(chǎn)品架構(gòu)幾乎不可能調(diào)整，想掌握其核心技術(shù)更是難上加難。

數(shù)據(jù)庫作為一個具有國家屬性的產(chǎn)品，必然與屬國命運(yùn)與共。國產(chǎn)數(shù)據(jù)庫必須走自主創(chuàng)新的道路，摒棄利用開源封裝的偽軟殼技術(shù)，掌握硬核技術(shù)核心，突破外部限制，實現(xiàn)技術(shù)創(chuàng)新科技創(chuàng)新。才能有機(jī)會實現(xiàn)追趕甚至超越，才能接得住面臨第三波數(shù)字紅利。

2、產(chǎn)業(yè)互聯(lián)網(wǎng)時代更多是機(jī)器生產(chǎn)/消費(fèi)數(shù)據(jù)

邏輯計劃升級是數(shù)據(jù)庫面向機(jī)器數(shù)據(jù)必然要走的路徑，不再僅局限于數(shù)據(jù)可視化這種服務(wù)為目標(biāo)的 SQL 操作，而是面向機(jī)器學(xué)習(xí)算法、內(nèi)置ML能力。支撐數(shù)據(jù)供給和消費(fèi)的一體化，AI-Native數(shù)據(jù)庫是最后的歸宿。

隨著IT向DT遷移，就像燃油車和電車的區(qū)別一樣，IT市場正在被一些新興的技術(shù)組件所替代，這些組件的核心就是供給和消費(fèi)的一個數(shù)據(jù)閉環(huán)。任何一個新事物的落地，都不會立竿見影的有結(jié)果，也不可能直接對號入座到舊世界，它肯定是要完成一個最小級閉環(huán)。數(shù)據(jù)庫作為供給側(cè)，AI 作為消費(fèi)側(cè)，這是我們相信的一個最小級的閉環(huán)。

互聯(lián)網(wǎng)帶來了個性化服務(wù)，淘寶推薦引擎、千人千面?zhèn)€性化結(jié)果，要跑的是貝業(yè)斯網(wǎng)絡(luò)、是協(xié)同過濾算法，是這些算法再替代SQL的可視化服務(wù)。怎么能夠在同一個計算的庫體上，面向機(jī)器學(xué)習(xí)的操作面向新興的數(shù)據(jù)驅(qū)動業(yè)務(wù)的算法？AI內(nèi)生數(shù)據(jù)庫是一個必然要走的路徑。尤其是應(yīng)對產(chǎn)業(yè)互聯(lián)網(wǎng)，第三波的機(jī)器數(shù)據(jù)生產(chǎn)，更多的物聯(lián)網(wǎng)的機(jī)器生產(chǎn)、傳感器，他的機(jī)器數(shù)據(jù)物理意義人理解越來越難，比如油壓、溫度、結(jié)蠟、工況都是一些科學(xué)屬性。這些數(shù)據(jù)它很難用決策，因為它對人類來說需要更強(qiáng)的科學(xué)知識才能去理解。所以將會是機(jī)器生產(chǎn)數(shù)據(jù)，機(jī)器消費(fèi)數(shù)據(jù)，數(shù)據(jù)供給和消費(fèi)一體化。

·關(guān)于雷濤：

雷濤 天云融創(chuàng)數(shù)據(jù)科技（北京）有限公司 CEO,博士后工作站企業(yè)導(dǎo)師，中關(guān)村高聚人才，國家人工智能最高獎項“吳文俊人工智能科學(xué)技術(shù)獎”獲得者。

擁有30余年北美信息科技公司從業(yè)經(jīng)驗，主導(dǎo)并參與中國移動、中國聯(lián)通、工商銀行總部等多個億級大型信息化項目規(guī)劃建設(shè)；

2005年入席SNIA存儲工業(yè)協(xié)會中國區(qū)技術(shù)委員會聯(lián)合主席，2013年首批CCF中國計算機(jī)學(xué)會大數(shù)據(jù)專委會委員，長江商學(xué)院特聘講師。

來源：數(shù)據(jù)猿