一直以來，數(shù)據(jù)庫都被國外科技企業(yè)壟斷，并與芯片、操作系統(tǒng)合稱為我國科技產(chǎn)業(yè)的三大“心病”。接下來幾十年，都將是中國產(chǎn)業(yè)升級(jí)的關(guān)鍵時(shí)期。數(shù)據(jù)庫，既是高附加值的科技行業(yè)，又是整個(gè)數(shù)字化大廈的關(guān)鍵基石，具有重要的戰(zhàn)略意義。

那么，國產(chǎn)數(shù)據(jù)庫發(fā)展的如何？還存在哪些問題？突圍的關(guān)鍵是什么？帶著這些問題，數(shù)據(jù)猿采訪了國產(chǎn)自研分布式數(shù)據(jù)庫的代表企業(yè)巨杉數(shù)據(jù)庫，從聚焦金融、銀行的數(shù)據(jù)庫廠商的角度深入的思考。

“數(shù)據(jù)核心”，國產(chǎn)數(shù)據(jù)庫換道超車的

戰(zhàn)略機(jī)遇，釋放全量數(shù)據(jù)價(jià)值

數(shù)據(jù)庫是一個(gè)有著幾十年歷史的行業(yè)，甲骨文、IBM等廠商在這個(gè)領(lǐng)域長期深耕，不僅建立了深厚的技術(shù)壁壘，更重要的是培養(yǎng)了完善的產(chǎn)業(yè)生態(tài)。在一眾國際巨頭的鐵壁合圍下，國產(chǎn)數(shù)據(jù)庫雖然在持續(xù)努力，但始終未能突圍。究其原因，是因?yàn)樵谶^去的40年間，為了填補(bǔ)技術(shù)上形成的差距，國產(chǎn)數(shù)據(jù)庫集中發(fā)展「交易核心」業(yè)務(wù)。這個(gè)場景下甲骨文、IBM等國際廠商已經(jīng)領(lǐng)跑近20年，這就像兩輛賽車在同一個(gè)直線跑道上比賽，前面的車已經(jīng)領(lǐng)先很遠(yuǎn)，同時(shí)前車還在“進(jìn)化”，后來者想要追趕不但需要加倍的能力提升，同時(shí)還要經(jīng)過時(shí)間的長期洗禮。

所謂的“新賽道”，就是產(chǎn)業(yè)需求的重大轉(zhuǎn)變，就如同汽車和高鐵解決的是兩種完全不同的需求場景。只有產(chǎn)業(yè)需求本身發(fā)生很大的變革，并出現(xiàn)全新的市場機(jī)會(huì)，老一代先行者的領(lǐng)先優(yōu)勢(shì)才會(huì)被抵消掉。

那么，這個(gè)“新賽道”出現(xiàn)了么？好消息是，數(shù)據(jù)庫行業(yè)的變革正在發(fā)生，數(shù)字化不再僅僅關(guān)注單一的業(yè)務(wù)系統(tǒng)，跨系統(tǒng)的各類數(shù)據(jù)在全球數(shù)字化的推動(dòng)下，提出了面向多類型全量數(shù)據(jù)實(shí)時(shí)應(yīng)用的需求。因此推動(dòng)數(shù)據(jù)庫業(yè)界向分布式數(shù)據(jù)庫、云數(shù)據(jù)庫、湖倉一體架構(gòu)、存算分離、流批一體化、多模數(shù)據(jù)一體化、交易分析一體化等新技術(shù)快速發(fā)展，技術(shù)日新月異。面對(duì)這些新技術(shù)，國內(nèi)外廠商幾乎處在相同的起跑線，在技術(shù)創(chuàng)新的“新賽道”上，給予了國產(chǎn)廠商與全球同期起步的戰(zhàn)略機(jī)遇發(fā)展空間。

在巨杉數(shù)據(jù)庫看來，傳統(tǒng)數(shù)據(jù)庫是以交易為核心的，而分布式數(shù)據(jù)庫等新技術(shù)則是以數(shù)據(jù)為核心的，這會(huì)帶來很多方面的不同。「交易核?」解決的是交易系統(tǒng)的問題，?向渠道、產(chǎn)品、客?、核算及清算等業(yè)務(wù)流程，確保業(yè)務(wù)閉環(huán)；而「數(shù)據(jù)核?」則面向交易過程產(chǎn)?的全量行為數(shù)據(jù)、流?數(shù)據(jù)等，依托分布式技術(shù)，解決數(shù)據(jù)的采集、整理、聚合、運(yùn)?等問題。

交易核心與數(shù)據(jù)核心，雙核心驅(qū)動(dòng)數(shù)字化發(fā)展 資料來源：巨杉數(shù)據(jù)庫

這兩類數(shù)據(jù)庫在數(shù)據(jù)量、數(shù)據(jù)類型、時(shí)效性、業(yè)務(wù)范圍等方面存在明顯的差異。以數(shù)據(jù)量與數(shù)據(jù)類型為例，傳統(tǒng)交易核?數(shù)據(jù)庫往往僅保存余額、交易賬單等業(yè)務(wù)的單?結(jié)構(gòu)化交易結(jié)果數(shù)據(jù)，而數(shù)據(jù)核心數(shù)據(jù)庫不僅保存交易結(jié)果數(shù)據(jù)，還保存跨業(yè)務(wù)的全量數(shù)據(jù)，包括每次余額變化、交易賬單?成背后所衍生的?量結(jié)構(gòu)化、半結(jié)構(gòu)化流?記錄，以及?量通過?視頻、雙錄系統(tǒng)所產(chǎn)?的?結(jié)構(gòu)化數(shù)據(jù)，這類數(shù)據(jù)的量級(jí)往往在交易結(jié)果數(shù)據(jù)的10倍以上。因而，數(shù)據(jù)核心數(shù)據(jù)庫所要保存的數(shù)據(jù)量更大，數(shù)據(jù)類型更加豐富。面對(duì)如此巨量的數(shù)據(jù)，傳統(tǒng)集中式數(shù)據(jù)庫往往力不從心，而分布式數(shù)據(jù)庫技術(shù)可以很好的解決這個(gè)問題。

巨杉數(shù)據(jù)庫認(rèn)為，數(shù)字化時(shí)代需要全新的「數(shù)據(jù)核心」，分布式數(shù)據(jù)庫是其最佳的基礎(chǔ)設(shè)施。為了提升分布式數(shù)據(jù)庫的性能，我們還需要在以下幾個(gè)方向持續(xù)發(fā)力：如何支持更多不同的數(shù)據(jù)類型（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的多模管理）、如何在全量數(shù)據(jù)下提供穩(wěn)定高并發(fā)的查詢能力使得分布式數(shù)據(jù)庫成為跨業(yè)務(wù)系統(tǒng)的全量數(shù)據(jù)平臺(tái)底座、如何在保障并發(fā)能力的前提下提供可擴(kuò)展的分析能力等。

聚焦分布式技術(shù)的實(shí)時(shí)能力突破，

國產(chǎn)中國數(shù)據(jù)庫“高鐵”正飛馳

“新賽道”的戰(zhàn)略機(jī)會(huì)點(diǎn)已經(jīng)出現(xiàn)，但要抓住這個(gè)機(jī)會(huì)卻并不容易。打鐵還得自身硬，當(dāng)“新賽道”出現(xiàn)的時(shí)候，還需要產(chǎn)品自身的性能足夠優(yōu)越，才能建立新的先發(fā)優(yōu)勢(shì)。值得欣喜的是，在分布式數(shù)據(jù)庫這個(gè)賽道上，中國涌現(xiàn)了不少優(yōu)秀的國產(chǎn)數(shù)據(jù)庫廠商。在與國外產(chǎn)品的技術(shù)競爭中，國產(chǎn)數(shù)據(jù)庫已在部分領(lǐng)域形成了差異化優(yōu)勢(shì)。

以巨杉數(shù)據(jù)庫為例，由于提前10年完成前瞻洞察，巨杉數(shù)據(jù)庫找到未來長期發(fā)展的數(shù)據(jù)核心，提前布局分布式的新賽道，10年來始終堅(jiān)持“兩個(gè)聚焦”，一方面聚焦分布式技術(shù)，一方面聚焦金融銀行業(yè)。伴隨金融行業(yè)過去10年對(duì)數(shù)據(jù)需求的發(fā)展，巨杉數(shù)據(jù)庫在技術(shù)方面從「多模數(shù)據(jù)湖」，到「實(shí)時(shí)數(shù)據(jù)湖」，再到「湖倉一體」，持續(xù)進(jìn)行技術(shù)架構(gòu)的升級(jí)。目前，巨杉數(shù)據(jù)庫?泛應(yīng)?于?融、證券、保險(xiǎn)、政府、能源、電信、交通等領(lǐng)域，企業(yè)??總數(shù)超過1000家，其中在金融銀行業(yè)付費(fèi)客戶已經(jīng)超過100家。

巨杉數(shù)據(jù)庫部分客戶展示 資料來源：巨杉數(shù)據(jù)庫

巨杉數(shù)據(jù)庫?研原?分布式內(nèi)核，?持?限彈性?平擴(kuò)展。其核心產(chǎn)品SequoiaDB基于原生分布式數(shù)據(jù)庫架構(gòu)提供了彈性的橫向擴(kuò)展機(jī)制，可以根據(jù)業(yè)務(wù)需靈活擴(kuò)展，其分布式數(shù)據(jù)庫的存儲(chǔ)層及計(jì)算層均支持彈性水平擴(kuò)行能力。用戶可以通過增加服務(wù)器數(shù)量或創(chuàng)建額外的數(shù)據(jù)庫實(shí)例實(shí)現(xiàn)對(duì)應(yīng)?的?平彈性擴(kuò)張。目前，巨杉數(shù)據(jù)庫不少商業(yè)客戶的數(shù)據(jù)量規(guī)模都超過100億行記錄，容量達(dá)到百TB甚至更大，已在多個(gè)金融銀行客戶的生產(chǎn)環(huán)境中達(dá)到PB級(jí)的數(shù)據(jù)存儲(chǔ)容量，單客戶生產(chǎn)部署集群規(guī)模最高達(dá)到400臺(tái)物理服務(wù)器，1.4萬億行數(shù)據(jù)記錄。

如此多客戶之所以選擇巨杉數(shù)據(jù)庫，關(guān)鍵在于其產(chǎn)品性能經(jīng)受住了金融級(jí)考驗(yàn)。分布式數(shù)據(jù)庫在全球來看都是新興技術(shù)，同時(shí)在國內(nèi)經(jīng)濟(jì)及互聯(lián)網(wǎng)的高速發(fā)展下，在數(shù)據(jù)體量和增長上遠(yuǎn)超國外市場，從而產(chǎn)生了國內(nèi)特殊的數(shù)據(jù)應(yīng)用場景。海量數(shù)據(jù)所產(chǎn)生的創(chuàng)新需求，推動(dòng)了底層數(shù)據(jù)庫技術(shù)的發(fā)展，使國內(nèi)在數(shù)據(jù)的業(yè)務(wù)創(chuàng)新上有著天然的基礎(chǔ)優(yōu)勢(shì)，并跟在部分場景形成差異化優(yōu)勢(shì)，技術(shù)上領(lǐng)先于全球。以巨杉數(shù)據(jù)庫為例，其在以下多個(gè)技術(shù)領(lǐng)域都進(jìn)行了有益的探索：

「湖倉一體」技術(shù)架構(gòu)?；凇负}一體」架構(gòu)，巨杉數(shù)據(jù)庫沉淀出?向?qū)崟r(shí)數(shù)據(jù)湖、多模數(shù)據(jù)湖、湖倉?體平臺(tái)三類場景，?持在同?個(gè)引擎上進(jìn)?混合多模的數(shù)據(jù)存儲(chǔ)，?持海量數(shù)據(jù)的?并發(fā)查詢與處理等特性。SequoiaDB的「湖倉一體」技術(shù)架構(gòu)，強(qiáng)調(diào)數(shù)據(jù)應(yīng)該先全量入湖替代原有的ODS，并提供面向多模數(shù)據(jù)類型的實(shí)時(shí)對(duì)客的高并發(fā)結(jié)構(gòu)化數(shù)據(jù)查詢能力，及非結(jié)構(gòu)化數(shù)據(jù)存取能力，形成可為跨業(yè)務(wù)提供服務(wù)的「實(shí)時(shí)數(shù)據(jù)湖」?；凇笇?shí)時(shí)數(shù)據(jù)湖」能力，再提供增強(qiáng)的數(shù)據(jù)分析引擎， 達(dá)到「湖倉一體」的統(tǒng)一數(shù)據(jù)管理能力。

巨杉數(shù)據(jù)庫湖倉?體架構(gòu)?意圖

實(shí)時(shí)對(duì)客。在巨杉數(shù)據(jù)庫SequoiaDB最新發(fā)布的版本中，通過「湖倉一體」技術(shù)架構(gòu)針對(duì)數(shù)據(jù)的實(shí)時(shí)應(yīng)用提供了全面升級(jí)，讓全量數(shù)據(jù)的價(jià)值從「內(nèi)部離線」向「實(shí)時(shí)對(duì)客」進(jìn)一步釋放。

面向結(jié)構(gòu)化數(shù)據(jù)，巨杉數(shù)據(jù)庫提供深度的Join優(yōu)化及列存微分區(qū)技術(shù)，在多個(gè)查詢場景下，性能達(dá)到了毫秒級(jí)實(shí)時(shí)返回；分析場景中，性能更獲得了10倍以上提升，讓數(shù)據(jù)湖的查詢分析更實(shí)時(shí)，實(shí)現(xiàn)查詢更實(shí)時(shí)，所有數(shù)據(jù)可毫秒級(jí)訪問。

面向非結(jié)構(gòu)化數(shù)據(jù)，巨杉通過「分片并發(fā)」及「可變分區(qū)大小」的技術(shù)，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)存取更實(shí)時(shí)，吞吐量提升30%以上。

在運(yùn)行監(jiān)控方面，巨杉數(shù)據(jù)庫SAC運(yùn)維管理工具，基于分布式架構(gòu)的實(shí)時(shí)診斷，有效提供全GUI（圖形用戶界面）的性能及故障分析能力，實(shí)現(xiàn)診斷更實(shí)時(shí)，業(yè)務(wù)問題分鐘級(jí)定位。

此外，巨杉數(shù)據(jù)庫還在存算分離、流批一體化、多模數(shù)據(jù)一體化、跨云平臺(tái)等方面有諸多創(chuàng)新。

“交易核心”+“數(shù)據(jù)核心”，數(shù)字化的雙核心

需要指出的是，雖然以數(shù)據(jù)為核心的數(shù)據(jù)庫是重要發(fā)展方向，但并不意味著以交易為核心的傳統(tǒng)數(shù)據(jù)庫就不重要了。巨杉數(shù)據(jù)庫認(rèn)為，分布式數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫不是純粹的替換關(guān)系，而會(huì)長期并存，共同為數(shù)字化的「交易核心」及「數(shù)據(jù)核心」解決基礎(chǔ)數(shù)據(jù)設(shè)施的不同需求。

「交易核心」與「數(shù)據(jù)核心」對(duì)數(shù)據(jù)庫的需求 資料來源：巨杉數(shù)據(jù)庫

當(dāng)前，「交易核心」的數(shù)據(jù)庫的國產(chǎn)化替代是一個(gè)重要的場景，得到了政策重點(diǎn)關(guān)注。在這個(gè)場景下，Oracle、DB2、SQL Server經(jīng)歷了40年甚至更長時(shí)間的磨練及生態(tài)建設(shè)，存量系統(tǒng)遷移需要一定的時(shí)間周期。在“替換”的市場中，達(dá)夢(mèng)、人大金倉等國產(chǎn)數(shù)據(jù)庫廠商也經(jīng)歷了20年的產(chǎn)品迭代，相信基于市場的驅(qū)動(dòng)，進(jìn)一步建立新的生態(tài)，未來持續(xù)發(fā)展的前景是光明的。

在面向「數(shù)據(jù)核心」的創(chuàng)新發(fā)展方面，重點(diǎn)在于將新技術(shù)與客戶創(chuàng)新的需求相結(jié)合，以此推動(dòng)產(chǎn)品創(chuàng)新，形成與老一代產(chǎn)品的差異化發(fā)展。中國是世界上人口最多的國家。眾多的人口及領(lǐng)先的移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展，也讓中國成為數(shù)字化創(chuàng)新最快的國家，金融銀行業(yè)的科技發(fā)展更是催生出領(lǐng)先于全球的行業(yè)需求。例如：巨杉基于中國金融銀行客戶需求，在“實(shí)時(shí)數(shù)據(jù)湖”方面，已經(jīng)率先在超過萬億級(jí)數(shù)據(jù)量的生產(chǎn)系統(tǒng)中，穩(wěn)定提供高達(dá)一萬并發(fā)壓力下，百毫秒內(nèi)查詢響應(yīng)能力。可以說，巨杉的“實(shí)時(shí)數(shù)據(jù)湖”技術(shù)，已經(jīng)領(lǐng)先于業(yè)界同類產(chǎn)品?；诳蛻粜枨蟮膭?chuàng)新，將助力巨杉打開更大的市場機(jī)會(huì)及空間。

這一觀點(diǎn)，與國外分布式數(shù)據(jù)庫廠商的發(fā)展趨勢(shì)不謀而合。海外大部分分布式數(shù)據(jù)庫廠商都在致力于基于應(yīng)用場景的創(chuàng)新，例如Snowflake專注于云上的數(shù)倉，即數(shù)據(jù)共享的應(yīng)用創(chuàng)新；Databricks專注于湖倉一體融合，特別是對(duì)全新的AI、ML等科學(xué)計(jì)算的創(chuàng)新；MongoDB專注于JSON的文檔半結(jié)構(gòu)化能力創(chuàng)新；Redis專注于高性能緩存的創(chuàng)新。

中國的數(shù)字化發(fā)展，需要數(shù)據(jù)庫產(chǎn)品聚焦不同的技術(shù)及需求場景進(jìn)行深耕。一方面，要聚焦「交易核心」替代；另一方面，要聚焦全新的「數(shù)據(jù)核心」創(chuàng)新，與全球同步發(fā)展。如果說“替換”是解決底部基礎(chǔ)，那“創(chuàng)新”就是要打破并創(chuàng)造新的天花板。

以國產(chǎn)數(shù)據(jù)庫推進(jìn)產(chǎn)業(yè)數(shù)字化，

打造數(shù)字經(jīng)濟(jì)的堅(jiān)實(shí)基座

經(jīng)濟(jì)引擎在哪里，是中國接下來二三十年必須要回答的問題。中國人均GDP突破一萬美元之后，要繼續(xù)向上增長，以往通過中低端制造業(yè)打造全球工廠+房地產(chǎn)、基建拉動(dòng)經(jīng)濟(jì)增長的方式，顯然不太現(xiàn)實(shí)。經(jīng)濟(jì)的發(fā)展，如逆水行舟，不進(jìn)則退。要跨過中等收入陷阱，中國就必須要找到新的發(fā)展引擎。

某種程度上，數(shù)字經(jīng)濟(jì)是中國未來經(jīng)濟(jì)的主戰(zhàn)場。依據(jù)中國信通院提供的數(shù)據(jù)，近幾年，數(shù)字經(jīng)濟(jì)在GDP中的占比也在逐年提高，從2015年的27%提高到2020年的38.60%，平均每年提升超過2個(gè)百分點(diǎn)。

數(shù)字經(jīng)濟(jì)占GDP的比重?cái)?shù)據(jù)來源：信通院《中國數(shù)字經(jīng)濟(jì)白皮書2021》

以數(shù)字化賦能傳統(tǒng)行業(yè)，進(jìn)而實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)，是數(shù)字經(jīng)濟(jì)的核心。2020年起，我國信創(chuàng)產(chǎn)業(yè)進(jìn)入大規(guī)模落地推廣階段。國家提出“2+8+N”信創(chuàng)體系：兩個(gè)核心行業(yè)，黨政+金融；8大關(guān)鍵行業(yè)，電信、電力、石油、交通、教育、醫(yī)療、航空、航天；N個(gè)其他行業(yè)。數(shù)據(jù)已經(jīng)成為繼土地、人力、資本、技術(shù)之后的生產(chǎn)要素，并在數(shù)字經(jīng)濟(jì)中的作用愈發(fā)凸顯。承載海量數(shù)據(jù)的分布式數(shù)據(jù)庫，則是整個(gè)數(shù)據(jù)價(jià)值鏈條的基礎(chǔ)設(shè)施，影響著整個(gè)數(shù)字經(jīng)濟(jì)大廈的穩(wěn)定性。而國產(chǎn)分布式數(shù)據(jù)庫，則在保障數(shù)字化產(chǎn)業(yè)安全方面，發(fā)揮著特殊的作用。

現(xiàn)在正處于數(shù)據(jù)庫產(chǎn)業(yè)變革的關(guān)鍵時(shí)期，并且中國有很好的發(fā)展數(shù)據(jù)庫的土壤。依據(jù)中國信通院、中國網(wǎng)絡(luò)空間研究院聯(lián)合發(fā)布的《國家數(shù)據(jù)資源調(diào)查報(bào)告(2021)》，2021年我國數(shù)據(jù)產(chǎn)量達(dá)到6.6ZB，同比增加29.4%，占全球數(shù)據(jù)總產(chǎn)量(67ZB)的9.9%，僅次于美國(16ZB)，位列全球第二。我們的互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)產(chǎn)業(yè)僅次于美國，物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、5G網(wǎng)絡(luò)建設(shè)走在全球前列，這些領(lǐng)域的發(fā)展都會(huì)對(duì)數(shù)據(jù)庫產(chǎn)生巨大的需求。市場需求是產(chǎn)業(yè)發(fā)展的第一驅(qū)動(dòng)力，我國海量的數(shù)據(jù)存儲(chǔ)、處理需求，將極大的推動(dòng)國產(chǎn)數(shù)據(jù)庫的創(chuàng)新發(fā)展。我們有理由相信，在不久的將來，無論是「交易核心」數(shù)據(jù)庫還是「數(shù)據(jù)核心」數(shù)據(jù)庫，中國玩家的競爭力都將越來越強(qiáng)。我們不僅要在國內(nèi)實(shí)現(xiàn)數(shù)據(jù)庫的國產(chǎn)化替代，還要走向全球，去引領(lǐng)分布式數(shù)據(jù)庫的發(fā)展浪潮。

文：月滿西樓 / 數(shù)據(jù)猿

來源：數(shù)據(jù)猿