在數(shù)字化時代，數(shù)據(jù)量呈現(xiàn)指數(shù)級增長，尤其是視頻、圖像、語音等數(shù)據(jù)急速積累。數(shù)據(jù)庫，在整個數(shù)據(jù)價值體系中，承擔(dān)著基石的作用。海嘯一般的數(shù)據(jù)正在向我們迎面撲來，關(guān)于數(shù)據(jù)的整個計算、存儲、應(yīng)用技術(shù)體系，都必須經(jīng)過大刀闊斧的改造，才能有效應(yīng)對巨量的數(shù)據(jù)處理需求。那么，作為數(shù)據(jù)帝國的“重臣”，數(shù)據(jù)庫該如何進化呢？答案是原生分布式數(shù)據(jù)庫。

由螞蟻集團自主研發(fā)的OceanBase，就是原生分布式數(shù)據(jù)庫的典型代表。我們可以通過OceanBase，來分析原生分布式數(shù)據(jù)庫的特點和發(fā)展態(tài)勢。

OceanBase創(chuàng)始人陽振坤

原生分布式，一個公司只需要一個數(shù)據(jù)庫

有一類分布式數(shù)據(jù)庫基于中間件，該方案將數(shù)據(jù)分拆到不同的數(shù)據(jù)庫節(jié)點上，利用中間件來管理和訪問各個數(shù)據(jù)庫中的數(shù)據(jù)。這種方式本質(zhì)是集中式數(shù)據(jù)庫+分布式中間件，在架構(gòu)上是不徹底的分布式數(shù)據(jù)庫。

與之不同的是，OceanBase是原生分布式數(shù)據(jù)庫，架構(gòu)設(shè)計、底層存儲和查詢處理均面向分布式數(shù)據(jù)管理需求。OceanBase在架構(gòu)之初就假定整個服務(wù)需要多個節(jié)點配合完成，并且假定任意一個節(jié)點都不可靠。OceanBase原生分布式數(shù)據(jù)庫具備高可用、高擴展的特點，支持按需增加節(jié)點，并且節(jié)點沒有數(shù)量限制。各個節(jié)點具有對等性，數(shù)據(jù)庫集群的讀寫性能隨著節(jié)點數(shù)量的增加幾乎呈線性增長。

OceanBase原生分布式數(shù)據(jù)庫采用Shared-Nothing的技術(shù)架構(gòu)，通過配置數(shù)據(jù)副本的存儲位置，可實現(xiàn)機架級容災(zāi)、機房級容災(zāi)、城市級容災(zāi)。優(yōu)異的異地容災(zāi)能力，讓OceanBase能夠通過“兩地三中心”，甚至是“三地五中心”的方式幫助金融機構(gòu)應(yīng)對容災(zāi)挑戰(zhàn)，因而受到金融機構(gòu)的青睞。

圖注：OceanBase 原生分布式數(shù)據(jù)庫上榜《2021大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新服務(wù)產(chǎn)品》榜，并榮獲金猿獎。

此外，基于中間件的分布式數(shù)據(jù)庫和原生分布式數(shù)據(jù)庫在用戶使用門檻上也有明顯的區(qū)別。基于中間件的分布式數(shù)據(jù)庫，通常需要用戶參與到數(shù)據(jù)分拆和節(jié)點管理過程中。分庫分表、中間件統(tǒng)一調(diào)度是高難度的技術(shù)操作，這會極大的提升用戶的使用門檻。作為對比，OceanBase原生分布式數(shù)據(jù)庫實現(xiàn)了“一個公司只需要一個數(shù)據(jù)庫”。OceanBase數(shù)據(jù)庫集群作為一個整體對外提供服務(wù)，用戶無需關(guān)注集群內(nèi)部的實現(xiàn)細節(jié)。原生數(shù)據(jù)庫的理念是把復(fù)雜留給數(shù)據(jù)庫，把簡單留給客戶。為了實現(xiàn)這個目標，OceanBase堅持100%自主研發(fā)，從頭開始打造原生分布式數(shù)據(jù)庫。

正如OceanBase的CEO楊冰所說，原生分布式數(shù)據(jù)庫創(chuàng)新地采用新一代分布式處理技術(shù)，能夠極大降低企業(yè)的數(shù)據(jù)庫成本。未來不久，創(chuàng)業(yè)將進入“原生分布式”時代，中小企業(yè)也可以享受原生分布式數(shù)據(jù)庫帶來的技術(shù)紅利，OceanBase目前已經(jīng)服務(wù)了大量中小客戶，中小客戶比重近七成。

一體化架構(gòu)，既保留可擴展性又不犧牲單機性能

分布式數(shù)據(jù)庫雖然具有可擴展性的優(yōu)勢，但單機性能卻不如集中式數(shù)據(jù)庫。在一些核心業(yè)務(wù)領(lǐng)域，對數(shù)據(jù)庫的單機性能有很高的要求，集中式數(shù)據(jù)庫的地位很難撼動。

OceanBase作為原生分布式數(shù)據(jù)庫的代表，很好地解決了單機性能不足的問題，既保留了分布式數(shù)據(jù)庫高擴展性的優(yōu)勢，在單機性能上也追上了集中式數(shù)據(jù)庫。

OceanBase怎么做到的呢？秘訣就在于自研的一體化架構(gòu)。數(shù)據(jù)庫的架構(gòu)可以劃分為分離架構(gòu)和一體化架構(gòu)：分離架構(gòu)抽取分布式KV層，為了實現(xiàn)擴展性犧牲了單機性能，因而只能應(yīng)用于非核心業(yè)務(wù)場景；與之不同，OceanBase采用一體化架構(gòu)，融合事務(wù)和KV，在不犧牲單機性能的前提下實現(xiàn)可擴展性，可有效支撐核心業(yè)務(wù)場景。

一體化架構(gòu)與分離式架構(gòu)對比

除了大幅度提升單機性能，OceanBase還通過自研 HTAP 融合引擎，實現(xiàn)全局資源管理，保障 OLTP 與 OLAP 資源隔離和負載調(diào)度，在不犧牲 TP 性能的同時把 AP 做到了極致。借助HTAP 融合引擎，OceanBase實現(xiàn)了用一套引擎同時支持兩個數(shù)據(jù)庫業(yè)務(wù)類型，既支持 OLTP 交易型業(yè)務(wù)，也支持 OLAP 決策分析型業(yè)務(wù)。

OceanBase 自研 HTAP 融合引擎

一體化架構(gòu)的原生分布式數(shù)據(jù)庫雖然很厲害，但實現(xiàn)難度也很大。OceanBase數(shù)據(jù)庫從2010年產(chǎn)品立項開始，到今天已經(jīng)12年。先是在電商場景得到驗證，之后擴展到支付寶的支付、轉(zhuǎn)賬等核心金融場景，成熟后才推向市場。

OceanBase發(fā)展歷程

在OceanBase的持續(xù)演進過程中，一直在進行版本迭代和功能升級。僅僅2021年，OceanBase的開源版、商業(yè)版就總共迭代了8個版本，代碼提交5300+次 。經(jīng)過多次迭代，OceanBase在性能、兼容性、性價比等方面都得到大幅提升：HTAP能力大幅增強，OLTP性能提升68%，OLAP性能提升620%；核心系統(tǒng)領(lǐng)域Oracle兼容性行業(yè)NO.1，完整兼容PL/SQL特性，提供OCI & Pro*C兼容的產(chǎn)品，MySQL5.5/5.6/5.7語法/協(xié)議兼容度達99%；小型化支持8C/64G，內(nèi)存使用量降低35%，采用LSM樹通用壓縮，容量提高3-6倍，成本節(jié)省50%，數(shù)據(jù)編碼成本節(jié)省25%。

可以說，經(jīng)過這么多次的技術(shù)升級，OceanBase已經(jīng)成為原生分布式數(shù)據(jù)庫的執(zhí)牛耳者。

在數(shù)據(jù)庫領(lǐng)域，國際事務(wù)處理性能委員會（TPC，Transaction Processing Performance Council）的數(shù)據(jù)分析型基準測試（TPC-H），一直是公認的衡量數(shù)據(jù)庫數(shù)據(jù)分析能力的權(quán)威標準之一。2021年5月，在最新的數(shù)據(jù)分析型基準測試（TPC-H）榜單中， OceanBase 以 1526 萬 QphH 的性能總分排名 30000GB 第一。這意味著，OceanBase 成為全球唯一在事務(wù)處理和數(shù)據(jù)分析兩個領(lǐng)域測試中都獲得第一的中國自研分布式數(shù)據(jù)庫。

OceanBase CTO 楊傳輝

事實上，OceanBase已經(jīng)多次霸榜TPC。OceanBase 在 2019 年和 2020 年均參與了事務(wù)處理型基準測試（TPC-C），并兩度登頂。性能方面，2019年 OceanBase 的測試結(jié)果是6088萬 tpmC，2020年則是7.07億 tpmC。性能大幅提升的同時，成本卻顯著下降，TPC-C benchmark 價格從2019年的￥6.25/tpmC 降到2020年的￥3.98/tpmC。

雖然，TPC測試成績并不能代表一切，OceanBase 也過了用TPC排名來證明自己的階段。但是，在TPC這樣世界級的比拼中，OceanBase 多次奪冠，刷新自己創(chuàng)造的紀錄，這至少說明OceanBase 已經(jīng)成為世界領(lǐng)先的分布式數(shù)據(jù)庫。在國際頂級賽事中，中國選手不僅拿到了入場券，還贏得了比賽，這是一件值得慶賀的成就。

數(shù)據(jù)庫的大規(guī)模升級換代，正在進行時

2013年7月10日，淘寶最后一個集中式數(shù)據(jù)庫下線，2017年11月， OceanBase承擔(dān)支付寶交易100%、支付100%、賬務(wù)100%流量，至此，螞蟻集團的核心系統(tǒng)全部升級到自研的OceanBase。之所以要用自研的分布式數(shù)據(jù)庫取代集中式數(shù)據(jù)庫，最關(guān)鍵的是集中式數(shù)據(jù)庫已經(jīng)無法滿足業(yè)務(wù)海量的數(shù)據(jù)處理需求了。用戶量在快速增長，業(yè)務(wù)系統(tǒng)也在迅速膨脹，數(shù)據(jù)像海嘯一樣撲來，傳統(tǒng)集中式數(shù)據(jù)庫就像個小池塘，馬上就快接不住不斷涌來的數(shù)據(jù)了。數(shù)據(jù)庫擴容升級，已經(jīng)是箭在弦上。

隨著各行各業(yè)數(shù)字化轉(zhuǎn)型進一步發(fā)展，阿里巴巴當初面臨的問題，其他企業(yè)也會遇到。數(shù)據(jù)量的爆發(fā)式增長，可擴展性已經(jīng)不是數(shù)據(jù)庫的選擇題，而是必選題。以銀行為例，除了傳統(tǒng)存貸業(yè)務(wù)外，移動金融、互聯(lián)網(wǎng)金融、智能營銷、智能風(fēng)控等業(yè)務(wù)線快速發(fā)展，需要處理的數(shù)據(jù)規(guī)模在快速增長。傳統(tǒng)集中式數(shù)據(jù)庫在面對快速增長的數(shù)據(jù)處理需求，已經(jīng)越來越難以為繼。

OceanBase部分金融客戶

此外，大量的非金融客戶也開始選擇OceanBase。目前，OceanBase的非金融客戶營收占比達到35%，并逐年提升。人社、運營商、能源、政務(wù)等領(lǐng)域，客戶借助OceanBase實現(xiàn)了數(shù)據(jù)擴容，并提升了數(shù)據(jù)管理效率，降低了成本。

以O(shè)ceanBase的一個客戶山東移動為例，其計費系統(tǒng)日處理各類詳單數(shù)據(jù) 130 億條。面對巨量的數(shù)據(jù)需求，過去使用的集中式單機數(shù)據(jù)庫經(jīng)常出現(xiàn)容量不足的情況，已經(jīng)嚴重阻礙了業(yè)務(wù)的發(fā)展。尤其是在5G時代，用戶數(shù)、并發(fā)量等數(shù)據(jù)都在激增。從集中式數(shù)據(jù)庫升級為原生分布式數(shù)據(jù)庫OceanBase之后，山東移動不僅解決了數(shù)據(jù)擴容的燃眉之急，還收獲了諸多意外之喜，比如詳單處理效率提升了 30%，存儲投入成本降低了 90%，硬件和維保成本大幅降低，實現(xiàn)了 RPO=0 的機房級別容災(zāi)能力，不再需要搭建災(zāi)備系統(tǒng)等。

文：凝視深空 / 數(shù)據(jù)猿

來源：數(shù)據(jù)猿