以下內(nèi)容是根據(jù)陽(yáng)振坤在是在友盟+舉辦的2019UBDC全域大數(shù)據(jù)峰會(huì)上的演講，在不改變?cè)x的基礎(chǔ)上整理編輯：

如今，數(shù)據(jù)庫(kù)其實(shí)距離大家并不遙遠(yuǎn)，每個(gè)人都在用，無(wú)論是坐地鐵、坐飛機(jī)、坐高鐵，還是吃飯、刷手機(jī)，這后面其實(shí)都有數(shù)據(jù)庫(kù)的存在，但真正做它、理解它的人卻很少。

今天，我將圍繞以下三點(diǎn)內(nèi)容，幫助大家“劈開(kāi)關(guān)系數(shù)據(jù)庫(kù)的枷鎖”，真正了解什么是數(shù)據(jù)庫(kù)：

1、數(shù)據(jù)庫(kù)的背景

2、OceanBase的突破

3、TPC-C benchmark

現(xiàn)在幾乎所有的企業(yè)都要用到數(shù)據(jù)庫(kù)，主要就是在做兩件事：

第一個(gè)是做交易。大家去買東西，去做任何事情，后面都有一套交易系統(tǒng)、業(yè)務(wù)系統(tǒng)在支撐。事實(shí)上，數(shù)據(jù)庫(kù)是一個(gè)很正常的矛盾體，它最有價(jià)值的東西就是它的事務(wù)，最困難的也是它的事務(wù)。原子性、一致性、隔離性或持久性，這些內(nèi)容我已經(jīng)說(shuō)了快10年了，但是最難做的事也是這些。因?yàn)樗y做，所以數(shù)據(jù)庫(kù)從誕生到發(fā)展到今天一直是集中式的，說(shuō)直白了本質(zhì)上就是單機(jī)，一臺(tái)機(jī)器來(lái)做。

第二個(gè)是做商業(yè)智能分析。舉個(gè)例子，公司都有業(yè)務(wù)系統(tǒng)、銷售系統(tǒng)，做銷售的都知道，團(tuán)隊(duì)與公司都想對(duì)比了解今年跟去年的情況，這個(gè)月對(duì)比上個(gè)月又是怎樣的，以及華東跟華南現(xiàn)在的狀況是怎么樣的，大家都需要看這些報(bào)表數(shù)據(jù)。只有了解了這些結(jié)果，才能決定下個(gè)季度的策略。數(shù)據(jù)庫(kù)這么多年來(lái)一直就在干這件事。

數(shù)據(jù)庫(kù)的挑戰(zhàn)

商業(yè)數(shù)據(jù)庫(kù)曾經(jīng)做的很好，但互聯(lián)網(wǎng)出現(xiàn)后，整個(gè)數(shù)據(jù)庫(kù)的訪問(wèn)量增長(zhǎng)了幾百倍、幾千倍，數(shù)據(jù)量也隨之大漲。因?yàn)閿?shù)據(jù)庫(kù)是集中式的，本質(zhì)上是單機(jī)系統(tǒng)，存也存不下，處理也處理不了，所以進(jìn)入互聯(lián)網(wǎng)時(shí)代之后，數(shù)據(jù)庫(kù)一直面臨著嚴(yán)峻的考驗(yàn)。

但是另一方面，業(yè)務(wù)還得繼續(xù)發(fā)展，于是大家開(kāi)始想辦法，分析做不了那就做一個(gè)叫作“數(shù)據(jù)倉(cāng)庫(kù)”的東西。在數(shù)據(jù)庫(kù)跟數(shù)據(jù)倉(cāng)庫(kù)之間還得加上一個(gè)橋梁，因?yàn)樵瓉?lái)都是在一個(gè)數(shù)據(jù)庫(kù)里面，現(xiàn)在變成了兩個(gè)系統(tǒng)，就需要把數(shù)據(jù)抽取、轉(zhuǎn)換，然后再加載到數(shù)據(jù)倉(cāng)庫(kù)。

事實(shí)上，數(shù)據(jù)倉(cāng)庫(kù)的誕生也帶來(lái)了很多其他的問(wèn)題。

比如分庫(kù)分表，數(shù)據(jù)沒(méi)有一致性了，系統(tǒng)整個(gè)伸縮也面臨很大的挑戰(zhàn)。“伸”還比較簡(jiǎn)單，我可以把一個(gè)庫(kù)變成四個(gè)庫(kù)、八個(gè)庫(kù)，但是如果你想把四個(gè)庫(kù)變成兩個(gè)庫(kù)、一個(gè)庫(kù)，操作起來(lái)就非常困難了。

此外，數(shù)據(jù)倉(cāng)庫(kù)還帶來(lái)了數(shù)據(jù)冗余。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)是特定面向主題，具有方向性的，而關(guān)系數(shù)據(jù)庫(kù)從來(lái)沒(méi)有說(shuō)面向一個(gè)主題建一個(gè)關(guān)系數(shù)據(jù)庫(kù)，因?yàn)樗椭挥幸粋€(gè)。數(shù)據(jù)倉(cāng)庫(kù)還有一個(gè)問(wèn)題是它做不了實(shí)時(shí)的更新，如果它能做實(shí)時(shí)更新，就變成了交易處理的數(shù)據(jù)庫(kù)了，所以這方面也會(huì)帶來(lái)很大的挑戰(zhàn)。

為什么關(guān)系數(shù)據(jù)庫(kù)一定要做成集中式的？

第一個(gè)問(wèn)題是在所謂的事務(wù)上，因?yàn)槭聞?wù)要做成原子的。下面簡(jiǎn)單說(shuō)一下數(shù)據(jù)庫(kù)里面的事務(wù)。

以銀行轉(zhuǎn)帳為例，A給B轉(zhuǎn)100塊錢，假如圖中的這個(gè)球就是100塊錢，用戶是看不到中間過(guò)程的，只能看得到一個(gè)原子的結(jié)果。這100塊錢如果在A這邊看到?jīng)]轉(zhuǎn)，那B肯定沒(méi)收到。如果A這邊轉(zhuǎn)了，B一定是收到了，中間沒(méi)有延時(shí)，不能說(shuō)等一會(huì)B才能收到。所以，當(dāng)兩個(gè)賬戶如果在一臺(tái)機(jī)器上的時(shí)候，人們有一些比較成熟的辦法，但是當(dāng)他們?cè)趦膳_(tái)機(jī)器上的時(shí)候這件事情就會(huì)變得非常困難，因此數(shù)據(jù)庫(kù)大師想了一個(gè)辦法，將它變成了兩個(gè)階段：

第一個(gè)階段，通知A這臺(tái)機(jī)器，說(shuō)你檢查一下A這個(gè)賬戶有沒(méi)有錢，他是不是至少有100塊錢，他的賬戶是不是正常的。同時(shí)通知B那臺(tái)機(jī)器也檢查那個(gè)賬戶是否正常，正常就把這兩個(gè)賬戶都鎖住，鎖住的時(shí)間也許很短，就零點(diǎn)幾毫秒，不讓別人來(lái)讀，也不讓別人來(lái)寫，如果都正常就走到第二步。但是如果其中一個(gè)有問(wèn)題，賬就轉(zhuǎn)不了。走到第二步之后，當(dāng)A扣了100塊錢，B多了100塊錢時(shí)，這個(gè)鎖就會(huì)被打開(kāi)，這樣外面就能看到了。

在這過(guò)程中出現(xiàn)的最大的問(wèn)題是，比如A這個(gè)節(jié)點(diǎn)突然異常了，那B那100塊錢加不加，加的話，如果A這臺(tái)機(jī)器的硬盤真的壞掉了，換了一臺(tái)機(jī)器，那臺(tái)機(jī)器是不知道有這100塊錢轉(zhuǎn)賬的，系統(tǒng)的賬就不平了。如果不加，萬(wàn)一A這臺(tái)機(jī)器是假死的，過(guò)一會(huì)兒又回來(lái)了，然后A這邊把100塊錢扣除了，但是B這邊又沒(méi)有加上。這也是導(dǎo)致分布式數(shù)據(jù)庫(kù)這么多年沒(méi)有應(yīng)用于交易處理的原因。

第二個(gè)原因是分布式系統(tǒng)有一個(gè)可用率，當(dāng)你把100臺(tái)機(jī)器放在一起的時(shí)候，這100臺(tái)機(jī)器的可用率會(huì)發(fā)生指數(shù)變化，就是100次方，所以整個(gè)系統(tǒng)隨著機(jī)器的增加，可用率會(huì)指數(shù)級(jí)下降。

對(duì)于螞蟻金服來(lái)說(shuō)，我們?cè)谧鰯?shù)據(jù)庫(kù)的時(shí)候，天時(shí)、地利、人和都趕上了。

天時(shí)是需求的增加，互聯(lián)網(wǎng)的數(shù)據(jù)量、訪問(wèn)量增加了這么多，原來(lái)的集中式肯定抗不住。同時(shí)，最關(guān)鍵的是地利，阿里巴巴說(shuō)商業(yè)成就了技術(shù)，技術(shù)成就了商業(yè)，當(dāng)時(shí)我們內(nèi)部就有成千上萬(wàn)的數(shù)據(jù)庫(kù)。還有一個(gè)因素就是我們的分布式背景，單機(jī)不行，集中做不了了，那只能做分布式，正好我們的一些同事當(dāng)時(shí)擁有分布式的背景，所以說(shuō)幾個(gè)機(jī)會(huì)我們?nèi)慷稼s上了。

數(shù)據(jù)庫(kù)一般是有主庫(kù)和備庫(kù)的，如果主庫(kù)出了問(wèn)題把備庫(kù)頂上就行了，但是特別遺憾的是，在數(shù)據(jù)庫(kù)的交易處理場(chǎng)景里做不到備庫(kù)跟主庫(kù)一致?，F(xiàn)實(shí)中，每秒種可能要處理幾千、幾萬(wàn)筆事務(wù)，在這個(gè)過(guò)程中，你需要將主庫(kù)同步到備庫(kù)，但備庫(kù)一旦有抖動(dòng)或者網(wǎng)絡(luò)出現(xiàn)問(wèn)題，主庫(kù)就有大批事務(wù)要積壓，資源就全耗盡，這時(shí)主庫(kù)就無(wú)法工作了，同時(shí)意味著業(yè)務(wù)就斷了，這比數(shù)據(jù)丟失更可怕。

對(duì)此，我們做的就是引入了一個(gè)投票機(jī)制。一個(gè)備庫(kù)不行，就引入兩個(gè)備庫(kù)。兩個(gè)備庫(kù)都同步時(shí)，不要求它們都同時(shí)收到，但只要有一個(gè)收到就行，相當(dāng)于說(shuō)有一個(gè)落地，這樣任何一臺(tái)機(jī)器出問(wèn)題，剩下的兩臺(tái)機(jī)器中至少有一臺(tái)有數(shù)據(jù)，所以它就能很快自動(dòng)恢復(fù)。

事實(shí)上，這種兩臺(tái)機(jī)器同時(shí)壞的概率極低，但如果有人為因素的時(shí)候，它的概率就不是自然概率了，如果人為關(guān)了一臺(tái)機(jī)器，自然還會(huì)再壞一臺(tái)機(jī)器，所以我們?cè)谧鎏貏e重要的業(yè)務(wù)時(shí)，用的不是三臺(tái)，而是五臺(tái)機(jī)器，一個(gè)主庫(kù)用四個(gè)備庫(kù)來(lái)寫日志，這樣不需要每個(gè)都寫成功，只要超過(guò)半數(shù)的寫成功就能夠解決問(wèn)題了。

OceanBase是從2010年開(kāi)始做的，目前應(yīng)用最多的是螞蟻金服，也就是支付寶，絕大部分?jǐn)?shù)據(jù)庫(kù)現(xiàn)在都在OceanBase上。還有一個(gè)就是網(wǎng)商銀行，網(wǎng)商銀行成立的那天起，它所有的數(shù)據(jù)庫(kù)用的都是OceanBase。

TPC Benchmar

刺激數(shù)據(jù)庫(kù)發(fā)展的一個(gè)很大原因，是自動(dòng)提款機(jī)出來(lái)之后，大家發(fā)現(xiàn)數(shù)據(jù)庫(kù)變得很重要了，它需要做在線交易處理，那時(shí)候廠商都想把數(shù)據(jù)庫(kù)賣給客戶，都說(shuō)自己的性能好，但是沒(méi)有一個(gè)統(tǒng)一的東西。

直到1984年Jim Gray（后來(lái)的圖靈獎(jiǎng)的獲得者）提出了一個(gè)模型，這個(gè)模型后來(lái)成為了我們做交易處理跑分的基礎(chǔ)，今天跑分的東西都還是基于他這個(gè)模型在做，但隨著時(shí)代、技術(shù)、軟件、硬件還有業(yè)務(wù)的發(fā)展，這個(gè)技術(shù)一直在持續(xù)發(fā)展完善。

當(dāng)初他提出這個(gè)模型的時(shí)候，很多人以為說(shuō)現(xiàn)在有標(biāo)準(zhǔn)了，大家的benchmark終于可以統(tǒng)一了，其實(shí)不是，用當(dāng)時(shí)的話說(shuō)水變得更渾了，因?yàn)橛械膹S商偷工減料改模型，把這個(gè)模型改的適合自己，跑出更高的分。幾年后，Omri Serlin，他是一個(gè)工業(yè)分析師，說(shuō)服了八家公司，成立了TPC組織，這個(gè)組織其實(shí)就在做兩個(gè)事情：

第一立法，把Jim Gray的模型變成一個(gè)可以執(zhí)行的標(biāo)準(zhǔn)；

第二執(zhí)法，不是單純跑一個(gè)結(jié)果，要審核全部過(guò)程，以免有人做偷工減料的事情，不僅要審核結(jié)果，還要審核過(guò)程。

我們這次做的TPC-C的Benchmark其實(shí)是一個(gè)在線交易處理的Benchmark，它的基本單位是倉(cāng)庫(kù)，一個(gè)倉(cāng)庫(kù)有10個(gè)銷售點(diǎn)，每個(gè)銷售點(diǎn)有3000個(gè)顧客，模擬的是某個(gè)顧客到他對(duì)應(yīng)的銷售點(diǎn)去買東西。買什么呢？買商品，平均10件，最少5件，最多15件。每一件商品可能本地還不一定有，有一定的概率是異地，1%，所以平均每一次的購(gòu)買，就是一個(gè)訂單里面大概有10%出現(xiàn)異地倉(cāng)庫(kù)的概率，如果你在分布式系統(tǒng)下它就變成分布式事務(wù)。

在這個(gè)系統(tǒng)里，無(wú)法堆砌機(jī)器就能跑出來(lái)好成績(jī)，因?yàn)槟惚仨氁冗^(guò)數(shù)據(jù)庫(kù)事務(wù)的測(cè)試，在多機(jī)下也就是分布式事務(wù)。

還有就是訂單支付，訂單創(chuàng)建是45%，也就是每100筆事務(wù)里有45筆是訂單創(chuàng)建，還有43筆是訂單支付，這個(gè)支付大概有15%的概率是異地，還有3種事務(wù)是訂單的查詢、訂單的配送和庫(kù)存的查詢。

整體上來(lái)看，這其中超過(guò)百分之十的事務(wù)是分布式事務(wù)，你要解決不了分布式事務(wù)，根本就過(guò)不了這個(gè)測(cè)試所要求規(guī)定的功能，那性能就更談不上了。而且它還有一些限制，每個(gè)倉(cāng)庫(kù)你只能有12.86個(gè)tpmC，最終你按照這樣的5種事務(wù)的混合比例跑，每分鐘你跑出來(lái)的交易訂單創(chuàng)建的個(gè)數(shù)就叫tpmC。

以上是它的整個(gè)模型，一個(gè)人跑到他對(duì)應(yīng)的銷售點(diǎn)，用一個(gè)銷售終端買東西，就是這么簡(jiǎn)單。

假設(shè)你的性能是150萬(wàn)tpmC，那就是每一分鐘的訂單創(chuàng)建有150萬(wàn)，實(shí)際上做的時(shí)候大概有300多萬(wàn)，訂單創(chuàng)建只占45%，不到一半。大概對(duì)應(yīng)下來(lái)的數(shù)據(jù)量要8個(gè)多TB的數(shù)據(jù)，我們做6000萬(wàn)tpmC，要多少個(gè)倉(cāng)庫(kù)呢？大約480萬(wàn)個(gè)倉(cāng)庫(kù)。這些倉(cāng)庫(kù)上的數(shù)據(jù)還要乘以2，因?yàn)槲覀儧](méi)有用共享存儲(chǔ)，用普通的PC服務(wù)器，而且是虛擬機(jī)，機(jī)器故障數(shù)據(jù)是可能丟的，要保證持久性，所以我們的數(shù)據(jù)成了2分，日志成了3分。

還有一些限制，第一要審核，從過(guò)程到結(jié)果，都要審核。第二要求系統(tǒng)提供60天的壓測(cè)存儲(chǔ)空間，壓測(cè)一天數(shù)據(jù)會(huì)增長(zhǎng)，相當(dāng)于提供60倍的增長(zhǎng)的空間。

另外，要想測(cè)試跑分，要先測(cè)功能。這里面所謂的事物的原子性、一致性、隔離性、持久性是前提，還有其它的好多要求，這只是其中比較重要的一塊。然后要測(cè)性能，要跑8個(gè)小時(shí)，性能測(cè)試至少跑2個(gè)小時(shí)，要求性能波動(dòng)不能超過(guò)2%。

這個(gè)結(jié)果出來(lái)之后，就處在了所謂的60天公示期，任何人都可以提出問(wèn)題，提出質(zhì)疑，如果有人提出來(lái)，我們都要回答他。60天過(guò)了之后，結(jié)果成為了active，意味著用戶能以披露書上的價(jià)格買到整套系統(tǒng)，這個(gè)價(jià)格包括軟件、硬件以及3年的服務(wù)。再往后，如果用戶無(wú)法再以這個(gè)價(jià)格購(gòu)買到整套系統(tǒng)，比如硬件不再生產(chǎn)了，這個(gè)記錄就變成了歷史記錄（history）。

我們可以比較一下最近的3個(gè)榜首，最早是在2010年8月份，IBM用了3臺(tái)Power780做出來(lái)的，這也是整個(gè)TPC-C結(jié)果里第一次過(guò)1000萬(wàn)tpmC。

IBM位置沒(méi)有坐多久，4個(gè)月不到的時(shí)間，Oracle又做出了更高的結(jié)果，還是集中式的，用了27臺(tái)計(jì)算工作站和97臺(tái)存儲(chǔ)，每一臺(tái)存儲(chǔ)里都有一臺(tái)X86服務(wù)器，用這個(gè)做到了3000多萬(wàn)。

大家會(huì)問(wèn)我們?yōu)槭裁唇裉煊械讱庾瞿?？因?yàn)槲覀兪欠植际健?/p>

這是我們一些簡(jiǎn)單的數(shù)據(jù)，一共用了210臺(tái)數(shù)據(jù)庫(kù)，其實(shí)真正用做數(shù)據(jù)處理的是204臺(tái)，最早是201臺(tái)，后來(lái)不到原來(lái)第一名的2倍，加了3臺(tái)。還有3臺(tái)做管理的。另外還有3臺(tái)做系統(tǒng)監(jiān)控。我們是真的按照生產(chǎn)系統(tǒng)來(lái)部署的。

我們用虛擬機(jī)，虛擬機(jī)所在的物理機(jī)不管是內(nèi)存還是CPU都超過(guò)50%，如果用物理機(jī)性能起碼還能提升50%。

今天我們具備了交易處理能力，作為一個(gè)分布式數(shù)據(jù)庫(kù)，具備商業(yè)智能處理分析能力只是時(shí)間問(wèn)題。因?yàn)閿?shù)據(jù)庫(kù)最難過(guò)的坎是交易處理，你做不了交易處理，系統(tǒng)就沒(méi)有數(shù)據(jù)，只能像數(shù)據(jù)倉(cāng)庫(kù)那樣去做數(shù)據(jù)分析。如果你有交易處理能力，并且是分布式系統(tǒng)，那就意味著你既能夠做交易處理，還能夠同時(shí)做分析處理。

期待展望

傳統(tǒng)數(shù)據(jù)庫(kù)發(fā)展了這么多年，一直是一個(gè)集中式的枷鎖，限制約束就擺在那兒。我們做的時(shí)候，聽(tīng)到了很多質(zhì)疑的聲音，說(shuō)這個(gè)是曾經(jīng)被判了死刑的東西。我們雖然有這么多用戶，但大家說(shuō)你還是不能證明你自己，現(xiàn)在我們通過(guò)了這個(gè)測(cè)試，不止是性能，更關(guān)鍵是整個(gè)測(cè)試證明我們具備了做交易數(shù)據(jù)庫(kù)的處理能力。

接下來(lái)我們要做的事情，就是一方面把我們的功能補(bǔ)全，另一方面把交易處理+商業(yè)智能分析功能發(fā)展起來(lái)，讓我們的用戶能夠更好地用這個(gè)系統(tǒng)。

來(lái)源：友盟+