StarRocks COO葉謙：仰望星空，腳踏實(shí)地，StarRocks 開啟新的序章｜數(shù)據(jù)猿專訪

StarRocks 鼎石科技葉謙數(shù)據(jù)猿專訪數(shù)據(jù)庫

原創(chuàng) 達(dá)尼亞 | 2021-11-05 15:08

【數(shù)據(jù)猿導(dǎo)讀】鼎石科技成立于2020年5月，是一家專注于大數(shù)據(jù)核心技術(shù)的高科技公司。公司核心產(chǎn)品是新一代極速全場景MPP分析型數(shù)據(jù)庫系統(tǒng)StarRocks

StarRocks COO葉謙：仰望星空，腳踏實(shí)地，StarRocks 開啟新的序章｜數(shù)據(jù)猿專訪

少有賽道像當(dāng)前中國數(shù)據(jù)庫那樣“糾結(jié)”：

一方面，迎著時(shí)代的風(fēng)，數(shù)據(jù)庫的發(fā)展如火如荼。2020 年 4 月，數(shù)據(jù)被正式列為與土地、勞動力、資本和技術(shù)并列的“第五要素”，盡顯重要性的同時(shí)，也成功帶動數(shù)據(jù)庫產(chǎn)業(yè)水漲船高，迎來鼎盛繁榮。據(jù)艾瑞數(shù)據(jù)統(tǒng)計(jì)，2020年中國數(shù)據(jù)庫市場總規(guī)模達(dá)247.1億元，同比增長16.2%。未來三年預(yù)計(jì)將繼續(xù)保持高增長，并且多類型數(shù)據(jù)庫將百花齊放。

另一方面，數(shù)據(jù)庫的火熱發(fā)展沒能點(diǎn)燃資本的熱情。幾乎所有投資人和工程師都表態(tài)“愿意等鐵杵磨針”，因?yàn)樗麄冃闹敲?，?shù)據(jù)庫與操作系統(tǒng)、中間件是計(jì)算機(jī)的三大基礎(chǔ)軟件，從研發(fā)難度來講，如果說操作系統(tǒng)是冰山上露出來的95%，那么數(shù)據(jù)庫就是隱藏在水下冰山的5%，看似相對容易，但沒有足夠的實(shí)力，根本觸不到隱藏的冰山一角，也就生產(chǎn)不出好的產(chǎn)品。

1989年，在“老大哥”Oracle帶著數(shù)據(jù)庫產(chǎn)品第一次出現(xiàn)在中國市場時(shí)，國外數(shù)據(jù)庫已經(jīng)迭代了超過7個版本。與國外數(shù)據(jù)庫廠商誕生時(shí)間和發(fā)展速度相比，國產(chǎn)數(shù)據(jù)庫尷尬地輸在了“起跑線上”。

那么起跑線落后的數(shù)據(jù)庫還能彎道超車嗎？沒有下一步海闊天空，只有下一步比這一步更難的國產(chǎn)數(shù)據(jù)庫真的迎來轉(zhuǎn)折點(diǎn)了嗎？現(xiàn)在又有怎樣的企業(yè)在國產(chǎn)數(shù)據(jù)庫的深水區(qū)里開荒呢？

對于這些疑問，數(shù)據(jù)庫領(lǐng)域新秀StarRocks也許有獨(dú)到的見解和發(fā)言權(quán)。

StarRocks_鼎石科技_葉謙_數(shù)據(jù)猿專訪_數(shù)據(jù)庫-1

談風(fēng)雨，StarRocks追求“極速統(tǒng)一分析”之路

數(shù)據(jù)庫，即數(shù)據(jù)管理系統(tǒng)，誕生于20世紀(jì)60年代中期的美國，是按數(shù)據(jù)結(jié)構(gòu)來存儲和管理數(shù)據(jù)的計(jì)算機(jī)軟件系統(tǒng)。

20世紀(jì)80年代后中國數(shù)據(jù)庫市場由“外來和尚”Oracle、Sybase、DB2、Informix等產(chǎn)品占據(jù)。在之后長達(dá)十幾年的時(shí)間里，國內(nèi)數(shù)據(jù)庫市場格局也鮮有國產(chǎn)品牌的影子，金融行業(yè)以DB2、Sybase為心腹，而電信、電力行業(yè)中則基本由Oracle一統(tǒng)江湖。

“但是，很快隨著我國國產(chǎn)化戰(zhàn)略的實(shí)施和更多的資金投入，國產(chǎn)數(shù)據(jù)庫在中國的占比從 2017 年的 16.5%上升到了 2020 年的近 50%。根據(jù)信通院測算，2020 年國產(chǎn)數(shù)據(jù)庫規(guī)模約 241 億，年復(fù)合增長率 23.4%。傳統(tǒng)國產(chǎn)數(shù)據(jù)庫、云數(shù)據(jù)庫和新型數(shù)據(jù)庫創(chuàng)業(yè)企業(yè)在受到資本方的關(guān)注下，加之開源生態(tài)助力后迅速提升了技術(shù)水平和商業(yè)化能力。所以，現(xiàn)在中國的數(shù)據(jù)庫發(fā)展之路也并沒有想象中那么難。”StarRocks COO葉謙告訴數(shù)據(jù)猿。

葉謙所任職的北京鼎石縱橫科技有限公司（簡稱：鼎石科技）成立于2020年5月，是一家專注于大數(shù)據(jù)核心技術(shù)的高科技公司。其麾下成員均來自于百度、阿里、微軟，美團(tuán)、京東、小米、字節(jié)跳動等互聯(lián)網(wǎng)頭部企業(yè)的基礎(chǔ)架構(gòu)和大數(shù)據(jù)團(tuán)隊(duì)。公司核心產(chǎn)品——新一代極速全場景MPP分析型數(shù)據(jù)庫系統(tǒng)StarRocks正是今天故事的主角。

StarRocks_鼎石科技_葉謙_數(shù)據(jù)猿專訪_數(shù)據(jù)庫-2

“Star是天上的一顆星，Rock是地上的一塊石！作為鼎石科技苦心研發(fā)的新一代極速全場景MPP數(shù)據(jù)庫，這個名字就代表我們希望StarRocks仰望星空的同時(shí)，更能腳踏實(shí)地。”葉謙說罷，便細(xì)數(shù)起StarRocks的腳踏實(shí)地之舉：

第一，StarRocks具備極速的任意維度OLAP分析和Adhoc查詢能力，能賦予業(yè)務(wù)全新的洞察靈活性和速度；

第二，StarRocks可以支持?jǐn)?shù)據(jù)秒級實(shí)時(shí)更新，寫入數(shù)據(jù)立即可見，幫助用戶顯著提升業(yè)務(wù)洞察的實(shí)時(shí)性；

第三，StarRocks支持?jǐn)?shù)千用戶同時(shí)進(jìn)行分析，可以賦能更多用戶進(jìn)行業(yè)務(wù)洞察；

第四，StarRocks還支持基于多種數(shù)據(jù)模型的極速分析，可賦予業(yè)務(wù)全新的構(gòu)建靈活性和速度，能幫助用戶快速響應(yīng)業(yè)務(wù)變化。

StarRocks_鼎石科技_葉謙_數(shù)據(jù)猿專訪_數(shù)據(jù)庫-3

在變幻莫測的數(shù)據(jù)庫行業(yè)中，這是StarRocks追求“極速統(tǒng)一分析”之路，也基于業(yè)務(wù)數(shù)據(jù)、數(shù)據(jù)報(bào)表、數(shù)據(jù)指標(biāo)越來越多的企業(yè)應(yīng)對之法。

論創(chuàng)新，StarRocks有效利用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價(jià)值

在追求“極速統(tǒng)一分析”的同時(shí)，StarRocks也一直在解決一個難題——到底怎樣的技術(shù)創(chuàng)新才能有效地分析海量數(shù)據(jù)，真正有效地利用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價(jià)值呢？

從0到1的進(jìn)化，總伴隨著破殼而出的喜悅。談及技術(shù)創(chuàng)新點(diǎn)，葉謙自豪地講到：“全面向量化技術(shù)是第一個創(chuàng)新，StarRocks的整個執(zhí)行引擎都是按照向量化的方式全部重寫的。從磁盤數(shù)據(jù)格式，到內(nèi)存數(shù)據(jù)格式，再到網(wǎng)絡(luò)數(shù)據(jù)傳輸格式都按列的方式進(jìn)行處理。而且我們執(zhí)行引擎里的每一個算子，包括表達(dá)式計(jì)算、執(zhí)行節(jié)點(diǎn)、數(shù)據(jù)Shuffle都是用向量化的方式實(shí)現(xiàn)并優(yōu)化。”

至于全面向量化的重要性有幾何？StarRocks的全面向量化和其他產(chǎn)品的向量化有何區(qū)別，葉謙進(jìn)一步解釋到：“很多產(chǎn)品的向量化基本都只是局部的，并沒有用向量化技術(shù)實(shí)現(xiàn)所有的算子。還有的產(chǎn)品雖然使用列式存儲，但在計(jì)算時(shí)‘換湯不換藥’還是按行來。而StarRocks不同，它是完全的按列存儲，按列計(jì)算，按列傳輸。并且應(yīng)用全面向量化引擎的執(zhí)行，StarRocks相比原來的執(zhí)行引擎，性能提升了幾倍到十幾倍。”

不僅如此，StarRocks還有第二大技術(shù)創(chuàng)新點(diǎn)，即從零開始實(shí)現(xiàn)了一個全新的CBO優(yōu)化器。“一個好的優(yōu)化器要能夠給出執(zhí)行代價(jià)最低，并能充分利用自身執(zhí)行引擎能力的執(zhí)行計(jì)劃，StarRocks自研的全新CBO優(yōu)化器讓我們在SSB標(biāo)準(zhǔn)測試上的性能表現(xiàn)提升了3—5倍。在TPC-H測試集上，同樣是以外表的方式查詢Hive數(shù)據(jù)，性能比Presto快5倍以上。當(dāng)然除了這兩大創(chuàng)新點(diǎn)，我們還通過Colocate Join，現(xiàn)代化物化視圖等優(yōu)化手段，這些優(yōu)化手段在特定的場景下都能大幅提升數(shù)據(jù)分析的性能。”葉謙補(bǔ)充到。

StarRocks_鼎石科技_葉謙_數(shù)據(jù)猿專訪_數(shù)據(jù)庫-4

為什么StarRocks能如此迅速地成為“前排選手”？也許靠的正是面對數(shù)據(jù)庫深水區(qū)時(shí)的產(chǎn)品創(chuàng)新和技術(shù)創(chuàng)新，以及幫助客戶實(shí)現(xiàn)重大成就和打造世界級的分析型數(shù)據(jù)庫產(chǎn)品的決心。

品當(dāng)下，滿足客戶的需求是StarRocks存在的唯一意義

杠桿只有在對的支點(diǎn)，才有撬動地球的能力。葉謙覺得這句話最適合互聯(lián)網(wǎng)公司貝殼。

“OLAP平臺是貝殼的數(shù)字化運(yùn)營基石，在數(shù)據(jù)平臺中占據(jù)著非常重要的位置。首先OLAP平臺需要支撐集團(tuán)的經(jīng)營管理決策，需要將各種業(yè)務(wù)流程中的關(guān)鍵指標(biāo)抽象出來，在OLAP平臺上進(jìn)行實(shí)現(xiàn)；其次是探索性分析，OLAP平臺需要支持前線業(yè)務(wù)員的探索性分析；最后是可視化報(bào)表，即常規(guī)的固定報(bào)表業(yè)務(wù)，需要OLAP引擎有支持大規(guī)模并發(fā)請求的能力。”葉謙介紹起貝殼情況。

在沒有上線StarRocks之前，為了滿足不同數(shù)據(jù)分析場景的需求，貝殼上線了包括Impala、Presto、Kylin、Druid、ClickHouse、Hive等多套數(shù)據(jù)分析系統(tǒng)，做到不同系統(tǒng)對應(yīng)不同的數(shù)據(jù)分析需求。但貝殼在數(shù)據(jù)分析方面依然存在不少問題，比如歷史數(shù)據(jù)Update支持差、多表Join功能的支持能力差、運(yùn)維復(fù)雜，用戶學(xué)習(xí)成本較高等等。

“由于使用了多套不同的系統(tǒng)，整體的運(yùn)維復(fù)雜度很高。貝殼大數(shù)據(jù)團(tuán)隊(duì)只有十幾個人，導(dǎo)致對于每套系統(tǒng)的研究理解都不深入，出了問題很容易Hold不住，運(yùn)維壓力很大。就在使用了StarRocks后，貝殼可以支持高并發(fā)數(shù)據(jù)分析，能很好地支持貝殼的各級人員同時(shí)訪問和使用；也支持?jǐn)?shù)據(jù)的實(shí)時(shí)更新、實(shí)時(shí)生效，更有力地支持了需要更新的實(shí)時(shí)數(shù)據(jù)分析場景；不僅如此，Join的查詢性能、能有效地支持星型模型查詢場景。并且，StarRocks的現(xiàn)代化物化視圖技術(shù)，可以很容易實(shí)現(xiàn)同時(shí)高效查詢明細(xì)數(shù)據(jù)和聚合數(shù)據(jù)的能力。”葉謙告訴數(shù)據(jù)猿。

目前，貝殼正在逐步將OLAP數(shù)據(jù)分析場景全部統(tǒng)一到StarRocks上，現(xiàn)在其不僅各個場景需求的滿足度更高，而且同時(shí)維護(hù)的系統(tǒng)數(shù)量減少后，整體運(yùn)維復(fù)雜度和壓力都下降了很多。

StarRocks_鼎石科技_葉謙_數(shù)據(jù)猿專訪_數(shù)據(jù)庫-5

嘆未來，StarRocks選擇開放源代碼，魚和熊掌或許可以兼得

2021 年，對整個開源世界來說是特殊的一年，從誕生年齡來看，它已進(jìn)入“而立”。

30 年前，來自芬蘭的大學(xué)生 Linus Torvalds 創(chuàng)造了 Linux 操作系統(tǒng)內(nèi)核。經(jīng)過三十載發(fā)展，這個當(dāng)年因個人興趣而誕生的開源項(xiàng)目，如今已經(jīng)發(fā)展成全球最大、參與開發(fā)人數(shù)最多的超級項(xiàng)目。

盡管開放源代碼可以共建生態(tài)、推動技術(shù)創(chuàng)新，但是對于追求商業(yè)成功的初創(chuàng)企業(yè)來說，開放源代碼后如何“活下來”呢？尤其在各方勢力都虎視眈眈的中國數(shù)據(jù)庫產(chǎn)業(yè)，魚和熊掌可以兼得嗎？

“StarRocks作為一家商業(yè)化的公司，我們肯定是要追求商業(yè)上的成功。在StarRocks之前，已經(jīng)有很多前輩在這方面進(jìn)行了很多探索和嘗試。”

比如說Databricks的完全開源產(chǎn)品Apache Spark，既使用Apache協(xié)議，又有閉源的商業(yè)化產(chǎn)品Photon，Databricks的商業(yè)化成功靠的是Photon的性能大幅領(lǐng)先Apache Spark。這種開放模式可以稱為‘弱內(nèi)核+寬松協(xié)議’。

還有一種開源類型是MongoDB，普通用戶是可以免費(fèi)使用，但為了防止云廠商對其直接商業(yè)化， MongoDB使用了SSPL這樣比較嚴(yán)格的協(xié)議，即采用一種“強(qiáng)內(nèi)核+嚴(yán)格協(xié)議”的開放模式。

StarRocks_鼎石科技_葉謙_數(shù)據(jù)猿專訪_數(shù)據(jù)庫-6

“面對未來，鼎石科技會有兩條商業(yè)化路徑，一是提供具備更多企業(yè)級功能的企業(yè)版，包括更多的企業(yè)級運(yùn)維工具，具有安全性和權(quán)限控制，資源隔離等功能；二是會推出一個純云原生版本的產(chǎn)品，直接和公有云廠商合作，為客戶提供全托管的彈性服務(wù)。我們在考慮開放源代碼和商業(yè)化這兩件事情的時(shí)候，想得更多的是如何讓普通用戶更易具備最強(qiáng)的數(shù)據(jù)分析能力。”這是葉謙對魚和熊掌是否可以兼得最坦承回應(yīng)。

科幻作家威廉·吉布森曾說：“未來已經(jīng)到來，只是尚未流行。”也許科幻作家活在百年后，科技投資者和媒體人活在幾十年后，但深耕在產(chǎn)業(yè)之中的實(shí)干者，以及產(chǎn)業(yè)變革所影響的人都活在當(dāng)下，所以仰望星空，腳踏實(shí)地的鼎石科技格外讓人期待。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。