SequoiaDB巨杉數(shù)據(jù)庫許建輝：夯實數(shù)據(jù)庫根科技，提升企業(yè)數(shù)智化轉(zhuǎn)型的“人效”和“能效”
原創(chuàng) 許建輝 | 2021-08-18 14:07
【數(shù)據(jù)猿導(dǎo)讀】 互聯(lián)網(wǎng)的嶄新格局催生了5G、云計算、大數(shù)據(jù)等新興技術(shù)，企業(yè)的數(shù)智化、智能化轉(zhuǎn)型勢在必行。
“本文由 SequoiaDB巨杉數(shù)據(jù)庫合伙人兼研發(fā)VP許建輝 撰寫并投遞參與由數(shù)據(jù)猿&上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的“行業(yè)盤點季之?dāng)?shù)智化轉(zhuǎn)型升級”大型主題策劃活動之《2021中國企業(yè)數(shù)智化轉(zhuǎn)型升級先鋒人物》榜單/獎項的評選。
互聯(lián)網(wǎng)的嶄新格局催生了5G、云計算、大數(shù)據(jù)等新興技術(shù)，企業(yè)的數(shù)智化、智能化轉(zhuǎn)型勢在必行。
數(shù)據(jù)已然成為數(shù)字經(jīng)濟中關(guān)鍵的生產(chǎn)要素，它如同燃油和電力一樣為不同組織注入源源不斷的能源。而數(shù)據(jù)庫作為企業(yè)級基礎(chǔ)軟件，是我國數(shù)智化轉(zhuǎn)型和國產(chǎn)化進程中的重要一環(huán)。
因此，如何讓諸如數(shù)據(jù)庫的“新基建”賦能上層應(yīng)用，協(xié)助企業(yè)數(shù)智化轉(zhuǎn)型，是所有底層技術(shù)企業(yè)都應(yīng)思考的問題。
后疫情時代的企業(yè)數(shù)智化轉(zhuǎn)型
新冠疫情的突發(fā)，使得數(shù)據(jù)進入到了一個裂變式增長期，同時也在推動著各行各業(yè)的數(shù)智化轉(zhuǎn)型升級。數(shù)智化不斷促使產(chǎn)業(yè)變革，人們看到了“新基建”背后蘊藏的巨大經(jīng)濟活力，大批企業(yè)朝著人工智能、大數(shù)據(jù)方向發(fā)展，并努力尋求發(fā)展的創(chuàng)新點和增長點。
根據(jù)業(yè)界權(quán)威機構(gòu)的統(tǒng)計，全球的數(shù)據(jù)量將從2020年的55ZB，增加到2025年的175ZB，這意味著未來五年數(shù)據(jù)量將會有2倍以上的增長。可以說，未來市場的競爭其實是數(shù)據(jù)的競爭，誰處理好了數(shù)據(jù)，誰就掌握了核心制勝點。
數(shù)據(jù)成為企業(yè)發(fā)展的新動能，而企業(yè)的數(shù)智化轉(zhuǎn)型則是順應(yīng)時代潮流、響應(yīng)國家政策號召的必由之路。在轉(zhuǎn)型的進程中，企業(yè)應(yīng)該關(guān)注難點和痛點問題，并結(jié)合自身的資源和能力水平對癥下藥，從而找到最優(yōu)的解決方案。通過我的觀察，發(fā)現(xiàn)企業(yè)在數(shù)智化轉(zhuǎn)型的過程中有可能會面臨以下兩方面的瓶頸：
一、數(shù)據(jù)研發(fā)團隊的“人效”瓶頸
“羅馬不是一天建成的”，企業(yè)的數(shù)智化系統(tǒng)往往是分階段、分項目建立起來的。在不同的建設(shè)周期的項目中，各個系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)模型，甚至是數(shù)據(jù)庫引擎都不盡相同。這樣的建立方法，不但會引起數(shù)據(jù)孤島的問題，還將導(dǎo)致企業(yè)在數(shù)據(jù)管理過程中出現(xiàn)“人效”的問題。
企業(yè)往往需要為不同的數(shù)據(jù)庫構(gòu)建全流程運維機制（包括：軟硬件、運維指南、監(jiān)控系統(tǒng)等），并聘用獨立運維及開發(fā)人員團隊。而不同數(shù)據(jù)庫之間，由于數(shù)據(jù)層并不通用，因此當(dāng)兩個系統(tǒng)需要進行數(shù)據(jù)交換時，又需要通過ETL或應(yīng)用程序單獨開發(fā)數(shù)據(jù)流動的組件，這樣將進一步消耗研發(fā)人力和提高后續(xù)管理的復(fù)雜度。這些問題都導(dǎo)致了企業(yè)在數(shù)智化轉(zhuǎn)型過程中，無法充分釋放“人效”，也無法將有限的技術(shù)人力投入到業(yè)務(wù)增值的方向上。
二、數(shù)據(jù)調(diào)度的“能效”瓶頸
獲得數(shù)據(jù)調(diào)度“效能”最有效的途徑，就是構(gòu)建統(tǒng)一的數(shù)據(jù)基礎(chǔ)設(shè)施，讓不同的數(shù)據(jù)之間可以無縫對接共享，避免數(shù)據(jù)在不同數(shù)據(jù)庫產(chǎn)品間的頻繁流動。在國家“低碳環(huán)保”的發(fā)展戰(zhàn)略下，統(tǒng)一的數(shù)據(jù)基礎(chǔ)設(shè)施一方面可以減少數(shù)據(jù)流動導(dǎo)致的CPU計算、磁盤IO占用及網(wǎng)絡(luò)帶寬消耗；另一方面還可以避免數(shù)據(jù)的過分冗余，降低數(shù)據(jù)的總體使用空間。
然而這并不簡單，正如我前面所言，在企業(yè)的數(shù)智化系統(tǒng)的演進過程中，由于不同的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型的需求，需要引入多種數(shù)據(jù)庫產(chǎn)品。由于這些產(chǎn)品間的數(shù)據(jù)無法直接共用，因此就只能通過頻發(fā)的數(shù)據(jù)調(diào)度、數(shù)據(jù)同步，來實現(xiàn)各個系統(tǒng)間的數(shù)據(jù)調(diào)用，因此浪費了大量的系統(tǒng)“效能”。
夯實數(shù)據(jù)庫根科技，提升企業(yè)數(shù)智化轉(zhuǎn)型的“人效”和“能效”
如今市場中有眾多處理數(shù)據(jù)的產(chǎn)品，但只有將基礎(chǔ)軟件作為轉(zhuǎn)型的核心，才能從本質(zhì)上幫助企業(yè)在第一時間洞察海量數(shù)據(jù)背后的價值，從而有效驅(qū)動企業(yè)高速發(fā)展，占據(jù)行業(yè)發(fā)展先機。
我在數(shù)據(jù)庫領(lǐng)域有著十二年的從業(yè)經(jīng)驗，作為國內(nèi)分布式技術(shù)的開拓者，我清楚地認(rèn)識到，基于引擎級多模技術(shù)，通過數(shù)據(jù)庫的“湖倉一體”架構(gòu)，可以有效幫助企業(yè)增強數(shù)據(jù)復(fù)用能力，全方位提升管理及開發(fā)效率。具體而言，我認(rèn)為可以通過以下兩個方面的技術(shù)，幫助企業(yè)突破在數(shù)智化轉(zhuǎn)型過程中面臨的“人效”和“能效”瓶頸。
一、通過分布式多模技術(shù)提升企業(yè)運作“人效”
首先，借助“湖倉一體”技術(shù)架構(gòu)下的引擎級多模技術(shù)能力（Multi-Model），數(shù)據(jù)庫可以基于統(tǒng)一的數(shù)據(jù)源，面向不同的開發(fā)團隊提供包括：結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)模型，甚至提供兼容多引擎的SQL接口。這使得不同的研發(fā)團隊可以基于同一份數(shù)據(jù)進行業(yè)務(wù)處理，應(yīng)業(yè)務(wù)的需求自由選擇適合業(yè)務(wù)的SQL語言，提升開發(fā)及管理效率。
同時，通過序列時鐘協(xié)議或其他分布式時鐘技術(shù)，可以有效控制分布式架構(gòu)下時鐘調(diào)用延遲，以提供高性能的事務(wù)能力，甚至是與傳統(tǒng)集中式數(shù)據(jù)庫相同的RR事務(wù)隔離級別。開發(fā)者可以放心地將事務(wù)一致性邏輯交由分布式數(shù)據(jù)庫層進行處理，讓開發(fā)人員回歸到純粹的業(yè)務(wù)設(shè)計中，提升企業(yè)研發(fā)“人效”。
二、通過融合聯(lián)機處理能力提升企業(yè)運作“能效”
在數(shù)據(jù)融合處理能力方面，“湖倉一體”可以將各類原始數(shù)據(jù)統(tǒng)一存儲，通過權(quán)限及租戶隔離實現(xiàn)數(shù)據(jù)的共享及安全保護。因此數(shù)據(jù)可以天然打通，避免由于不同引擎間的頻發(fā)傳輸導(dǎo)致性能損耗，也避免了數(shù)據(jù)在各引擎間的數(shù)據(jù)冗余導(dǎo)致空間浪費。
例如，企業(yè)在數(shù)智化轉(zhuǎn)型過程中，非結(jié)構(gòu)化數(shù)據(jù)（如同：音視頻、聲紋指紋、人臉識別等）已經(jīng)進入到在線業(yè)務(wù)系統(tǒng)中，成為了海量數(shù)據(jù)的新入口。這些數(shù)據(jù)不但容量上遠(yuǎn)超結(jié)構(gòu)化數(shù)據(jù)，而且通過持續(xù)迭代的AI和機器學(xué)習(xí)處理，會不斷產(chǎn)生海量的結(jié)構(gòu)化或半結(jié)構(gòu)化標(biāo)簽數(shù)據(jù)，對底層數(shù)據(jù)處理平臺提出了更高的實時聯(lián)機處理能力要求。通過“湖倉一體”實現(xiàn)交易分析一體化、流批一體化、多模數(shù)據(jù)一體化，就可以為里面存儲的每一個對象賦予標(biāo)簽、描述和內(nèi)容進行統(tǒng)一有效的管理、分類、檢索和查詢，實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)治理，從而提升企業(yè)內(nèi)數(shù)據(jù)的整體“能效”。
目前，巨杉數(shù)據(jù)庫的“湖倉一體”架構(gòu)已在超過100家金融銀行業(yè)客戶規(guī)?；a(chǎn)上線應(yīng)用。在金融銀行業(yè)生產(chǎn)環(huán)境中，運行時間最長的巨杉數(shù)據(jù)庫集群已經(jīng)超過7年，最大單客戶集群規(guī)模達300臺物理服務(wù)器，所管理的單集群最大數(shù)據(jù)量超過1萬2000億條。未來企業(yè)數(shù)據(jù)將持續(xù)爆發(fā)增長，巨杉將面向核心應(yīng)用場景的高價值數(shù)據(jù)，為千行百業(yè)提供數(shù)智化轉(zhuǎn)型的基礎(chǔ)服務(wù)。
當(dāng)今社會，數(shù)據(jù)已然成為鏈接萬物的關(guān)鍵。無論是傳統(tǒng)行業(yè)還是新興產(chǎn)業(yè)，都在積極地進行數(shù)智化、智能化改造升級。而數(shù)據(jù)庫作為企業(yè)級基礎(chǔ)軟件，能夠從技術(shù)層面出發(fā)，幫助企業(yè)實現(xiàn)內(nèi)部的數(shù)智化轉(zhuǎn)型升級，從而做到真正意義上的降本提效。
數(shù)據(jù)量的激增，將促使更多的企業(yè)往數(shù)智化方向進行轉(zhuǎn)型，而數(shù)智化又將持續(xù)為全球數(shù)據(jù)帶來爆炸性的增量發(fā)展，并為數(shù)據(jù)庫行業(yè)帶來全新的市場機遇。數(shù)據(jù)與數(shù)智化之間實際上是雙向的推動力，它們之間彼此作用，共同促進數(shù)字經(jīng)濟達到新的增長點。
巨杉數(shù)據(jù)庫SequoiaDB將持續(xù)夯實底層根科技，基于湖倉一體架構(gòu)構(gòu)建新一代國產(chǎn)數(shù)據(jù)庫，降低數(shù)據(jù)流動帶來的開發(fā)成本及計算存儲開銷，成為提升企業(yè)數(shù)智化轉(zhuǎn)型期“人效”和“能效”的數(shù)據(jù)基礎(chǔ)設(shè)施。
作者個人簡介
許建輝，SequoiaDB巨杉數(shù)據(jù)庫合伙人兼研發(fā)VP，擁有超過12年數(shù)據(jù)庫、分布式架構(gòu)研發(fā)經(jīng)驗。前華為分布式數(shù)據(jù)庫和分布式存儲團隊成員，是國內(nèi)最早一批研究分布式技術(shù)的開拓者。2012年加入SequoiaDB，作為總架構(gòu)師，負(fù)責(zé)數(shù)據(jù)庫的架構(gòu)設(shè)計、數(shù)據(jù)庫技術(shù)創(chuàng)新和研發(fā)管理工作，協(xié)助巨杉數(shù)據(jù)庫服務(wù)于金融、能源、運營商、政府等多個行業(yè)，為眾多客戶提供堅實的數(shù)據(jù)基礎(chǔ)設(shè)施。
來源： 數(shù)據(jù)猿
刷新相關(guān)文章
我要評論
活動推薦more >
- 【大會嘉賓】威馬汽車集團戰(zhàn)2021-08-02
- 【大會嘉賓】聯(lián)通智慧足跡CM2021-08-02
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計算機網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
不容錯過的資訊
-
1星陀資本投資合伙人秦毅：大數(shù)據(jù)+人工智
-
2【案例】得益乳業(yè)——以消費者大數(shù)據(jù)為基
-
3#2021非凡大賞：營銷無邊零售無界，共尋
-
4【案例】某證券公司——特權(quán)賬號VPC模式
-
5深度解密架構(gòu)演進，2021GIAC全球互聯(lián)網(wǎng)架
-
6電子發(fā)票無紙化歸檔，數(shù)字化轉(zhuǎn)型Say Hi
-
7易快報創(chuàng)始人兼CEO馬春荃：數(shù)智化時代撲
-
8KyligeKyligence聯(lián)合創(chuàng)始人兼CTO李揚：
-
9華為在俄羅斯開設(shè)基于ARM技術(shù)的數(shù)據(jù)中心
-
102021第九屆深圳國際物聯(lián)網(wǎng)展覽會
