當(dāng)下，企業(yè)業(yè)務(wù)愈發(fā)復(fù)雜多元，對(duì)數(shù)據(jù)處理的要求越來越高，實(shí)時(shí)分析場景也日益繁多。同時(shí)，數(shù)據(jù)技術(shù)發(fā)展日新月異，新技術(shù)層出不窮，利用合適的數(shù)據(jù)技術(shù)打造企業(yè)的實(shí)時(shí)分析能力非常重要。

三大趨勢(shì)概述

對(duì)于未來數(shù)據(jù)技術(shù)的發(fā)展，有三大趨勢(shì)值得注意：

1、實(shí)時(shí)分析需求高漲，實(shí)時(shí)特性將成為區(qū)分下一代湖倉的重要標(biāo)準(zhǔn)。

2、湖倉融合逐漸成為數(shù)據(jù)平臺(tái)迭代的主流方向。

3、AIGC興起讓數(shù)據(jù)使用更簡單，但落地還有一段路要走。

實(shí)時(shí)特性將成為下一代湖倉的重要標(biāo)準(zhǔn)

1、實(shí)時(shí)湖倉需求的產(chǎn)生

越來越多的實(shí)時(shí)場景涌現(xiàn)，如實(shí)時(shí)大屏、實(shí)時(shí)報(bào)表、實(shí)時(shí)指標(biāo)、實(shí)時(shí)推薦、實(shí)時(shí)風(fēng)控、反欺詐、IoT場景等，我們平時(shí)在瀏覽電商時(shí)收到實(shí)時(shí)推薦，似乎已經(jīng)司空見慣。從業(yè)務(wù)場景的需求來看，傳統(tǒng)的 T+1 已經(jīng)難以支撐，大家對(duì)實(shí)時(shí)的需求儼然很迫切了。

客戶的IT能力越強(qiáng)，投入越大，越看重實(shí)時(shí)性，當(dāng)然業(yè)務(wù)也會(huì)越有競爭力。一些傳統(tǒng)企業(yè)技術(shù)投入較少，因此技術(shù)能力不足也會(huì)反過來限制業(yè)務(wù)需求的挖掘和創(chuàng)新，因此會(huì)產(chǎn)生一種錯(cuò)覺：好像不依靠新技術(shù)，現(xiàn)在業(yè)務(wù)也能被滿足的挺好。但是，這實(shí)際上是數(shù)字化轉(zhuǎn)型沒有做好，業(yè)務(wù)提升空間還很大。

2、實(shí)時(shí)湖倉的定義

說回實(shí)時(shí)湖倉概念本身，根據(jù)我們?cè)跀?shù)據(jù)平臺(tái)項(xiàng)目建設(shè)的長期探索和經(jīng)驗(yàn)，我們總結(jié)出了實(shí)時(shí)湖倉一體的六大特征——ANCHOR，其中6個(gè)字母分別代表：

● All Disparate Data（多源異構(gòu)數(shù)據(jù)）

● Native on Cloud（云原生）

● Consistency（數(shù)據(jù)一致性）

● High Concurrency（超高并發(fā)）

● One Data in Open Format（一份開放格式數(shù)據(jù)）

● Realtime（實(shí)時(shí)T+0）

ANCHOR的中文意思是“錨”，我們可以利用ANCHOR六大特性錨定實(shí)時(shí)湖倉一體，由此判斷某一數(shù)據(jù)系統(tǒng)設(shè)計(jì)是否真正滿足湖倉一體的本質(zhì)要求。

3、關(guān)于“實(shí)時(shí)”的標(biāo)準(zhǔn)

那什么是實(shí)時(shí)呢？Gartner有個(gè)關(guān)于實(shí)時(shí)的定義梳理的很清楚。按照分析的時(shí)效可以分為戰(zhàn)略決策、戰(zhàn)術(shù)分析、業(yè)務(wù)運(yùn)營和自動(dòng)化處理，依次對(duì)時(shí)效要求和分析頻率越來越高。

具體來看，戰(zhàn)略決策比如企業(yè)收購、海外擴(kuò)張，通常要做幾個(gè)月到半年的分析；戰(zhàn)術(shù)分析，比如細(xì)分市場的定價(jià)策略，通常要用幾周到一個(gè)月的時(shí)間來分析；自動(dòng)化處理，比如信用卡自動(dòng)審批、股票的量化交易，通常是毫秒級(jí)，在一秒鐘內(nèi)完成；而業(yè)務(wù)運(yùn)營夾在中間，從1秒鐘到幾天，跨度很大。所以在業(yè)務(wù)運(yùn)營場景中，就需要對(duì)實(shí)時(shí)有更加明確的要求。

Gartner認(rèn)為15分鐘內(nèi)的算是準(zhǔn)實(shí)時(shí)范疇，根據(jù)我們的觀察和實(shí)踐，10秒鐘以內(nèi)才能算是強(qiáng)實(shí)時(shí)，10秒到15分鐘的區(qū)間可以認(rèn)為是準(zhǔn)實(shí)時(shí)的。很多企業(yè)正在將傳統(tǒng)的T+1報(bào)表升級(jí)為分鐘級(jí)的準(zhǔn)實(shí)時(shí)報(bào)表，接下來完全可以做成強(qiáng)實(shí)時(shí)的交互式分析。偶數(shù)做實(shí)時(shí)湖倉，是從離線到在線，從準(zhǔn)實(shí)時(shí)到強(qiáng)實(shí)時(shí)，全部覆蓋，我們提出叫做全實(shí)時(shí)，也是按需實(shí)時(shí)分析的理念，同時(shí)我們還自主設(shè)計(jì)了Omega技術(shù)架構(gòu)（相對(duì)以往的Lambda和Kappa），用來支持全實(shí)時(shí)的湖倉一體。

4、如何構(gòu)建實(shí)時(shí)湖倉

根據(jù)現(xiàn)狀的不同，企業(yè)會(huì)采取不同的方式來構(gòu)建，大致分為三類：

第一類，以前信息化做得較弱，例如沒有實(shí)現(xiàn)分析場景技術(shù)構(gòu)建，或者之前的技術(shù)方案太落后，只做了一個(gè)傳統(tǒng)的ODS，新的大數(shù)據(jù)平臺(tái)也沒上，對(duì)于這種情況往往是采用新建模式。

第二類，以前的IT基礎(chǔ)棧比較全，構(gòu)建了數(shù)據(jù)倉庫、數(shù)據(jù)庫，以及數(shù)據(jù)集市。希望基于現(xiàn)有的IT建設(shè)向?qū)崟r(shí)湖倉升級(jí)換代。在這種情況下，如果原有存儲(chǔ)是HDFS，就可以利用原有存儲(chǔ)，疊加OushuDB高性能計(jì)算層和實(shí)時(shí)存儲(chǔ)能力實(shí)現(xiàn)向?qū)崟r(shí)湖倉的轉(zhuǎn)型，也就是從數(shù)據(jù)湖轉(zhuǎn)型實(shí)時(shí)湖倉。

第三類，以前有傳統(tǒng)的數(shù)倉，但沒有Hadoop大數(shù)據(jù)平臺(tái)，這種情況可以把數(shù)倉先升級(jí)成云原生存算分離的架構(gòu)。其他新應(yīng)用場景再引入新的組件，慢慢形成實(shí)時(shí)湖倉平臺(tái)，即數(shù)倉轉(zhuǎn)型實(shí)時(shí)湖倉。

總結(jié)下來就是三條路徑，新建、從湖轉(zhuǎn)型實(shí)時(shí)湖倉，或從數(shù)倉轉(zhuǎn)型到實(shí)時(shí)湖倉。第一種情況比較常見，新建一個(gè)平臺(tái)硬件可以復(fù)用，應(yīng)用場景逐步遷移，并不是新建完之后一下全部遷移。對(duì)客戶來說，新建相對(duì)比較簡單，因?yàn)樾陆ú粫?huì)涉及重大歷史包袱。如果此前有大量業(yè)務(wù)在跑，改造相對(duì)來說耗時(shí)較長，需要幾個(gè)月或者半年的時(shí)間，我們盡量讓企業(yè)在短期內(nèi)看到價(jià)值，增加他的信心。

不僅是技術(shù)路線選擇，其實(shí)建設(shè)方法論也同樣重要，我們結(jié)合偶數(shù)在數(shù)據(jù)平臺(tái)項(xiàng)目建設(shè)的長期探索和經(jīng)驗(yàn)總結(jié)，提煉出了偶數(shù)湖倉一體建設(shè)方法論。這個(gè)方法論主要包括規(guī)劃（Planning）、實(shí)施（Implementation）、運(yùn)營（Operation）三個(gè)子過程，三者先后銜接并形成閉環(huán)；戰(zhàn)略（Strategy）是一個(gè)或有子過程，一般適用新建湖倉數(shù)據(jù)平臺(tái)場景，或者特殊建設(shè)背景下行業(yè)客戶的特別要求。

偶數(shù)湖倉一體方法論邏輯視圖

偶數(shù)湖倉一體建設(shè)方法論，期望既能兼容傳統(tǒng)數(shù)據(jù)倉庫的實(shí)施方法，又能規(guī)避過往數(shù)據(jù)湖落地過程中的一些弊端；既考慮眾多企業(yè)已建數(shù)據(jù)平臺(tái)多年的現(xiàn)實(shí)情況，又能抓住技術(shù)變化演進(jìn)的前瞻趨勢(shì)，助力企業(yè)的數(shù)字化轉(zhuǎn)型發(fā)展愿景。

融合各有側(cè)重，湖倉融合成主流

目前，在實(shí)時(shí)性方面有很多新技術(shù)和新概念，實(shí)時(shí)湖倉、HTAP數(shù)據(jù)庫等，這些概念都有一些應(yīng)用場景。以HTAP為例：在交易場景當(dāng)中，有時(shí)候要做一些小的分析查詢，同時(shí)，在分析場景里面有一點(diǎn)交易型場景，該類場景HTAP處理的就會(huì)比較好。但從主流的業(yè)務(wù)現(xiàn)狀來看，交易場景和分析場景，比如在銀行，是TP和AP分開構(gòu)建的，背后負(fù)責(zé)的團(tuán)隊(duì)也是不同部門。

一般場景都是有側(cè)重的，這個(gè)場景偏重于分析，那個(gè)場景偏重于交易，然后選用不同的產(chǎn)品，偶數(shù)科技的產(chǎn)品偏重于分析型場景，也支持一些交易。有些數(shù)據(jù)庫是偏交易型的數(shù)據(jù)庫，也支持一點(diǎn)分析。但企業(yè)真的要采購分析平臺(tái)的時(shí)候，沒有人去找交易庫，同樣，如果選型交易庫，也不會(huì)有人去選一個(gè)分析庫，我覺得在實(shí)際項(xiàng)目中區(qū)分得很清楚的。

但是湖倉的情況則不同，數(shù)據(jù)湖和數(shù)據(jù)倉庫在使用場景上非常類似，因此湖和倉融合是必須的，是未來所有人都要做的，并不是錦上添花的一個(gè)東西。分析場景將來都會(huì)走向?qū)崟r(shí)湖倉平臺(tái)，現(xiàn)在企業(yè)都在想著降本增效，實(shí)時(shí)湖倉能帶來很大的價(jià)值。

AIGC對(duì)數(shù)據(jù)庫行業(yè)發(fā)展的影響

大語言模型的興起對(duì)數(shù)據(jù)庫行業(yè)影響很大。由于數(shù)據(jù)行業(yè)的特殊性和專業(yè)性，使用數(shù)據(jù)往往需要學(xué)習(xí)復(fù)雜的產(chǎn)品和SQL語言，導(dǎo)致原來沒有專業(yè)基礎(chǔ)的用戶很難獲得和使用數(shù)據(jù)。因?yàn)榇笳Z言模型降低了大家使用數(shù)據(jù)的門檻，讓普通用戶通過自然語言的方式使用和分析數(shù)據(jù)。

大模型使得數(shù)據(jù)棧變得更加簡單易用了，比如可以自動(dòng)生成SQL，將來設(shè)計(jì)模型、數(shù)據(jù)治理也可以用自然語言驅(qū)動(dòng)。所以大模型對(duì)行業(yè)是一個(gè)重大利好，只不過現(xiàn)在這種垂直場景還沒有非常好的落地。

AIGC現(xiàn)在屬于一個(gè)比較前沿的探索階段，基本上還是做一些比較通用的基礎(chǔ)場景，針對(duì)一些垂直場景，還有一段路要走，任重道遠(yuǎn)。

·關(guān)于常雷：

常雷博士，偶數(shù)創(chuàng)始人兼CEO。

Apache HAWQ數(shù)據(jù)庫頂級(jí)項(xiàng)目創(chuàng)始人和程序管理委員會(huì)主席、前EMC/Pivotal HAWQ產(chǎn)品負(fù)責(zé)人、組建Greenplum和HAWQ數(shù)據(jù)庫研發(fā)團(tuán)隊(duì)、畢業(yè)于北京大學(xué)計(jì)算機(jī)系數(shù)據(jù)庫專業(yè)、數(shù)篇論文發(fā)表在國際頂級(jí)學(xué)術(shù)期刊和會(huì)議（SIGMOD等）、美國商業(yè)雜志《快公司》“中國商業(yè)最具創(chuàng)意人物100”、中國計(jì)算機(jī)學(xué)會(huì)（CCF）數(shù)據(jù)庫專委會(huì)專委、中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟專家、中國人工智能百人專家。

來源：數(shù)據(jù)猿