人工智能和大數(shù)據(jù)一直作為孿生兄弟相互支撐，生產(chǎn)與離線分析各自獨(dú)立的傳統(tǒng)信息化結(jié)構(gòu)已經(jīng)無(wú)法支撐AI的發(fā)展，每個(gè)異構(gòu)數(shù)據(jù)庫(kù)產(chǎn)品之間的同步和數(shù)據(jù)冗余；業(yè)務(wù)的實(shí)時(shí)性需要流數(shù)據(jù)框架；ML越來(lái)越多作為核心業(yè)務(wù)部件被部署在流程中自動(dòng)化完成……這些都會(huì)帶來(lái)很多問(wèn)題，因此限制了大數(shù)據(jù)企業(yè)應(yīng)用的發(fā)展。新一代數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)提出了數(shù)據(jù)湖等全新架構(gòu)，而數(shù)據(jù)湖不僅僅是低成本的存儲(chǔ)，更應(yīng)是面向生產(chǎn)交易等數(shù)據(jù)科學(xué)處理的核心計(jì)算框架。

憑借7年來(lái)在分布式計(jì)算集群的沉淀，及三家大型銀行核心交易系統(tǒng)的實(shí)踐驗(yàn)證，天云大數(shù)據(jù)推出了百萬(wàn)原生代碼規(guī)模的HTAP數(shù)據(jù)庫(kù)產(chǎn)品：Hubble,可以實(shí)現(xiàn)混合交易分析處理。

Hubble:既能支持OLTP，又能支持OLAP的數(shù)據(jù)庫(kù)

Hubble對(duì)SQL進(jìn)行了全面支持，并具備N(xiāo)oSQL的能力，采用大數(shù)據(jù)高擴(kuò)展、高可用的架構(gòu)，可以滿(mǎn)足不同的業(yè)務(wù)企業(yè)級(jí)應(yīng)用，對(duì)實(shí)時(shí)、高性能的需求，并提供多種交互接口。

Hubble底層采用Hdfs做數(shù)據(jù)為存儲(chǔ)介質(zhì)，具備存儲(chǔ)海量數(shù)據(jù)的能力，具備集群的橫向動(dòng)態(tài)擴(kuò)展能力，在安全性方面利用HDFS的三副本機(jī)制來(lái)保證整個(gè)集群的穩(wěn)定運(yùn)行。

分片服務(wù)會(huì)將預(yù)寫(xiě)日志直接持久化到磁盤(pán)，以保證事務(wù)，而不是放在內(nèi)存中，避免使用內(nèi)存導(dǎo)致事務(wù)出錯(cuò)的風(fēng)險(xiǎn)，并提高事務(wù)的可靠性。通過(guò)Mem Storage作為數(shù)據(jù)緩沖層，HDFS Storage將數(shù)據(jù)序列化到HDFS中，并從API層級(jí)支持?jǐn)?shù)據(jù)的批量加載，每個(gè)shard作為哈勃邏輯層面的最小單元。

Hubble可以使用JAVA SDK、JDBC客戶(hù)端、SQL等多種訪問(wèn)方式為前端應(yīng)用提供數(shù)據(jù)的訪問(wèn)。

Hubble的目標(biāo)就是做國(guó)產(chǎn)的HTAP數(shù)據(jù)庫(kù)。在使用hubble時(shí)，無(wú)論業(yè)務(wù)規(guī)模大小，始終都與小型應(yīng)用階段相同，無(wú)需改變使用習(xí)慣，當(dāng)業(yè)務(wù)規(guī)模擴(kuò)大時(shí)，只需要添加新的節(jié)點(diǎn)，提升數(shù)據(jù)庫(kù)的能力，就可以適應(yīng)業(yè)務(wù)變化的需要，每個(gè)階段無(wú)需付出額外的成本。

Hubble三大特性：實(shí)時(shí)離線高速入庫(kù)、超高并發(fā)、全部SQL標(biāo)準(zhǔn)

Hubble有三個(gè)大的目標(biāo) :

第一是支持實(shí)時(shí)、離線高速入庫(kù)，滿(mǎn)足各種入庫(kù)需要，并支持實(shí)時(shí)入庫(kù)，支持離線批量加載，并支持多節(jié)點(diǎn)的ACID

第二支持超高并發(fā)，即支持大規(guī)模用戶(hù)訪問(wèn)，支持上萬(wàn)用戶(hù)在線實(shí)時(shí)高并發(fā)修改和查詢(xún)。

第三是支持全部標(biāo)準(zhǔn)SQL的語(yǔ)法，提供各種分類(lèi)、匯總等統(tǒng)計(jì)公式，及OLAP分析。

下面對(duì)hubble的性能對(duì)比及FAB三個(gè)維度進(jìn)行分析

Hubble與MPP數(shù)據(jù)庫(kù)impala，還有內(nèi)存計(jì)算Spark的對(duì)比，可以看到，50萬(wàn)條、5千萬(wàn)條和5億條記錄的3個(gè)測(cè)試維度，無(wú)論哪個(gè)查詢(xún)，hubble都存在著巨大的優(yōu)勢(shì)，hubble基本都是毫秒級(jí)響應(yīng)，而無(wú)論是impala還是spark都是分鐘級(jí)的響應(yīng)速度。

Hubble的重要特性包括，對(duì)SQL的全面支持，即全面支持TPC-DS，TPC-H的SQL語(yǔ)法，并支持PL/SQL存儲(chǔ)過(guò)程。

數(shù)據(jù)存儲(chǔ)在HDFS上，支持?jǐn)?shù)據(jù)的批量入庫(kù)，憑借HDFS的多副本機(jī)制，確保數(shù)據(jù)的高可用性，保證數(shù)據(jù)不丟失，并具備天然的高擴(kuò)展性。對(duì)ACID的支持，數(shù)據(jù)的高一致性，確保新增、修改、刪除時(shí)數(shù)據(jù)的一致性，并支持聯(lián)機(jī)操作。利用快照技術(shù)，方便記錄數(shù)據(jù)的當(dāng)前狀態(tài)，隨時(shí)對(duì)數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行快照恢復(fù)。可以監(jiān)控集群和Hubble的狀態(tài)信息，方便數(shù)據(jù)庫(kù)管理進(jìn)行維護(hù)和監(jiān)控。

Hubble的作用主要包括，使用靈活，無(wú)需太多額外的成本，對(duì)傳統(tǒng)應(yīng)用的遷移，只需要替換jdbc使用的驅(qū)動(dòng)即可。自誕生起就基于hadoop之上，天生支持海量存儲(chǔ)，支持對(duì)TB甚至PB級(jí)的數(shù)據(jù)。

既支持OLTP又支持OLAP，一站式的解決聯(lián)機(jī)查詢(xún)問(wèn)題，無(wú)需部署眾多的數(shù)據(jù)庫(kù)組件，只需要使用Hubble，就可以涵蓋大部分的業(yè)務(wù)需求。

可以利用快照技術(shù)，對(duì)任一時(shí)間的數(shù)據(jù)進(jìn)行備份，隨時(shí)恢復(fù)，有效的保障了數(shù)據(jù)的安全性。

在小型應(yīng)用方面，企業(yè)為節(jié)省成本，可能選擇OLTP數(shù)據(jù)庫(kù)，在數(shù)據(jù)規(guī)模小時(shí)，可以運(yùn)轉(zhuǎn)的很好。到了中型應(yīng)用階段，就會(huì)面臨資源不夠用的問(wèn)題，這個(gè)時(shí)候開(kāi)始做讀寫(xiě)分離，分式復(fù)用。到了大型應(yīng)用時(shí)期，讀寫(xiě)數(shù)據(jù)開(kāi)始跑不動(dòng)，越來(lái)越復(fù)雜的SQL，這時(shí)開(kāi)始做分庫(kù)分表操作，并引入了分析型數(shù)據(jù)庫(kù)。到了巨型應(yīng)用階段，開(kāi)始對(duì)不同業(yè)務(wù)選擇不同數(shù)據(jù)庫(kù)入口，管理復(fù)雜度極高。

這個(gè)時(shí)候Hubble數(shù)據(jù)庫(kù)的引入，就有效解決以上眾多問(wèn)題，降低使用者的門(mén)檻，減小開(kāi)發(fā)的投入，方便原有系統(tǒng)的遷移，運(yùn)行穩(wěn)定，不需要額外的維護(hù)成本。

并且系統(tǒng)在大規(guī)模數(shù)據(jù)量下仍然支持高并發(fā)實(shí)時(shí)響應(yīng)，減小查詢(xún)等待時(shí)間，從而提升了用戶(hù)體驗(yàn)，提高了效率。

Hubble成功實(shí)現(xiàn)核心交易減負(fù)，保障全量數(shù)據(jù)在線

Hubble的典型應(yīng)用場(chǎng)景包括，歷史數(shù)據(jù)查詢(xún)，全量數(shù)據(jù)存儲(chǔ)，統(tǒng)一格式查詢(xún)，從而實(shí)現(xiàn)對(duì)核心交易的減負(fù)，并保障全量數(shù)據(jù)的在線。

在游戲和電商數(shù)據(jù)分析，可以支持海量的游戲、電商數(shù)據(jù)的存儲(chǔ)，方便對(duì)用戶(hù)進(jìn)行畫(huà)像，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)，并提供秒級(jí)的響應(yīng)速度。

在基礎(chǔ)設(shè)施監(jiān)控方面，提供準(zhǔn)實(shí)時(shí)入庫(kù)，對(duì)基礎(chǔ)實(shí)時(shí)數(shù)據(jù)進(jìn)行流處理，并實(shí)時(shí)的提供對(duì)基礎(chǔ)設(shè)施數(shù)據(jù)的監(jiān)控。

在IOT及傳感器數(shù)據(jù)方面，也可以通過(guò)實(shí)時(shí)入庫(kù)，對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行存儲(chǔ)、查詢(xún)及挖掘。

來(lái)源：數(shù)據(jù)猿