作者：零洞科技大數(shù)據(jù)部

零洞科技有限公司（以下簡(jiǎn)稱“零洞”），是碧桂園集團(tuán)的核心聯(lián)盟企業(yè)，致力于成為國(guó)內(nèi)領(lǐng)先的數(shù)智空間解決方案服務(wù)商，業(yè)務(wù)場(chǎng)景覆蓋戶內(nèi)及戶外，在智慧家居板塊，打造一站式智慧家居解決方案，構(gòu)成豐富的生活場(chǎng)景，滿足高端用戶智能生活體驗(yàn)；在智慧園區(qū)領(lǐng)域，為園區(qū)提供全鏈路智能化產(chǎn)品及服務(wù)，打造高效、節(jié)能、安全、智能的園區(qū)環(huán)境，具有千萬級(jí)智慧園區(qū)項(xiàng)目實(shí)際落地案例。截至目前，零洞數(shù)字化交付項(xiàng)目超2100項(xiàng)，具備億級(jí)設(shè)備和數(shù)據(jù)處理的平臺(tái)建設(shè)及業(yè)務(wù)應(yīng)用研發(fā)經(jīng)驗(yàn)。

2022年6月，零洞與碧桂園服務(wù)（HK6098）就物業(yè)企業(yè)微信數(shù)字化項(xiàng)目展開充分合作。當(dāng)前，碧桂園服務(wù)是全國(guó)規(guī)模最大的社區(qū)服務(wù)運(yùn)營(yíng)集團(tuán)，經(jīng)測(cè)算，共7000+物業(yè)管家，上萬服務(wù)人員，累積服務(wù)業(yè)主超1400萬人，累積管轄房屋達(dá)486萬戶。

#01

引入背景

—

基于上述業(yè)務(wù)規(guī)模，經(jīng)合作需求評(píng)估，該項(xiàng)目需搭建一個(gè)數(shù)據(jù)服務(wù)中臺(tái)，以支持以下需求：

1、支持每年超十億數(shù)量級(jí)數(shù)據(jù)的存儲(chǔ)和計(jì)算，包括但不限于：物業(yè)企微會(huì)話存檔聊天、關(guān)聯(lián)認(rèn)證、用戶行為、管家任務(wù)管理、客戶輿情分析等各方面數(shù)據(jù)。

2、支持全國(guó)上千的高并發(fā)，秒級(jí)的訪問、查詢、計(jì)算、報(bào)表導(dǎo)出等要求。

3、在此數(shù)據(jù)中臺(tái)的基礎(chǔ)上，在可視化平臺(tái)完成報(bào)表、看板、大屏的開發(fā)展示等需求。

在技術(shù)框架選型上，碧桂園服務(wù)與零洞科技綜合對(duì)比了國(guó)內(nèi)外常見的 OLAP 系統(tǒng)，StarRocks 憑借以下6大優(yōu)點(diǎn)脫穎而出：

1、產(chǎn)品架構(gòu)簡(jiǎn)潔，整個(gè)系統(tǒng)的核心只有 FE（Frontend）、BE（Backend）兩類進(jìn)程。不依賴三方組件，運(yùn)維簡(jiǎn)單；

2、數(shù)據(jù)查詢實(shí)時(shí)性、高并發(fā)等方面的性能相較其他數(shù)據(jù)庫產(chǎn)品有突出的優(yōu)勢(shì)；

3、支持標(biāo)準(zhǔn)SQL語法，學(xué)習(xí)切換成本低；

4、支持主鍵模型，在實(shí)時(shí)寫入和頻繁更新的業(yè)務(wù)場(chǎng)景中性能優(yōu)越；

5、流批數(shù)據(jù)導(dǎo)入：StarRocks 開發(fā)了 Flink-connector 、Spark-connector 插件，支持將數(shù)據(jù) sink 或批量寫入到 StarRocks 中；

6、極速查詢體驗(yàn)，億級(jí)數(shù)據(jù)查詢毫秒級(jí)響應(yīng)；

StarRocks 符合現(xiàn)代化的數(shù)據(jù)應(yīng)用技術(shù)棧需求，最終作為核心存儲(chǔ)計(jì)算組件來搭建本次碧桂園服務(wù)項(xiàng)目的數(shù)據(jù)中臺(tái)。

#02

基于StarRocks搭建的數(shù)據(jù)中臺(tái)

—

對(duì)于傳統(tǒng)企業(yè)的數(shù)據(jù)應(yīng)用場(chǎng)景來說，數(shù)據(jù)中臺(tái)的數(shù)據(jù)集成、研發(fā)、管理與服務(wù)鏈路很長(zhǎng)，涉及的組件比較多，比如：需要使用 Hadoop 做為存儲(chǔ)、Hive/Spark 做離線 ETL 、Kudu 做實(shí)時(shí)批量更新、 Flink 做流處理，各類組件之間又有很強(qiáng)的依賴關(guān)系，尤其是在機(jī)器資源有限且服務(wù)混合部署的情況下，容易出現(xiàn)資源分配問題，比如 Impala 會(huì)經(jīng)常性發(fā)生 OOM 問題。

StarRocks 完美解決了這個(gè)問題：對(duì)于傳統(tǒng)企業(yè)來說，我們可以將 Hadoop + Hive + Spark + Kudu + Flink 的功能全部交給 StarRocks ，實(shí)現(xiàn)存儲(chǔ)/流批處理一體化。

1.數(shù)據(jù)開發(fā)

針對(duì)數(shù)據(jù)開發(fā)，StarRocks 提供了多種導(dǎo)入方式，如 Stream Load 方式從本地文件系統(tǒng)導(dǎo)入數(shù)據(jù)、Broker Load 方式從 HDFS 或外部云存儲(chǔ)系統(tǒng)導(dǎo)入數(shù)據(jù)、Routine Load 方式從 Kafka 導(dǎo)入數(shù)據(jù)、Spark Load 方式從 Spark 導(dǎo)入數(shù)據(jù)等等，基本上可滿足我們?nèi)珗?chǎng)景的實(shí)時(shí)數(shù)據(jù)導(dǎo)入需求。

為了使架構(gòu)簡(jiǎn)單，盡量少的使用到 Spark 或 Flink 等腳本語言進(jìn)行開發(fā)，我們?cè)跀?shù)據(jù)接入層使用 Kafka 做實(shí)時(shí)接入緩沖層， 之后基于 StarRocks 的 Routine Load 功能開發(fā)自定義導(dǎo)入組件，實(shí)現(xiàn)了一鍵完成 Kafka 到 StarRocks 或者 API 到 StarRocks 的數(shù)據(jù)同步和監(jiān)控功能。

考慮到我們的 ETL 工具需要與 StarRocks 做深度集成，我們更偏向于選擇架構(gòu)簡(jiǎn)單靈活的組件進(jìn)行二次開發(fā)，因此在離線同步上我們選擇了 DataX，數(shù)據(jù)管道(調(diào)度平臺(tái))選擇 Airflow ，可視化工具選擇 SmartChart ，并在此基礎(chǔ)上進(jìn)行了個(gè)性化的 Driver 及管理功能開發(fā)。

經(jīng)過這一系列的改造，與我們之前使用的傳統(tǒng)大數(shù)據(jù)平臺(tái)(基于 CDH )實(shí)施的項(xiàng)目相比，數(shù)據(jù)中臺(tái)的實(shí)施成本大幅下降，具體體現(xiàn)為：

1、實(shí)時(shí)場(chǎng)景的實(shí)現(xiàn)更加輕松。

之前的實(shí)時(shí)查詢用到的組件較多，引入 StarRocks 后，只需通過 StarRocks 就能實(shí)現(xiàn)實(shí)時(shí)查詢，鏈路變得簡(jiǎn)單，人力投入也更少，以前需要投入 Spark/Flink 開發(fā)人員，現(xiàn)在只用 SQL 開發(fā)就能完成。

2、服務(wù)器資源減少：從10臺(tái)以上縮減到了4臺(tái)。

3、實(shí)施部署周期縮短：從2周下降到3天。

2.平臺(tái)監(jiān)控

在平臺(tái)監(jiān)控上，StarRocks 社區(qū)版本提供了兼容 Prometheus 的信息采集接口，可以通過直接連接 BE 或 FE 的 HTTP 端口來獲取集群的監(jiān)控信息。

為了保持與我們可視化平臺(tái)的統(tǒng)一和靈活性， 我們并沒有使用 Grafana 做為可視化監(jiān)控方案，而是基于 SmartChart 連接 Prometheus 實(shí)現(xiàn)了可視化監(jiān)控的大屏開發(fā)，將復(fù)雜的數(shù)據(jù)和信息變得直觀易懂，便于我們?nèi)粘＿\(yùn)維，實(shí)時(shí)展示 BE 及 FE 的健康度及數(shù)據(jù)導(dǎo)入和查詢的狀態(tài)，方便我們對(duì)實(shí)際情況進(jìn)行實(shí)時(shí)監(jiān)控與及時(shí)預(yù)警。

#03

豐富的應(yīng)用場(chǎng)景

—

1.BI場(chǎng)景的支持

在我們的 BI 場(chǎng)景中，需要對(duì)千萬級(jí)以上明細(xì)數(shù)據(jù)進(jìn)行多表關(guān)聯(lián)查詢，更新頻率需達(dá)到近實(shí)時(shí)，響應(yīng)時(shí)間需在秒級(jí)。同時(shí)，用戶個(gè)性化需求又很強(qiáng)，比如需要同一個(gè)會(huì)話 ID 來查詢上下文，并生成相關(guān)的詞云統(tǒng)計(jì)。

在引入 StarRocks 之前，我們的數(shù)據(jù)流轉(zhuǎn)線路很長(zhǎng)、開發(fā)管理的復(fù)雜度也非常高：比如為了平衡復(fù)雜查詢與極速查詢的需求，我們需要生成很多寬表或 Cube 表；另外之前的方案對(duì)于需要頻繁更新的業(yè)務(wù)場(chǎng)景也很不友好：需先寫入 Kudu 進(jìn)行批量更新, 然后回寫到 Hive 中， 再從 Hive 抽取到 Kylin ，BI 連接 Kylin 進(jìn)行查詢。

有了 StarRocks 之后，基于 StarRocks 向量化執(zhí)行引擎所帶來的極速查詢特性，我們把自研 BI 的數(shù)據(jù)后臺(tái)直接切換到了 StarRocks ，使得我們數(shù)據(jù)建模更加簡(jiǎn)單，建模方式也逐漸從寬表建模轉(zhuǎn)化成星型建模，不僅減少了數(shù)據(jù)開發(fā)的時(shí)間，同時(shí)能夠支持復(fù)雜的業(yè)務(wù)邏輯實(shí)現(xiàn)，數(shù)據(jù)聯(lián)動(dòng)鉆取的粒度支持得更細(xì)，數(shù)據(jù)響應(yīng)時(shí)間也從傳統(tǒng)的秒級(jí)變?yōu)榱撕撩爰?jí)。

2.數(shù)據(jù)服務(wù)場(chǎng)景的支持

企業(yè)微信數(shù)字化項(xiàng)目需要基于會(huì)話的工單自動(dòng)化生成，因此需要平臺(tái)能夠提供會(huì)話上下文查詢 API ， 從而為算法平臺(tái)提供實(shí)時(shí)的數(shù)據(jù)支持。

從我們的實(shí)踐來看 ，StarRocks 非常適合此類場(chǎng)景，完美的實(shí)現(xiàn)了大數(shù)據(jù)量的實(shí)時(shí)更新及同時(shí)支持高并發(fā)的極速查詢需求。

3.數(shù)據(jù)生命周期的管理

不斷積累的大量會(huì)話明細(xì)數(shù)據(jù)，需要進(jìn)行有效的數(shù)據(jù)周期管理，通過冷熱區(qū)分，來有效的控制存儲(chǔ)成本。

在引入 StarRocks 之前，我們需要使用腳本定時(shí)的刪除歷史數(shù)據(jù)，有了 StarRocks 的動(dòng)態(tài)分區(qū)及數(shù)據(jù)生命周期的功能，此部分內(nèi)容就可由 StarRocks 自動(dòng)完成，整體數(shù)據(jù)流變得非常整潔。

#04

業(yè)務(wù)價(jià)值

—

數(shù)據(jù)已成為企業(yè)的重要資產(chǎn)，隨著大數(shù)據(jù)的積累，基于 StarRocks 搭建的數(shù)據(jù)中臺(tái)已經(jīng)成為數(shù)據(jù)窗口的統(tǒng)一提供者，為物業(yè)基礎(chǔ)管家服務(wù)提供強(qiáng)有力的支持。

通過數(shù)據(jù)中臺(tái)更加高效、實(shí)時(shí)、全面的數(shù)據(jù)分析功能，我們可以做更多的業(yè)主運(yùn)營(yíng)和員工管理，如：

1. 利用上億級(jí)的數(shù)據(jù)進(jìn)行工單、輿情以及用戶畫像的分析，讓用戶訴求處理得更加及時(shí)全面，提升業(yè)主的滿意度；

2. 通過分析業(yè)主的行為和偏好畫像，帶動(dòng)社區(qū)多種經(jīng)營(yíng)業(yè)務(wù)，包括社區(qū)空間運(yùn)營(yíng)服務(wù)、社區(qū)生活服務(wù)、業(yè)主資產(chǎn)運(yùn)營(yíng)服務(wù)等等，發(fā)展物業(yè)行業(yè)的第二曲線。

在項(xiàng)目實(shí)施過程中，我們得到了 StarRocks 社區(qū)非常專業(yè)給力的支持，我們也期待 StarRocks 也期待社區(qū)的蓬勃發(fā)展促進(jìn)產(chǎn)品能力持續(xù)增強(qiáng)，期待基于 StarRocks 搭建的數(shù)據(jù)中臺(tái)在未來讓我們數(shù)據(jù)發(fā)揮更大的業(yè)務(wù)價(jià)值。

關(guān)于 StarRocks

StarRocks 是數(shù)據(jù)分析新范式的開創(chuàng)者、新標(biāo)準(zhǔn)的領(lǐng)導(dǎo)者。面世三年來，StarRocks 一直專注打造世界頂級(jí)的新一代極速全場(chǎng)景 MPP 數(shù)據(jù)庫，幫助企業(yè)構(gòu)建極速統(tǒng)一的湖倉分析新范式，是實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型和降本增效的關(guān)鍵基礎(chǔ)設(shè)施。

StarRocks 持續(xù)突破既有框架，以技術(shù)創(chuàng)新全面驅(qū)動(dòng)用戶業(yè)務(wù)發(fā)展。當(dāng)前全球超過 200 家市值 70 億元以上的頭部企業(yè)都在基于 StarRocks 構(gòu)建新一代數(shù)據(jù)分析能力，包括騰訊、攜程、平安銀行、中原銀行、中信建投、招商證券、眾安保險(xiǎn)、大潤(rùn)發(fā)、百草味、順豐、京東物流、TCL、OPPO 等，并與全球云計(jì)算領(lǐng)導(dǎo)者亞馬遜云、阿里云、騰訊云等達(dá)成戰(zhàn)略合作伙伴。

擁抱開源，StarRocks 全球開源社區(qū)飛速成長(zhǎng)。截至 2022 年底，已有超過 200 位貢獻(xiàn)者，社群用戶近萬人，吸引幾十家國(guó)內(nèi)外行業(yè)頭部企業(yè)參與共建。項(xiàng)目在 GitHub 星數(shù)已超 3900 個(gè)，成為年度開源熱力值增速第一的項(xiàng)目，市場(chǎng)滲透率躋身中國(guó)前十名。

來源： 零洞科技