【金猿技術(shù)展】Kyligence 智能分層存儲——PB級規(guī)模數(shù)據(jù)的全場景OLAP
原創(chuàng) Kyligence | 2021-12-27 23:16
【數(shù)據(jù)猿導(dǎo)讀】 智能分層存儲是 Kyligence 提供的高級功能,搭載性能強(qiáng)大的 Clickhouse,幫助用戶在未進(jìn)行預(yù)計(jì)算的情況下快速冷啟動進(jìn)行查詢,可以顯著提升超多維度靈活分析和明細(xì)查詢的性能。同時(shí),基于 HDFS/對象存儲和 Clickhouse 的兩級存儲設(shè)計(jì),可全面覆蓋各種分析場景,為用戶帶來基于海...

智能分層存儲不僅能夠支持多維度隨機(jī)組合的靈活即席查詢場景,比如標(biāo)簽分析或用戶行為分析等場景,為企業(yè)的精細(xì)化運(yùn)營和輔助商業(yè)決策帶來更大的助力;同時(shí)分層存儲可對接 Kyligence 統(tǒng)一的模型來管理數(shù)據(jù),無縫對接主流商業(yè) BI 工具和 Excel ,賦能業(yè)務(wù)人員進(jìn)行分析。
(圖片來源:Kyligence)
智能分層存儲技術(shù)的核心亮點(diǎn),就在于其分層架構(gòu)的合理設(shè)計(jì)以及對不同技術(shù)底座的有機(jī)融合。在原有聚合分析的高性能之上,Kyligence 更有效提升了明細(xì)分析、Ad-Hoc 查詢等場景的性能和優(yōu)勢。Kyligence 在產(chǎn)品存儲的架構(gòu)進(jìn)行了分層設(shè)計(jì):
• 第一層:MPP 引擎層——將數(shù)據(jù)存儲在 ClickHouse 引擎中(目前僅存放表索引)
• 第二層:分布式存儲層——將數(shù)據(jù)存儲在 HDFS /對象存儲中(存放預(yù)計(jì)算后的聚合索引)
• 第三層:查詢下壓層——查詢可下推到其他數(shù)據(jù)源,如 SparkSql 以及各類 RDBMS 系統(tǒng)
啟用智能分層存儲后,用戶無需關(guān)心數(shù)據(jù)是如何分布和導(dǎo)入的,只需要根據(jù)業(yè)務(wù)需求進(jìn)行建立模型,這樣可以大幅度地減少建模和模型調(diào)優(yōu)階段的人力和時(shí)間成本支出, 縮減新業(yè)務(wù)的上線周期, 從而幫助用戶更及時(shí)地響應(yīng)業(yè)務(wù)分析需求。
具體來看智能分層存儲支撐的業(yè)務(wù)場景:
(圖片來源:Kyligence)
智能分層存儲的分層結(jié)構(gòu)可以很好的支撐企業(yè)過去用一套架構(gòu)不能方便支持的場景,比如現(xiàn)在最流行的用戶畫像分析場景。此場景下,企業(yè)需要具備以下能力:
• 開箱即用的標(biāo)簽管理、篩選、導(dǎo)出、集成能力;
• 支持用戶圈選、導(dǎo)出、比對、即席分析、分組統(tǒng)計(jì)等場景;
• 支持日均更新百萬條標(biāo)簽、數(shù)千標(biāo)簽量、上億用戶;
• 支持實(shí)時(shí)或離線的特征計(jì)算,以及海量特征標(biāo)簽存儲。
Kyligence 的智能分層存儲功能為企業(yè)提供了一個(gè)高效的解題思路。通過以下能力能從多個(gè)維度滿足企業(yè)在用戶畫像場景下的需求:
1. 快速圈選,指標(biāo)聚合:
• 支持用戶對數(shù)千標(biāo)簽、上億用戶的快速圈選,在圈選后自由進(jìn)行指標(biāo)聚合;
2. 開箱即用,無縫導(dǎo)出:
• 提供開箱即用的工具,能夠與查詢引擎無縫對接;
• 提供標(biāo)簽管理、篩選、圈選后導(dǎo)出能力;
3. 開放生態(tài),保護(hù)投資:
• 通過多種接口協(xié)議與第三方標(biāo)簽分析平臺、BI 平臺無縫對接;
• 支持與主流標(biāo)簽生成引擎及存儲對接,支持對接業(yè)務(wù)系統(tǒng);
• 保護(hù)已有技術(shù)投資、降低用戶學(xué)習(xí)成本。
除了用戶畫像以外,智能分層存儲還可應(yīng)用于如用戶行為分析、自助式靈活探索分析等在內(nèi)的諸多應(yīng)用場景和數(shù)據(jù)探索方式。
·帶隊(duì)負(fù)責(zé)人:Kyligence CTO 李揚(yáng)、產(chǎn)品創(chuàng)新中心副總裁李棟等。
·隸屬機(jī)構(gòu):Kyligence
Kyligence 已服務(wù)中國、美國及亞太的多個(gè)金融、制造、零售等行業(yè)客戶,包括建設(shè)銀行、浦發(fā)銀行、招商銀行、平安銀行、寧波銀行、太平洋保險(xiǎn)、中國銀聯(lián)、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企業(yè)和行業(yè)領(lǐng)導(dǎo)者。
Kyligence 獲得了來自紅點(diǎn)、思科、寬帶資本、順為資本、斯道資本、Coatue Management、浦銀國際、中金資本旗下基金、歌斐資產(chǎn)、國方資本、ASG、宏兆基金、浦信資本等投資機(jī)構(gòu)的多輪投資。目前公司已經(jīng)在上海、北京、深圳、廈門、武漢及美國的硅谷、紐約、西雅圖等開設(shè)辦事機(jī)構(gòu)。
Kyligence 使得我們的業(yè)務(wù)團(tuán)隊(duì)可以高效、敏捷地訪問數(shù)據(jù),獲取正確的業(yè)務(wù)信息,從而快速做出精準(zhǔn)的業(yè)務(wù)決策。
——中國銀聯(lián)數(shù)據(jù)服務(wù)部副總經(jīng)理 王穎卓
我們都知道做數(shù)據(jù)產(chǎn)品的時(shí)候?qū)π阅芎筒l(fā)的要求是繞不過的一個(gè)檻,而Kyligence 作為我們數(shù)據(jù)服務(wù)的引擎,在數(shù)據(jù)湖和數(shù)據(jù)應(yīng)用之間搭起了一個(gè)橋梁,滿足了自助查詢平臺過于低延遲和高并發(fā)的要求。
——欣和集團(tuán)數(shù)據(jù)平臺負(fù)責(zé)人 王相會
來源:數(shù)據(jù)猿
刷新相關(guān)文章
我要評論
活動推薦more >
- 【大會嘉賓】威馬汽車集團(tuán)戰(zhàn)2021-08-02
- 【大會嘉賓】聯(lián)通智慧足跡CM2021-08-02
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費(fèi)金融國際峰會62018-06-21
不容錯(cuò)過的資訊
-
1無代碼企業(yè)數(shù)智化協(xié)同平臺「Treelab」完
-
2【直播預(yù)約】2021第五屆數(shù)據(jù)質(zhì)量管理國際
-
3【金猿技術(shù)展】UPS時(shí)序ID——分布式時(shí)序I
-
4【金猿產(chǎn)品展】SenseCore商湯AI大裝置—
-
5【金猿技術(shù)展】PLC電力載波通信技術(shù)——
-
6【金猿案例展】中新天津生態(tài)城——智慧城
-
7數(shù)字化轉(zhuǎn)型的一劑良藥,這個(gè)行業(yè)將迎來爆
-
8【金猿產(chǎn)品展】Wyn Enterprise——嵌入
-
9【金猿產(chǎn)品展】網(wǎng)易靈犀辦公——“郵件+
-
10StarRocks COO葉謙:仰望星空,腳踏實(shí)地