“Quick”是產(chǎn)品始終追求的目標(biāo)

Quick BI數(shù)據(jù)可視化分析平臺(tái)，在2021年二次入選了Gartner ABI魔力象限，這是對(duì)產(chǎn)品本身能力強(qiáng)有力的認(rèn)證。在不斷夯實(shí)B I的可視化體驗(yàn)和權(quán)限管控能力之外，推進(jìn)Quick BI的全場(chǎng)景數(shù)據(jù)消費(fèi)能力，讓數(shù)據(jù)在企業(yè)內(nèi)最大限度的流轉(zhuǎn)起來。

在FY22財(cái)年的規(guī)劃中，Quick BI制定了產(chǎn)品競爭力建設(shè)的三大方向，包括Quick（快）能力、移動(dòng)端能力和集成能力。針對(duì)其中的產(chǎn)品“報(bào)表查看打開慢”“報(bào)表開發(fā)數(shù)據(jù)同步慢”等性問題開展專項(xiàng)戰(zhàn)役——Quick戰(zhàn)役，以實(shí)現(xiàn)展現(xiàn)快點(diǎn)、計(jì)算快，為使用者提供順滑體驗(yàn)為目標(biāo)。

雙引擎成就Quick全新體驗(yàn)

無論是開發(fā)者還是閱覽者，若想要在使用Quick BI的過程中獲得流暢快速的體驗(yàn)，可能在這兩個(gè)方面進(jìn)行優(yōu)化：

在數(shù)據(jù)報(bào)表開發(fā)的過程中，大量級(jí)數(shù)據(jù)需要在一定范圍的時(shí)間內(nèi)響應(yīng)，即計(jì)算要快；

面對(duì)報(bào)表的查看者，首屏打開和下拉加載的時(shí)間需要在一定范圍內(nèi)完成，即展現(xiàn)要快。

Quick BI推出計(jì)算引擎和渲染引擎，以雙引擎的方式為產(chǎn)品全力加速。

一、計(jì)算引擎（Quick引擎）

包含原有直連模式，新增加速模式、抽取模式、智能緩存模式，用戶按找不同場(chǎng)景的不同需求，通過配置開關(guān)進(jìn)行模式的選擇。在數(shù)據(jù)集開發(fā)和數(shù)據(jù)作品制作的過程中獲得加速體驗(yàn)，可以有效提升用戶報(bào)表的數(shù)據(jù)查詢速度，減少用戶的數(shù)據(jù)庫查詢壓力。

實(shí)時(shí)加速

基于 MPP 內(nèi)存計(jì)算引擎，查詢中實(shí)時(shí)從數(shù)據(jù)庫（調(diào)/讀）取數(shù)據(jù)，并在計(jì)算引擎的內(nèi)存中進(jìn)行計(jì)算，有效提升用戶數(shù)據(jù)計(jì)算的性能，適用于對(duì)數(shù)據(jù)時(shí)效有高要求的情況；

抽取模式

把數(shù)據(jù)庫或數(shù)倉的數(shù)據(jù)抽取到Quick引擎的高性能列式存儲(chǔ)引擎中，支持全量模式和增量模式，分析計(jì)算負(fù)載直接在Quick BI引擎中進(jìn)行，充分利用Quick引擎性能的同時(shí)，降低用戶數(shù)倉的負(fù)擔(dān)，適用于沒有獨(dú)立數(shù)倉或數(shù)倉負(fù)載過重的情況；

智能緩存

提供的2種緩存模式都可以直接返回結(jié)果，提升用戶查詢速度，減少數(shù)據(jù)庫訪問次數(shù)。

1.數(shù)據(jù)集緩存

將用戶已經(jīng)查詢過的結(jié)果緩存在 Quick BI 高速緩存組件內(nèi)，一段時(shí)間內(nèi)完全一致的查詢可以直接返回查詢結(jié)果。

2.智能預(yù)計(jì)算

算法根據(jù)用戶的歷史查詢記錄，對(duì)數(shù)據(jù)集的查詢進(jìn)行預(yù)聚合，提前計(jì)算出用戶所需的結(jié)果，保存在高性能存儲(chǔ)中。一旦用戶查詢命中，則直接返回結(jié)果。

二、渲染引擎

負(fù)責(zé)取得肉眼可見頁面的內(nèi)容，包括圖像、圖表等，并進(jìn)行數(shù)據(jù)信息整理，及計(jì)算網(wǎng)頁的顯示方式，然后輸出并展現(xiàn)。由于BI場(chǎng)景的報(bào)表（儀表板、電子表格、門戶等）內(nèi)容相當(dāng)復(fù)雜，渲染引擎的加速可以非常直接的影響Quick BI報(bào)表的打開速度，優(yōu)化用戶的報(bào)表閱覽體驗(yàn)。渲染引擎的加速動(dòng)作無需進(jìn)行任何配置，無聲的服務(wù)整個(gè)分析流程。

渲染引擎進(jìn)行了如下整體升級(jí)：

• 資源（js/css/ajax等）加載優(yōu)化：包括預(yù)加載、按需加載、任務(wù)調(diào)度、TreeShaking等
• 前端計(jì)算&執(zhí)行優(yōu)化：數(shù)據(jù)流節(jié)流、懶數(shù)據(jù)策略、mutable改造、深克隆等計(jì)算優(yōu)化等
• 可視化升級(jí)：底層可視化統(tǒng)一，?；鶊D等大數(shù)據(jù)量下解析優(yōu)化、渲染次數(shù)收斂等
• 移動(dòng)端升級(jí)：包體積優(yōu)化（壓縮前20.6M減少至5.6M）、圖表預(yù)加載、資源本地化緩存等
• 查詢鏈路優(yōu)化：支持 MaxCompute 加速查詢、登錄層優(yōu)化、防止配置查詢緩存穿透、緩存優(yōu)化等
• 性能工具升級(jí)：SQL診斷支持 MaxCompute 數(shù)據(jù)源，并支持 SQL 診斷工具的國際化等

利用五種機(jī)制整體提升渲染引擎

任務(wù)調(diào)度機(jī)制

支持在各段加載和執(zhí)行流程中利用組件或函數(shù)控制CPU時(shí)間和網(wǎng)絡(luò)占用優(yōu)先級(jí)，從而將首屏內(nèi)容的展示時(shí)間點(diǎn)縮短至少了30%。

截流渲染機(jī)制

支持Redux類數(shù)據(jù)流體系，以配置化方式控制單位時(shí)間組件渲染次數(shù)，組件平均渲染次數(shù)減少90%以上。

按需計(jì)算機(jī)制

按需加載和執(zhí)行JS邏輯組件及其資源，利用LazyObject思路（即：使用時(shí)初始化執(zhí)行，而非定義時(shí)）進(jìn)行按需調(diào)用，LazyCache思路（即：命中時(shí)計(jì)算和緩存，而非實(shí)時(shí)）進(jìn)行數(shù)據(jù)流模型計(jì)算，節(jié)省約30%的CPU時(shí)間以及40%的網(wǎng)絡(luò)占用。

預(yù)加載機(jī)制

通過將原本串行依賴的流程邏輯按不同時(shí)機(jī)并行（如：當(dāng)頁面拉取JS資源時(shí)同時(shí)拉取后端數(shù)據(jù)，在空閑時(shí)預(yù)加載下一屏內(nèi)容），根據(jù)歷史使用習(xí)慣預(yù)先加載后續(xù)可能訪問的內(nèi)容，達(dá)到瞬時(shí)查看的效果。

資源本地化緩存機(jī)制

將js等資源本地化的形式，加上根據(jù)不同設(shè)備（移動(dòng)端等）的資源管理策略，有效解決系統(tǒng)內(nèi)存釋放導(dǎo)致的緩存失效，弱網(wǎng)環(huán)境導(dǎo)致的資源加載緩慢等問題。

經(jīng)過一系列核心能力的升級(jí)和特定場(chǎng)景的針對(duì)性優(yōu)化，操作平均FPS（每秒傳輸幀數(shù)）可達(dá)55左右，較復(fù)雜報(bào)表下，首屏加載時(shí)間也從最初18秒降至3秒以內(nèi)（中等簡單報(bào)表2秒內(nèi)），結(jié)合Quick引擎，還可以支持10億級(jí)數(shù)據(jù)量的報(bào)表3秒內(nèi)展現(xiàn)

三、性能體驗(yàn)全面提升

1、數(shù)據(jù)開發(fā)視角的場(chǎng)景方案

（1）報(bào)表展示的數(shù)據(jù)在一定時(shí)間內(nèi)固定不變

有些客戶對(duì)數(shù)據(jù)需要每天進(jìn)行一次匯總，并通過 Quick BI 的可視化圖表以日?qǐng)?bào)形式展示出來。這些展示的數(shù)據(jù)在下一次匯總之前都不會(huì)發(fā)生變化，同時(shí)這些匯總數(shù)據(jù)比較固定，不需要閱覽報(bào)表的人主動(dòng)更改查詢條件。

如是場(chǎng)景，推薦開啟數(shù)據(jù)集上的緩存功能。用戶可以自行設(shè)置緩存的有效期，在有效期內(nèi)，相同的查詢會(huì)命中緩存，直接將該周期內(nèi)第一次查詢的結(jié)果毫秒級(jí)返回。以上述場(chǎng)景為例，用戶可以開啟 12 小時(shí)的緩存，這樣日?qǐng)?bào)只會(huì)在第一次打開時(shí)進(jìn)行數(shù)據(jù)查詢，之后一整天的時(shí)間，一旦客戶點(diǎn)擊打開，報(bào)表就會(huì)立刻展現(xiàn)。

（2）報(bào)表數(shù)據(jù)存在較多變化，對(duì)非實(shí)時(shí)數(shù)據(jù)進(jìn)行分析

以大促為例，商家在活動(dòng)結(jié)束后，對(duì)大促期間的銷量、營業(yè)額以及營銷投放效果進(jìn)行復(fù)盤。數(shù)據(jù)分析包含很多維度，比如類目、地區(qū)、部門等等。商家的分析師或者決策者在查看報(bào)表時(shí)，往往會(huì)對(duì)維度進(jìn)行調(diào)整、變更、鉆取，來獲得更加深入的洞察。這個(gè)場(chǎng)景下用戶數(shù)據(jù)查詢的動(dòng)作多變，上述的緩存策略往往很難命中。

此時(shí)，可以在數(shù)據(jù)集的 Quick 引擎中開啟抽取加速。抽取加速默認(rèn)全表加速，允許用戶同步T-1 的數(shù)據(jù)到 Quick 引擎高性能存儲(chǔ)及分析模塊中，后續(xù)的查詢和計(jì)算會(huì)直接在 Quick 引擎中進(jìn)行，減少用戶數(shù)據(jù)庫的性能壓力。抽取加速可以做到億級(jí)數(shù)據(jù)，亞秒級(jí)響應(yīng)。

與此同時(shí)還可以開啟智能預(yù)計(jì)算模式， 會(huì)對(duì)用戶的查詢歷史進(jìn)行分析， 提前對(duì)可能的查詢進(jìn)行預(yù)聚合。用戶的查詢?nèi)绻?，則會(huì)直接返回聚合結(jié)果。

（3）用戶數(shù)據(jù)源查詢慢，但對(duì)數(shù)據(jù)實(shí)時(shí)性有要求

有的用戶，數(shù)倉里的數(shù)據(jù)每天都在實(shí)時(shí)變化。以倉儲(chǔ)管理為例，倉庫里每天貨物的進(jìn)出是動(dòng)態(tài)的，這些數(shù)據(jù)會(huì)實(shí)時(shí)落到數(shù)據(jù)庫里，而客戶希望能夠通過 Quick BI 的報(bào)表，對(duì)這些動(dòng)態(tài)數(shù)據(jù)進(jìn)行分析。顯然，上面提到的緩存方案以及抽取加速都無法達(dá)成這個(gè)目的。

對(duì)于這類用戶來說，他們可以在數(shù)據(jù)集的 Quick 引擎里開啟實(shí)時(shí)加速， 通過引擎內(nèi)置的 MPP 內(nèi)存計(jì)算引擎，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的內(nèi)存計(jì)算，從而達(dá)到加速的目的。

開啟了 Quick 引擎的實(shí)時(shí)加速，可以做到億級(jí)數(shù)據(jù)，秒級(jí)響應(yīng)。

（4）用戶查詢依賴維度值的獲取

企業(yè)如果需要以產(chǎn)品類目為維度，對(duì)銷售記錄進(jìn)行分析。這個(gè)時(shí)候，就會(huì)用到 Quick BI 的查詢控件，以下拉列表的方式對(duì)“類目”這個(gè)維度的值進(jìn)行展示和選擇。

以服裝公司為例，共有100 個(gè)產(chǎn)品類目，銷售記錄上千萬條。這個(gè)時(shí)候從完整的銷售記錄里獲取類目值，效率實(shí)在太低?？梢允褂?nbsp;Quick BI 提供的維值加速方案， 將類目的維度表配置進(jìn)維值加速功能，此時(shí)100 個(gè)類目僅對(duì)應(yīng) 100 行數(shù)據(jù)，而不再是原來的上千萬條。再獲取類目下拉列表時(shí)，就會(huì)直接從維度表中讀取，大大提升下拉列表里維度值的獲取效率。

2、Quick BI閱覽者視的加速效果

（1）即席分析表格

500W單元格，秒級(jí)渲染完畢（60 FPS），操作流暢：

（2）報(bào)表首屏打開

基于雙引擎，在1億行數(shù)據(jù)，20個(gè)圖表組件，常規(guī)聚合類查詢下進(jìn)行標(biāo)準(zhǔn)測(cè)試，一個(gè)標(biāo)準(zhǔn)復(fù)雜報(bào)表可在2秒內(nèi)展現(xiàn)：

來源：數(shù)據(jù)猿