導(dǎo)言｜商業(yè)智能將在 AI 推動下全面普及

BI 的落地甚至比 BI 標(biāo)準(zhǔn)化產(chǎn)品的出現(xiàn)還要更早。由工程師定制化開發(fā)頁面是最基本的方式，然后是通過 BI 廠商進(jìn)行報表項目的實施交付，但最佳路徑還是由客戶自己進(jìn)行自助分析，這在長期來看有巨大的成本差異，這包括了重復(fù)建設(shè)的工程成本和響應(yīng)業(yè)務(wù)的時間成本。

定義澄清：BI 并不僅僅是指一種報表形態(tài)或者看板形態(tài)的制作工具，BI 是高度概述了一個組織根據(jù)數(shù)據(jù)有效提取洞見后輔助經(jīng)營決策的形態(tài)。BI 是一個反復(fù)迭代的數(shù)據(jù)實踐過程，也是一個數(shù)據(jù)驅(qū)動下的精細(xì)化運營狀態(tài)。這個市場長青的原因在于：它體現(xiàn)了企業(yè)管理從 KPI 開始的目標(biāo)導(dǎo)向管理理論，這方面的需求不隨技術(shù)趨勢改變。

商業(yè)智能是一個理想的形態(tài)，從全球市場來看，疫情后企業(yè)經(jīng)營偏向務(wù)實增長和健康經(jīng)營是推動 BI 市場進(jìn)一步增長的主要因素，但是由于數(shù)據(jù)分析在任何行業(yè)都存在較高的專業(yè)門檻，應(yīng)用 BI 技術(shù)的普及一直異常緩慢，主要體現(xiàn)在真正熟悉業(yè)務(wù)的需求方 — 業(yè)務(wù)運營人員無法真正參與到數(shù)據(jù)分析和計算過程中去，他們只能被動等待靜態(tài)報表的提交和更新，并痛苦的向技術(shù)和數(shù)據(jù)團(tuán)隊反復(fù)闡述自己的分析意圖，這極大阻礙了數(shù)據(jù)洞見的挖掘和流轉(zhuǎn)。

AI 從根本上直接擊中了這個痛點，如果在相對閉包的場景內(nèi)，在一定的準(zhǔn)確率保證基礎(chǔ)上，業(yè)務(wù)人員可以直接通過自然語言進(jìn)行靈活的數(shù)據(jù)口徑詢問，這足以讓 BI 鏈條里最關(guān)鍵卻也是最低效的環(huán)節(jié)得到根本性改善，這將直接推動 BI 在各應(yīng)用場景下的快速普及落地。

HENGSHI SENSE 5.2 創(chuàng)新概覽

通過 BI PaaS 能力集成嵌入到管理應(yīng)用將成為 BI 分析普及的主流形式

API 優(yōu)先的架構(gòu)推動了應(yīng)用軟件中的嵌入式商業(yè)智能和分析，和ERP、CRM等主流應(yīng)用的整合讓很多的分析動作自然發(fā)生在場景內(nèi)，客戶由此得以逃離僵化和高成本的BI項目。同時解決方案優(yōu)先的國內(nèi)市場客戶，也更加青睞整合進(jìn)應(yīng)用場景的分析和報表呈現(xiàn)，這降低了數(shù)據(jù)導(dǎo)出-集中-重新建模-報表構(gòu)建-講述故事的建設(shè)成本。

企業(yè)客戶的直接推動和應(yīng)用廠商對業(yè)務(wù)價值的智能化探索，都讓嵌入整合的 BI 分析成為一個務(wù)實、低成本、快速見效的合作形式，畢竟誰不希望一個應(yīng)用軟件可以通過增加 BI 解決方案來促進(jìn)市場銷售呢，特別是 BI 解決方案正在快速 AI 化的今天。

PaaS的本質(zhì)是低成本靈活構(gòu)建，因此使用 BI PaaS 非常類似在零代碼的構(gòu)建分析場景，我們希望國內(nèi)的應(yīng)用軟件廠商不需要再數(shù)百萬甚至數(shù)千萬的以年為單位浪費研發(fā)成本，直接使用 BI PaaS 這樣的成熟產(chǎn)品，讓商業(yè)分析即刻上線。

靈活的探索型分析是生成式 AI 落地最實用場景，Data + AI 正在迅速成為主流

生成式 AI 對于 ToB 場景的能力還不穩(wěn)定，特別在數(shù)據(jù)分析和 BI 場景，數(shù)據(jù)模型的復(fù)雜性和精確性是大語言模型短期內(nèi)無法攻克的難題。

和能力的不足夠形成對比的是需求的涌現(xiàn)，被 AI 點燃的客戶們逐漸把智能化的訴求放在運營層面。最近 Databricks和 Snowflake 的峰會都不約而同的闡明了接下來數(shù)據(jù)行業(yè)的主題：Data + AI。一個隨需應(yīng)變的數(shù)據(jù)分析 AI 助手足以讓運營控和數(shù)據(jù)控的管理人員為之傾倒，而這里我們看到在實際的市場中非常明確清晰的需求，恰恰來自之前的 BI 用戶群體，這些熟知業(yè)務(wù)分析邏輯和指標(biāo)體系奧妙的頂尖高手，在第一時間看到了技術(shù)落地的現(xiàn)實可能。

在過去半年的實踐中，衡石團(tuán)隊有一半的精力在提升 AI 問答的準(zhǔn)確率，而另一半的精力在控制客戶的預(yù)期。我們能夠做到在 BI 的合理建設(shè)基礎(chǔ)上，和相對閉包確定的業(yè)務(wù)場景中，可落地的高準(zhǔn)確率，這是 BI + AI 的最佳實踐，最終形態(tài)體現(xiàn)為 ChatBI。但是衡石提供的方案區(qū)別于大多數(shù)重度依賴大模型的 ChatBI，我們基于 BI 平臺和 BI 的建設(shè)，由此獲得非常可靠的權(quán)限控制和較為可靠的準(zhǔn)確度保障，我們甚至建議我們的客戶從 BI 建設(shè)開始走入 AI 旅程，這是構(gòu)建人機(jī)對話的語料庫。當(dāng)然，我們的下一步工作，是讓構(gòu)建 BI 的過程，也變得更加智能和輕松。

HENGSHI SENSE 5.2 亮點功能一覽

HENGSHI SENSE 發(fā)布 5.2 版本。在應(yīng)用、數(shù)據(jù)管理和建模、可視化分析、交互優(yōu)化等方面增加許多客戶期待已久的許多功能。下面讓我們一起來了解其中的亮點內(nèi)容吧。

應(yīng)用集市

數(shù)據(jù)管理和數(shù)據(jù)建模

可視化控件

交互體驗升級

應(yīng)用集市

在消費一個數(shù)據(jù)分析應(yīng)用時，一般用儀表盤的列表形式作為分析結(jié)果展示形式。儀表盤和儀表盤之間，或者圖表和儀表盤之間用聯(lián)動跳轉(zhuǎn)的方式來構(gòu)筑隱式的數(shù)據(jù)關(guān)系。在相對簡單的場景中這是足夠簡單和易用的方式，但這顯然不是唯一的方式?？蛻艚?jīng)常也需要在儀表盤之上構(gòu)建一個更加層級化的邏輯，因此在這個版本中我們針對客戶的這個需求推出了數(shù)據(jù)門戶的功能，一個應(yīng)用可以以門戶的形態(tài)進(jìn)行儀表盤的瀏覽。

數(shù)據(jù)門戶

數(shù)據(jù)門戶以更加直觀，且更加有邏輯的方式來組織數(shù)據(jù)應(yīng)用，使得數(shù)量較多的儀表盤以及其他頁面能夠以一個統(tǒng)一菜單入口的方式來供業(yè)務(wù)人員來使用。數(shù)據(jù)門戶是針對更高階的數(shù)據(jù)應(yīng)用組織需求而設(shè)計的。

數(shù)據(jù)門戶包含了一組菜單配置，根據(jù)需求菜單可以配置為任意1到N級，每一個層級上都可以添加若干個分組或者頁面。頁面可以是一個應(yīng)用內(nèi)的儀表盤或者一個外部的URL。而一個分組內(nèi)部可以在放置其他分組或者頁面，這樣就構(gòu)成了門戶的菜單層級結(jié)構(gòu)。

原圖：

應(yīng)用創(chuàng)作區(qū)提供給應(yīng)用的管理者和編輯者對門戶的編輯和預(yù)覽功能，可以分別針對桌面和移動端視圖進(jìn)行配置與預(yù)覽。用戶在發(fā)布態(tài)應(yīng)用集市中查看該應(yīng)用就會呈現(xiàn)門戶的形態(tài)。如果我們的應(yīng)用支持移動端那么可以進(jìn)行移動端的門戶設(shè)置，如果支持電腦端那么可以進(jìn)行電腦端的門戶設(shè)置，如果兩者都支持，那么就需要分別設(shè)置電腦端和移動端的門戶。當(dāng)然一般我們也可以先配置好一個端，然后通過快捷的配置同步功能，一鍵將移動端的門戶配置同步到電腦端，或者反之。

AI分析助手優(yōu)化

準(zhǔn)確性是AI分析分析助手的在體驗上的最核心指標(biāo)。在本次更新中，我們針對正確性引入了大量的RAG的輔助優(yōu)化。

1.針對Schema的的向量化檢索，能夠?qū)τ脩舨痪_問題，匹配到最相關(guān)的指標(biāo)和維度，這樣給到大模型的提示都是和用戶問題具有高度關(guān)聯(lián)性的schema，幫助大模型得到對用戶意圖較準(zhǔn)確的理解。

2.針對維度高頻值的倒排索引，對用戶過濾條件以及維度信息做模糊的匹配。通過倒排索引，我們能夠匹配到用戶對于具體值的問題，轉(zhuǎn)化成指標(biāo)查詢中精確維度的相似對象的檢索。例如用戶問題中“登山服”的檢索，能夠智能的轉(zhuǎn)化成“商品大類中類目等于登山羽絨服”的準(zhǔn)確過濾，這在以往的查詢助手中，需要用戶自己反復(fù)提問，才能得到這樣一個理想的結(jié)果。通過這個技術(shù)，我們達(dá)成了用戶無需在指定準(zhǔn)確數(shù)據(jù)存儲字段的前提下的一個智能響應(yīng)。

3.針對行業(yè)問題回答范式的向量化檢索。在每個行業(yè)中，都有一些所謂的“行業(yè)黑話”，對應(yīng)的其實是在本行業(yè)內(nèi)通行的一些指標(biāo)計算方式，這個量可以是一個比較豐富的問題答案題庫。在管理端，我們提供了用戶對這個題庫的自定義能力，在大模型查詢交互中，我們利用向量匹配的題庫給予最相關(guān)的 prompt，控制大模型準(zhǔn)確地生成復(fù)雜的業(yè)務(wù)計算。

數(shù)據(jù)管理和數(shù)據(jù)建模

數(shù)據(jù)連接支持Denodo

Denodo是一個典型數(shù)據(jù)虛擬化平臺，其主要產(chǎn)品Denodo Platform用于數(shù)據(jù)集成和管理。通過Denodo平臺的虛擬化技術(shù)，可以構(gòu)建單一的數(shù)據(jù)訪問層，達(dá)到實時訪問分散在不同位置和系統(tǒng)中的數(shù)據(jù)的效果。在本次版本更新中，我們帶來的Denodo數(shù)據(jù)源的原生支持。結(jié)合Denodo的數(shù)據(jù)管理和衡石的數(shù)據(jù)分析能力，整合不同來源的數(shù)據(jù)，以全鏈路ELT的方式來提供統(tǒng)一的數(shù)據(jù)視圖，更加敏捷地完成復(fù)雜的分析和報表需求。

環(huán)比支持上一周期

在中文語境下的同比、環(huán)比，在英文語境下的MoM、QoQ、YoY，它們的傳統(tǒng)意義一般是按照自然月，自然季度，自然年為單位進(jìn)行對比。例如 一般而言2024/06/01到2024/06/18的銷量年同比增長是指對比上一年同期也就是2023/06/01到2023/06/18這段時間的增長，而月環(huán)比增長則是對比2024/05/01到2024/05/18這段時間的增長。但是事情總是有例外，有時候我們希望按指定的步長來對比上一個連續(xù)的周期。例如2023/06/01到2023/06/18這段時間有18天，我們希望看它和它的緊鄰的18天也就是2023/06/13到2023/06/30做一個對比，觀察618大促的即時狀態(tài)，那么就可以使用同環(huán)比中的對比上一周期功能。

支持MySQL、ADB、StarRocks的JSON數(shù)組拆分

JSON的Schema-Free的特性對持續(xù)上線新功能的應(yīng)用程序來說非常方便，因此JSON廣泛應(yīng)用于Web開發(fā)和日志統(tǒng)計中。因此我們也經(jīng)常會遇到一個JSON記錄中有多個記錄放到一行中的情況。在一般的BI開發(fā)過程中，需要通過ETL過程將一行JSON的數(shù)組拆分成多行來存儲，讓分析的鏈路過于冗長。在新版本中可以對上述數(shù)據(jù)類型以及衡石引擎中中，可以直接對JSON類型的數(shù)組進(jìn)行即時的動態(tài)拆分而無需ETL過程。例如

[ { "event": "查看", "cnt": 100 }, { "event": "點擊", "cnt": 10 } ][ { "event": "查看", "cnt": 200 }, { "event": "點擊", "cnt": 20 }, { "event": "購買", "cnt": 2 } ][ { "event": "查看", "cnt": 300 } ]

可以拆分成如下的數(shù)據(jù)

復(fù)合數(shù)據(jù)集數(shù)據(jù)更新時可以忽略上游依賴觸發(fā)事件

對很多用戶來說復(fù)合數(shù)據(jù)集是高頻使用的功能，例如聯(lián)合數(shù)據(jù)集，合并數(shù)據(jù)集，聚合數(shù)據(jù)集等。將復(fù)合數(shù)據(jù)集導(dǎo)入引擎的時候有時候會遇到一個問題，就是其上游數(shù)據(jù)集也是導(dǎo)入引擎的狀態(tài)，且更新比較頻繁的情況下，會觸發(fā)這個復(fù)合數(shù)據(jù)集的更新。有時候我們希望復(fù)合數(shù)據(jù)集有一個自己的更新計劃不被上游數(shù)據(jù)集觸發(fā)，減少數(shù)據(jù)同步和寫入的壓力。新版本中可以在數(shù)據(jù)集的更新設(shè)置中找到這個功能。

可視化控件

多邊形的地理區(qū)域圖

GeoJSON是一個常用的地理位置信息存儲標(biāo)準(zhǔn)，它可以用一致的數(shù)據(jù)結(jié)構(gòu)存儲地理位置中關(guān)于點、線、多邊形、組合多邊形等等概念。在衡石5.2功能更新中，我們提供了對PostGIS中地理位置信息的讀取和加載，轉(zhuǎn)化成標(biāo)準(zhǔn)的GeoJSON格式，并且在地圖中新增了多邊形的圖層。通過這個新圖層，用戶可以靈活定義自己的地理圍欄，而不需要局限于標(biāo)準(zhǔn)地圖。

圖表組件新增指標(biāo)趨勢卡控件

指標(biāo)趨勢可以在查看指標(biāo)總值的同時，展現(xiàn)指標(biāo)的時間趨勢。

對數(shù)坐標(biāo)軸

在數(shù)據(jù)分析和展示的過程中，有時候我們會遇到不同分組的數(shù)據(jù)的量級差距非常大的情況。例如統(tǒng)計微生物的數(shù)量，某一些時刻是個位數(shù)，某些時刻是幾萬個，而另外一些時刻是幾萬億個，如果用常規(guī)的圖形，那么因為線性坐標(biāo)軸很難展示從1到萬億的數(shù)據(jù)，導(dǎo)致小量的數(shù)據(jù)都在0附近。

對數(shù)坐標(biāo)軸可以將數(shù)值范圍很廣的數(shù)據(jù)壓縮到一個圖表中，使得數(shù)據(jù)的不同量級在同一圖表上更易于觀察，可以清晰地看到各個數(shù)量級的數(shù)據(jù)變化。

數(shù)據(jù)集過濾器

和其他過濾器不同，數(shù)據(jù)集過濾器的主要配置項是一個數(shù)據(jù)集，而不是字段。當(dāng)我們在設(shè)計儀表盤的交互時如果能夠確定希望給于查看者的篩選字段，一般用其他普通過濾器是最穩(wěn)妥的方式。但是如果我們在設(shè)計儀表盤的時候，不太確定查看者用于查詢的字段有哪些，或者是希望給予查看者更多的篩選能力，則可以考慮使用數(shù)據(jù)集過濾器。

由于數(shù)據(jù)集過濾器是一個功能比較強(qiáng)大，但是對普通用戶的使用相對來說比較復(fù)雜一些的功能，因此在設(shè)計儀表盤的時候要謹(jǐn)慎使用。另外由于該控件布局要求比較大的展示空間，所以它也不能在側(cè)邊欄中使用。

參數(shù)控件支持樹形

樹形參數(shù)控件適用于一個控件來控制多個參數(shù)，并且多個參數(shù)之間是有層級關(guān)系的情況。例如公司包含部門，部門包含員工；或者地區(qū)包含省份這樣層級結(jié)構(gòu)，讓用戶在選擇參數(shù)控件的時候更方便定位到指定的選項。

交互體驗升級

拼音搜索

值得一提的是呼聲很高的拼音搜索目前已經(jīng)上線，大部分支持頁面搜索或過濾的功能原來只能用英文原文或者漢字來搜索，在新版本中可以用拼音前綴來搜索了，使用上應(yīng)該會方便不少。

結(jié)語

青苔滿地初晴后，綠樹無人晝夢余。

HENGSHI SENSE 5.2 作為新一代AI增強(qiáng) BI 平臺的更新版本 ，進(jìn)一步提升AI Copilot的準(zhǔn)確性和響應(yīng)性能。應(yīng)用門戶的新形態(tài)也是 BI 場景的一個系統(tǒng)性創(chuàng)新。Denodo 的接入和更多數(shù)據(jù)源的復(fù)合數(shù)據(jù)類型的動態(tài)拆分持續(xù)地在提升 ELT 分析范式的適應(yīng)能力。當(dāng)然，諸多控件和交互的改進(jìn)也讓面向業(yè)務(wù)的場景搭建更智能、更便捷、更靈活，歡迎您來試用。

水晶簾動微風(fēng)起，滿架薔薇一院香。

HENGSHI SENSE 5.3 汲取陽光，發(fā)榮滋長，開創(chuàng)更多數(shù)據(jù)分析的精彩功能，敬請期待！

來源：衡石科技