當(dāng)前，自然語言技術(shù)的應(yīng)用正在全球范圍內(nèi)引發(fā)新一輪的技術(shù)革命與商業(yè)浪潮.Smartbi作為中國(guó)領(lǐng)先的BI軟件供應(yīng)商，利用自身多年在BI行業(yè)的沉淀的客戶數(shù)量和豐富的業(yè)務(wù)場(chǎng)景的優(yōu)勢(shì)，持續(xù)探索自然語言和AI在商業(yè)智能領(lǐng)域的應(yīng)用。本文將詳細(xì)介紹Smartbi如何結(jié)合Smartbi的指標(biāo)體系、數(shù)據(jù)建模和自然語言查詢引擎，為用戶提供統(tǒng)一口徑、個(gè)性化、實(shí)時(shí)化、靈活化的智能數(shù)據(jù)查詢平臺(tái)。

技術(shù)說明

目前經(jīng)典自然語言查詢方案如下圖所示，端到端的語言模型充當(dāng)中間層將用戶輸入的自然語言轉(zhuǎn)化為 SQL 執(zhí)行語句，數(shù)據(jù)庫(kù)作為底層存儲(chǔ)和數(shù)據(jù)處理的引擎，負(fù)責(zé)接受和執(zhí)行從大模型發(fā)送過來的 SQL 語句，對(duì)數(shù)據(jù)進(jìn)行聚合、篩選、排序等操作，滿足基于數(shù)據(jù)集的查詢分析需求。

然而，這種架構(gòu)在實(shí)際落地過程中也面臨一定挑戰(zhàn)：

準(zhǔn)確性：數(shù)據(jù)口徑混亂，用戶表達(dá)充滿歧義。單純的利用數(shù)據(jù)庫(kù)內(nèi)的字段描述，語言模型無法處理復(fù)雜關(guān)聯(lián)和計(jì)算邏輯?？绫淼膹?fù)雜查詢輸出不穩(wěn)定，準(zhǔn)確率很低。

性能問題：僅僅依靠數(shù)據(jù)庫(kù)，查詢的效率低下。

私域知識(shí)無法識(shí)別：語言模型缺少領(lǐng)域知識(shí)，無法很好的理解業(yè)務(wù)用戶輸入的語義。由于極度缺乏企業(yè)內(nèi)部領(lǐng)域知識(shí)，對(duì)用戶的語義理解力弱。

面對(duì)經(jīng)典方案中的落地難點(diǎn)，Smartbi總體解決思路是將以上挑戰(zhàn)逐一拆解，通過組件疊加分階段完善智能問答的架構(gòu)構(gòu)建，最終實(shí)現(xiàn)全新的交互問答服務(wù)模式，接下來我們將介紹各階段挑戰(zhàn)對(duì)應(yīng)的解決方案。

1、利用數(shù)據(jù)模型增加語義層：處理復(fù)雜數(shù)據(jù)問題

為了解決復(fù)雜數(shù)據(jù)處理問題，我們?cè)诖竽Ｐ团c底層數(shù)據(jù)倉(cāng)庫(kù)中間增加了數(shù)據(jù)模型作為語義層。一方面語義層作為連接技術(shù)與業(yè)務(wù)之間的轉(zhuǎn)換橋梁，能夠?qū)?shù)據(jù)字段翻譯為業(yè)務(wù)用戶的術(shù)語，使業(yè)務(wù)知識(shí)作為額外的抽象層。另一方面通過語義層，業(yè)務(wù)分析師不需要在定義指標(biāo)后存儲(chǔ)于數(shù)倉(cāng)中，能夠直接在語義層中指定過濾條件，將所需指標(biāo)篩選后生成查詢語句并在數(shù)據(jù)模型中進(jìn)行字段查詢。這意味著，業(yè)務(wù)分析師能夠把多源數(shù)據(jù)按照需求定義成語義信息并形成語義標(biāo)準(zhǔn)，有效解決了多種指標(biāo)、多類維度計(jì)算口徑不統(tǒng)一的挑戰(zhàn)。另一方面語義層能夠針對(duì)業(yè)務(wù)計(jì)算邏輯，進(jìn)行語義加工、描述、關(guān)聯(lián)和運(yùn)算。語義層在過濾數(shù)據(jù)后，能夠屏蔽由表關(guān)聯(lián)所產(chǎn)生的復(fù)雜指標(biāo)計(jì)算公式，將多表場(chǎng)景轉(zhuǎn)化為了較為簡(jiǎn)單的單表查詢，以提升語義轉(zhuǎn)化的準(zhǔn)確性。

2、增加高速緩存數(shù)據(jù)庫(kù)：優(yōu)化數(shù)據(jù)查詢性能

針對(duì)大數(shù)據(jù)量下的查詢問題，Smartbi采用了Clickhouse作為查詢引擎，并基于數(shù)據(jù)模型建模進(jìn)行了指標(biāo)的預(yù)聚合，并添加了數(shù)據(jù)查詢的緩存庫(kù)，大大加速了數(shù)據(jù)查詢的返回速度。

3、增加內(nèi)容映射：處理私域知識(shí)問題

針對(duì)私域知識(shí)的問題，我們提供了一個(gè)可以配置的同義詞知識(shí)庫(kù)和一個(gè)用戶行為知識(shí)庫(kù)。在使用前，用戶的問句會(huì)進(jìn)行同義詞知識(shí)轉(zhuǎn)義為平臺(tái)可以識(shí)別的數(shù)據(jù)庫(kù)語義，之后進(jìn)行匹配。使用中，用戶行為庫(kù)會(huì)將用戶問句的查詢結(jié)果存入用戶行為庫(kù)，在后續(xù)的查詢中將平臺(tái)用戶的問題與用戶行為知識(shí)庫(kù)進(jìn)行匹配如果匹配成功，將之前存儲(chǔ)的用戶行為里面識(shí)別的結(jié)果提供給語言模型作為補(bǔ)充，以實(shí)現(xiàn)帶私有的知識(shí)查詢。有效解決了語言模型對(duì)私域知識(shí)理解不足的問題，提升語言處理的效果。

★專利申請(qǐng)?zhí)?公開號(hào)：ZL202110450910.X

開發(fā)團(tuán)隊(duì)

·帶隊(duì)負(fù)責(zé)人姓名：吳華夫

吳華夫于2001年畢業(yè)于武漢大學(xué)計(jì)算機(jī)軟件專業(yè)，獲得學(xué)士學(xué)位；2005年6月獲得中山大學(xué)軟件工程碩士學(xué)位。2001-2011年：在廣州菲奈特軟件有限公司（國(guó)內(nèi)BI行業(yè)的黃埔軍校，后被東南融通收購(gòu)）先后擔(dān)任BI研發(fā)工程師、研發(fā)部門經(jīng)理等職位，主導(dǎo)了BI系列產(chǎn)品研發(fā)。

他于2011年創(chuàng)辦成立了廣州思邁特軟件有限公司，任職總經(jīng)理，他積極探索產(chǎn)品發(fā)展模式，搭建穩(wěn)健高效的業(yè)務(wù)模式，為各行業(yè)提供高附加值的產(chǎn)品和服務(wù)；他帶領(lǐng)主要技術(shù)骨干開發(fā)了思邁特商業(yè)智能與大數(shù)據(jù)分析系統(tǒng)（Smartbi），Smartbi為客戶提供一整套滿足用戶需求的數(shù)據(jù)分析、報(bào)表、績(jī)效監(jiān)控和信息發(fā)布的解決方案，幫助客戶更方便的挖掘大數(shù)據(jù)的價(jià)值，使更多的人受益于大數(shù)據(jù)；其推廣應(yīng)用對(duì)于提升我國(guó)本土企業(yè)的決策能力、市場(chǎng)競(jìng)爭(zhēng)力有明顯促進(jìn)作用。個(gè)人連續(xù)多年獲得“廣州天河區(qū)優(yōu)秀人才”、“10年軟件行業(yè)風(fēng)云人物”、工信部賽迪網(wǎng)“年度數(shù)字經(jīng)濟(jì)先鋒人物”等諸多榮譽(yù)。

團(tuán)隊(duì)其他重要成員姓名：秦彬、黃田安、高梓堯、黃辰揚(yáng)

·隸屬機(jī)構(gòu)：思邁特軟件

廣州思邁特軟件有限公司（簡(jiǎn)稱：思邁特軟件）致力于為致力于為企業(yè)客戶提供一站式商業(yè)智能平臺(tái) (PaaS) 和BI解決方案 (BI+應(yīng)用市場(chǎng))，以“讓數(shù)據(jù)為客戶創(chuàng)造價(jià)值，助力企業(yè)數(shù)智化運(yùn)營(yíng)”為愿景，專注于商業(yè)智能(BI)與大數(shù)據(jù)分析軟件產(chǎn)品與服務(wù)。以“Smartbi”品牌推出三大產(chǎn)品，包括一站式ABI平臺(tái)、智慧數(shù)據(jù)運(yùn)營(yíng)平臺(tái)、企業(yè)報(bào)表平臺(tái)，覆蓋企業(yè)從傳統(tǒng)BI到自助BI，再到智能BI的三個(gè)應(yīng)用階段，滿足從數(shù)據(jù)準(zhǔn)備到數(shù)據(jù)分析、交流共享等各個(gè)環(huán)節(jié)的功能需求。

自2011年成立至今，先后獲得國(guó)家認(rèn)定的“高新技術(shù)企業(yè)”、“大數(shù)據(jù)百?gòu)?qiáng)企業(yè)”、“中國(guó)十佳商業(yè)智能方案商”、“中國(guó)科技創(chuàng)新企業(yè)100強(qiáng)”、中國(guó)大數(shù)據(jù)企業(yè)Top50”、入選Gartner《2023年中國(guó)數(shù)據(jù)、分析和人工智能技術(shù)成熟度曲線》代表廠商、連續(xù)多年入選“Gartner增強(qiáng)分析標(biāo)桿供應(yīng)商”、“Gartner全球增長(zhǎng)最快的ABI「分析與商業(yè)智能」平臺(tái)代表廠商”、連續(xù)多年入選“IDC金融科技50強(qiáng)”及“IDC中國(guó)商業(yè)智能軟件市場(chǎng)產(chǎn)商份額top10”。

公司核心產(chǎn)品 Smartbi 是企業(yè)級(jí)商業(yè)智能和大數(shù)據(jù)分析平臺(tái)，經(jīng)過多年持續(xù)自主研發(fā)，凝聚大量商業(yè)智能最佳實(shí)踐經(jīng)驗(yàn)，整合了各行業(yè)的數(shù)據(jù)分析和決策支持的功能需求。滿足所有用戶的各種大數(shù)據(jù)分析應(yīng)用需求，如企業(yè)報(bào)表、數(shù)據(jù)可視化分析、自助探索式分析、數(shù)據(jù)挖掘建模、指標(biāo)模型、對(duì)話式分析等等。

相關(guān)評(píng)價(jià)

之前集團(tuán)經(jīng)營(yíng)管理，常年采用報(bào)表來進(jìn)行業(yè)務(wù)監(jiān)控。報(bào)表分析不靈活，想要的維度常用的報(bào)表沒有；報(bào)表太多指標(biāo)找不到，想要看的指標(biāo)還要去一堆報(bào)表中找；報(bào)表指標(biāo)太多不聚焦，看得人眼睛都花了；使用了對(duì)話式分析以后，極大方便了領(lǐng)導(dǎo)管理集團(tuán)決策的過程，想要看什么指標(biāo)一句話就出來了，還能靈活多變的從不同維度進(jìn)行分析，想到啥就分析啥。集成在集團(tuán)的APP中，在會(huì)議中也可以使用對(duì)話式分析，及時(shí)快速的對(duì)業(yè)務(wù)問題進(jìn)行解答。

——某保險(xiǎn)客戶

一線業(yè)務(wù)人員常年在各個(gè)經(jīng)銷商那出外勤，然而數(shù)據(jù)分析的報(bào)表在移動(dòng)端查看起來不方便，維度指標(biāo)太多了不聚焦，手機(jī)上篩選不同的篩選條件也十分困難，每次查看報(bào)表還需要打開專門的APP使用起來十分不便利。利用Smartbi對(duì)話式分析，業(yè)務(wù)人員可以直接在企業(yè)微信上輸入文字的方式來查詢每個(gè)供應(yīng)商的數(shù)據(jù)，并可以對(duì)各個(gè)維度進(jìn)行下鉆，找到最合適的銷售和庫(kù)存策略。

——某日化零售企業(yè)

來源：數(shù)據(jù)猿