2023 年，我的飛書(shū)簽名是“Rethink Data & Analytics”，我們一直在探索，未來(lái)的數(shù)據(jù)與分析應(yīng)該是什么樣子，尤其是在 AI 帶來(lái)巨大變革的時(shí)候，更加緊迫地讓我們?nèi)ド钊胨伎迹磥?lái)的數(shù)據(jù)和分析會(huì)朝什么方向發(fā)展。如何在這一波革命中，抓住機(jī)會(huì)，為客戶提供更好地產(chǎn)品和體驗(yàn)，更好地發(fā)展業(yè)務(wù)。經(jīng)過(guò) Kyligence 過(guò)去一年的實(shí)踐，在 AI 加持之下，我們的理念、產(chǎn)品以及實(shí)踐，逐漸在市場(chǎng)上獲得了認(rèn)可，也獲得了越來(lái)越多的共鳴，感受到了強(qiáng)烈的市場(chǎng)脈搏。新年之際，分享一些思考和認(rèn)知，希望大家一起，為這個(gè)行業(yè)的變革帶來(lái)貢獻(xiàn)。

AI正在吞噬軟件

AI 正在吞噬軟件，這是 NVIDIA（英偉達(dá)）CEO 黃仁勛在 2017 年一篇采訪中提到的觀點(diǎn)。到今天，應(yīng)該沒(méi)有人再懷疑這個(gè)論斷?，F(xiàn)在的問(wèn)題是，AI 將如何改變某領(lǐng)域的軟件，在我們自己的行業(yè)，就是 AI 將如何改變數(shù)據(jù)與分析市場(chǎng)。

在數(shù)倉(cāng)領(lǐng)域，下圖已經(jīng)用了超過(guò)30年，“數(shù)據(jù)源” - “ETL” - “數(shù)據(jù)倉(cāng)庫(kù)” - “OLAP/數(shù)據(jù)集市” - "BI / Reporting" 頂多再加上“元數(shù)據(jù)”和“分析預(yù)測(cè)”。不管是 ELT 還是 ETL，不管是數(shù)據(jù)湖還是數(shù)據(jù)倉(cāng)庫(kù)，不管是本地部署還是云端部署，這里所有的假設(shè)，都是數(shù)據(jù)需要經(jīng)過(guò)漫長(zhǎng)的工程，從原始數(shù)據(jù)萃集后，整理成星型或雪花模型，從而提供給上層 BI 等使用。作為使用者的最終用戶，往往是最后才被賦能，從而導(dǎo)致大量的數(shù)據(jù)其實(shí)今天依然沒(méi)有被充分利用起來(lái)。

圖片來(lái)源于網(wǎng)絡(luò)

Generative AI（生成式AI）的出現(xiàn)，使得數(shù)據(jù)的工藝流程將出現(xiàn)巨大的變革，數(shù)據(jù)的加工方式發(fā)生了革命性的變化。首先，各種復(fù)雜的重復(fù)性的勞動(dòng)，尤其是數(shù)據(jù)的 Pipeline，都將由 AI Agent 來(lái)處理。從小到行列轉(zhuǎn)換，大到數(shù)據(jù)治理，未來(lái)應(yīng)該有很多的 AI Agent 來(lái)處理這些工作，人類(lèi)只需要用提示詞設(shè)計(jì)合理的流程就好。這從 ChatGPT 自帶的 的 Advanced Data Analysis （高級(jí)數(shù)據(jù)分析）還是眾多使用 OpenAI's Code Interpreter 的數(shù)據(jù)分析工具都可以看到，甚至 GPTs 可以通過(guò)幾個(gè)簡(jiǎn)單的提示詞就可以完成很多數(shù)據(jù)梳理、分析的工作。

其次，人和機(jī)器的交互進(jìn)化到了最自然的方式，數(shù)據(jù)的消費(fèi)方式發(fā)生了革命性的變化。只要會(huì)說(shuō)話，就能用數(shù)據(jù)，這是這次 AI 帶來(lái)的巨大變革。這使得原來(lái)只是領(lǐng)導(dǎo)、分析師、專(zhuān)業(yè)用戶等才能使用的“數(shù)據(jù)和分析能力”，一下子平民化到了每個(gè)人，即使文化水平不高的用戶，也能被充分賦能到。這將大大改變現(xiàn)在的數(shù)據(jù)架構(gòu)、處理模式和消費(fèi)方式等。大部分公司現(xiàn)在能夠有效使用數(shù)據(jù)的員工不超過(guò)10-15%，而這次 AI 革命，能夠讓其余的 80-90% 的人直接消費(fèi)數(shù)據(jù)或者數(shù)據(jù)產(chǎn)品，可以預(yù)見(jiàn)，現(xiàn)有的數(shù)據(jù)架構(gòu)是無(wú)法滿足的，這里的變革才剛開(kāi)始。

當(dāng)每個(gè)人都能、都需要消費(fèi)數(shù)據(jù)的時(shí)候，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)湖的架構(gòu)是否還適用，數(shù)據(jù)的存儲(chǔ)方式將發(fā)生什么樣的變革？這是一個(gè)開(kāi)放問(wèn)題，目前我還沒(méi)有具體的答案，但可以預(yù)見(jiàn)，AI 的場(chǎng)景，必然會(huì)要求系統(tǒng)處理更多的數(shù)據(jù)，更靈活地訪問(wèn)數(shù)據(jù)和更高效地服務(wù)更多人。從今天的大部分 MPP 和大數(shù)據(jù)的架構(gòu)上看，在這幾個(gè)方面應(yīng)該都會(huì)很快面臨巨大的挑戰(zhàn)，當(dāng)比現(xiàn)在訪問(wèn)量大十倍、百倍甚至萬(wàn)倍的時(shí)候，今天任何數(shù)據(jù)系統(tǒng)要在成本可控的情況下完成都非常困難，這里期待我們未來(lái)和客戶一起共同研究和探索，突破極限。

圖片來(lái)源于 Kyligence

Gen AI 能帶來(lái)的，將遠(yuǎn)比這些更多，我們?cè)趯?shí)踐中實(shí)現(xiàn)了幾個(gè)方向，已經(jīng)產(chǎn)生了巨大的變化和影響，AI 將帶來(lái)數(shù)據(jù)和分析的深層次革命。機(jī)器將代替人類(lèi)完成更多的工作，尤其是重復(fù)的、可被自動(dòng)化的。過(guò)去數(shù)據(jù)系統(tǒng)完成數(shù)據(jù)的加工和指標(biāo)的統(tǒng)計(jì)后，后續(xù)需要大量的人工去分析影響相關(guān)指標(biāo)變化的影響要素，探索根因，并根據(jù)經(jīng)驗(yàn)提供相關(guān)的決策建議，從而對(duì)整個(gè)企業(yè)的經(jīng)營(yíng)和管理產(chǎn)生影響。

AI正在重塑產(chǎn)品和需求

以上是 AI 趨勢(shì)方面，Kyligence 一直致力于提供標(biāo)準(zhǔn)化軟件產(chǎn)品，今年我們特別感受到了在 AI 時(shí)代，客戶對(duì)產(chǎn)品能力和需求的不同之處。

從 Kyligence 最早開(kāi)始提供的企業(yè)級(jí) OLAP 平臺(tái)場(chǎng)景中，我們經(jīng)常碰到的挑戰(zhàn)就是 Performance，這時(shí)主要強(qiáng)調(diào)性能，這也是 Kyligence 在 OLAP 層面的強(qiáng)項(xiàng)，花費(fèi)了非常多心血，已經(jīng)細(xì)化到為了幫助客戶的某條 SQL 提升幾秒，或只是讓他們?cè)邳c(diǎn)開(kāi)儀表盤(pán)的時(shí)候稍等待幾秒。

Performance/性能，是在技術(shù) PK 中最常見(jiàn)。性能良好的系統(tǒng)/OLAP，當(dāng)然是非常好的，但當(dāng)大家都達(dá)到秒級(jí)響應(yīng)的階段，實(shí)際上，比較的空間已逐漸縮小。如果換一個(gè)角度，其實(shí)只需調(diào)整一個(gè)數(shù)據(jù)結(jié)構(gòu)或優(yōu)化數(shù)據(jù)處理流程，就能顯著提升性能。然而，許多客戶可能出于對(duì)現(xiàn)有模式的偏好，不太愿意進(jìn)行這樣的變更。

在 AI 時(shí)代，性能依然重要嗎？我們認(rèn)為，之所以需要 OLAP 或者數(shù)據(jù)倉(cāng)庫(kù)端有極好的性能，是因?yàn)榇罅康臄?shù)據(jù)分析工作，依賴(lài)于有限的幾個(gè)分析師或業(yè)務(wù)用戶，而該人群的業(yè)務(wù)壓力非常大，而且往往數(shù)據(jù)出來(lái)后，依然有著非常繁重的任務(wù)，比如對(duì)比數(shù)據(jù)、查閱歷史、分析原因、重跑各種可能性等等，并要形成報(bào)告和決策、行動(dòng)建議。所以，一個(gè)非常好用的工具確實(shí)是必不可少的。但在 AI 時(shí)代，這里的大量工作其實(shí)可以委托給 AI 完成，甚至可以讓 AI 提前完成，尤其是固有的、常用分析套路，而且可以快速給出大致的總結(jié)，這已經(jīng)能夠大大節(jié)省人力，甚至 AI 可以讓各種系統(tǒng)自動(dòng)化鏈接起來(lái)。例如，今天我們用智能一站式指標(biāo)平臺(tái) Kyligence Zen 出一個(gè)周報(bào)或做一次歸因，只要 10 秒即可，而且自帶總結(jié)，這比出來(lái)結(jié)果，再去查資料些報(bào)告，已經(jīng)有了質(zhì)的提升。

性能，尤其是查詢性能，在這個(gè)場(chǎng)景下其實(shí)已經(jīng)沒(méi)那么嚴(yán)苛了。反而，并發(fā)性成了下一個(gè)挑戰(zhàn)，因?yàn)闀?huì)有越來(lái)越多的人來(lái)使用系統(tǒng)。

更有意思的一個(gè)現(xiàn)象出現(xiàn)了。通過(guò)最近一年的接觸，我們發(fā)現(xiàn)更多的客戶已經(jīng)將關(guān)注點(diǎn)，從性能轉(zhuǎn)移到了Performance 的另外一個(gè)含義：績(jī)效。例如，我們的客戶已經(jīng)將指標(biāo)平臺(tái)作為績(jī)效管理（KPI）平臺(tái)，而 KPI 的縮寫(xiě)正是 Key Performance Indicator 。當(dāng)我們將關(guān)注點(diǎn)從性能轉(zhuǎn)移到績(jī)效的時(shí)候，這才是客戶真正要的產(chǎn)品。儀表盤(pán)或者報(bào)表從來(lái)不是客戶要得最終結(jié)果，他們要得是基于數(shù)據(jù)的管理能力。幾乎每一個(gè)有用的指標(biāo)/Metric，都展示了某個(gè)業(yè)務(wù)或者管理的結(jié)果，而一個(gè)公司之所以需要指標(biāo)，就是為了更好地觀測(cè)相關(guān)業(yè)務(wù)的進(jìn)展、健康狀態(tài)以及及時(shí)采取措施來(lái)修正組織行為，從而確保公司的整體或者部分績(jī)效能夠按照設(shè)定的目標(biāo)行進(jìn)。

例如，Kyligence 的一個(gè)銀行客戶最近做的 POC，即是一個(gè)績(jī)效管理相關(guān)的需求，從總行領(lǐng)導(dǎo)-分行領(lǐng)導(dǎo)-普通一線員工指標(biāo)層層下磚，客戶的需求已經(jīng)在這里。這也對(duì)新時(shí)代 AI 數(shù)據(jù)分析和指標(biāo)管理有一個(gè)啟發(fā)，就是要跳出技術(shù)思維，不要僅局限在Performance/性能，更要在Performance/績(jī)效上打出差異化和壁壘，提升技術(shù)投入的 ROI，并快速占據(jù)市場(chǎng)。

AI 市場(chǎng)在過(guò)去一年發(fā)展實(shí)在是非常的快，幾乎每周都在修改原有的假設(shè)。在這個(gè)過(guò)程中，站在客戶的角度思考變得尤為重要，“可落地的場(chǎng)景” + “極致性價(jià)比” + “可衡量的ROI”才能滿足客戶新環(huán)境下的需求，這三個(gè)維度需要走在前面的創(chuàng)新公司認(rèn)真想想。對(duì)于我們來(lái)說(shuō)，將先進(jìn)的技術(shù)進(jìn)行產(chǎn)品化，繼續(xù)打出差異化和競(jìng)爭(zhēng)壁壘，將在2024年愈加明顯。

·關(guān)于韓卿：

韓卿，Kyligence 聯(lián)合創(chuàng)始人兼 CEO。大數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)專(zhuān)家、頂級(jí)開(kāi)源項(xiàng)目 Apache Kylin 創(chuàng)建者、微軟社區(qū)總監(jiān)（RD）、騰訊云最有價(jià)值專(zhuān)家（TVP）、金融科技創(chuàng)新聯(lián)盟理事兼智庫(kù)專(zhuān)家、中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)數(shù)字金融工作委員會(huì)委員等。他曾入選 “2016年財(cái)富中國(guó)40位40歲以下的商界精英" 、 “愛(ài)分析50位推動(dòng)中國(guó)進(jìn)入大數(shù)據(jù)時(shí)代的人物” 、美國(guó)商業(yè)雜志《快公司》 - 中國(guó)商業(yè)最具創(chuàng)意人物 100 、 “30位新生代數(shù)字經(jīng)濟(jì)人才” 等。

來(lái)源：數(shù)據(jù)猿