人類數(shù)據(jù)耗盡怎么辦？外灘大會熱議數(shù)據(jù)技術(shù)新趨勢

人類數(shù)據(jù) 外灘大會數(shù)據(jù)技術(shù)

數(shù)據(jù)猿 | 2024-09-06 13:48

【數(shù)據(jù)猿導(dǎo)讀】 9月5日，在2024 Inclusion·外灘大會上，由螞蟻集團(tuán)、上海交通大學(xué)、復(fù)旦大學(xué)聯(lián)合主辦的“從DATA for AI到AI for DATA”見解論壇召開，產(chǎn)學(xué)研代表深入探討了在AI時代數(shù)據(jù)價值的轉(zhuǎn)變，中國工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授鄭緯民，昆侖萬維 & 天工智能首席科學(xué)家、新...

人類數(shù)據(jù)耗盡怎么辦？外灘大會熱議數(shù)據(jù)技術(shù)新趨勢

9月5日，在2024 Inclusion·外灘大會上，由螞蟻集團(tuán)、上海交通大學(xué)、復(fù)旦大學(xué)聯(lián)合主辦的“從DATA for AI到AI for DATA”見解論壇召開，產(chǎn)學(xué)研代表深入探討了在AI時代數(shù)據(jù)價值的轉(zhuǎn)變，中國工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授鄭緯民，昆侖萬維 & 天工智能首席科學(xué)家、新加坡工程院院士顏水成參會，分享了數(shù)據(jù)技術(shù)的變化趨勢及與AI技術(shù)的融合。

大模型拉動數(shù)據(jù)與AI全面對齊

數(shù)據(jù)一定程度上決定了智能的上限，這使得大模型的技術(shù)越要突破，數(shù)據(jù)技術(shù)越要與其“對齊”，大模型對數(shù)據(jù)利用的“貪婪程度”，也影響了數(shù)據(jù)的存儲、生產(chǎn)、加工、流通、消費(fèi)各個環(huán)節(jié)的技術(shù)走向。

在存儲環(huán)節(jié)，中國工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授鄭緯民表示，大模型生命周期的每一環(huán)節(jié)都與存儲系統(tǒng)有關(guān)，在數(shù)據(jù)獲取階段，需要處理海量多模態(tài)小文件，在數(shù)據(jù)預(yù)處理時，則要頻繁、隨機(jī)小樣本讀取，訓(xùn)練時，檢查點(diǎn)文件讀寫對存儲系統(tǒng)提出新的需求，推理時，加載模型參數(shù)以及保存中間結(jié)果尤為關(guān)鍵，這些挑戰(zhàn)也催生了新的技術(shù)方案誕生。

大數(shù)據(jù)時代，數(shù)據(jù)的價值還沒來得及充分挖掘，AI時代一到，數(shù)據(jù)卻面臨著消耗過快的挑戰(zhàn)，這使得合成數(shù)據(jù)技術(shù)成了熱門領(lǐng)域。據(jù)研究機(jī)構(gòu)Epoch AI在6月發(fā)布的報告顯示，從2026年起，人類產(chǎn)生的新數(shù)據(jù)量將比模型學(xué)習(xí)的新數(shù)據(jù)量要少，預(yù)估到2028年大語言模型將耗盡人類數(shù)據(jù)。

昆侖萬維 & 天工智能首席科學(xué)家、新加坡工程院院士顏水成認(rèn)為，模型結(jié)構(gòu)還會繼續(xù)升級，大模型目前推理能力不夠等眾多的遺留問題，最好的解決途徑可能是用合成數(shù)據(jù)，但做法不同，不應(yīng)是根據(jù)原來的數(shù)據(jù)合成新的數(shù)據(jù)，而是通過大模型之間相互的對話、討論、評價，最后產(chǎn)生出更好、更高質(zhì)量的數(shù)據(jù)，這些數(shù)據(jù)將會大大去提升大模型的效能。

基礎(chǔ)數(shù)據(jù)庫也在加強(qiáng)與AI的融合。國產(chǎn)分布式數(shù)據(jù)庫OceanBase CTO楊傳輝介紹了如何通過一套系統(tǒng)同時支持SQL+AI，支持向量數(shù)據(jù)庫，并通過AI技術(shù)優(yōu)化數(shù)據(jù)庫開發(fā)和管理工具。

螞蟻技術(shù)研究院院長陳文光提出，向AI“對齊”需要從底層系統(tǒng)角度出發(fā)，包括硬件的結(jié)構(gòu)和對應(yīng)的編程語言、編譯系統(tǒng)等。他介紹了在人工智能、科學(xué)計(jì)算與大數(shù)據(jù)處理（FABS：Fused AI, Big Data and Science）融合的計(jì)算模式思考。

探索AI時代的數(shù)據(jù)戰(zhàn)略與實(shí)踐

人類數(shù)據(jù)_外灘大會_數(shù)據(jù)技術(shù)-1

（圖說：螞蟻集團(tuán)平臺技術(shù)事業(yè)群副總裁駱驥展望新一代智能數(shù)據(jù)體系，他認(rèn)為數(shù)據(jù)正在向價值中心轉(zhuǎn)變。）

從大數(shù)據(jù)時代到AI時代，數(shù)據(jù)體系正在從成本和效率中心向價值中心轉(zhuǎn)變，螞蟻集團(tuán)平臺技術(shù)事業(yè)群副總裁駱驥認(rèn)為，在AI時代，數(shù)據(jù)資產(chǎn)本身的規(guī)模、多樣性、品質(zhì)等是決定智能化效果的關(guān)鍵因素。數(shù)據(jù)更加直接地影響到智能化應(yīng)用的效果，這就意味著，從數(shù)據(jù)資產(chǎn)的生產(chǎn)、加工與服務(wù)、消費(fèi)與應(yīng)用等各個環(huán)節(jié)都需要圍繞數(shù)據(jù)的價值化這一全新的視角去構(gòu)建相應(yīng)的體系與技術(shù)能力。

駱驥分享了基于螞蟻集團(tuán)業(yè)務(wù)場景下，AI時代的螞蟻智能數(shù)據(jù)體系探索與實(shí)踐。

他表示，在過去的兩年里，螞蟻集團(tuán)一直在構(gòu)建一個圍繞融合數(shù)據(jù)湖、能提供各種數(shù)據(jù)驅(qū)動的智能化應(yīng)用服務(wù)與能力的數(shù)據(jù)體系，其底層基于全模態(tài)存儲與計(jì)算引擎，上層能支持豐富的智能化業(yè)務(wù)應(yīng)用場景。

在底層，螞蟻構(gòu)建了行列混存，以及面向新搜索、新交互的向量數(shù)據(jù)庫能力，并且為大模型訓(xùn)練打造了極致的全模態(tài)緩存加速的新型存儲技術(shù)產(chǎn)品。

在核心的融合數(shù)據(jù)湖里，螞蟻致力于將結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)充分融合。除了傳統(tǒng)的數(shù)據(jù)管理與治理、端云/跨云的數(shù)據(jù)融合和隱私保護(hù)之外，還重點(diǎn)關(guān)注統(tǒng)一元數(shù)據(jù)、支持三線一致和Single Source of Truth，以及特別針對非結(jié)構(gòu)化數(shù)據(jù)的安全可信與品質(zhì)保障能力等幾大關(guān)鍵要素。

在上層的數(shù)據(jù)應(yīng)用中，包含了高價值數(shù)據(jù)的生產(chǎn)（包括數(shù)據(jù)引入、數(shù)據(jù)感知、數(shù)據(jù)標(biāo)注、數(shù)據(jù)合成）、全模態(tài)的數(shù)據(jù)研發(fā)和面向機(jī)器與智能體的新特征服務(wù)，以及圍繞數(shù)據(jù)的分析與科學(xué)實(shí)驗(yàn)工程體系等。

“數(shù)據(jù)技術(shù)領(lǐng)域也正在飛奔進(jìn)入一個全新的歷史階段。”駱驥說。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。