進入2025年，AI大模型正以前所未有的速度涌入現(xiàn)實世界。參數(shù)規(guī)模從千億邁向萬億，數(shù)據(jù)類型從文本拓展至圖像、音頻、視頻乃至多模態(tài)融合；而訓練、微調(diào)、部署場景則從科技公司拓展至金融、醫(yī)療、制造等傳統(tǒng)行業(yè)。大模型不再是科研范式，而已成為工業(yè)級能力的核心競爭力。

但就在“模型越來越大、場景越來越多”的同時，支撐它成長的數(shù)據(jù)存儲系統(tǒng)，正在經(jīng)歷極限考驗。

為此，數(shù)據(jù)猿采訪了西部數(shù)據(jù)、極道科技、華瑞指數(shù)云、京東云的相關(guān)專家，

試圖搞清楚下面幾個問題：

大模型商用化，到底對數(shù)據(jù)存儲提出了哪些新要求？

當前主流架構(gòu)，為何越來越“力不從心”？

下一代“AI原生存儲體系”，應該具備哪些關(guān)鍵能力？

大模型規(guī)模化商用

對數(shù)據(jù)存儲提出了哪些“新要求”？

數(shù)據(jù)存儲作為一種數(shù)智化的基礎設施，是為上層數(shù)字化、智能化服務的。當需求變了，數(shù)據(jù)存儲也需要隨需應變。那么，我們來看第一個問題，大模型的商用，到底對數(shù)據(jù)存儲提出了哪些新需求。通過我們大量采訪和探討，發(fā)現(xiàn)有下面幾個方面值得關(guān)注：

1. 極致的吞吐性能與并發(fā)能力要求，從“跑得快”到“拉得動”

AI大模型的訓練和推理，已經(jīng)成為數(shù)據(jù)系統(tǒng)吞吐和并發(fā)能力的終極挑戰(zhàn)。

在訓練階段，多個GPU節(jié)點以每秒幾十GB的速度從存儲系統(tǒng)讀取數(shù)據(jù)、進行計算、再寫入checkpoint。這一過程中，任何一處IO延遲，都會造成GPU算力的浪費。西部數(shù)據(jù)團隊在訓練大規(guī)模圖像模型時發(fā)現(xiàn)，GPU利用率低并非算力不足，而是IO系統(tǒng)響應不及時，數(shù)據(jù)加載延遲拖慢整體訓練節(jié)奏。

極道科技也提到，模型參數(shù)量級增長（如從億級到萬億級）導致訓練數(shù)據(jù)量指數(shù)上升。這種情況下，數(shù)據(jù)存儲需支持彈性擴展。同時，存儲系統(tǒng)和計算系統(tǒng)需要緊密協(xié)同，以避免數(shù)據(jù)傳輸成為性能瓶頸。

而在推理階段，場景更加復雜。京東云指出，在為千億級大模型提供推理服務時，讀寫需求常在“數(shù)十GB/s，甚至上百GB/s”量級，存儲系統(tǒng)一旦響應不及時，不僅影響用戶體驗，還可能直接觸發(fā)服務中斷。

2. 多模態(tài)、非結(jié)構(gòu)化數(shù)據(jù)的組織與索引復雜度飆升

大模型的輸入已不再局限于文本，而是擴展到圖像、音頻、視頻、代碼等多模態(tài)、多粒度的非結(jié)構(gòu)化數(shù)據(jù)。這類數(shù)據(jù)不僅體量龐大，而且格式復雜、訪問模式各異，傳統(tǒng)的數(shù)據(jù)湖方案難以勝任。

華瑞指數(shù)云在其AI數(shù)據(jù)平臺WADP的實踐中強調(diào)，AI存儲并不等同于并行文件系統(tǒng)，AI存儲與為HPC而誕生的并行文件系統(tǒng)只是性能需求相似，其他的需求相差非常之大。為AI訓練提供數(shù)據(jù)支撐，不僅需要支持對象、塊、文件、KV等多種協(xié)議，還要能同時管理結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，實現(xiàn)統(tǒng)一的“語義檢索+數(shù)據(jù)流轉(zhuǎn)”能力，否則將導致AI Pipeline中的數(shù)據(jù)孤島、重復拷貝、大量運維成本。

此外，元數(shù)據(jù)管理的挑戰(zhàn)也在加?。喝绾斡涗浢恳粋€數(shù)據(jù)文件的版本、來源、清洗狀態(tài)？如何實現(xiàn)“可復現(xiàn)”的數(shù)據(jù)快照？這些都是傳統(tǒng)存儲系統(tǒng)未曾考慮的問題。

3. 數(shù)據(jù)版本控制與可追溯性要求

隨著模型的迭代速度加快，數(shù)據(jù)版本控制的需求變得剛性。每一次微調(diào)、每一次A/B測試，甚至每一輪prompt庫更新，都需要基于明確可回溯的數(shù)據(jù)版本來訓練，以確保實驗的可復現(xiàn)性與結(jié)果的可驗證性。

4. 冷熱數(shù)據(jù)自動分層與智能調(diào)度需求更強

AI訓練過程中，只有少數(shù)數(shù)據(jù)是真正的“熱數(shù)據(jù)”——比如embedding緩存、當前輪的訓練樣本、生成日志等，其余大量數(shù)據(jù)屬于低頻訪問甚至歸檔數(shù)據(jù)。如果不進行分層處理，就會造成高性能存儲資源被低價值數(shù)據(jù)占據(jù)。

5. 存儲系統(tǒng)的安全性、合規(guī)性、可控性要求更高

隨著AI落地金融、醫(yī)療、政務等領域，數(shù)據(jù)安全和合規(guī)要求變得更加嚴格。數(shù)據(jù)訪問權(quán)限、加密存儲、審計日志、跨地域合規(guī)存儲等需求，逐步從“加分項”變?yōu)?ldquo;必選項”。

尤其在國產(chǎn)化背景下，京東云強調(diào)：未來的AI基礎設施必須具備“國產(chǎn)化適配能力”與“自主可控存儲能力”，否則可能在合規(guī)方面面臨問題。

此外，華瑞指數(shù)云也強調(diào)，企業(yè)級AI應用需要將生產(chǎn)數(shù)據(jù)與AI數(shù)據(jù)融合統(tǒng)一管理，因此，數(shù)據(jù)的合規(guī)性不僅限于存儲階段，而是貫穿于整個數(shù)據(jù)流轉(zhuǎn)與使用周期。

當前行業(yè)的真實困境：

系統(tǒng)撐不住，運維管不了

在AI大模型的落地過程中，越來越多企業(yè)意識到一個現(xiàn)實問題：真正拖慢模型訓練和推理效率的，除了算力不夠，很多情況還源于數(shù)據(jù)存儲不給力。

1. GPU在等IO，算力在“空轉(zhuǎn)”

在京東云分享的案例中，某頭部券商在訓練千億參數(shù)大模型時，GPU利用率長期低于30%。經(jīng)過排查后發(fā)現(xiàn)，造成資源浪費的關(guān)鍵原因是數(shù)據(jù)帶寬不足，特別是海量小文件并發(fā)讀取帶來的元數(shù)據(jù)瓶頸，嚴重制約了訓練效率。

此外，京東云還提到，某車企在自動駕駛模型迭代中也面臨類似挑戰(zhàn)，因訓練過程中數(shù)據(jù)加載延遲過高，導致單次訓練周期延長40%，產(chǎn)品上線計劃被迫推遲。

西部數(shù)據(jù)也在材料中指出，AI模型訓練中的GPU算力，頻繁因存儲系統(tǒng)響應不及時而“空轉(zhuǎn)”，尤其是在處理圖像類任務時，高頻的數(shù)據(jù)調(diào)取造成存儲系統(tǒng)擁堵，GPU陷入等待狀態(tài)。

2. 對象存儲“水土不服”，在高并發(fā)場景下暴露短板

多個企業(yè)反饋嘗試將對象存儲應用于AI訓練場景時，發(fā)現(xiàn)其一致性機制和高并發(fā)讀寫能力難以勝任訓練任務的數(shù)據(jù)密集訪問需求。

西部數(shù)據(jù)團隊表示，對象存儲雖在歸檔和分析場景表現(xiàn)良好，但在大模型訓練過程中，由于缺乏高效的元數(shù)據(jù)訪問路徑，系統(tǒng)在面對多節(jié)點同時請求時，性能出現(xiàn)明顯瓶頸。

華瑞指數(shù)云指出，AI全流程的數(shù)據(jù)鏈條如果由多種存儲方案拼接而成，會導致數(shù)據(jù)在不同的存儲系統(tǒng)間頻繁搬運、格式不統(tǒng)一，數(shù)據(jù)不實時不一致，嚴重增加數(shù)據(jù)流通的摩擦和維護成本。因此他們更傾向于構(gòu)建統(tǒng)一的AI智能數(shù)據(jù)平臺，支持全流程數(shù)據(jù)讀寫和跨協(xié)議訪問。

3. 熱數(shù)據(jù)冷處理，手動策略“調(diào)不贏”

在應對冷/熱數(shù)據(jù)分層方面，西部數(shù)據(jù)采用了“基于數(shù)據(jù)熱度和時間窗口”的策略，將熱數(shù)據(jù)放入高性能存儲（如SSD或內(nèi)存），冷數(shù)據(jù)則遷移到HDD。但他們也指出，這種策略高度依賴對業(yè)務場景的精確理解與手動調(diào)配，一旦判斷失誤，可能導致熱點數(shù)據(jù)被冷處理，影響訓練效率。

4. Kubernetes 環(huán)境存儲協(xié)同難，調(diào)度復雜易出錯

在AI任務Kubernetes化后，企業(yè)普遍反饋K8s原生對存儲的支持能力不足：PVC資源無法靈活擴縮容、數(shù)據(jù)卷掛載復雜，存儲與計算調(diào)度耦合在一起，導致任務之間容易出現(xiàn)資源沖突或調(diào)度混亂。華瑞指數(shù)云在其AI數(shù)據(jù)平臺產(chǎn)品WADP中，專門優(yōu)化了對于Kubernetes平臺的原生支持，支持通過CSI接口給任意POD自動掛載高性能塊存儲卷或者共享文件目錄，其自動掛載的塊存儲卷可以達到超越本地SSD盤的IOPS和帶寬，并且具有完備的多節(jié)點并行訪問和極速的高可用切換能力，可以實現(xiàn)計算與存儲的完全解耦和獨立調(diào)度，滿足AI Pipeline各環(huán)節(jié)多樣化的數(shù)據(jù)存儲與訪問需求。

5. 存儲系統(tǒng)“無感”，數(shù)據(jù)全生命周期管理盲區(qū)顯現(xiàn)

華瑞指數(shù)云在訪談中明確指出，目前大多數(shù)存儲系統(tǒng)無法實時感知AI任務行為與數(shù)據(jù)狀態(tài)變化，導致數(shù)據(jù)分層、權(quán)限控制、訪問審計等工作全靠人工運維，風險大、成本高。他們強調(diào)，AI時代的存儲系統(tǒng)必須具備“對數(shù)據(jù)流動路徑的全局感知能力”，包括數(shù)據(jù)的產(chǎn)生、流轉(zhuǎn)、使用、歸檔、回收全過程，以支持真正意義上的“智能存儲治理”。

隨著AI應用走向多模態(tài)、高并發(fā)、強實時的復雜化方向，越來越多企業(yè)達成共識：“我們不是沒有存儲，而是沒有為AI而生的存儲。”

底層系統(tǒng)的不匹配，已經(jīng)成為制約AI能力釋放的關(guān)鍵瓶頸。下一階段的重點，除了“增加多少GPU”，還要構(gòu)建真正面向AI場景優(yōu)化的新型數(shù)據(jù)存儲底座。

AI原生存儲體系的雛形是什么樣的

在過去的幾年里，企業(yè)對“數(shù)據(jù)存儲”的期望主要停留在容量、穩(wěn)定性和成本控制。但在AI大模型的推動下，存儲不再是冷冰冰的倉庫，而開始成為整個AI基礎設施中的“神經(jīng)中樞”。

我們在對多家技術(shù)領先企業(yè)的訪談中注意到，一個全新的方向正逐步浮現(xiàn)：為AI而生的“原生存儲架構(gòu)”，正在技術(shù)和產(chǎn)品層面同步展開。那AI原生存儲有哪些值得關(guān)注的方向呢？

1. 從“被動響應”到“智能調(diào)度”，AI平臺自研調(diào)度引擎成為主流趨勢

例如，極道科技構(gòu)建的統(tǒng)一計算系統(tǒng)Achelous，是當前存算協(xié)同探索的重要案例之一。它能夠感知訓練任務的IO特征，并將計算調(diào)度信息反向傳遞給存儲系統(tǒng)，實現(xiàn)“按需加載、智能預取、動態(tài)分層”的數(shù)據(jù)調(diào)度機制。

此外，極道科技的數(shù)據(jù)感知引擎可以實時追蹤元數(shù)據(jù)變化，自動識別數(shù)據(jù)特征并進行動態(tài)數(shù)據(jù)集重組，使得數(shù)據(jù)查詢時間降至秒級，提升了數(shù)據(jù)訪問的速度和準確性，特別是在訓練大規(guī)模圖像模型或多模態(tài)任務時，效果尤其明顯。

這類做法，突破了傳統(tǒng)存儲系統(tǒng)“只接受請求，不了解場景”的設計局限，讓存儲系統(tǒng)從執(zhí)行者變?yōu)橹鲃訁⑴c者，與AI調(diào)度平臺協(xié)同形成“閉環(huán)式資源調(diào)度”。

2. 數(shù)據(jù)版本控制系統(tǒng)進入訓練鏈路，LakeFS、Delta Lake 逐漸興起

為了解決“數(shù)據(jù)不可復現(xiàn)”、“實驗難調(diào)試”的問題，不少企業(yè)開始在訓練數(shù)據(jù)環(huán)節(jié)引入類似“Git for data”的思維。

極道科技提到，他們嘗試將數(shù)據(jù)版本控制系統(tǒng)與訓練調(diào)度系統(tǒng)打通，為每一次訓練創(chuàng)建快照式數(shù)據(jù)集副本，同時保留原始數(shù)據(jù)追蹤能力，以便進行回滾、對比與A/B實驗。

這與LakeFS、Delta Lake等開源系統(tǒng)所強調(diào)的“數(shù)據(jù)快照+版本控制+可審計”體系理念高度一致，也印證了AI模型訓練將進入“版本驅(qū)動”新階段。

3. AI場景下的“新三層”架構(gòu)：分布式存儲+緩存+元數(shù)據(jù)系統(tǒng)

傳統(tǒng)存儲架構(gòu)，比如NAS存儲，在面對AI訓練的讀寫壓力時已難以支撐。多個企業(yè)開始轉(zhuǎn)向更適應并發(fā)讀寫和多模態(tài)數(shù)據(jù)訪問的分布式架構(gòu)：

底層采用彈性擴展的分布式文件存儲或?qū)ο蟠鎯?，提供大容量、高可用?/p>

中間層引入高速緩存機制（如GPU本地緩存、RDMA直通等）緩解延遲；

頂層搭建支持語義索引與任務感知的分布式元數(shù)據(jù)管理系統(tǒng)，提升非結(jié)構(gòu)化數(shù)據(jù)的組織和檢索效率。

京東云“云海AI存儲”是一個典型例子。其架構(gòu)融合自研引擎與RDMA網(wǎng)絡，實現(xiàn)4K隨機寫IOPS千萬級、延遲低于100微秒，支持K8s并發(fā)環(huán)境下的AI推理和訓練，同時還能做到1.1x副本的低冗余存儲，有效平衡性能與成本。

4. “數(shù)據(jù)即服務”理念升溫：從存儲系統(tǒng)到數(shù)據(jù)平臺化治理

在AI系統(tǒng)中，存儲早已不只是“放數(shù)據(jù)”的地方，而是要提供“按需供給、全程可控”的服務能力。華瑞指數(shù)云強調(diào)，他們通過自研平臺WADP，實現(xiàn)了存儲層對AI數(shù)據(jù)全生命周期的統(tǒng)一管理，包括生產(chǎn)庫、原始數(shù)據(jù)、訓練數(shù)據(jù)、模型中間結(jié)果、KV Cache持久化、RAG知識庫等。

這種“數(shù)據(jù)即服務”的理念，不再是簡單的數(shù)據(jù)訪問，而是貫穿采集、處理、標注、訓練、推理、歸檔等所有流程，打造面向AI的“數(shù)據(jù)供應鏈”系統(tǒng)。

5. 云廠商全面推出AI專用存儲產(chǎn)品

隨著AI成為公有云的新戰(zhàn)場，各大云廠商也在加速推出面向AI場景的專用產(chǎn)品：

京東云“云海AI存儲”通過高度國產(chǎn)化+高性能設計，已支持超百家金融、零售、汽車客戶落地大模型項目；

多家企業(yè)提及，未來對象存儲將深度融合AI任務引擎，成為Lakehouse架構(gòu)核心底座，不僅支持非結(jié)構(gòu)化數(shù)據(jù)，還要接入向量檢索、語義標引等功能；

隨著訓練、推理數(shù)據(jù)規(guī)模持續(xù)增長，KV Cache持久化、Embedding全局共享等新型AI存儲形態(tài)也在探索落地。

下一代的AI原生存儲系統(tǒng)，必須是感知型、協(xié)同型、平臺型的：它不僅要處理數(shù)據(jù)，更要理解任務、預測行為、支撐協(xié)同——最終成為AI系統(tǒng)的一部分，而非其外部依賴。

在AI狂飆突進的時代，所有人都在談算力、談大模型、談智能涌現(xiàn)。但真正決定一個企業(yè)能不能把AI落到業(yè)務上，除了關(guān)注買了多少GPU，還是能不能“把數(shù)據(jù)喂進去、喂得起、喂得好”。

這一切的底座，是數(shù)據(jù)存儲。但今天的行業(yè)普遍低估了它的價值。

在我們與多家頭部企業(yè)的交流中，越來越多架構(gòu)負責人正在重構(gòu)存儲認知：存儲系統(tǒng)不是服務算力的后臺，而是決定AI訓練能不能跑、推理能不能擴、數(shù)據(jù)能不能控的關(guān)鍵組件。

未來，判斷一個企業(yè)AI能力的強弱，不再只看模型有多大、參數(shù)有多少，還要看：你是不是有一套能實時理解AI任務、自動調(diào)度數(shù)據(jù)資源、全面控制數(shù)據(jù)生命周期的原生存儲系統(tǒng)；你是不是能做到數(shù)據(jù)不動模型動，推理集群即取即用；你是不是能用存儲的體系化能力，替代掉工程師那堆手工遷移、腳本補丁、灰色調(diào)度的“臨時方案”。

AI的火箭早已升空，但大多數(shù)企業(yè)還沒把“地基”打好。這是一個行業(yè)級的錯配：我們在用為“表單系統(tǒng)”設計的存儲，喂“世界級認知系統(tǒng)”的胃口。

AI不是等存儲準備好了才走，它只會把沒跟上的架構(gòu)，統(tǒng)統(tǒng)甩在后面。

誰先把數(shù)據(jù)存儲從“被動配角”變?yōu)?ldquo;主動核心”，誰就真正掌握了AI時代的落地主動權(quán)。

來源：數(shù)據(jù)猿