在大模型和AIGC的新紀(jì)元，我們正見證一個前所未有的技術(shù)革命。從更自然的人機對話，到圖片、視頻生成，AIGC技術(shù)正在徹底改變我們創(chuàng)造、學(xué)習(xí)和交流的方式。

然而，這一切進(jìn)步的背后，是對存儲技術(shù)的極端要求。舉個例子，一家致力于開發(fā)AIGC應(yīng)用的公司，如何高效地處理和存儲大量的數(shù)據(jù)，以不斷訓(xùn)練和優(yōu)化其AI大模型。這不僅要求存儲系統(tǒng)能夠處理PB級的數(shù)據(jù)量，還要求在數(shù)據(jù)采集、清洗、訓(xùn)練及推理的每一個環(huán)節(jié)，都能提供高速、可靠的數(shù)據(jù)訪問。

怎么解決這個問題呢？騰訊云的實踐探索也許能給我們帶來有益的借鑒。4月8日，騰訊云宣布云存儲解決方案面向AIGC場景全面升級，將大模型的數(shù)據(jù)清洗和訓(xùn)練效率提升了一倍。

AIGC場景下，高性能存儲要邁過去的三道坎

正如騰訊云存儲總經(jīng)理馬文霜所說，隨著大模型參數(shù)規(guī)模的持續(xù)擴大，對計算基礎(chǔ)設(shè)施三大件——算力、網(wǎng)絡(luò)、存儲，都提出了新的要求。目前，支撐大模型的算力、網(wǎng)絡(luò)在快速迭代。算力方面，英偉達(dá)用了兩年的時間從H100升級到了H200，讓模型訓(xùn)練性能提升了5倍；在網(wǎng)絡(luò)方面，已經(jīng)從以前的25G、50G、100G，逐步發(fā)展到200G的網(wǎng)絡(luò)，帶寬提升了超過6倍。那么，對于存儲而言，又有哪些新的需求呢？

涵蓋了數(shù)據(jù)采集與清洗、模型訓(xùn)練、以及推理三大關(guān)鍵環(huán)節(jié)，每一個環(huán)節(jié)都對存儲系統(tǒng)提出了新的要求和挑戰(zhàn)。

數(shù)據(jù)采集與清洗的挑戰(zhàn)：數(shù)據(jù)量和多樣性、多協(xié)議支持的需求、高性能和大帶寬的要求。

在AIGC技術(shù)的實施過程中，數(shù)據(jù)采集與清洗階段是基礎(chǔ)。這一階段的核心任務(wù)是收集來自不同源的數(shù)據(jù)，進(jìn)行預(yù)處理和清洗，以確保數(shù)據(jù)的質(zhì)量和可用性。這一任務(wù)面臨著幾個主要問題：數(shù)據(jù)量巨大、類型多樣化、需要多協(xié)議支持，以及對高性能和大帶寬的需求。

隨著數(shù)字化信息的爆炸式增長，AIGC系統(tǒng)需要處理的數(shù)據(jù)量急劇增加。這些數(shù)據(jù)不僅量大，而且種類繁多，從文本、圖片、視頻到復(fù)雜的傳感器數(shù)據(jù)等應(yīng)有盡有。

不同類型的數(shù)據(jù)往往需要通過不同的協(xié)議進(jìn)行收集和訪問，例如，文本數(shù)據(jù)可能通過HTTP協(xié)議收集，而實時視頻流則可能通過RTSP協(xié)議傳輸。這就要求存儲系統(tǒng)能夠支持多種通訊協(xié)議，以便與各種數(shù)據(jù)源順暢對接。

高效的數(shù)據(jù)處理不僅需要大容量存儲，還需要高性能和大帶寬以支持快速的數(shù)據(jù)讀寫和傳輸。特別是在數(shù)據(jù)預(yù)處理和清洗階段，大量的數(shù)據(jù)需要被快速讀取、分析、轉(zhuǎn)換和再存儲，對存儲系統(tǒng)的性能提出了極高的要求。

模型訓(xùn)練的挑戰(zhàn)：頻繁的checkpoint保存、高并發(fā)讀寫的需求。

在AIGC技術(shù)的發(fā)展過程中，大模型訓(xùn)練階段尤其關(guān)鍵，它直接影響到最終模型的性能和效率。這一階段主要是頻繁的checkpoint保存和高并發(fā)讀寫的需求。

大模型訓(xùn)練過程中，為了防止數(shù)據(jù)丟失并能夠從最近的進(jìn)度恢復(fù)，需要定期保存模型的狀態(tài)，即checkpoint。這些checkpoint包含了模型的參數(shù)、超參數(shù)以及優(yōu)化器的狀態(tài)等信息，對于維持訓(xùn)練的連續(xù)性至關(guān)重要。然而，隨著模型規(guī)模的不斷增大，這些checkpoint的體積也隨之增加，導(dǎo)致保存操作消耗大量時間和存儲資源，對存儲系統(tǒng)的寫入能力提出了巨大挑戰(zhàn)。

而且，AI大模型的訓(xùn)練通常需要并行處理大量數(shù)據(jù)，以提高訓(xùn)練效率。這就意味著存儲系統(tǒng)必須能夠支持高并發(fā)的讀寫操作，確保數(shù)據(jù)可以快速、準(zhǔn)確地被讀取和更新。特別是在使用分布式訓(xùn)練時，多個節(jié)點同時對存儲系統(tǒng)進(jìn)行訪問，對存儲系統(tǒng)的并發(fā)處理能力和響應(yīng)時間提出了極高的要求。

推理與數(shù)據(jù)治理的挑戰(zhàn)：數(shù)據(jù)安全與可追溯性、內(nèi)容審核與合規(guī)性。

在AIGC應(yīng)用的推理階段，企業(yè)面臨著數(shù)據(jù)安全、可追溯性、內(nèi)容審核和合規(guī)性等一系列挑戰(zhàn)。這些挑戰(zhàn)不僅關(guān)乎技術(shù)的有效實施，還直接影響到企業(yè)的信譽和合法運營。

隨著數(shù)據(jù)泄露事件的頻繁發(fā)生，確保敏感信息的安全變得尤為重要。同時，數(shù)據(jù)的可追溯性也至關(guān)重要，這不僅有助于追蹤數(shù)據(jù)流向和處理過程，以評估數(shù)據(jù)安全性，還能在發(fā)生安全事件時迅速定位問題。這就要求存儲系統(tǒng)能夠記錄詳盡的數(shù)據(jù)訪問和處理日志，并且能夠?qū)?shù)據(jù)進(jìn)行加密處理，以防止未授權(quán)訪問。對于AIGC生成的內(nèi)容，必須遵循相關(guān)法律法規(guī)和平臺規(guī)范，這就需要進(jìn)行嚴(yán)格的內(nèi)容審核。

以一個基于AIGC技術(shù)的新聞自動生成平臺為例，該平臺能夠自動采集網(wǎng)絡(luò)上的新聞資訊，結(jié)合用戶的閱讀偏好生成個性化新聞內(nèi)容。存儲系統(tǒng)不僅需要對存儲的數(shù)據(jù)進(jìn)行加密，還要記錄詳細(xì)的數(shù)據(jù)處理日志，以實現(xiàn)數(shù)據(jù)的可追溯性。在新聞內(nèi)容生成后，平臺還需要對內(nèi)容進(jìn)行審核，確保不含有誤導(dǎo)性信息、侵權(quán)內(nèi)容或違反法律法規(guī)的信息。這就要求存儲系統(tǒng)能夠支持與內(nèi)容審核工具的高效集成，快速篩查和過濾內(nèi)容，同時還要有能力處理大量的內(nèi)容審核請求，保證審核的實時性和準(zhǔn)確性。

有什么藥方呢？

正如上面所分析的那樣，在大模型、AIGC技術(shù)快速發(fā)展的背景下，數(shù)據(jù)存儲面臨著前所未有的挑戰(zhàn)。巨大的數(shù)據(jù)量、多樣化的數(shù)據(jù)類型、以及對高速訪問的迫切需求，都在推動存儲技術(shù)的創(chuàng)新和進(jìn)步。為了應(yīng)對這些挑戰(zhàn)，業(yè)界從多個方面進(jìn)行創(chuàng)新探索，主要集中在以下幾個方向：

高性能分布式存儲

為了應(yīng)對PB級別數(shù)據(jù)量的處理需求，采用可擴展的分布式存儲系統(tǒng)成為了行業(yè)的共識。這類系統(tǒng)通過分散數(shù)據(jù)到多個節(jié)點上，不僅能夠提高存儲容量，還能通過并行處理提升數(shù)據(jù)訪問速度。這種存儲方案的核心優(yōu)勢在于其彈性擴展能力，可以根據(jù)需要動態(tài)調(diào)整資源，以應(yīng)對數(shù)據(jù)量的不斷增長。

并行文件存儲

并行文件存儲系統(tǒng)通過允許多個進(jìn)程同時對文件系統(tǒng)進(jìn)行讀寫，大幅提高了數(shù)據(jù)處理的效率。這對于大模型訓(xùn)練尤為關(guān)鍵，因為它能顯著縮短模型訓(xùn)練的時間，加快迭代速度。

數(shù)據(jù)加速與緩存

數(shù)據(jù)加速器和緩存技術(shù)的應(yīng)用，進(jìn)一步提升了數(shù)據(jù)訪問速度，實現(xiàn)了快速數(shù)據(jù)加載和亞毫秒級的低延遲。通過將頻繁訪問的數(shù)據(jù)存放在更快的存儲介質(zhì)上，如SSD或內(nèi)存中，系統(tǒng)可以迅速響應(yīng)數(shù)據(jù)請求，大幅提高AIGC應(yīng)用的響應(yīng)速度和用戶體驗。

多模態(tài)數(shù)據(jù)檢索分析

AIGC技術(shù)的一大特點是處理多模態(tài)數(shù)據(jù)，如文本、圖片、視頻等。為此，提供多模態(tài)數(shù)據(jù)檢索和分析工具變得尤為重要。這些工具能夠幫助用戶快速找到所需數(shù)據(jù)，優(yōu)化數(shù)據(jù)管理，提高數(shù)據(jù)的可用性和價值。

數(shù)據(jù)安全與合規(guī)工具

在AIGC領(lǐng)域，數(shù)據(jù)安全和合規(guī)性是不容忽視的重要問題。集成的內(nèi)容審核、數(shù)據(jù)加密和合規(guī)性工具能夠確保數(shù)據(jù)在整個生命周期中的安全性，同時滿足不同地區(qū)和行業(yè)的法律法規(guī)要求。這不僅保護了用戶隱私，也為企業(yè)的合法運營提供了保障。

這些方案的共同目標(biāo)是構(gòu)建一個既能夠處理海量數(shù)據(jù)，又能滿足高速訪問需求，同時確保數(shù)據(jù)安全和合規(guī)性的存儲基礎(chǔ)設(shè)施。

4月8日，面對AIGC技術(shù)發(fā)展帶來的存儲挑戰(zhàn)，騰訊云宣布云存儲解決方案面向AIGC全面升級。該解決方案專為AI大模型的全鏈路數(shù)據(jù)處理需求設(shè)計，采用全自研存儲引擎，覆蓋了數(shù)據(jù)采集、清洗、模型訓(xùn)練、推理及數(shù)據(jù)治理等關(guān)鍵環(huán)節(jié)，針對AIGC場景進(jìn)行了深度優(yōu)化。

騰訊云的AIGC存儲方案，集成了對象存儲COS、高性能并行文件存儲CFS Turbo、數(shù)據(jù)加速器GooseFS以及數(shù)據(jù)萬象CI等核心產(chǎn)品。這些產(chǎn)品合力打造了一個支持PB級數(shù)據(jù)量和多協(xié)議訪問的高性能分布式存儲系統(tǒng)，顯著提高了數(shù)據(jù)處理的速度和效率。

其中，騰訊云對象存儲COS能夠支持百EB級別的存儲規(guī)模，為大模型提供了強大的數(shù)據(jù)采集能力。同時，對象存儲COS通過GooseFS實現(xiàn)數(shù)據(jù)訪問性能的大幅提升，支持TBps級別的讀取帶寬，為數(shù)據(jù)清洗環(huán)節(jié)提供了高速運行的支撐。

在模型訓(xùn)練環(huán)節(jié)，高性能并行文件存儲CFS Turbo通過自研并行文件存儲系統(tǒng)，實現(xiàn)了TiB/s級別的讀寫吞吐和百萬OPS的元數(shù)據(jù)性能，大幅縮短了checkpoint的寫入時間，從而提高了訓(xùn)練效率。此外，CFS Turbo還采用了自適應(yīng)條帶化、分布式元數(shù)據(jù)等技術(shù)，進(jìn)一步優(yōu)化了AIGC場景下的性能。

為了應(yīng)對大模型推理場景中對數(shù)據(jù)安全與可追溯性的高要求，騰訊云的數(shù)據(jù)萬象CI提供了一系列數(shù)據(jù)治理工具，如圖片隱式水印、內(nèi)容審核、多模態(tài)數(shù)據(jù)檢索等，確保了數(shù)據(jù)在全生命周期的安全性和合規(guī)性。

據(jù)馬文霜介紹，騰訊云的這套AIGC存儲解決方案以其全面的自研技術(shù)和出色的性能，已經(jīng)吸引了包括MiniMax、百川智能、智譜、元象等80%的頭部大模型企業(yè)采用。

那么，騰訊云的這套方案“療效”如何呢？

MiniMax，依托對象存儲COS與智能數(shù)據(jù)處理平臺數(shù)據(jù)萬象，承載了AIGC海量內(nèi)容的處理分析業(yè)務(wù)，其中百毫秒級的安全審核能力保障了業(yè)務(wù)的合規(guī)平穩(wěn)運行，數(shù)據(jù)的預(yù)處理能力大幅提升了數(shù)據(jù)流轉(zhuǎn)的效率，讓業(yè)務(wù)可以更聚焦在核心場景的應(yīng)用與推廣。

百川智能，借助高性能分布式緩存GooseFS與高性能并行文件存儲CFS Turbo，提供千萬級IOPS和百GiB/s吞吐，1分鐘內(nèi)完成checkpoint讀寫，大幅提升大模型訓(xùn)練GPU使用率和作業(yè)效率。

解除存儲瓶頸，AIGC應(yīng)用才能騰飛

隨著存儲技術(shù)的快速進(jìn)步，我們正步入一個新時代，其中數(shù)據(jù)存儲不僅僅是關(guān)于保留信息的行為，而是成為了推動大模型和AIGC技術(shù)革命的關(guān)鍵因素。

正如在騰訊云身上發(fā)生的那樣，隨著存儲技術(shù)的優(yōu)化，數(shù)據(jù)存儲的成本正在迅速下降。這意味著，對于處理和存儲海量數(shù)據(jù)的AIGC企業(yè)來說，能以更低的成本實現(xiàn)數(shù)據(jù)的快速訪問和分析。成本的降低不僅直接提高了企業(yè)的經(jīng)濟效益，還降低了技術(shù)創(chuàng)新的門檻，使得更多的創(chuàng)業(yè)公司和研究機構(gòu)能夠參與到AIGC技術(shù)的研發(fā)和應(yīng)用中來。

此外，存儲技術(shù)的進(jìn)步，為跨行業(yè)協(xié)同合作打開了新的大門。這種合作不僅能夠加速信息的流通和知識的傳播，還能促進(jìn)不同領(lǐng)域間的創(chuàng)新融合，激發(fā)新的應(yīng)用場景和業(yè)務(wù)模式，讓醫(yī)療、金融、教育等領(lǐng)域能夠共享AIGC技術(shù)帶來的好處。

展望未來，我們還將見證大量的技術(shù)創(chuàng)新不斷涌現(xiàn)。例如，未來的存儲系統(tǒng)將通過深度整合AI技術(shù)實現(xiàn)智能化管理，如自動優(yōu)化數(shù)據(jù)存放位置以提升效率和降低成本。同時，存儲與計算的融合趨勢將使數(shù)據(jù)就地處理成為可能，有效減少數(shù)據(jù)傳輸時間和能耗。此外，新興的非易失性內(nèi)存技術(shù)將提高存儲性能和可靠性，支持更復(fù)雜的AIGC應(yīng)用。邊緣計算的融合使得數(shù)據(jù)可以在產(chǎn)生地近距離處理，減輕中心化數(shù)據(jù)中心的負(fù)擔(dān)，降低延遲。這些進(jìn)展共同推動存儲技術(shù)向更高效、智能、可靠的方向發(fā)展，為AIGC應(yīng)用提供強大支撐。

未來，隨著騰訊云等技術(shù)先鋒持續(xù)推進(jìn)存儲技術(shù)的創(chuàng)新，我們可以期待大模型、AIGC技術(shù)在解決社會挑戰(zhàn)、提升人類生活質(zhì)量方面發(fā)揮更大的作用。我們相信，大模型、AIGC所展示出的美好藍(lán)圖絕非夢幻泡影，而是正在變?yōu)橛|手可及的現(xiàn)實。

來源：數(shù)據(jù)猿