Hammerspace與驛心科技強強聯(lián)合,為中國鑄就超大規(guī)模AI存儲“新引擎”
原創(chuàng) 放飛 | 2025-03-17 19:06
【數(shù)據(jù)猿導讀】 3月5日,下一代數(shù)據(jù)周期架構(gòu)領(lǐng)導者Hammerspace公司開啟了中國市場的戰(zhàn)略布局,旨在滿足中國本土超大規(guī)模計算企業(yè)對智能化數(shù)據(jù)調(diào)度日益增長的需求,以支持人工智能、高性能計算及其他GPU密集型應(yīng)用場景。

中國科技股正在強勢反彈,跑贏納斯達克100指數(shù),重新點燃全球投資者的興趣。
AI大模型應(yīng)用的快速普及,以及AI基礎(chǔ)設(shè)施的大規(guī)模投入,宛如雙輪驅(qū)動著中國AI市場的迅猛增長。在今年“兩會”的政府工作報告提出,未來一年的首要任務(wù)之一是支持“人工智能大模型的廣泛應(yīng)用”,努力提高AI算力和開發(fā)“開源模型”成為兩個重點。
3月5日,下一代數(shù)據(jù)周期架構(gòu)領(lǐng)導者Hammerspace公司開啟了中國市場的戰(zhàn)略布局,旨在滿足中國本土超大規(guī)模計算企業(yè)對智能化數(shù)據(jù)調(diào)度日益增長的需求,以支持人工智能、高性能計算及其他GPU密集型應(yīng)用場景。
同時,Hammerspace攜手驛心科技為中國用戶打造超大規(guī)模AI存儲解決方案,通過統(tǒng)一文件與對象存儲平臺,憑借跨數(shù)據(jù)中心和云端的無縫編排能力,為企業(yè)提供高效、經(jīng)濟的AI數(shù)據(jù)管理方案。
Hammerspace的戰(zhàn)略舉措基于其過去一年創(chuàng)紀錄的業(yè)務(wù)增長,全球客戶采用率同比增長32%,多區(qū)域營收實現(xiàn)10倍躍升。對低成本和節(jié)能基礎(chǔ)設(shè)施的需求不斷增長,行業(yè)的關(guān)鍵變化正在推動 Hammerspace 和整個行業(yè)的增長,以支持大規(guī)模GPU計算,以及混合云和多數(shù)據(jù)中心架構(gòu)的快速采用。
Hammerspace董事總經(jīng)理Molly Presley
Hammerspace董事總經(jīng)理Molly Presley接受數(shù)據(jù)猿采訪時說,Hammerspace有一個宏大的愿景,即讓所有數(shù)據(jù),無論是存儲在邊緣或者異地的數(shù)據(jù)中心,還是云端,都能按需流動,實現(xiàn)實時訪問。Hammerspace正與中國眾多客戶積極接觸,期待與更多有AI、HPC存儲場景需求的企業(yè)攜手合作。
從以存儲為中心到以數(shù)據(jù)為中心
真正改變數(shù)據(jù)使用與保存的方式
在新一輪的數(shù)據(jù)革命浪潮中,AI訓練、GPU計算以及數(shù)據(jù)分析等數(shù)字化進程,促使數(shù)據(jù)的使用與存儲方式迎來根本性變革。
當下數(shù)據(jù)消費主體已從人類轉(zhuǎn)變?yōu)闄C器,傳統(tǒng)的“以存儲為中心”的架構(gòu)暴露出諸多弊端:
非結(jié)構(gòu)化數(shù)據(jù)快速增長,存儲中心化架構(gòu)阻礙了海量非結(jié)構(gòu)化數(shù)據(jù)發(fā)揮其應(yīng)有的價值。
高性能計算集群、GPU集群、應(yīng)用以及全球化用戶對實時數(shù)據(jù)的需求極為迫切,但現(xiàn)有存儲中心化架構(gòu)難以滿足實時數(shù)據(jù)供給的需求。
泛濫的數(shù)據(jù)副本給數(shù)據(jù)治理和安全帶來嚴重威脅。傳統(tǒng)存儲在無縫對接云資源方面存在困難,現(xiàn)有IT架構(gòu)無法滿足AI訓練、推理、分析中GPU集群的數(shù)據(jù)吞吐需求。其根源在于存儲系統(tǒng)與數(shù)據(jù)應(yīng)用場景相互割裂,嚴重削弱了企業(yè)的數(shù)字競爭力。
而Hammerspace帶來了“以數(shù)據(jù)為中心”的顛覆性架構(gòu),通過軟件定義實現(xiàn)數(shù)據(jù)與硬件解耦,有效破解了存儲困局,諸多優(yōu)勢開始顯現(xiàn),如具備AI/HPC級別的性能與擴展能力,可無縫延伸至云端,能進行自動化數(shù)據(jù)編排等。
如此一來,數(shù)據(jù)孤島現(xiàn)象被徹底消除,無論計算集群、應(yīng)用或者用戶位于何處,都能夠?qū)崟r訪問所需的數(shù)據(jù)資源。
作為全球AI領(lǐng)導者及AI技術(shù)創(chuàng)新的堅定投入者,中國也有必要改變數(shù)據(jù)使用與保存的方式,建立以“數(shù)據(jù)為中心”的AI基礎(chǔ)設(shè)施。Hammerspace與驛心科技的合作,能夠為中國超大規(guī)模計算企業(yè)提供即時價值,完善現(xiàn)代化的數(shù)據(jù)基礎(chǔ)設(shè)施并加速AI戰(zhàn)略落地。
Hammerspace的突破性技術(shù)與中國技術(shù)生態(tài)及渠道伙伴的深度融合,將以前所未有的方式助力中國企業(yè)釋放運營效能、擴展AI應(yīng)用邊界。
除服務(wù)中國超大規(guī)模AI客戶之外,Hammerspace 還在投資布局中國乃至整個亞洲的大規(guī)模AI、HPC和多云應(yīng)用場景。
Hammerspace攜手驛心科技
為中國打造超大規(guī)模AI存儲解決方案
當前的 LLM 僅使用了人類生成的大約3%的數(shù)據(jù),而占據(jù)當今互聯(lián)網(wǎng)流量的 97%的非結(jié)構(gòu)化數(shù)據(jù)還沒有得到充分的利用?,F(xiàn)在AI大模型正在越來越多地使用視頻、音頻和其他富媒體格式。
顯然傳統(tǒng)的存儲方法難以跟上非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長,以及高效使用大型計算集群所需的性能,尤其是在AI模型激增的情況下。
Hammerspace與驛心科技達成戰(zhàn)略合作,旨在為中國打造超大規(guī)模AI存儲解決方案,助力企業(yè)應(yīng)對AI時代的這些數(shù)據(jù)管理難題,開創(chuàng)高效、經(jīng)濟的AI工廠新時代。
其中,驛心科技專注于讓超大規(guī)模AI基礎(chǔ)設(shè)施更易訪問且高效運作。面對AI產(chǎn)生的海量非結(jié)構(gòu)化數(shù)據(jù),驛心科技通過深度整合、優(yōu)化軟硬件,打造出具有成本效益且擴展性高的AI存儲解決方案,解決傳統(tǒng)存儲方法難以應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)爆炸式增長、無法滿足大型計算集群高性能要求等問題,助力支持下一代應(yīng)用所需的海量、多樣化數(shù)據(jù)的全局訪問。
Hammerspace作為下一代數(shù)據(jù)周期架構(gòu)領(lǐng)導者則提供成熟的高性能全局數(shù)據(jù)平臺(對象與文件存儲)。其數(shù)據(jù)平臺為大規(guī)模計算集群提供高性能數(shù)據(jù)通道,實現(xiàn)統(tǒng)一數(shù)據(jù)源的數(shù)據(jù)編排,并以標準化方法靈活支持客戶選用的計算、存儲及網(wǎng)絡(luò)基礎(chǔ)設(shè)施。
Hammerspace的全局數(shù)據(jù)平臺已在Meta管理的2.4萬個GPU集群的開源LLM部署中得到驗證,解決了數(shù)據(jù)在分布式環(huán)境下難以高效管理與輸送至GPU的難題,為下一代AI基礎(chǔ)設(shè)施奠定基礎(chǔ)。
雙方合作為從部門級AI項目到大規(guī)模生產(chǎn)部署提供了成熟架構(gòu),幫助企業(yè)在保持最佳成本效益的同時,消除數(shù)據(jù)瓶頸,最大化計算資源利用率,簡化操作流程。
恰逢Hammerspace加大在中國市場的投入,此次合作有望為中國AI基礎(chǔ)設(shè)施領(lǐng)域帶來革命性變革,如借助軟硬件優(yōu)化、對象存儲與超大規(guī)模NAS架構(gòu),實現(xiàn)經(jīng)濟高效的存儲擴展;為多模態(tài)AI工作負載提供自動化數(shù)據(jù)編排;利用先進的數(shù)據(jù)自動化技術(shù),實現(xiàn)數(shù)據(jù)清理、組織與合成等數(shù)據(jù)處理革新;為自動駕駛、機器人等垂直行業(yè)應(yīng)用提供無縫支持;高效利用資源,大幅降低資本支出等。
全局數(shù)據(jù)平臺
實現(xiàn)跨站點、云端、存儲設(shè)備的非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一管理
大型語言模型(LLM)的最新發(fā)展翻開了AI經(jīng)濟性的一頁,預示著AI模型越來越強大,不僅擴展了對推動AI所需的分布式數(shù)據(jù)集的訪問,而且減少了基礎(chǔ)設(shè)施的投入,并提供了滿足現(xiàn)代AI工作負載苛刻需求的高性能存儲。
Hammerspace全局數(shù)據(jù)平臺致力于打破數(shù)據(jù)壁壘,能夠為跨站點、跨云端、跨存儲的計算集群、應(yīng)用以及用戶提供極致的并行性能。通過獨特的全局命名空間,該平臺將分散在各地、各云端以及各存儲系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一整合,構(gòu)建成并行全局文件系統(tǒng),具備HPC級別的高速數(shù)據(jù)處理能力,成功消除了數(shù)據(jù)孤島現(xiàn)象,使得無論計算集群、應(yīng)用或者用戶身處何方,數(shù)據(jù)資源都能夠?qū)崿F(xiàn)實時訪問。
Hammerspace全局數(shù)據(jù)平臺重塑數(shù)據(jù)管理新格局。Hammerspace全局數(shù)據(jù)平臺提供真正意義上的全局基于標準并行文件系統(tǒng),在多站點、多云環(huán)境下提供統(tǒng)一的全局命名空間,并且支持將數(shù)據(jù)存儲在所有主流廠商的新、舊存儲設(shè)備上。
通過“元數(shù)據(jù)就地同化”技術(shù),平臺能夠?qū)F(xiàn)有非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一為單一數(shù)據(jù)集,使得數(shù)據(jù)在短短幾分鐘內(nèi)就能對用戶可見并立即可用。
同時,Hammerspace全局數(shù)據(jù)平臺巧妙地融合了HPC文件系統(tǒng)的優(yōu)勢與標準NFS協(xié)議,兼具HPC性能與企業(yè)NAS的易用性,有效加速了AI數(shù)據(jù)通路和GPU計算。
在數(shù)據(jù)編排方面,平臺實現(xiàn)了無感多站點數(shù)據(jù)編排,具備基于目標的數(shù)據(jù)策略與可編程元數(shù)據(jù)管理能力,用戶可以通過GUI、API或CLI定義簡明策略,以此控制數(shù)據(jù)的放置和保護。
同時,平臺還提供Advanced Cross - Platform Data Services跨平臺的先進數(shù)據(jù)服務(wù),極大地簡化了跨多站點、多云和存儲系統(tǒng)的數(shù)據(jù)安全與治理工作 。
Hammerspace全局數(shù)據(jù)平臺的架構(gòu)設(shè)計精巧且高效。其并行全局文件系統(tǒng)以單一全局命名空間的形式,跨越多個站點和云,允許從多個站點同時讀取和寫入文件。
元數(shù)據(jù)層或控制平面與數(shù)據(jù)層或數(shù)據(jù)平面相互分離,為平臺帶來了更快的性能、數(shù)據(jù)放置的靈活性以及獨立性。
在部署上,平臺展現(xiàn)出極大的靈活性,可以作為軟件部署在物理機、虛擬機,以及AWS、Azure和Google Cloud等云實例中。
在文件訪問協(xié)議方面,平臺支持NFS v4.2、NFS v3、SMB 2、SMB 3、S3和NVIDIA GPUDirect Storage、CSI等多種協(xié)議,確保文件系統(tǒng)中的所有數(shù)據(jù)都能夠通過任何一種協(xié)議進行訪問。
平臺利用NFS v4.2客戶端與并行NFS和NFS Flex Files(均為標準Linux內(nèi)核的一部分),構(gòu)建了帶有Flex Files的并行NFS,從而提供基于標準的并行文件系統(tǒng)架構(gòu)。
該平臺具備強大的擴展能力,能夠從一個存儲節(jié)點線性擴展至數(shù)千個存儲節(jié)點,并且在擴展過程中不會出現(xiàn)性能下降的情況。
在存儲介質(zhì)支持上,平臺可以在NVMe閃存、SSD、HDD和磁帶上存儲和分層數(shù)據(jù),所有這些操作都在單個文件系統(tǒng)中完成。
此外,平臺支持任何供應(yīng)商的任何存儲類型,包括服務(wù)器、NAS、塊設(shè)備、對象存儲、公有云和磁帶,能夠充分利用現(xiàn)有存儲系統(tǒng),吸收來自這些系統(tǒng)的元數(shù)據(jù),并且?guī)缀醪粫a(chǎn)生停機時間。
Hammerspace全局數(shù)據(jù)平臺的數(shù)據(jù)編排服務(wù)功能豐富且強大。它能夠?qū)崿F(xiàn)數(shù)據(jù)就地同化,即吸收來自第三方存儲系統(tǒng)的元數(shù)據(jù),與此同時將數(shù)據(jù)保留在原位置,使得文件能夠在幾分鐘內(nèi)就對用戶可見,整個過程無中斷,停機時間極少。在數(shù)據(jù)策略制定上,平臺允許用戶定義基于目標的數(shù)據(jù)策略,用戶可以通過API、CLI或使用文件系統(tǒng)圖形界面進行設(shè)置,以此實現(xiàn)自動化數(shù)據(jù)放置和保護。
在數(shù)據(jù)服務(wù)的精細度上,平臺提供文件級顆粒度數(shù)據(jù)服務(wù),任何策略或文件移動都可以在共享目錄甚至文件顆粒度級別應(yīng)用。管理員還可以應(yīng)用自定義元數(shù)據(jù)標識(Tags)和標簽(Labels),并且授權(quán)用戶能夠?qū)⒆远x元數(shù)據(jù)標簽分配給文件系統(tǒng)層次結(jié)構(gòu)中的任何文件夾,層次結(jié)構(gòu)中以下的新文件和文件夾將自動繼承這些標簽,實現(xiàn)自動化元數(shù)據(jù)繼承。
此外,策略可以由元數(shù)據(jù)的任何組合觸發(fā),包括文件系統(tǒng)元數(shù)據(jù)和自定義元數(shù)據(jù),進而實現(xiàn)自動化數(shù)據(jù)服務(wù)。這些數(shù)據(jù)服務(wù)可以在所有存儲類型和位置的文件顆粒度級別進行全局自動化,涵蓋數(shù)據(jù)保護服務(wù)(如快照、克隆、復制等)和數(shù)據(jù)移動操作(如分層、遷移等),并且能夠根據(jù)策略自動跨NAS、對象存儲、云和磁帶進行跨平臺分層存儲。
在數(shù)據(jù)存儲與保護方面,Hammerspace全局數(shù)據(jù)平臺同樣表現(xiàn)出色。其多站點復制功能可以使用文件系統(tǒng)自身策略功能實現(xiàn)自動化,也可以通過用戶或應(yīng)用按需進行,并且支持一對一和一對多方案。
在數(shù)據(jù)冗余與恢復方面,平臺通過部署多臺數(shù)據(jù)服務(wù)節(jié)點組成帶糾刪功能的存儲空間,采用糾刪編碼技術(shù),具有高度的彈性和效率,速度比傳統(tǒng)的擦除編碼方案快兩倍。
在數(shù)據(jù)備份與副本管理上,平臺支持跨多種存儲類型的共享級快照,既可以是計劃的,也可以是即時的,并且在所有站點上都是一致的,還可以存儲在任何地方,包括云中。其中,快照適用于共享級別,而克隆適用于文件和目錄級別;快照具有只讀屬性,而克隆是可寫的并且可以移動。對于公有云存儲或?qū)ο蟠鎯χ械臄?shù)據(jù),平臺會自動進行重復數(shù)據(jù)刪除和壓縮,以實現(xiàn)更快的復制并降低帶寬和容量消耗。
在數(shù)據(jù)安全方面,平臺支持利用第三方密鑰管理服務(wù)器(KMS)以及密碼進行加密,同時支持在訪問文件時和后臺掃描文件時進行病毒檢測。平臺還可以啟用文件版本控制,將其作為文件顆粒度級別的聲明性目標自動發(fā)生,當指定了此類版本控制策略的文件或數(shù)據(jù)集發(fā)生更改時,會隨時觸發(fā)版本控制。此外,平臺具備防篡改(WORM)、誤刪除恢復等功能。
Molly Presley表示,Hammerspace是一個純軟件的解決方案,具備部署在物理機、虛擬機,包括云上的實例。所有的數(shù)據(jù)都會在客戶指定的設(shè)備或者系統(tǒng)中得到保護,符合審計的要求,在數(shù)據(jù)主權(quán)方面大家可以放心。
客戶成功故事
讓數(shù)據(jù)發(fā)揮應(yīng)用的價值
在存儲技術(shù)革新的浪潮中,Hammerspace致力于用軟件定義存儲,從根本上改變數(shù)據(jù)的使用與保存方式。而Hammerspace分享的客戶成功故事,則全方位展示其技術(shù)實力與應(yīng)用成效。
Meta作為行業(yè)先鋒,在人工智能領(lǐng)域不斷探索創(chuàng)新,尤其是在開源Llama系列大模型的開發(fā)上卓有成效。為了突破傳統(tǒng)存儲架構(gòu)的限制,實現(xiàn)模型訓練效率的飛躍,Meta與 Hammerspace展開了深度合作。
在Llama 2和Llama 3模型訓練項目中,Meta面臨著極為復雜的挑戰(zhàn):3000臺GPU服務(wù)器搭載著24000塊GPU,需要高效協(xié)同運作;同時,1000節(jié)點存儲集群要保障數(shù)據(jù)的快速讀寫,實現(xiàn)12.5TB /s的聚合吞吐量。
Hammerspace憑借其先進的技術(shù)架構(gòu),為Meta打造了基于標準協(xié)議的存儲解決方案,成功打破了數(shù)據(jù)訪問的壁壘。這一合作使得工程師能夠借助數(shù)千個GPU對作業(yè)執(zhí)行交互式調(diào)試,實現(xiàn)了數(shù)據(jù)隨處可訪問,大幅提升了GPU的利用率,滿足了Meta對GPU近乎100%利用率的嚴苛要求,且以即插即用的方式融入Meta現(xiàn)有的技術(shù)架構(gòu),不破壞網(wǎng)絡(luò)與存儲的穩(wěn)定性。
當進入Llama4的訓練場景并在追求極致性能和GPU使用率的宗旨不變的情況下,Meta開始著重考慮能源消耗問題。Hammerspace再次幫助Meta實現(xiàn)了在能源消耗率較低的地區(qū)進行大規(guī)模數(shù)據(jù)訓練,且無需將數(shù)據(jù)在不同站點間頻繁移動,不僅降低了能源成本,而且還在節(jié)省能源消耗和實現(xiàn)GPU 超高性能的前提下,加快了數(shù)據(jù)訓練任務(wù)的完成速度。
Meta首席工程師高度贊譽Hammerspace在Llama 2和Llama 3模型訓練中的表現(xiàn),稱其基于標準協(xié)議的架構(gòu)如同施展魔法,成為Meta在AI存儲領(lǐng)域的不二之選,也為其他AI訓練場景提供了極具價值的借鑒范例 。
Molly Presley表示Meta 在調(diào)研市場上所有主流存儲廠商后,最終選擇與 Hammerspace 合作,主要有幾個關(guān)鍵原因:其一,Hammerspace采用NFS原生協(xié)議,該協(xié)議早已內(nèi)置在Linux 內(nèi)核中,因此無需在Meta現(xiàn)有的計算集群上安裝任何客戶端程序。
其二,Hammerspace能夠提供線性增長的存儲性能,如目前其存儲節(jié)點規(guī)模已達到1000 +以上,充分滿足了Meta對存儲性能擴展的需求。
Blue Origin作為亞馬遜創(chuàng)始人Jeff Bezos旗下的火箭發(fā)射公司,在美國境內(nèi)9個地點開展不同業(yè)務(wù),如研究火箭圖紙、準備發(fā)射及分析飛行數(shù)據(jù)等,各地數(shù)據(jù)需求各異。
借助 Hammerspace技術(shù),Blue Origin公司實現(xiàn)數(shù)據(jù)實時跨地點流轉(zhuǎn),火箭發(fā)射后分析人員能立刻獲取詳細發(fā)射參數(shù)進行分析,結(jié)果也能即時反饋給火箭設(shè)置人員用于改進。Blue Origin數(shù)據(jù)訪問速度提升80%,通過分級存儲節(jié)省超100萬美元成本。
美國Los Alamos國家實驗室在1000臺英偉達SuperPOD部署項目中,采用Hammerspace軟件方案取代Lustre。Hammerspace憑借獨特的Tier 0解決方案,利用每臺GPU服務(wù)器閑置的本地硬盤構(gòu)建Tier 0層存儲,打造全局命名空間的第0層,大幅提升讀寫性能與CheckPoint效率。
在大規(guī)模GPU服務(wù)器集群場景下,該方案無需額外開銷,還能依據(jù)指定策略,讓數(shù)據(jù)在生命周期內(nèi)合理存于閃存到磁帶等不同存儲介質(zhì)。方案實施效果顯著,為實驗室節(jié)省了大量硬件、能源投入,還減少了數(shù)據(jù)中心空間占用。
Molly Presley表示,Hammerspace的軟件方案能整合包括DeepSeek新的3FS存儲系統(tǒng)在內(nèi)的現(xiàn)有存儲數(shù)據(jù),輸送給GPU訓練芯片,提升GPU利用率,加速數(shù)據(jù)價值實現(xiàn),降低存儲成本與能耗,消除數(shù)據(jù)孤島現(xiàn)象,切實達成AI場景下高性能存儲。
來源:數(shù)據(jù)猿
我要評論
不容錯過的資訊
-
1劉維明履新英方軟件,加速金融科技全球化
-
224小時銷量突破12.7萬雙 京喜自營拖
-
3中國移動打造國內(nèi)首個工程審計領(lǐng)域垂直大
-
4OpenAI深夜發(fā)布全新Agent工具;豆包文生
-
5傳DeepSeek-R2將發(fā)布;OpenAI與CoreWeav
-
62025具身智能機器人發(fā)展大會在天津成功舉
-
7國家局與地方局的“雙向奔赴”,如何再構(gòu)
-
8引領(lǐng)RISC-V變革,玄鐵踏出產(chǎn)業(yè)新范式,
-
9將Tableau替換成瓴羊Quick BI,這家大型
-
10數(shù)勢科技黎科峰:DeepSeek 引爆數(shù)據(jù)分析
大數(shù)據(jù)企業(yè)推薦more >
大家都在搜
