數(shù)據(jù)湖倉一體自2020年起就備受矚目，始終是數(shù)據(jù)分析領(lǐng)域的一個(gè)熱門話題。雖然湖倉一體的需求不斷增長(zhǎng)，但由于標(biāo)準(zhǔn)不統(tǒng)一，行業(yè)巨頭企業(yè)方案支持的標(biāo)準(zhǔn)互通性差，湖倉一體市場(chǎng)并未像人們期待的那樣快速發(fā)展。

不過隨著Apache Iceberg有望成為湖倉一體開放表格式事實(shí)上的標(biāo)準(zhǔn)，業(yè)界預(yù)計(jì)2025年，企業(yè)對(duì)數(shù)據(jù)湖倉一體的應(yīng)用將明顯提速，湖倉一體加速落地幾乎沒有什么懸念。

Apache Iceberg是一種專為大規(guī)模、復(fù)雜數(shù)據(jù)集設(shè)計(jì)的開源表格式，用于管理海量數(shù)據(jù)。Iceberg可以與Spark、DuckDB、Trino和Dremio等SQL引擎，以及Snowflake和Databricks等數(shù)據(jù)平臺(tái)集成，使SQL查詢能夠在數(shù)據(jù)湖和數(shù)據(jù)倉庫上高效運(yùn)行。

屆時(shí)依靠Iceberg開放開源的表格式，企業(yè)可以管理和查詢大數(shù)據(jù)，包括傳統(tǒng)的數(shù)據(jù)倉庫和新型的數(shù)據(jù)湖。Iceberg由于供應(yīng)商無關(guān)的數(shù)據(jù)訪問模式、架構(gòu)演變和互操作性，預(yù)計(jì)在大數(shù)據(jù)中的作用將不斷擴(kuò)大。

湖倉一體征程中最后的對(duì)手只剩Iceberg和Delta Lake

數(shù)據(jù)湖倉一體從提出到現(xiàn)在已經(jīng)滲透了大約5年時(shí)間。數(shù)據(jù)湖是一個(gè)存儲(chǔ)大量原始數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)庫，而數(shù)據(jù)倉庫則是用于存儲(chǔ)經(jīng)過處理的結(jié)構(gòu)化的用于分析的數(shù)據(jù)。數(shù)據(jù)湖倉一體允許企業(yè)在一個(gè)集成的環(huán)境中，既保留數(shù)據(jù)湖的靈活性和原始數(shù)據(jù)存儲(chǔ)能力，又能發(fā)揮數(shù)據(jù)倉庫的高效分析能力。

2019年Databricks首次提出湖倉一體這個(gè)術(shù)語，目標(biāo)是將ACID事務(wù)引入數(shù)據(jù)湖，但并不是為了將數(shù)據(jù)湖轉(zhuǎn)換為事務(wù)數(shù)據(jù)庫，而是能夠更好地利用數(shù)據(jù)湖中的數(shù)據(jù)，讓數(shù)據(jù)湖具有高可靠性、高性能，并與Apache Spark、Trino和Presto等開源引擎兼容。

為此，Databricks在云對(duì)象存儲(chǔ)之上，為湖倉一體定義了軟件定義的表結(jié)構(gòu)。在傳統(tǒng)的數(shù)據(jù)庫或數(shù)據(jù)倉庫中，表結(jié)構(gòu)通常是預(yù)先定義好的，包括列的名稱、類型等信息。而在湖倉一體環(huán)境下，軟件定義的表結(jié)構(gòu)則更加靈活，可以通過軟件來動(dòng)態(tài)地定義和調(diào)整表結(jié)構(gòu)。

使用該表結(jié)構(gòu)，用戶可以獲得接近數(shù)據(jù)倉庫的性能改進(jìn)，以及更精細(xì)的治理，如可以對(duì)表中的每一列、列的數(shù)據(jù)質(zhì)量等進(jìn)行精細(xì)管理，在行級(jí)別還可以涉及數(shù)據(jù)的生命周期管理。

三種開源表格式突出重圍。雖然AWS、Oracle、Teradata等為數(shù)據(jù)湖倉一體引入了專有的表格式，但三種開源表格式逐漸占據(jù)主流：由Databricks引入的 Delta Lake，以及社區(qū)發(fā)起的Apache Hudi和Apache Iceberg。

云服務(wù)商對(duì)湖倉一體的支持在發(fā)展中顯得尤為關(guān)鍵。AWS、Google Cloud等公布其計(jì)劃，在其分析產(chǎn)品組合中首先推出對(duì)Iceberg的支持，其次才支持Delta Lake；最后也終支持Hudi。

早在2022年，表格式就成為了Databricks和Snowflake之間的最新戰(zhàn)場(chǎng)，因?yàn)镈atabricks最終開源了Delta Lake，而Snowflake則全力以赴開發(fā)Iceberg。

IDC在其2024年7月發(fā)布的報(bào)告中認(rèn)為，Iceberg、Hudi在中國市場(chǎng)上擁有更多支持者，技術(shù)供應(yīng)商也多選擇主動(dòng)適配Iceberg或Hudi的其中一款，或兩種全部兼容。

而對(duì)Iceberg或Hudi版本的選擇也是用戶在實(shí)際開發(fā)運(yùn)維中顧慮的問題，技術(shù)廠商通常會(huì)隨著Iceberg和Hudi版本的更新而更新，而最新的版本可能在數(shù)據(jù)性能和接口上存在與已有架構(gòu)的問題，終端用戶更偏好于成熟版本，對(duì)產(chǎn)品的更新敏感度更低。

在隨著對(duì)數(shù)據(jù)湖操作性需求的增加，開放的表格式有望統(tǒng)一或者標(biāo)準(zhǔn)化，讓湖倉一體走向大規(guī)模應(yīng)用。

Delta Lake和Iceberg在數(shù)據(jù)湖市場(chǎng)中并駕齊驅(qū)，爭(zhēng)奪數(shù)據(jù)湖的霸主地位。Databricks開創(chuàng)Lakehouse架構(gòu)，支持將傳統(tǒng)數(shù)據(jù)倉庫工作負(fù)載與AI工作負(fù)載集成在單個(gè)受治理的數(shù)據(jù)副本上。為此，所有數(shù)據(jù)都必須采用開放格式，以便不同的工作負(fù)載、應(yīng)用和引擎可以訪問相同的數(shù)據(jù)。

在專有數(shù)據(jù)倉庫中，只有專有SQL引擎可以讀取、寫入或共享數(shù)據(jù)，并且通常必須復(fù)制和導(dǎo)出數(shù)據(jù)，以供其他應(yīng)用使用，從而造成高度的供應(yīng)商鎖定。而Lakehouse架構(gòu)實(shí)現(xiàn)數(shù)據(jù)訪問普及化，最大限度地提高企業(yè)生產(chǎn)力，與專有數(shù)據(jù)倉庫形成鮮明對(duì)比。

Lakehouse的基礎(chǔ)是開源數(shù)據(jù)表格式，對(duì)存儲(chǔ)在對(duì)象存儲(chǔ)中的數(shù)據(jù)進(jìn)行ACID事務(wù)處理，顯著提高了數(shù)據(jù)湖上數(shù)據(jù)操作的可靠性和性能，專為Apache Spark、Trino、Presto等開源引擎而設(shè)計(jì)。

為了應(yīng)對(duì)這些挑戰(zhàn)，Databricks與Linux基金會(huì)合作創(chuàng)建了Delta Lake項(xiàng)目。自成立以來，Delta Lake擁有來自不同組織的500多名代碼貢獻(xiàn)者，全球有10,000 多家公司使用Delta Lake平均每天處理4+ EB的數(shù)據(jù)。

大約在創(chuàng)建Delta Lake的同時(shí)，Ryan Blue和Daniel Weeks在Netflix開發(fā)了Iceberg項(xiàng)目，并將其捐贈(zèng)給了Apache軟件基金會(huì)。

數(shù)據(jù)湖是一個(gè)集中式存儲(chǔ)庫，允許用戶存儲(chǔ)任何規(guī)模的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。它提供了一種以原生格式存儲(chǔ)原始數(shù)據(jù)，能夠隨時(shí)處理和分析數(shù)據(jù)的經(jīng)濟(jì)高效的方式。而Apache Iceberg為數(shù)據(jù)湖引入了表抽象層，類似于傳統(tǒng)數(shù)據(jù)倉庫中的抽象層，支持架構(gòu)演變、ACID事務(wù)、時(shí)間旅行、分區(qū)演變等。

從那時(shí)起，Delta Lake和Iceberg就成為湖倉一體格式的兩個(gè)領(lǐng)先的開源標(biāo)準(zhǔn)。盡管這兩種表格式都基于Apache Parquet，并且具有相似的目標(biāo)和設(shè)計(jì)，但由于獨(dú)立開發(fā)而變得不兼容。

而Apache Hudi是一款開源的數(shù)據(jù)管理框架，專為大數(shù)據(jù)場(chǎng)景設(shè)計(jì)。它能在Hadoop生態(tài)系統(tǒng)中，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高效存儲(chǔ)與管理。其支持增量數(shù)據(jù)處理，能快速處理新增或更新的數(shù)據(jù)，提升數(shù)據(jù)處理效率。Hudi提供了數(shù)據(jù)版本控制和時(shí)間旅行查詢功能，方便用戶回溯歷史數(shù)據(jù)。憑借這些特性，它在數(shù)據(jù)湖構(gòu)建等場(chǎng)景中也得到應(yīng)用，助力企業(yè)更好地管理和利用數(shù)據(jù)。

Databricks縮小與Iceberg兼容性差距，Snowflake持續(xù)強(qiáng)化對(duì)Iceberg的支持

湖倉一體Delta Lake和Iceberg兩大開源標(biāo)準(zhǔn)的較量，其實(shí)是其后被加大企業(yè)集團(tuán)的競(jìng)爭(zhēng)。在2024年，出現(xiàn)了一個(gè)可喜的現(xiàn)象是兩大標(biāo)準(zhǔn)后的公司開始相互兼容。

在過去的兩年里，Databricks一直在采取措施，縮小與Apache Iceberg的差距。

一是在新產(chǎn)品中，增加對(duì)Apache Iceberg的兼容。2023年10月，Databricks發(fā)布的Deta Lake 3.0版增加了對(duì)Iceberg兼容性。Delta Lake 3.0通過通用格式自動(dòng)生成Iceberg所需的元數(shù)據(jù)，使Delta Lake中的數(shù)據(jù)可被Iceberg讀取，無需手動(dòng)轉(zhuǎn)換，簡(jiǎn)化了構(gòu)建湖倉的集成工作，促進(jìn)了數(shù)據(jù)互操作性，提升了用戶體驗(yàn)。

而該公司的Delta Lake UniForm通用湖倉一體格式在2023年也增加了對(duì)Iceberg的支持。Delta Lake UniForm提供跨Delta Lake、Iceberg和Hudi的互操作性，并支持Iceberg restful目錄接口，因此公司可以在其所有數(shù)據(jù)中使用他們已經(jīng)熟悉的分析引擎和工具。隨著原始Iceberg團(tuán)隊(duì)的加入，Databricks將大大拓寬 Delta Lake UniForm的雄心壯志。

二通過收購增加Iceberg的人才和產(chǎn)品。Databricks在2024年6月宣布收購Tabular，一家基于Apache Iceberg標(biāo)準(zhǔn)的通用存儲(chǔ)平臺(tái)的開發(fā)商。Tabula由三名前Netflix員工創(chuàng)立的，這些員工在Netflix公司共同創(chuàng)建了Iceberg。有趣的是Snowflake、Confluent也參與了收購Tabular的競(jìng)標(biāo)。

Databricks通過將Apache Iceberg和Linux Foundation Delta Lake兩種領(lǐng)先的開源湖倉一體格式的原始創(chuàng)建者聚集在一起，將在數(shù)據(jù)兼容性方面處于領(lǐng)先地位，因此組織不再受其數(shù)據(jù)格式的限制。

同時(shí)Databricks打算與Delta Lake和Iceberg社區(qū)密切合作，為L(zhǎng)akehouse帶來格式兼容性，短期內(nèi)，在Delta Lake UniForm內(nèi)部實(shí)現(xiàn)兩種標(biāo)準(zhǔn)的兼容；從長(zhǎng)期來看，通過向單一、開放和通用的互操作性標(biāo)準(zhǔn)發(fā)展。

此舉標(biāo)志著Databricks加大了彌合其Delta Lake存儲(chǔ)格式與Iceberg之間的兼容性的努力。

同時(shí)，Snowflake持續(xù)強(qiáng)化對(duì)Iceberg的支持。

一是Snowflake在支持Iceberg上不斷推出新產(chǎn)品和服務(wù)。如Snowflake于2024年6月3日推出Polaris Catalog，支持對(duì)Iceberg數(shù)據(jù)的跨引擎訪問，并已經(jīng)開源。

Polaris Catalog被定義為對(duì)Iceberg和其他數(shù)據(jù)架構(gòu)的供應(yīng)商中立的開放目錄實(shí)現(xiàn)，旨在達(dá)成對(duì)數(shù)據(jù)的集中、跨引擎訪問。它的突出優(yōu)勢(shì)包括跨引擎讀寫功能，無論是面對(duì)復(fù)雜的數(shù)據(jù)交互需求，還是多元的業(yè)務(wù)場(chǎng)景，都能輕松應(yīng)對(duì)。

Snowflake 2024年8月推出Unified Iceberg Tables，助力客戶高效管理和運(yùn)用Iceberg數(shù)據(jù)，讓客戶的Iceberg數(shù)據(jù)在Snowflake的專業(yè)管理下釋放更大價(jià)值，進(jìn)一步拓展了Iceberg在實(shí)際業(yè)務(wù)中的應(yīng)用邊界。

二是Snowflake在推進(jìn)數(shù)據(jù)生態(tài)發(fā)展的道路上持續(xù)發(fā)力，不斷擴(kuò)大與各方合作以強(qiáng)化對(duì)Apache Iceberg開源表格式的支持。

Snowflake與主要云基礎(chǔ)設(shè)施公司、數(shù)據(jù)湖倉一體提供商Dremio以及流數(shù)據(jù)處理公司Confluent構(gòu)建起緊密的互操作性，打通數(shù)據(jù)流通的各個(gè)環(huán)節(jié)，讓數(shù)據(jù)在不同平臺(tái)間順暢流轉(zhuǎn)。

Snowflake與Microsoft深化合作，全力實(shí)現(xiàn)Snowflake和Microsoft Fabric數(shù)據(jù)分析平臺(tái)之間的雙向數(shù)據(jù)訪問，使得雙方用戶都能突破平臺(tái)限制，便捷地獲取所需數(shù)據(jù)，無論是用于日常的數(shù)據(jù)分析，還是前沿的人工智能應(yīng)用程序及模型開發(fā)，都有了更廣闊的數(shù)據(jù)資源池。

Snowflake堅(jiān)定支持Iceberg主要基于多重考量：從市場(chǎng)反饋來看，Iceberg已在業(yè)界嶄露頭角，市場(chǎng)潛力巨大；從技術(shù)特性上講，Iceberg能夠隨著時(shí)間推移靈活改進(jìn)表架構(gòu)而無需繁瑣重寫，讓企業(yè)輕松應(yīng)對(duì)數(shù)據(jù)結(jié)構(gòu)的動(dòng)態(tài)變化；其靈活分區(qū)的設(shè)計(jì)使數(shù)據(jù)管理更加精細(xì)、高效；極具特色的“時(shí)間旅行”功能，便于企業(yè)隨時(shí)回溯歷史數(shù)據(jù)進(jìn)行查詢，精準(zhǔn)挖掘數(shù)據(jù)價(jià)值，這些特性精準(zhǔn)匹配了企業(yè)在數(shù)據(jù)處理、分析與利用等多方面的核心訴求，與Snowflake致力于為客戶提供高效數(shù)據(jù)解決方案的目標(biāo)不謀而合。

多家湖倉一體企業(yè)持續(xù)支持Iceberg性能提供和功能擴(kuò)展。例如Dremio著提高了Iceberg數(shù)據(jù)湖的查詢性能，同時(shí)最大程度減少用戶干預(yù)操作。

其核心亮點(diǎn)聚焦兩大全新功能：Live Reflections（實(shí)時(shí)反射）與ResultSet Caching（結(jié)果集緩存）。Dremio Reflections作為公司數(shù)據(jù)湖引擎的關(guān)鍵特性，通過構(gòu)建優(yōu)化的預(yù)計(jì)算數(shù)據(jù)呈現(xiàn)形式，為查詢加速賦能。它形似物化視圖，卻更加靈活，深度融入Dremio架構(gòu)體系，進(jìn)而實(shí)現(xiàn)無需挪動(dòng)、復(fù)制數(shù)據(jù)，就能高速且交互式地查詢存儲(chǔ)于數(shù)據(jù)湖內(nèi)的大規(guī)模數(shù)據(jù)集。

實(shí)時(shí)反射功能夠全方位監(jiān)控?cái)?shù)據(jù)湖中的活動(dòng)軌跡，精準(zhǔn)洞察高頻使用的查詢，進(jìn)而針對(duì)性加速。一旦基本Iceberg表出現(xiàn)變更，它便能自動(dòng)更新物化視圖與聚合結(jié)果，時(shí)刻保障最佳查詢性能。用戶借助系統(tǒng)智能推薦，選用最具價(jià)值、利于系統(tǒng)整體性能的反射配置，輕松實(shí)現(xiàn)查詢加速，全程無需操心維護(hù)事宜。

結(jié)果集緩存功能可將源自所有數(shù)據(jù)源的查詢響應(yīng)速度提升高達(dá)28倍，其秘訣在于存儲(chǔ)的并非單純的查詢，而是頻繁訪問的查詢結(jié)果。

此外，新上線的讀取時(shí)合并功能讓Iceberg表的寫入與讀取操作效率飆升85%。基于通知的自動(dòng)讀取特性可自動(dòng)監(jiān)控對(duì)象存儲(chǔ)中的新文件，一旦察覺，立即自動(dòng)獲取，確保數(shù)據(jù)湖持續(xù)更新，無縫銜接新數(shù)據(jù)。顯然，Dremio此番創(chuàng)新，切實(shí)為Iceberg數(shù)據(jù)湖的高效運(yùn)用筑牢根基，開啟全新的數(shù)據(jù)查詢篇章。

Iceberg能成為事實(shí)上的標(biāo)準(zhǔn)嗎？

Delta Lake和Iceberg并駕齊驅(qū)削弱了湖倉一體架構(gòu)的價(jià)值。隨著時(shí)間的推移，許多其他開源和專有引擎都采用了這些格式。但是，他們通常只采用其中一種標(biāo)準(zhǔn)，而且通常只采用該標(biāo)準(zhǔn)的一部分，從而導(dǎo)致企業(yè)數(shù)據(jù)碎片化和孤立，削弱了湖倉一體架構(gòu)的價(jià)值。

Dremio在“2024年數(shù)據(jù)湖倉一體現(xiàn)狀報(bào)告”顯示，31%的受訪者使用Apache Iceberg，而39%的受訪者使用Delta Lake。

然而，在未來三年內(nèi)，29%的受訪者預(yù)計(jì)將采用Iceberg，而Delta Lake的這一比例僅為23%。

報(bào)告認(rèn)為，兩個(gè)標(biāo)準(zhǔn)之間的競(jìng)爭(zhēng)其實(shí)是兩個(gè)陣營(yíng)之間的競(jìng)爭(zhēng)，問題不在于確定哪個(gè)標(biāo)準(zhǔn)更好，而在于投資其中哪種格式帶來收益更大。

Iceberg優(yōu)勢(shì)得到進(jìn)一步的認(rèn)可。存儲(chǔ)和分析大量數(shù)據(jù)的需求導(dǎo)致了數(shù)據(jù)湖的廣泛采用。數(shù)據(jù)湖提供了一種經(jīng)濟(jì)高效的方式來大規(guī)模存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，使組織能夠打破數(shù)據(jù)孤島并從各種數(shù)據(jù)源獲得見解。

然而，隨著規(guī)模和復(fù)雜性的增長(zhǎng)，數(shù)據(jù)湖變得越來越難以高效管理和查詢。缺乏事務(wù)一致性、架構(gòu)實(shí)施和性能優(yōu)化導(dǎo)致許多數(shù)據(jù)湖實(shí)施成為“數(shù)據(jù)沼澤”——雜亂無章、難以導(dǎo)航且難以從中提取價(jià)值。

Apache Iceberg是一種開放表格式，旨在應(yīng)對(duì)這些挑戰(zhàn)，并使數(shù)據(jù)湖的性能更高、更易于管理，并且能夠適應(yīng)各種使用案例。

Iceberg通過為數(shù)據(jù)湖帶來一組類似倉庫的功能（通常稱為數(shù)據(jù)湖倉一體），在現(xiàn)代數(shù)據(jù)湖架構(gòu)中發(fā)揮著至關(guān)重要的作用：

Iceberg為湖中存儲(chǔ)的數(shù)據(jù)文件提供了一個(gè)表抽象層，允許用戶使用熟悉的SQL命令與數(shù)據(jù)進(jìn)行交互，從而更輕松地查詢和管理湖中的數(shù)據(jù)。

Iceberg支持ACID事務(wù)，確保數(shù)據(jù)的一致性和可靠性。使用ACID事務(wù)，多個(gè)用戶可以同時(shí)向同一個(gè)表讀取和寫入數(shù)據(jù)，而不會(huì)發(fā)生沖突或數(shù)據(jù)損壞。這在數(shù)據(jù)湖環(huán)境中尤為重要，因?yàn)閿?shù)據(jù)不斷更新并由多個(gè)用戶和應(yīng)用程序訪問。

Iceberg支持Schema演變。隨著數(shù)據(jù)的發(fā)展，Iceberg允許用戶輕松地在表中添加、刪除或重命名列，而無需重寫整個(gè)數(shù)據(jù)集。這種靈活性使組織能夠適應(yīng)不斷變化的數(shù)據(jù)要求并避免昂貴的數(shù)據(jù)遷移。

Iceberg提供強(qiáng)大的優(yōu)化功能，可以提高數(shù)據(jù)湖中的查詢性能。其中一種優(yōu)化是數(shù)據(jù)壓縮，它涉及將小數(shù)據(jù)文件合并為較大的數(shù)據(jù)文件，從而減少查詢執(zhí)行期間需要掃描的文件數(shù)量。Iceberg還支持分區(qū)修剪，這允許查詢跳過不相關(guān)的分區(qū)，從而顯著減少需要處理的數(shù)據(jù)量。

Iceberg支持時(shí)間旅行，即用戶可以查詢表的歷史版本。這對(duì)于審計(jì)、調(diào)試和重現(xiàn)結(jié)果特別有用。通過時(shí)間旅行，用戶可以輕松比較數(shù)據(jù)隨時(shí)間的變化并跟蹤其數(shù)據(jù)的沿襲。

通過將這些類似倉庫的功能引入數(shù)據(jù)湖，Iceberg使其更具可用性和適應(yīng)性，使組織能夠運(yùn)行復(fù)雜的查詢、執(zhí)行實(shí)時(shí)更新并支持各種工作負(fù)載，包括批處理、流式處理和機(jī)器學(xué)習(xí)。

為什么采用Iceberg作為數(shù)據(jù)湖的新標(biāo)準(zhǔn)？由于幾個(gè)令人信服的原因，公司越來越多地將Iceberg用于其數(shù)據(jù)湖架構(gòu)。

Iceberg的主要優(yōu)勢(shì)之一是其開放格式，它避免了供應(yīng)商鎖定。與專有數(shù)據(jù)格式不同，Iceberg是一個(gè)開源項(xiàng)目，由不斷壯大的開發(fā)人員和組織社區(qū)提供支持。這意味著公司可以將Iceberg與各種工具和平臺(tái)一起使用，使他們能夠靈活地選擇最適合自己需求的解決方案。

標(biāo)準(zhǔn)化是采用Iceberg的另一個(gè)重要驅(qū)動(dòng)力。隨著Iceberg的日益普及，公司可以依靠一組通用的規(guī)則和約定來存儲(chǔ)和訪問數(shù)據(jù)，從而確保用于查詢或管理數(shù)據(jù)的不同應(yīng)用程序之間的一致性和可靠性。

數(shù)據(jù)管理和查詢優(yōu)化對(duì)公司很有吸引力，因?yàn)樗鼈兲峁┝艘环N更簡(jiǎn)單的數(shù)據(jù)操作方法。借助Iceberg，數(shù)據(jù)湖項(xiàng)目可以更快地啟動(dòng)，并且成為數(shù)據(jù)工程資源匯的風(fēng)險(xiǎn)更小。

最后，Iceberg使公司能夠?qū)⑵鋽?shù)據(jù)湖使用案例擴(kuò)展到傳統(tǒng)SQL分析之外。借助 Iceberg對(duì)實(shí)時(shí)更新和流數(shù)據(jù)攝取的支持，公司可以構(gòu)建實(shí)時(shí)應(yīng)用程序和數(shù)據(jù)管道，以便在數(shù)據(jù)到達(dá)時(shí)對(duì)其進(jìn)行處理。Iceberg還與機(jī)器學(xué)習(xí)框架很好地集成，使數(shù)據(jù)科學(xué)家能夠直接使用存儲(chǔ)在湖中的數(shù)據(jù)訓(xùn)練模型。

2025年數(shù)據(jù)分析的標(biāo)準(zhǔn)將是數(shù)據(jù)湖倉一體

專家預(yù)言，2025年數(shù)據(jù)分析的標(biāo)準(zhǔn)將是數(shù)據(jù)湖倉一體。全世界已經(jīng)看到了各種各樣的分析模式：數(shù)據(jù)湖、數(shù)據(jù)倉庫、內(nèi)存分析、嵌入式分析等。但到2025 年，數(shù)據(jù)分析的標(biāo)準(zhǔn)將是數(shù)據(jù)湖倉一體，這是基于Iceberg成為湖倉一體事實(shí)上的標(biāo)準(zhǔn)作出的判斷。

一大理由是開放數(shù)據(jù)格式的標(biāo)準(zhǔn)化，推動(dòng)互操作性。數(shù)據(jù)湖倉一體的兩個(gè)最大支持者是Snowflake和Databricks。企業(yè)已經(jīng)厭倦了Snowflake與Databricks之爭(zhēng)，以尋求獲得不斷發(fā)展的數(shù)據(jù)架構(gòu)，

企業(yè)希望跨不同平臺(tái)、合作伙伴和供應(yīng)商無縫組合數(shù)據(jù)。隨著企業(yè)優(yōu)先考慮訪問及時(shí)、高質(zhì)量的數(shù)據(jù)，開放數(shù)據(jù)格式將不再是可有可無的，而是企業(yè)取得成功的必要條件。

那些未能接受開放標(biāo)準(zhǔn)的企業(yè)可能會(huì)失去競(jìng)爭(zhēng)優(yōu)勢(shì)，而那些采用標(biāo)準(zhǔn)的企業(yè)將能夠提供高質(zhì)量的產(chǎn)品和實(shí)時(shí)的跨平臺(tái)數(shù)據(jù)洞察。

另一大理由是節(jié)省資金，減少對(duì)重復(fù)數(shù)據(jù)存儲(chǔ)的需求。到2025年，預(yù)計(jì)超過一半的分析工作負(fù)載將在湖倉一體架構(gòu)上運(yùn)行，是由湖倉一體提供的成本節(jié)省和靈活性驅(qū)動(dòng)的。

目前，公司正在從云數(shù)據(jù)倉庫轉(zhuǎn)向湖倉一體，不僅僅是為了節(jié)省資金，也是為了簡(jiǎn)化數(shù)據(jù)訪問模式，并減少對(duì)重復(fù)數(shù)據(jù)存儲(chǔ)的需求。

大型組織報(bào)告稱，湖倉一體節(jié)省了超過50%的成本，對(duì)于具有大量數(shù)據(jù)處理需求的企業(yè)來說，這是一個(gè)好消息。

數(shù)據(jù)湖倉一體市場(chǎng)未來看好。數(shù)據(jù)湖倉一體概念因其靈活性和規(guī)模而廣受歡迎。Databricks 2024年發(fā)布的研究發(fā)現(xiàn)，在接受調(diào)查的600名技術(shù)領(lǐng)導(dǎo)者中，近3/4已經(jīng)采用了湖倉一體架構(gòu)，其余公司預(yù)計(jì)將在未來三年內(nèi)采用。

SNS Insider Pvt估計(jì)，數(shù)據(jù)湖市場(chǎng)每年將增長(zhǎng)21%以上，到2030年將達(dá)到570億美元。

國內(nèi)的市場(chǎng)研究機(jī)構(gòu)愛分析則認(rèn)為，2022年中國湖倉一體平臺(tái)軟件市場(chǎng)規(guī)模僅為15.2億元，預(yù)計(jì)到2025年，這一數(shù)字有望達(dá)到97.6億元，2022-2025三年復(fù)合增長(zhǎng)率高達(dá)86%。

IDC 2024年發(fā)布的數(shù)據(jù)顯示，數(shù)據(jù)量的快速增長(zhǎng)、對(duì)數(shù)據(jù)管理需求的升級(jí)以及技術(shù)架構(gòu)復(fù)雜度和獨(dú)立開發(fā)成本的上升，都將推動(dòng)企業(yè)開始越來越多地考慮湖倉一體的管理解決方案。同時(shí)，多模數(shù)據(jù)管理、實(shí)時(shí)化將會(huì)是數(shù)據(jù)管理服務(wù)演進(jìn)的兩個(gè)重要方向。

最終入選IDC的報(bào)告的廠商包括阿里云、柏睿數(shù)據(jù)、滴普科技、華為云、鏡舟科技、科杰科技、偶數(shù)科技、數(shù)新網(wǎng)絡(luò)、騰訊云、星環(huán)科技、新華三、亞馬遜云科技、亞信科技。

湖倉一體在技術(shù)、應(yīng)用、生態(tài)與安全合規(guī)等方面的發(fā)展趨勢(shì)不用忽視。從長(zhǎng)遠(yuǎn)來看，湖倉一體不會(huì)取代數(shù)據(jù)湖，數(shù)據(jù)科學(xué)家需要自由漫游，而不受關(guān)系表結(jié)構(gòu)的阻礙來發(fā)現(xiàn)模式和開發(fā)模型；湖倉一體也不會(huì)取代專門為報(bào)告創(chuàng)建的專用數(shù)據(jù)倉庫或數(shù)據(jù)集市。

IDC認(rèn)為Gen AI帶動(dòng)底層多種數(shù)據(jù)架構(gòu)組合能力，包括多模態(tài)的數(shù)據(jù)管理、數(shù)據(jù)全鏈路分析、數(shù)據(jù)血緣分析、數(shù)據(jù)跨結(jié)構(gòu)存儲(chǔ)和自動(dòng)化流動(dòng)等，湖倉、實(shí)時(shí)成為用戶建設(shè)、更新數(shù)據(jù)平臺(tái)最關(guān)心的方向

在技術(shù)方面，中國數(shù)據(jù)湖倉一體市場(chǎng)朝著多模態(tài)數(shù)據(jù)管理融合邁進(jìn)，以適應(yīng)人工智能等應(yīng)用需求。存算分離架構(gòu)不斷深化，靈活調(diào)配計(jì)算與存儲(chǔ)資源，提升資源利用率與擴(kuò)展性。

在應(yīng)用層面，數(shù)據(jù)湖倉一體市場(chǎng)在各行業(yè)廣泛滲透，如金融領(lǐng)域，助力風(fēng)險(xiǎn)管理與精準(zhǔn)營(yíng)銷等；制造業(yè)中，實(shí)現(xiàn)生產(chǎn)監(jiān)控與供應(yīng)鏈協(xié)同管理；能源電力行業(yè)，支撐能源調(diào)度與智能電網(wǎng)建設(shè)；政府與公共服務(wù)領(lǐng)域，推動(dòng)數(shù)據(jù)共享與決策優(yōu)化；智能駕駛行業(yè)，為自動(dòng)駕駛算法訓(xùn)練等提供數(shù)據(jù)支持，賦能各行業(yè)數(shù)字化轉(zhuǎn)型，推動(dòng)業(yè)務(wù)發(fā)展與創(chuàng)新。

未來數(shù)據(jù)湖倉一體與AI將深度融合，為AI模型提供數(shù)據(jù)支撐。在云原生趨勢(shì)下，積極構(gòu)建云原生生態(tài)，與云服務(wù)深度整合，實(shí)現(xiàn)資源彈性調(diào)配。同時(shí)跨平臺(tái)與互操作性不斷增強(qiáng)，打破數(shù)據(jù)孤島，促進(jìn)數(shù)據(jù)共享。

來源：數(shù)據(jù)猿