數(shù)據(jù)湖是個(gè)偽概念嗎 最直接的答案是是的，在這篇文章中我會(huì)告訴你原因。

最大的問(wèn)題在于“數(shù)據(jù)湖”這個(gè)詞已經(jīng)不堪重負(fù)，被供應(yīng)商和分析師們賦予了太多不同的含義。如果有什么東西不屬于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，那就把它歸結(jié)為某一種數(shù)據(jù)湖。最后數(shù)據(jù)湖就成了一個(gè)不清楚的、模糊的概念。眾所周知，模糊的概念會(huì)導(dǎo)致模糊的思路，最后做出很差的決定。

我見(jiàn)過(guò)很多關(guān)于數(shù)據(jù)湖的定義，在本文中我們會(huì)挨個(gè)討論。有時(shí)候大家提到數(shù)據(jù)湖時(shí)指的只是某一個(gè)概念，有的時(shí)候又會(huì)把幾個(gè)概念混起來(lái)談。有的人談數(shù)據(jù)湖時(shí)卻指的是下面的所有概念。

作為原始數(shù)據(jù)水庫(kù)的數(shù)據(jù)湖

這是最早提出數(shù)據(jù)湖概念時(shí)的含義。從這個(gè)概念看，數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)中轉(zhuǎn)區(qū)域沒(méi)有太大的不同。在中轉(zhuǎn)區(qū)域中，我們從源系統(tǒng)復(fù)制一份數(shù)據(jù)過(guò)來(lái)。把這份數(shù)據(jù)向下游傳輸和整合，就形成了數(shù)據(jù)倉(cāng)庫(kù)。一個(gè)原始數(shù)據(jù)水庫(kù)可以用來(lái)替換掉一個(gè)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的中轉(zhuǎn)區(qū)。

但在中轉(zhuǎn)區(qū)和原始數(shù)據(jù)水庫(kù)的概念之間還有著許多重要的不同。

從傳統(tǒng)意義上講，一個(gè)中轉(zhuǎn)區(qū)域只會(huì)有一個(gè)消費(fèi)者：生成數(shù)據(jù)倉(cāng)庫(kù)的下游進(jìn)程。但原始數(shù)據(jù)水庫(kù)卻有多個(gè)消費(fèi)者，不只是生成數(shù)據(jù)倉(cāng)庫(kù)的ETL，還有用于自助服務(wù)和高級(jí)分析的沙箱、企業(yè)級(jí)搜索引擎、主數(shù)據(jù)管理集線器等。讓原始數(shù)據(jù)可以為更多的消費(fèi)者所用，這樣做的好處在于不必多次訪問(wèn)源系統(tǒng)了。

在數(shù)據(jù)水庫(kù)中我們也可以存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)，包括文本、音頻、視頻等。

最后但同樣重要的，我們可以選擇對(duì)原始數(shù)據(jù)進(jìn)行審計(jì)，或標(biāo)記版本，只要將變化的歷史以不可修改的方式保留下來(lái)即可。這可能會(huì)對(duì)兼容性之類(lèi)的問(wèn)題有所幫助。

原始數(shù)據(jù)水庫(kù)的概念很有用，它從企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的中轉(zhuǎn)區(qū)中借鑒了許多想法，而且做了改進(jìn)。它應(yīng)該成為現(xiàn)代企業(yè)數(shù)據(jù)架構(gòu)中的一個(gè)核心組件。不過(guò)請(qǐng)記住，原始數(shù)據(jù)本身是沒(méi)有用處的。它必須在經(jīng)過(guò)整合、轉(zhuǎn)換，即ETL之后才會(huì)變得有用。

作為數(shù)據(jù)水庫(kù)加ETL的數(shù)據(jù)湖

有時(shí)候大家認(rèn)為ETL也是數(shù)據(jù)湖的一個(gè)重要組成部分。這與數(shù)據(jù)水庫(kù)有了輕微區(qū)別，這種情況可以用公式表述成“數(shù)據(jù)湖=數(shù)據(jù)水庫(kù)+ETL”。

數(shù)據(jù)囤積障礙

我想大家都會(huì)贊成原始數(shù)據(jù)水庫(kù)是一個(gè)有用的概念。不過(guò)有些人建議把所有的企業(yè)數(shù)據(jù)都存儲(chǔ)在數(shù)據(jù)水庫(kù)中，因?yàn)橐苍S在不久的將來(lái)就會(huì)派得上用場(chǎng)。這樣做會(huì)帶來(lái)的后果就是災(zāi)難，我給這種問(wèn)題起了個(gè)名字，叫數(shù)據(jù)囤積障礙。

Mayo Clinic說(shuō)：“對(duì)于一個(gè)家庭來(lái)說(shuō)，堆積會(huì)造成非常局促的生活環(huán)境，家中的所有空間都被堆滿，只留下一堆堆物品之間的狹窄過(guò)道。臺(tái)面、水槽、爐灶、桌子、樓梯和幾乎所有的表面都堆滿了東西。當(dāng)屋子里面沒(méi)法繼續(xù)堆東西之后，雜物就會(huì)堆砌到車(chē)庫(kù)、汽車(chē)、花園等其它地方”。

你應(yīng)該看明白了。只為了保存數(shù)據(jù)而存儲(chǔ)數(shù)據(jù)，這不是一個(gè)好主意。你應(yīng)該有一個(gè)明確的使用目的，然后只向數(shù)據(jù)供應(yīng)鏈中導(dǎo)入相關(guān)的數(shù)據(jù)。當(dāng)數(shù)據(jù)水庫(kù)中的數(shù)據(jù)不再有用時(shí)，就直接丟棄它。沒(méi)有必要把某個(gè)特別的應(yīng)用程序生成的所有數(shù)據(jù)都存儲(chǔ)下來(lái)。以物聯(lián)網(wǎng)為例，傳感器會(huì)產(chǎn)生奇大無(wú)比的數(shù)據(jù)量，但大多數(shù)時(shí)候其實(shí)我們只是在意一些極端值而已，比如溫度超出了某個(gè)閾值范圍。Bill Inmon在他的書(shū)《數(shù)據(jù)湖架構(gòu)》中討論了針對(duì)物聯(lián)網(wǎng)案例減少數(shù)據(jù)量的不同方法。

原始數(shù)據(jù)水庫(kù)技術(shù)

你想知道哪種技術(shù)最適合來(lái)實(shí)現(xiàn)數(shù)據(jù)水庫(kù)嗎 這和你的數(shù)據(jù)類(lèi)型有關(guān)。對(duì)非結(jié)構(gòu)化數(shù)據(jù)來(lái)說(shuō)，像S3或Hdfs之類(lèi)的分布式文件系統(tǒng)就很適合。對(duì)于少量的數(shù)據(jù)，比如引用、主數(shù)據(jù)、或業(yè)務(wù)系統(tǒng)的應(yīng)用程序數(shù)據(jù)等，關(guān)系型數(shù)據(jù)庫(kù)就很適合。切記，Hadoop有個(gè)處理小文件的問(wèn)題，即它不適用于處理大量的小文件。分布式文件系統(tǒng)對(duì)大量的事件和事務(wù)型數(shù)據(jù)非常合適。Kafka之類(lèi)的消息隊(duì)列也是持久化存儲(chǔ)大量事務(wù)型數(shù)據(jù)的理想選擇。不過(guò)Kafka一般用作數(shù)據(jù)的臨時(shí)存儲(chǔ)，用于持久化存儲(chǔ)的場(chǎng)景倒真不多見(jiàn)。如果有人把Kafka用作原始數(shù)據(jù)的持久化存儲(chǔ)，請(qǐng)通過(guò)LinkedIn聯(lián)系我一下，我倒真的有興趣聽(tīng)聽(tīng)你的具體應(yīng)用場(chǎng)景。

也可以在下游用這些技術(shù)來(lái)做數(shù)據(jù)轉(zhuǎn)換和整合。引用數(shù)據(jù)和少量數(shù)據(jù)的轉(zhuǎn)換可以在RDBMS中完成。Hadoop適用于非結(jié)構(gòu)化數(shù)據(jù)或非常大量數(shù)據(jù)的轉(zhuǎn)換。也可以把引用數(shù)據(jù)復(fù)制到Hadoop上，通過(guò)檢索引擎查詢和訪問(wèn)。Hadoop和RDBMS都很適合用于行存儲(chǔ)。

作為自助分析平臺(tái)的數(shù)據(jù)湖

代理商和分析師們常常把原始數(shù)據(jù)水庫(kù)和自助分析的概念結(jié)合起來(lái)。在這樣的理想場(chǎng)景下，商務(wù)部門(mén)的用戶不需要IT部門(mén)的介入幫忙，也不需要使用ETL這么復(fù)雜的東西，就可以直接訪問(wèn)中央數(shù)據(jù)湖產(chǎn)生數(shù)據(jù)洞察。有些數(shù)據(jù)治理，再有些數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)準(zhǔn)備的工具，就可以開(kāi)工了。聽(tīng)起來(lái)簡(jiǎn)直好得不像是真的 好吧，這的確不是真的。

數(shù)據(jù)湖之謬見(jiàn)

數(shù)據(jù)湖主要有些什么問(wèn)題呢 

其實(shí)你的商務(wù)用戶根本不會(huì)有使用商務(wù)智能工具去完成各種不同類(lèi)型檢索任務(wù)的時(shí)間或興趣。當(dāng)你向他們展示一個(gè)數(shù)據(jù)準(zhǔn)備工具的時(shí)候，你覺(jué)得他們會(huì)是什么反應(yīng) 你真的覺(jué)得他們能處理得了原始數(shù)據(jù)嗎 就算是你把這個(gè)世界上最好的數(shù)據(jù)治理和數(shù)據(jù)準(zhǔn)備工具交給他們都沒(méi)用。說(shuō)實(shí)話，可能的確會(huì)有一些商務(wù)用戶是對(duì)數(shù)據(jù)敏感的、可以進(jìn)行分析操作的，最典型的就是會(huì)計(jì)了，他們是最早的數(shù)據(jù)分析師。但絕大多數(shù)人都是既沒(méi)時(shí)間又沒(méi)興趣去花時(shí)間折騰數(shù)據(jù)的。這并不是說(shuō)決策者和商務(wù)用戶不應(yīng)該精通數(shù)據(jù)處理。恰恰相反，他們應(yīng)該掌握數(shù)據(jù)的所有細(xì)節(jié)。

你能想像在一家公司里，成千上萬(wàn)的用戶都在一套中央數(shù)據(jù)湖系統(tǒng)上完成各種分析和探索性的任務(wù)嗎 為各種各樣高可預(yù)測(cè)性的工作去規(guī)劃數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)夠難了。商務(wù)智能相關(guān)的查詢都是相似的、重復(fù)性的，所以非常適合用于緩存。但在探索性的環(huán)境里就完全不是那么回事了，只要一條模糊的查詢就可能會(huì)把整個(gè)集群宕掉，也就是說(shuō)有些分析任務(wù)要求在主節(jié)點(diǎn)上處理的工作量比在工作節(jié)點(diǎn)上做的還多。通過(guò)培訓(xùn)，還有讓軟件可以處理模糊查詢，這些方法雖然在一定程度上有效，但總之都不是什么令人愉快的經(jīng)歷。你可能需要成百上千臺(tái)服務(wù)器才能組成這樣的集中式環(huán)境，還得授權(quán)給幾百人。不過(guò)這樣的場(chǎng)景可能會(huì)適合大型互聯(lián)網(wǎng)公司，因?yàn)樗麄兊腄NA中已經(jīng)包含了大數(shù)據(jù)處理能力，但對(duì)于一般普通規(guī)模的公司來(lái)說(shuō)，我看不出這樣的可能，起碼在不久的將來(lái)不太可能。

自助分析只是個(gè)白日夢(mèng)嗎 

數(shù)據(jù)湖的自助服務(wù)愿景難道不可能實(shí)現(xiàn)嗎 我不覺(jué)得。不過(guò)，自助服務(wù)這個(gè)概念本身是需要重新定義一下的。下文是我關(guān)于一個(gè)成功的自助分析平臺(tái)的愿景。

自助分析的用戶

自助分析的目標(biāo)用戶都有誰(shuí)呢 我們?cè)缫汛_認(rèn)，并不是那些典型的商務(wù)人士，也不是管理層。自助分析用戶包括數(shù)據(jù)分析師、Excel行家、數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家等。從經(jīng)驗(yàn)來(lái)看，這些都是精通與數(shù)據(jù)打交道的技巧的人，而且他們之中大多數(shù)人還有技術(shù)背景，會(huì)寫(xiě)代碼，至少也是熟悉SQL的。這群人缺乏的就是公司為他們提供的一個(gè)基于網(wǎng)頁(yè)的平臺(tái)，以滿足他們特殊的需求。他們希望可以合作攻克某些難題，共享并重用代碼和數(shù)據(jù)集，通過(guò)圖形用戶界面來(lái)少寫(xiě)些代碼，將某些任務(wù)自動(dòng)化，在必要時(shí)才寫(xiě)代碼將數(shù)據(jù)可視化等。我腦海中的自助分析概念可以在企業(yè)中創(chuàng)造出滿足這些需求的一個(gè)地方，讓他們可以在工作中更高效。

最少的IT介入

自助分析從定義上就已經(jīng)將IT的介入最小化了。IT負(fù)責(zé)部署基礎(chǔ)設(shè)施、管理接入和訪問(wèn)數(shù)據(jù)的權(quán)限，還有監(jiān)控性能等。IT部門(mén)，甚至ETL開(kāi)發(fā)者們都不介入數(shù)據(jù)轉(zhuǎn)換的工作。處理數(shù)據(jù)的是自助服務(wù)功能。

自助服務(wù)的用戶可能來(lái)自于公司的各處，他們可能屬于某個(gè)業(yè)務(wù)部門(mén)，也可能在一個(gè)集中的數(shù)據(jù)能力中心工作。

自助分析的沙箱

自助分析只應(yīng)該被用于處理已經(jīng)明確定義、而且可以用數(shù)據(jù)解決的問(wèn)題。所以依我愚見(jiàn)，集中式管理的數(shù)據(jù)湖概念是不對(duì)的，它鼓勵(lì)了數(shù)據(jù)的混亂狀態(tài)，并讓大家無(wú)法聚焦。每一種明確定義的問(wèn)題都有自己的沙箱環(huán)境、預(yù)算和資源(人力、硬件、軟件等)。一旦這些都達(dá)成之后，我們就可以把所需的數(shù)據(jù)遷移到相應(yīng)的環(huán)境里了。

注意：我們會(huì)根據(jù)手頭上的問(wèn)題來(lái)為這樣的沙箱環(huán)境選擇相應(yīng)的技術(shù)。不要像巴甫洛夫的狗一樣一下子又提起Hadoop來(lái)了。

自助分析的場(chǎng)景

場(chǎng)景一：數(shù)據(jù)描述與探索式分析

這是一類(lèi)應(yīng)該歸于數(shù)據(jù)倉(cāng)庫(kù)的新主題。作為企業(yè)數(shù)據(jù)倉(cāng)庫(kù)生命周期的一部分，數(shù)據(jù)分析師應(yīng)該負(fù)責(zé)管理與數(shù)據(jù)源有關(guān)的描述、完整性和質(zhì)量等問(wèn)題。數(shù)據(jù)分析師搭建起沙箱環(huán)境，然后從數(shù)據(jù)源中拉取數(shù)據(jù)，并在需要時(shí)用數(shù)據(jù)準(zhǔn)備環(huán)境來(lái)探索、描述、可視化并適當(dāng)?shù)卣蠑?shù)據(jù)。

場(chǎng)景二：性能分析

假設(shè)我們要分析一家被收購(gòu)的公司的銷(xiāo)售業(yè)績(jī)。相關(guān)的數(shù)據(jù)還沒(méi)有被載入數(shù)據(jù)倉(cāng)庫(kù)中。按過(guò)去的做法，許多數(shù)據(jù)分析師在這時(shí)候就會(huì)被分派任務(wù)，去把新的數(shù)據(jù)導(dǎo)入Excel或其它客戶端工具里，然后他們就需要集中工作幾個(gè)星期，專(zhuān)門(mén)分析這些數(shù)據(jù)，這樣做當(dāng)然是令人抓狂的。由于這整個(gè)流程和用到的工具都非常容易出錯(cuò)，最后我們得到的常常是錯(cuò)誤的結(jié)果。而在新的環(huán)境中，我們只需搭建起一個(gè)沙箱，拉入需要的數(shù)據(jù)，再用基于網(wǎng)頁(yè)的數(shù)據(jù)準(zhǔn)備工具來(lái)轉(zhuǎn)換和整合數(shù)據(jù)，最后用Tableau之類(lèi)的工具將數(shù)據(jù)展示給管理層就好了。而且還有個(gè)意外的收獲，這樣產(chǎn)生的洞察還可以很容易地被產(chǎn)品化。自助分析平臺(tái)可以成為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)排放點(diǎn)。

場(chǎng)景三：高級(jí)分析

哪些客戶會(huì)對(duì)公司的產(chǎn)品感興趣呢 這是預(yù)測(cè)性分析的一個(gè)標(biāo)準(zhǔn)問(wèn)題。在以前，像Matlab、SPSS，甚至Excel之類(lèi)的客戶端工具都被用來(lái)尋找答案了。大家把相應(yīng)的數(shù)據(jù)拷到自己的電腦上，然后就開(kāi)始分析了。這類(lèi)方法當(dāng)然有很多缺陷。首先就沒(méi)有協(xié)作功能，而且還讓公司的機(jī)密數(shù)據(jù)處于有風(fēng)險(xiǎn)的狀態(tài)(比如筆記本電腦丟了，而數(shù)據(jù)還沒(méi)加密)，再者這樣的方法也只能處理非常少量的數(shù)據(jù)，沒(méi)法擴(kuò)展。有了沙箱之后，我們就可以把需要的數(shù)據(jù)拖到一個(gè)基于網(wǎng)頁(yè)的環(huán)境里，構(gòu)建、訓(xùn)練和產(chǎn)品化一個(gè)預(yù)測(cè)性模型的整個(gè)生命周期都是基于協(xié)作式方法的。

從上面這些場(chǎng)景可以看出，沙箱實(shí)在是對(duì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的一個(gè)有用補(bǔ)充。

我們?cè)诒竟?jié)只是淺顯地分析了一下在實(shí)現(xiàn)自助服務(wù)沙箱時(shí)需要考慮哪些因素。下面是一個(gè)不完全列表：

數(shù)據(jù)治理

技術(shù)

建議的工具有哪些(數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)科學(xué)平臺(tái))

如何將自助分析得到的洞察產(chǎn)品化 

數(shù)據(jù)湖即Hadoop

接下來(lái)咱們?cè)倏纯戳硪粋€(gè)關(guān)于數(shù)據(jù)湖的通俗定義。“數(shù)據(jù)湖就是Hadoop或其它的技術(shù)”。這樣說(shuō)不算太合理。數(shù)據(jù)湖是一個(gè)概念(雖然模糊)，而Hadoop只是一種適用于少數(shù)幾類(lèi)用例的技術(shù)而已。這和說(shuō)數(shù)據(jù)倉(cāng)庫(kù)就是關(guān)系型數(shù)據(jù)庫(kù)犯的是一樣的錯(cuò)誤。下面是Bill Inmon的博客上關(guān)于這種誤解的一段有趣的話：

在某種意義上與這個(gè)概念有關(guān)的想法就是，公司里所有的數(shù)據(jù)相關(guān)程序都應(yīng)該運(yùn)行在Hadoop平臺(tái)之上，比如說(shuō)Docker容器，而且還要使用類(lèi)似YARN這種資源管理器。

數(shù)據(jù)湖——總結(jié)

數(shù)據(jù)湖也有許多不足，有些缺點(diǎn)也被詳細(xì)地討論過(guò)，比如缺乏數(shù)據(jù)治理和元數(shù)據(jù)管理等。對(duì)元數(shù)據(jù)可讀和原始數(shù)據(jù)的可用性完全被夸大了。我本該在這里繼續(xù)討論一下這個(gè)“不要ETL”問(wèn)題的，這個(gè)荒謬的主意也來(lái)自于供應(yīng)商的市場(chǎng)部門(mén)。

總結(jié)一下我提到的數(shù)據(jù)湖的幾個(gè)主要問(wèn)題：

這個(gè)詞就是個(gè)萬(wàn)金油，可以用在任何傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)不適用的地方。在業(yè)界內(nèi)還沒(méi)有一致的可以達(dá)成共識(shí)的定義。

數(shù)據(jù)湖可以被沒(méi)有技術(shù)和數(shù)據(jù)分析技能的用戶訪問(wèn)，這樣的想法是非常可笑的。

數(shù)據(jù)湖非得是所有數(shù)據(jù)和數(shù)據(jù)程序的集中存儲(chǔ)和處理區(qū)域嗎 

說(shuō)數(shù)據(jù)湖就是一種技術(shù)，這是在把蘋(píng)果和梨做對(duì)比。

我們到底得到了什么 在數(shù)據(jù)湖這個(gè)標(biāo)簽之下，其實(shí)有許多有用的概念和想法(當(dāng)然前提是用法得當(dāng))，比如原始數(shù)據(jù)水庫(kù)和自助分析等。但是，因?yàn)檫@個(gè)詞的概念太泛泛了，可以適用于任何非數(shù)據(jù)倉(cāng)庫(kù)的地方，而且包含了太多的概念和想法，所以其實(shí)沒(méi)什么用。在工程界，我們應(yīng)該拋棄它。

來(lái)源：36大數(shù)據(jù)