數(shù)據(jù)湖：大數(shù)據(jù)游泳的安全方式？

數(shù)據(jù)湖大數(shù)據(jù) 數(shù)據(jù)安全數(shù)據(jù)分析

Harris | 2016-09-12 09:25

【數(shù)據(jù)猿導(dǎo)讀】自從Pentaho公司首席技術(shù)官詹姆斯?狄克遜創(chuàng)造了“數(shù)據(jù)湖”這個(gè)詞，至今已有五年多的時(shí)間。他當(dāng)時(shí)提出這個(gè)建議，“如果你認(rèn)為數(shù)據(jù)集市是一個(gè)經(jīng)過清洗，方便消費(fèi)的瓶裝水商店的‘?dāng)?shù)據(jù)湖’，那么數(shù)據(jù)湖則是一個(gè)更自然狀態(tài)的水體

自從Pentaho公司首席技術(shù)官詹姆斯•狄克遜創(chuàng)造了“數(shù)據(jù)湖”這個(gè)詞，至今已有五年多的時(shí)間。他當(dāng)時(shí)提出這個(gè)建議，“如果你認(rèn)為數(shù)據(jù)集市是一個(gè)經(jīng)過清洗，方便消費(fèi)的瓶裝水商店的‘數(shù)據(jù)湖’，那么數(shù)據(jù)湖則是一個(gè)更自然狀態(tài)的水體。”這個(gè)比喻很簡(jiǎn)單。但根據(jù)專家的經(jīng)驗(yàn)，許多最終用戶對(duì)這個(gè)的概念還有很多困惑。在這篇文章中，專家想澄清數(shù)據(jù)池是什么，組織是否會(huì)考慮使用數(shù)據(jù)湖，以及他們使用數(shù)據(jù)湖所面臨的挑戰(zhàn)，并概述了一些支持?jǐn)?shù)據(jù)湖軟件工具的發(fā)展。

數(shù)據(jù)湖提供了一個(gè)處理大數(shù)據(jù)的方法。數(shù)據(jù)湖結(jié)合任何格式和任何類型的數(shù)據(jù)的海量存儲(chǔ)能力，以及改造和分析數(shù)據(jù)處理能力。通常，數(shù)據(jù)湖使用Hadoop技術(shù)實(shí)現(xiàn)。來自不同來源的詳細(xì)原始的數(shù)據(jù)被加載到一個(gè)單一的綜合信息庫，可以看到提供給用戶分析的任何數(shù)據(jù)。要理解為什么數(shù)據(jù)湖已成為流行的這種方法與企業(yè)數(shù)據(jù)倉庫的對(duì)比是很有幫助的(EDW)。在某些方面，一個(gè)企業(yè)級(jí)數(shù)據(jù)倉庫就類似于一個(gè)數(shù)據(jù)湖，可以作為整個(gè)組織的信息的集中存儲(chǔ)庫。然而，數(shù)據(jù)加載到一個(gè)企業(yè)級(jí)數(shù)據(jù)倉庫一般概括為結(jié)構(gòu)化數(shù)據(jù)。工程數(shù)據(jù)倉庫系統(tǒng)是典型的基于關(guān)系數(shù)據(jù)庫的技術(shù)，其目的是為了處理結(jié)構(gòu)化信息。雖然已經(jīng)在關(guān)系數(shù)據(jù)庫的可擴(kuò)展性有了一些進(jìn)步，他們一般沒有Hadoop那樣的可擴(kuò)展性。由于這些技術(shù)是不可擴(kuò)展的，存儲(chǔ)到組織中的所有原始數(shù)據(jù)，采用它是不實(shí)際的。因此，有必要總結(jié)。與之形成對(duì)比的是，一個(gè)數(shù)據(jù)湖包含了組織中產(chǎn)生的最詳盡的數(shù)據(jù)。所述的數(shù)據(jù)可能是結(jié)構(gòu)化的信息，如銷售交易數(shù)據(jù)，或非結(jié)構(gòu)化信息，例如在客戶服務(wù)交互中交換的電子郵件。

Hadoop經(jīng)常使用數(shù)據(jù)湖

Hadoop可以存儲(chǔ)和管理大量后續(xù)分析處理的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。Hadoop的出現(xiàn)使其存儲(chǔ)大容量信息更加實(shí)惠和可行，并且組織開始收集和存儲(chǔ)整個(gè)組織不同系統(tǒng)的原始細(xì)節(jié)。Hadoop也成為非結(jié)構(gòu)化信息的存儲(chǔ)庫，如社交媒體和諸如日志文件的半結(jié)構(gòu)化數(shù)據(jù)。事實(shí)上，人們的基準(zhǔn)研究顯示，社會(huì)化媒體數(shù)據(jù)是第二個(gè)最重要的來源，也在大數(shù)據(jù)分析中使用的外部信息。

除了處理更大的卷和更多種類的信息以外，數(shù)據(jù)湖能夠更快地獲得信息。由于數(shù)據(jù)是以原始形式聚集，不需要預(yù)處理。因此，一旦產(chǎn)生和收集，其信息可以被立即添加到數(shù)據(jù)湖。這種方法已經(jīng)引起了一些爭(zhēng)議，許多行業(yè)分析師甚至廠商都在擔(dān)心數(shù)據(jù)湖會(huì)變成數(shù)據(jù)沼澤。一般情況下，圍繞數(shù)據(jù)源缺乏治理的數(shù)據(jù)成為數(shù)據(jù)湖的焦點(diǎn)，這是一個(gè)適當(dāng)?shù)脑掝}。這些數(shù)據(jù)集應(yīng)該像組織內(nèi)的任何其他信息資產(chǎn)一樣被管理。所面臨的挑戰(zhàn)是，大多數(shù)的治理的工具和技術(shù)已經(jīng)為關(guān)系數(shù)據(jù)庫和EDWs開發(fā)。從本質(zhì)上說，數(shù)據(jù)湖泊所使用的大數(shù)據(jù)技術(shù)已經(jīng)超過了自己所需，而沒有提供為企業(yè)部署所需的所有功能。

另外，也許圍繞術(shù)語有一些輕微的爭(zhēng)議。專家提出這個(gè)問題，這樣，無論供應(yīng)商選擇的術(shù)語如何，人們可以識(shí)別數(shù)據(jù)湖和意識(shí)到的挑戰(zhàn)。Cloudera的企業(yè)數(shù)據(jù)中心使用的術(shù)語來表示與數(shù)據(jù)湖本質(zhì)上相同的概念。Hortonworks也包含數(shù)據(jù)湖的術(shù)語。IBM公司承認(rèn)數(shù)據(jù)湖的價(jià)值以及其在這個(gè)崗位的挑戰(zhàn)，但I(xiàn)BM公司的大數(shù)據(jù)傳播者吉姆•庫比拉斯說，質(zhì)疑最近在LinkedIn所提到的職位的術(shù)語，“數(shù)據(jù)湖”術(shù)語并不是IBM網(wǎng)站上的突出特色。

盡管面臨著爭(zhēng)議和挑戰(zhàn)，數(shù)據(jù)湖繼續(xù)增長(zhǎng)受到廣泛歡迎。它們提供了數(shù)據(jù)科學(xué)的重要功能。首先，它們包含進(jìn)行預(yù)測(cè)分析的必要的詳細(xì)數(shù)據(jù)。其次，他們?cè)试S非結(jié)構(gòu)化數(shù)據(jù)的有效訪問，如社交媒體或客戶交互等文字。對(duì)企業(yè)來說，該信息可建立客戶和他們行為的一個(gè)更完整的輪廓。數(shù)據(jù)湖也比傳統(tǒng)的EDW可用架構(gòu)提供更快的數(shù)據(jù)。而通過云計(jì)算的基準(zhǔn)研究數(shù)據(jù)和分析顯示，五分之一(21%)的組織實(shí)時(shí)了他們的數(shù)據(jù)。該研究還表明，這些組織通常對(duì)整合他們的數(shù)據(jù)都比較滿意，并在他們的結(jié)果方面更加自信。誠然，數(shù)據(jù)湖包含原始信息，它可能需要更多的分析和操作，因?yàn)閿?shù)據(jù)還沒有清洗掉，但時(shí)間就是金錢，速度更快的訪問往往會(huì)導(dǎo)致新的收入機(jī)會(huì)。在參與基準(zhǔn)研究預(yù)測(cè)分析的一半?yún)⑴c者表示，他們的分析已經(jīng)創(chuàng)造了新的收入機(jī)會(huì)。

由于認(rèn)識(shí)到缺乏治理和管理工具，一些機(jī)構(gòu)毫不猶豫地采用數(shù)據(jù)湖，而其他公司也在采用。在這個(gè)領(lǐng)域的供應(yīng)商在此期間已經(jīng)顯現(xiàn)出他們的能力。有些公司，例如Informatica公司為了數(shù)據(jù)湖泊獲得世界EDW數(shù)據(jù)治理能力。專家最新發(fā)布了一篇關(guān)于Informatica的大數(shù)據(jù)功能，稱之為智能數(shù)據(jù)湖。其他廠商正在提高自己的EDW能力。InformationBuilders公司和Teradata公司在今年春天都公布了數(shù)據(jù)湖。此外，新興的供應(yīng)商特別專注于數(shù)據(jù)湖泊。PodiumData表示，其提供了一個(gè)“企業(yè)數(shù)據(jù)湖管理平臺(tái)。”

那么采用數(shù)據(jù)湖安全嗎?好了，就像你不知道如何游泳就不應(yīng)該跳進(jìn)湖中一樣，如果你沒有管理其信息的計(jì)劃就不應(yīng)該采用數(shù)據(jù)湖。數(shù)據(jù)湖可以充分利用大數(shù)據(jù)，并創(chuàng)建新的收入機(jī)會(huì)。而組織采用合適的工具和培訓(xùn)之后，那么數(shù)據(jù)湖可能值得一試。

來源：機(jī)房360

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。