国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

如何保證Hadoop數(shù)據(jù)湖不變成“數(shù)據(jù)洪水”？

Hadoop 數(shù)據(jù)湖大數(shù)據(jù) 數(shù)據(jù)分析

企業(yè)網(wǎng) | 2016-07-11 10:20

【數(shù)據(jù)猿導(dǎo)讀】數(shù)據(jù)湖的提出距今已經(jīng)有了幾年時間了，特別是在當(dāng)今時代中，基于Hadoop建立的數(shù)據(jù)湖在大數(shù)據(jù)處理中占有的位置越來越重要。但是如何保證數(shù)據(jù)湖不像南方水災(zāi)一樣泛濫，依然是一個耐人尋味的話題---數(shù)據(jù)湖已滿，如何防泛濫

如何保證Hadoop數(shù)據(jù)湖不變成“數(shù)據(jù)洪水”？

數(shù)據(jù)湖洪水泛濫

數(shù)據(jù)湖十分靈活，同時具備可擴展和低成本的特點。其最初建立的目的十分簡單，就是將所有形式的數(shù)據(jù)集中在同一處，這些數(shù)據(jù)包括了結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)可以是日志文件、點擊流、郵件、圖像、音頻視頻或者文本文件。

數(shù)據(jù)湖中數(shù)據(jù)類型繁雜

在這些數(shù)據(jù)中，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)占據(jù)了很大一部分，但是由于我們的處理能力不同，一些數(shù)據(jù)可能在數(shù)據(jù)湖中存儲了很長時間而不能被處理掉，這樣就會一直積攢下來保留的現(xiàn)在。

誠然，數(shù)據(jù)湖可以幫助處理各種形式的數(shù)據(jù)，這其中以結(jié)構(gòu)化數(shù)據(jù)為主。而且數(shù)據(jù)湖具備數(shù)據(jù)庫的大部分特質(zhì)，可以提供數(shù)據(jù)查詢、結(jié)構(gòu)化數(shù)據(jù)處理報告等業(yè)務(wù)。數(shù)據(jù)湖的最大價值在于數(shù)據(jù)利用、探索大數(shù)據(jù)的價值，預(yù)測未來結(jié)果并為企業(yè)提出相關(guān)建議，進而指導(dǎo)企業(yè)的進一步?jīng)Q策和行動。

“數(shù)據(jù)洪”一觸即發(fā)

但是，問題也就發(fā)生在這里。因為基于Hadoop部署的數(shù)據(jù)湖的能力并不足以應(yīng)付一切，而用戶對數(shù)據(jù)湖又疏于管理。數(shù)據(jù)量隨時間而增加，數(shù)據(jù)湖開始泛濫，進而有逐步發(fā)展成洪水的趨勢。數(shù)據(jù)不能得到有效的分配，“數(shù)據(jù)洪”隨時可能沖潰堤壩，水漫金山。

抗洪還得靠管理

那么數(shù)據(jù)湖要如何才能避免成為數(shù)據(jù)洪的悲劇呢？首先應(yīng)該從根本上改變傳統(tǒng)對數(shù)據(jù)湖的看法。把數(shù)據(jù)湖當(dāng)作一個整體庫存來管理是存在問題的，對于管理人員來講，基于數(shù)據(jù)類型需要把數(shù)據(jù)湖分成一個個的區(qū)，分別處理管理。

基于Hadoop的數(shù)據(jù)湖需要分類

基于Hadoop的數(shù)據(jù)湖的區(qū)域劃分歸類對其而言十分重要。管理者需要對其需要提取的數(shù)據(jù)進行原始數(shù)據(jù)的保留，并且對其進行元數(shù)據(jù)標(biāo)記，標(biāo)明數(shù)據(jù)源、數(shù)據(jù)類型等。當(dāng)被提取的數(shù)據(jù)處理完畢之后要對其統(tǒng)一規(guī)劃并進行后續(xù)處理。

如果用戶需要選擇一些特定應(yīng)用程序的數(shù)據(jù)，那么可以通過收集、轉(zhuǎn)換，將來自不同數(shù)據(jù)源的數(shù)據(jù)全部帶走并進行處理。最后，在處理工作完成后可以通過數(shù)據(jù)軌跡、處理日志等工具對處理過程進行審核，保障數(shù)據(jù)處理的完成度。

數(shù)據(jù)分類管理

這些問題說起來簡單，但是做起來卻是一件相當(dāng)麻煩的事情。這要求企業(yè)擁有一套十分成熟的數(shù)據(jù)提取工具，用于數(shù)據(jù)轉(zhuǎn)化、分類、標(biāo)記以及其他任務(wù)。

而且不僅僅是企業(yè)關(guān)注這一問題，在Apache的Hadoop社區(qū)也有好多團隊在致力于開發(fā)此類工具。事實上，此類工具更趨向于數(shù)據(jù)管理專業(yè)，這些對于企業(yè)來講并不熟悉。而好消息是，一些相關(guān)的生態(tài)鏈已經(jīng)在Hadoop領(lǐng)域開始形成，相信解決數(shù)據(jù)湖管理難題的工具將在不久后出現(xiàn)。

來源：企業(yè)網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。