數(shù)據(jù)囤積問題愈發(fā)嚴(yán)重，你能得到的價值有多少？

數(shù)據(jù)囤積大數(shù)據(jù) 大數(shù)據(jù)湖營銷

數(shù)據(jù)分析網(wǎng) | 2016-06-20 14:29

【數(shù)據(jù)猿導(dǎo)讀】 20年前，內(nèi)部數(shù)據(jù)是大部分?jǐn)?shù)據(jù)倉庫舉措的數(shù)據(jù)來源。但現(xiàn)在，大數(shù)據(jù)囤積者卻往往拼命收集現(xiàn)成的外部數(shù)據(jù)，尤其是社交媒體數(shù)據(jù)，它們經(jīng)常被儲存在數(shù)據(jù)湖中，因為它們能夠與其他數(shù)據(jù)結(jié)合，產(chǎn)生有用的信息。但社交媒體數(shù)據(jù)常?！俺錆M噪音”，商業(yè)價值令人存疑。讓人們對數(shù)據(jù)囤積問題有所認(rèn)識...

數(shù)據(jù)囤積問題愈發(fā)嚴(yán)重，你能得到的價值有多少？

雖然數(shù)據(jù)囤積的危害可能不像實物囤積那么嚴(yán)重，但背后的心態(tài)都是相同的。收藏過去25年里每一期《紐約時報》的實物囤積者之所以這么做，是因為他們錯誤地認(rèn)為，在未來的某個時候，他們將需要參考這份報紙上的內(nèi)容。

20年前，內(nèi)部數(shù)據(jù)是大部分?jǐn)?shù)據(jù)倉庫舉措的數(shù)據(jù)來源。但現(xiàn)在，大數(shù)據(jù)囤積者卻往往拼命收集現(xiàn)成的外部數(shù)據(jù)，尤其是社交媒體數(shù)據(jù)，它們經(jīng)常被儲存在數(shù)據(jù)湖中，因為它們能夠與其他數(shù)據(jù)結(jié)合，產(chǎn)生有用的信息。但社交媒體數(shù)據(jù)常常“充滿噪音”，商業(yè)價值令人存疑。

讓人們對數(shù)據(jù)囤積問題有所認(rèn)識乃是當(dāng)務(wù)之急。“必須讓人們明白他們應(yīng)該如何處理他們的數(shù)據(jù)，尤其是在評估數(shù)據(jù)架構(gòu)方面，特別是在云端。”他說，“人們不知道該如何在云端建立數(shù)據(jù)架構(gòu)。

在包含大量數(shù)據(jù)的環(huán)境中生活工作，有一個不好的地方：總想把每一個Byte、每一個字節(jié)都儲存起來，以備未來使用。多虧了亞馬遜簡易存儲服務(wù)(Amazon S3)和Hadoop等價格低廉的存儲系統(tǒng)，讓我們在技術(shù)上能夠把收集到的所有數(shù)據(jù)都儲存起來。但如果做過了頭，也會導(dǎo)致數(shù)據(jù)囤積的危險局面。

雖然數(shù)據(jù)囤積的危害可能不像實物囤積那么嚴(yán)重，但背后的心態(tài)都是相同的。收藏過去25年里每一期《紐約時報》的實物囤積者之所以這么做，是因為他們錯誤地認(rèn)為，在未來的某個時候，他們將需要參考這份報紙上的內(nèi)容。同樣，數(shù)據(jù)囤積者之所以收藏谷歌的每一份關(guān)鍵詞報告，是因為他們錯誤地認(rèn)為這將有助于開展?fàn)I銷工作。

數(shù)據(jù)囤積現(xiàn)象愈演愈烈，這不足為奇。畢竟，由于大數(shù)據(jù)熱潮，我們擁有了大量且便宜的存儲空間，其中很多都是云存儲空間。EMC的數(shù)據(jù)傳道者比爾·斯克馬佐(Bill Schmarzo)說，用同樣的錢，你在Hadoop數(shù)據(jù)湖里儲存的數(shù)據(jù)量可以達(dá)到傳統(tǒng)數(shù)據(jù)倉庫的50倍。這是項巨大的優(yōu)勢。

數(shù)據(jù)囤積問題正在惡化，因為一些大數(shù)據(jù)方案提供商一直在告訴客戶不要扔掉任何數(shù)據(jù)。再加上以為能從數(shù)據(jù)廢氣中輕松發(fā)掘出競爭優(yōu)勢的心理認(rèn)知，以及囤積行為本身所帶來的慣性，你會發(fā)現(xiàn)，數(shù)據(jù)囤積很容易變成一個嚴(yán)重的問題。

從一個極端到另一個極端

在過去20年里，我們從數(shù)據(jù)存儲的一個極端跳到了另一個極端。以前(1995年)，存儲成本比現(xiàn)在高得多，企業(yè)只會儲存對業(yè)務(wù)至關(guān)重要的數(shù)據(jù)。通常來說，當(dāng)時的數(shù)據(jù)均來自操作數(shù)據(jù)存儲系統(tǒng)，并且會嚴(yán)格按照預(yù)設(shè)模式進(jìn)行轉(zhuǎn)換，然后從中提取有用信息，基于這些嚴(yán)密控制的數(shù)據(jù)倉庫生成數(shù)據(jù)報告。

但大數(shù)據(jù)湖卻可說整個顛覆了數(shù)據(jù)存儲的“劇本”。如今，企業(yè)不是只儲存那些已證實具備商業(yè)價值的數(shù)據(jù)，而是把所有的數(shù)據(jù)都儲存起來，哪怕在未來提供商業(yè)價值的可能性相當(dāng)渺茫。其中有很多數(shù)據(jù)都屬于原始數(shù)據(jù)或者“數(shù)據(jù)廢氣”。而數(shù)據(jù)廢氣以前都會被丟棄，因為它不具備直接可用的商業(yè)價值。

數(shù)據(jù)整合初創(chuàng)公司Xplenty的聯(lián)合創(chuàng)始人兼首席執(zhí)行官揚里夫·莫爾(Yaniv Mor)說，我們已經(jīng)從一個極端走到了另一個極端。他認(rèn)為，數(shù)據(jù)囤積問題正在逐年惡化。

“現(xiàn)在，企業(yè)出于保險起見，往往會把所有數(shù)據(jù)都儲存起來，以防以后有人想要使用。”莫爾說，“如今，存儲成本很低，所以他們把所有數(shù)據(jù)都塞進(jìn)亞馬遜S3或者谷歌云端硬盤。但當(dāng)分析師需要從中提取某些信息時，卻會變得很困難。這種情況一直都在不斷出現(xiàn)。”

莫爾說，Apache Hadoop和云存儲為數(shù)據(jù)囤積創(chuàng)造了條件。雖然這些平臺降低了存儲成本，但也暴露出從數(shù)據(jù)中提取有用信息的專業(yè)能力不足的問題。

“這是個巨大的挑戰(zhàn)。”莫爾說，“梳理數(shù)據(jù)并從中獲得有用信息不是件易事。你必須依靠那些具備數(shù)據(jù)分析能力的數(shù)據(jù)科學(xué)家和專業(yè)分析師。”

ROT數(shù)據(jù)越來越多

大公司和其他機構(gòu)，比如政府機構(gòu)，已經(jīng)開始向數(shù)據(jù)囤積問題屈服。維爾軟件(Veritas)美國國防部和美國情報部門業(yè)務(wù)主管喬迪·霍克(Jody Houck)說，聯(lián)邦機構(gòu)發(fā)現(xiàn)，增加更多的存儲空間比直面他們的數(shù)據(jù)囤積問題更加簡單。

“有很多錯誤的看法。”霍克在今年4月接受聯(lián)邦新聞電臺(Federal News Radio)的采訪時說，“他們認(rèn)為存儲很便宜，所有數(shù)據(jù)都有價值，所有數(shù)據(jù)都有相等的價值，于是他們把數(shù)據(jù)全都儲存到云端。既然存儲是免費的，干嘛不用?”

霍克說，實際上并非所有的數(shù)據(jù)都有用。維爾軟件的《2016年數(shù)據(jù)基因指數(shù)》(Data Genomics Index)報告顯示，普通機構(gòu)儲存的數(shù)據(jù)中，有40%到60%都屬于冗余、過時或瑣碎(ROT)的數(shù)據(jù)。

而且，維爾軟件發(fā)現(xiàn)，在各個機構(gòu)的數(shù)據(jù)中，40%以上都屬于過期數(shù)據(jù)(也就是在三年時間里都沒人用過)。各機構(gòu)都在花費大量金錢儲存無數(shù)不再使用的文件。“每千萬億字節(jié)要花費他們500萬美元，但儲存的卻都是些ROT數(shù)據(jù)。”霍克說。

瞄準(zhǔn)營銷

雖然數(shù)據(jù)囤積問題無處不在，但Xplenty的莫爾說，有一個企業(yè)部門格外容易遇到這個問題，那就是營銷部門。

“營銷人員只是收集所有的數(shù)據(jù)，卻未必知道該如何處理這些數(shù)據(jù)。”莫爾說，“營銷人員必須明白，不是所有的數(shù)據(jù)都同等重要。他們不必收集營銷服務(wù)提供給他們的每一項數(shù)據(jù)。營銷人員堪稱創(chuàng)造數(shù)據(jù)沼澤的突出代表。”

對于囤積者來說，追蹤事物情況(或曰“治理”)也變成了一個大問題。就像實物囤積者在塞滿東西的房間里很難找到某件物品一樣，數(shù)據(jù)囤積者也被大量數(shù)據(jù)弄得暈頭轉(zhuǎn)向。如果嚴(yán)密的模式控制失靈，“隨便怎樣”的心態(tài)占領(lǐng)了數(shù)據(jù)湖，那么那里很快就會退化成渾濁的數(shù)據(jù)沼澤。

數(shù)據(jù)囤積沒有明確的定義，這個問題在很多機構(gòu)都存在，只是程度各有不同。數(shù)據(jù)囤積也應(yīng)該與法律強制保存的檔案區(qū)分開來。例如，按照法律規(guī)定，銀行必須將數(shù)據(jù)保存很多年，而一些醫(yī)療機構(gòu)則必須將醫(yī)療數(shù)據(jù)保存幾十年。

數(shù)據(jù)囤積解決方案

解決數(shù)據(jù)囤積問題的第一步是承認(rèn)問題的存在，然后可以采取幾個策略。

維爾軟件的霍克建議采取自上而下的數(shù)據(jù)治理方案，首先從認(rèn)清數(shù)據(jù)及其價值開始。先建立一套更好的數(shù)據(jù)分類模型，然后讓一位數(shù)據(jù)專家或者首席數(shù)據(jù)官全面掌管，實施更好的數(shù)據(jù)治理政策。

“我們相信，如果我們現(xiàn)在就實施信息治理策略，并且先從ROT和過期數(shù)據(jù)入手，然后制定解決方案，將沒有價值的數(shù)據(jù)從我們的系統(tǒng)中移除，將能更好地幫助我們完成使命，壓縮成本。”她在接受聯(lián)邦新聞電臺的采訪時說，“這是企業(yè)文化上的改變。這是技術(shù)上的改變。手動檢查每一項數(shù)據(jù)顯然不可行，但我們有能力實現(xiàn)數(shù)據(jù)的自動盤查，記錄下我們有什么，然后采取行動。”

Xplenty的莫爾說，讓人們對數(shù)據(jù)囤積問題有所認(rèn)識乃是當(dāng)務(wù)之急。“必須讓人們明白他們應(yīng)該如何處理他們的數(shù)據(jù)，尤其是在評估數(shù)據(jù)架構(gòu)方面，特別是在云端。”他說，“人們不知道該如何在云端建立數(shù)據(jù)架構(gòu)。”

最終，數(shù)據(jù)囤積問題必須得到自下而上的解決，這意味著要讓具體的人員改變他們對數(shù)據(jù)的看法。“重要的不是你最后收集到了多少數(shù)據(jù)，而是你從數(shù)據(jù)中獲得了多少價值。”他說，“這是所有分析師和所有數(shù)據(jù)專家每天都應(yīng)該問問自己的問題。”

來源：數(shù)據(jù)分析網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。