避免踩坑，大數(shù)據(jù)分析前你必須要注意的6個(gè)誤區(qū)

大數(shù)據(jù) 數(shù)據(jù)分析機(jī)器算法

機(jī)房360 | 2016-09-09 11:07

【數(shù)據(jù)猿導(dǎo)讀】你的公司是否仍然在努力理解大數(shù)據(jù)是什么，以及如何管理嗎?這里有6個(gè)關(guān)于大數(shù)據(jù)的誤區(qū)，行業(yè)專家將幫助你把真相從虛構(gòu)的大數(shù)據(jù)領(lǐng)域中分離出來

你的組織是否在考慮分析數(shù)據(jù)的最佳方式?以下是在你采用大數(shù)據(jù)分析之前，需要注意的有關(guān)大數(shù)據(jù)的6個(gè)誤區(qū)。

云計(jì)算的應(yīng)用，更快的數(shù)據(jù)處理速度，以及從物聯(lián)網(wǎng)輸入大量的數(shù)據(jù)，這些意味著，企業(yè)現(xiàn)在正在收集前所未見的數(shù)據(jù)量。現(xiàn)在大數(shù)據(jù)比以往任何時(shí)候都大。但是如何組織、處理和理解數(shù)據(jù)仍然是許多組織面臨的一個(gè)主要挑戰(zhàn)。

你的公司是否仍然在努力理解大數(shù)據(jù)是什么，以及如何管理嗎?這里有6個(gè)關(guān)于大數(shù)據(jù)的誤區(qū)，行業(yè)專家將幫助你把真相從虛構(gòu)的大數(shù)據(jù)領(lǐng)域中分離出來。

1.大數(shù)據(jù)意味著“很多”數(shù)據(jù)

目前，大數(shù)據(jù)已經(jīng)成為一個(gè)流行詞。但人們通常對它真正的含義還是不清楚。有些人將大數(shù)據(jù)簡單地認(rèn)為是大量的數(shù)據(jù)。但是，這并不完全正確，它比這稍微復(fù)雜一些。大數(shù)據(jù)是指一個(gè)數(shù)據(jù)集，無論是結(jié)構(gòu)(如數(shù)據(jù)表)或非結(jié)構(gòu)化(如元數(shù)據(jù)從電子郵件)結(jié)合的數(shù)據(jù)，如社會媒體分析或物聯(lián)網(wǎng)數(shù)據(jù)，形成一個(gè)更大的故事。大數(shù)據(jù)故事說明組織很難用傳統(tǒng)的分析技術(shù)來捕獲發(fā)生的趨勢。

豐田研究院的數(shù)據(jù)研究總監(jiān)吉姆•阿德勒表達(dá)了一個(gè)很好的觀點(diǎn)：“數(shù)據(jù)也有質(zhì)量。這就像水一樣：玻璃容器中的水是非常易于管理。但是，如果混雜在洪水中，這將是壓倒性的災(zāi)害。”他說，“在數(shù)據(jù)分析系統(tǒng)中，工作在一臺機(jī)器的的數(shù)據(jù)將被沖走時(shí)，其數(shù)據(jù)規(guī)模將增長100或1000倍。所以，當(dāng)然，原型雖小，但其架構(gòu)卻很大。”

2.數(shù)據(jù)需要清潔

“最大的誤區(qū)就是你必須要有干凈的數(shù)據(jù)進(jìn)行分析。”BeyondCore公司首席執(zhí)行官阿里吉特•森古普塔說，“沒有人有干凈的數(shù)據(jù)，必須將數(shù)據(jù)進(jìn)行清理，否則分析是行不通的。這是一個(gè)瘋狂的想法。你要做的就是進(jìn)行一個(gè)足夠好的分析。你要分析所有的數(shù)據(jù)，盡管這些數(shù)據(jù)是骯臟的，這只說明你有數(shù)據(jù)質(zhì)量問題。我可以告訴你一些模式，盡管數(shù)據(jù)存在質(zhì)量問題，但完全可以進(jìn)行正常分析?，F(xiàn)在，你可以集中進(jìn)行數(shù)據(jù)質(zhì)量工作，只是提高數(shù)據(jù)可以得到稍微好一點(diǎn)的洞察力。”

InOutsource商業(yè)智能和分析總監(jiān)梅根•布茨梅因?qū)Υ吮硎举澩?ldquo;很多時(shí)候，企業(yè)就會將這些工作能拖就拖，因?yàn)樗麄冋J(rèn)為數(shù)據(jù)是不干凈的，這是沒有必要的。部署的分析應(yīng)用程序?qū)⒖梢哉业綌?shù)據(jù)的薄弱環(huán)節(jié)，”她說。“一旦這些問題已經(jīng)確定，清理計(jì)劃可以投入到位。然后，分析應(yīng)用程序可以利用一種機(jī)制，加大清理力度，并監(jiān)測進(jìn)展情況。”

布茨梅因說。“一旦你把這些數(shù)據(jù)整合在一起，你將在一個(gè)應(yīng)用程序中賦予它生命的視覺，你可以看到這些匯集在一起的數(shù)據(jù)的關(guān)聯(lián)，你會很快看到你的資料不足。”她說，“你可以看到數(shù)據(jù)的問題在于要提供一個(gè)清理數(shù)據(jù)的基準(zhǔn)。”

3.等待，讓你的數(shù)據(jù)完美

你不應(yīng)該等待清理你的數(shù)據(jù)，這里還有一個(gè)原因，森古普塔說，“在你完全清除數(shù)據(jù)之后，這可能需要三個(gè)月的時(shí)間，然而三個(gè)月后，這些數(shù)據(jù)已經(jīng)陳舊過時(shí)了。”因此，這些信息將不再適用。

森古普塔表示，第一州際銀行的喬希•巴特曼在會議提出了一個(gè)重要觀點(diǎn)。喬希展示了他是如何運(yùn)行分析，發(fā)現(xiàn)問題，分析變化，重新運(yùn)行分析的。他說，“你看，我的分析時(shí)間只有大約四到五分鐘。所以，如果我可以運(yùn)行分析，發(fā)現(xiàn)問題，解決問題，再重新進(jìn)行分析，并在四、五分鐘后查看報(bào)告，改變?nèi)绾翁幚矸治龅姆椒ā?rdquo;

森古普塔用編碼來比喻那些舊方式。“我的一切都是正確的，然后我進(jìn)行編碼。但現(xiàn)在，每個(gè)人進(jìn)行編碼都不太靈活。”他說。“你寫好程序之后，你必須要測試它，并查看如何能使它更好，那么等它變得更好之后。世界發(fā)生了變化，人們?nèi)匀徊捎玫氖桥f的做事方法。”

4.數(shù)據(jù)湖

數(shù)據(jù)湖是持有大量的原始結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的松散的存儲庫，經(jīng)常在大數(shù)據(jù)的背景下提到。

唯一的問題是，盡管他們是如何經(jīng)常被引用，但它們卻不存在，阿德勒說，“一個(gè)組織的數(shù)據(jù)不被倒入一個(gè)數(shù)據(jù)湖中。這是精心策劃的一個(gè)部門的數(shù)據(jù)庫。鼓勵(lì)集中使用專業(yè)知識。他們還提供了良好的數(shù)據(jù)治理和合規(guī)性所需的問責(zé)性和透明度。”

5.分析數(shù)據(jù)是昂貴的

如果假定在數(shù)據(jù)分析工具涉及一些費(fèi)用的話，你可能會害怕獲得數(shù)據(jù)。而可以告訴你的有好消息是，如今有許多免費(fèi)的數(shù)據(jù)工具，任何人都可以開始使用這些工具來分析大數(shù)據(jù)。

同時(shí)，森古普塔表示，當(dāng)今云計(jì)算的低成本意味著“你真的可以做那些以前從來不可能實(shí)現(xiàn)的的事情。”

6.機(jī)器算法將取代人類分析

森古普塔認(rèn)為在分析大數(shù)據(jù)方法有一個(gè)有趣的二分法。“有人說，解決這個(gè)問題需要成千上萬的數(shù)據(jù)科學(xué)家來分析解決，隨后，又有人說，采用機(jī)器學(xué)習(xí)就可以做到這一切。這將是完全自動(dòng)的。”

但是，桑古塔并不認(rèn)為這些都是合適的解決方案。“沒有足夠的數(shù)據(jù)科學(xué)家，成本將快速上升。”他說，“此外，企業(yè)用戶有多年的域名登錄經(jīng)驗(yàn)，并有著對他們業(yè)務(wù)的直覺。當(dāng)你請來一個(gè)數(shù)據(jù)科學(xué)家，并認(rèn)為他會搞定這些工作，并告訴你該怎么做。這實(shí)際上創(chuàng)造了一個(gè)確切的錯(cuò)誤，數(shù)據(jù)科學(xué)家們往往無法無法足夠了解企業(yè)的業(yè)務(wù)。”

“完美”的數(shù)據(jù)科學(xué)家，是那些準(zhǔn)確理解具體業(yè)務(wù)如何運(yùn)作，以及其數(shù)據(jù)是如何工作的，這是一個(gè)誤區(qū)。森古普塔說，“這樣的人根本不存在。”

在現(xiàn)實(shí)中，森古普塔說，“大多數(shù)數(shù)據(jù)科學(xué)項(xiàng)目實(shí)際上沒有得到實(shí)施，因?yàn)樗侨绱似D難，需要幾個(gè)月得到完成，而當(dāng)它完成的時(shí)候，你所關(guān)心的問題是已經(jīng)陳舊過時(shí)了。”

但是，也有過于依賴機(jī)器學(xué)習(xí)問題。“機(jī)器學(xué)習(xí)只是給出一個(gè)答案，但并沒有解釋。它告訴人們該怎么做，而不是為什么要那樣做，”他說。“人們不喜歡別人告訴他該怎么做，尤其是神奇的機(jī)器。”他說，其關(guān)鍵是不只是答案，而是其解釋和建議。

一方面，他說，數(shù)據(jù)科學(xué)家將變得越來越專業(yè)化，而這是真正困難的問題。“想一想各機(jī)構(gòu)和企業(yè)開始建設(shè)了數(shù)據(jù)處理部門和一些處理部門。世界500強(qiáng)企業(yè)也有數(shù)據(jù)處理部門“或數(shù)字加工部門。但他們基本上變成了Excel，Word和PowerPoint。”盡管如此，人們?nèi)匀皇菙?shù)據(jù)和數(shù)字處理方面的專家。

“如果我去摩根士丹利，相信我，那些數(shù)據(jù)處理和數(shù)字處理方面的專家仍然存在。他們只是有著不同的名稱和不同的工作，但在真正的情況下，這些人仍然存在，但80%-90%的專家已經(jīng)轉(zhuǎn)移到Excel，Word和PowerPoint方面，這是全球在大數(shù)據(jù)方面應(yīng)該發(fā)展的主要原因。”

來源：機(jī)房360

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。