揭秘10個大數(shù)據(jù)神話為你排除幾個誤區(qū)

揭秘大數(shù)據(jù) 神話誤區(qū)

極客頭條 | 2017-09-13 18:25

【數(shù)據(jù)猿導讀】也許對大數(shù)據(jù)更好的一個類比是它就像一匹意氣風發(fā)的冠軍賽馬: 通過適當?shù)挠柧毢吞熨x的騎師，良種賽馬可以創(chuàng)造馬場記錄–但沒有訓練和騎手，這個強大的動物根本連起跑門都進不了。

如果數(shù)據(jù)有一點點就不錯了，那么數(shù)據(jù)是海量的話就一定棒極了，對不對這就好比說，如果一個炎日夏日里的微風讓你感覺涼爽，那么你會為一陣一陣的涼風感到欣喜若狂。以下為譯文：

也許對大數(shù)據(jù)更好的一個類比是它就像一匹意氣風發(fā)的冠軍賽馬: 通過適當?shù)挠柧毢吞熨x的騎師，良種賽馬可以創(chuàng)造馬場記錄–但沒有訓練和騎手，這個強大的動物根本連起跑門都進不了。

為了確保你組織的大數(shù)據(jù)計劃保持正軌，你需要消除以下10種常見的誤解。

1. 大數(shù)據(jù)就是‘很多數(shù)據(jù)’

大數(shù)據(jù)從其核心來講，它描述了結構化或非結構化數(shù)據(jù)如何結合社交媒體分析，物聯(lián)網的數(shù)據(jù)和其他外部來源，來講述一個”更大的故事”。該故事可能是一個組織運營的宏觀描述，或者是無法用傳統(tǒng)的分析方法捕獲的大局觀。從情報收集的角度來看，其所涉及的數(shù)據(jù)的大小是微不足道的。

2.大數(shù)據(jù)必須非常干凈

在商業(yè)分析的世界里，沒有“太快”之類的東西。相反，在IT世界里，沒有“進垃圾，出金子”這樣的東西，你的數(shù)據(jù)有多干凈一種方法是運行你的分析應用程序，它可以識別數(shù)據(jù)集中的弱點。一旦這些弱點得到解決，再次運行分析以突出 “清理過的” 區(qū)域。

3.所有人類分析人員會被機器算法取代

數(shù)據(jù)科學家的建議并不總是被前線的業(yè)務經理們執(zhí)行。行業(yè)高管Arijit Sengupta在 TechRepublic 的一篇文章中指出，這些建議往往比科學項目更難實施。然而，過分依賴機器學習算法也同樣具有挑戰(zhàn)性。Sengupta說，機器算法告訴你該怎么做，但它們沒有解釋你為什么要這么做。這使得很難將數(shù)據(jù)分析與公司戰(zhàn)略規(guī)劃的其余部分結合起來。

揭秘_大數(shù)據(jù)_神話_誤區(qū)-1

預測算法的范圍從相對簡單的線性算法到更復雜的基于樹的算法，最后是極其復雜的神經網絡。

4.數(shù)據(jù)湖是必須的

據(jù)豐田研究所數(shù)據(jù)科學家Jim Adler說，巨量存儲庫，一些IT經理們設想用它來存儲大量結構化和非結構化數(shù)據(jù)，根本就不存在。企業(yè)機構不會不加區(qū)分地將所有數(shù)據(jù)存放到一個共享池中。Adler說，這些數(shù)據(jù)是 “精心規(guī)劃”的，存儲于獨立的部門數(shù)據(jù)庫中，鼓勵”專注的專業(yè)知識”。這是實現(xiàn)合規(guī)和其他治理要求所需的透明度和問責制的唯一途徑。

5.算法是萬無一失的預言家

不久前，谷歌流感趨勢項目被大肆炒作，聲稱比美國疾病控制中心和其他健康信息服務機構更快、更準確地預測流感疫情的發(fā)生地。正如《紐約客》的Michele Nijhuis 在 2017年6月3日的文章中所寫的那樣，人們認為與流感有關詞語的搜索會準確地預測疫情即將爆發(fā)的地區(qū)。事實上，簡單地繪制本地溫度是一個更準確的預測方法。

谷歌的流感預測算法陷入了一個常見的大數(shù)據(jù)陷阱——它產生了無意義的相關性，比如將高中籃球比賽和流感爆發(fā)聯(lián)系起來，因為兩者都發(fā)生在冬季。當數(shù)據(jù)挖掘在一組海量數(shù)據(jù)上運行時，它更可能發(fā)現(xiàn)具有統(tǒng)計意義而非實際意義的信息之間的關系。一個例子是將緬因州的離婚率與美國人均人造黃油的消費量掛鉤：盡管沒有任何現(xiàn)實意義，但這兩個數(shù)字之間確實存在“統(tǒng)計上顯著”的關系。

6.你不能在虛擬化基礎架構上運行大數(shù)據(jù)應用

大約10年前，當”大數(shù)據(jù)”首次出現(xiàn)在人們眼前時，它就是Apache hadoop的代名詞。就像VMware的Justin Murray在 2017年5月12日的文章中所寫的，大數(shù)據(jù)這一術語現(xiàn)在包括一系列技術，從NoSQL(MongoDB，Apache Cassandra)到Apache Spark。

此前，批評者們質疑Hadoop在虛擬機上的性能，但Murray指出，Hadoop在虛擬機上的性能與物理機相當，而且它能更有效地利用集群資源。Murray還炮轟了一種誤解，即認為虛擬機的基本特性需要存儲區(qū)域網絡(SAN)。實際上，供應商們經常推薦直接連接存儲，這提供了更好的性能和更低的成本。

7、機器學習是人工智能的同義詞

一個識別大量數(shù)據(jù)中模式的算法和一個能夠根據(jù)數(shù)據(jù)模式得出邏輯結論的方法之間的差距更像是一個鴻溝。ITProPortal 的Vineet Jain在 2017年5月26日的文章中寫道，機器學習使用統(tǒng)計解釋來生成預測模型。這是算法背后的技術，它可以根據(jù)一個人過去的購買記錄來預測他可能購買什么，或者根據(jù)他們的聽歌歷史來預測他們喜歡的音樂。

雖然這些算法很聰明，但它們遠遠不能達到人工智能的目的，即復制人類的決策過程。基于統(tǒng)計的預測缺乏人類的推理、判斷和想象力。從這個意義上說，機器學習可能被認為是真正AI的必要先導。即使是迄今為止最復雜的AI 系統(tǒng)，比如 IBM沃森，也無法提供人類數(shù)據(jù)科學家所提供的大數(shù)據(jù)的洞察力。

8.大多數(shù)大數(shù)據(jù)項目至少實現(xiàn)了一半的目標

IT經理們知道沒有數(shù)據(jù)分析項目是100%成功的。當這些項目涉及大數(shù)據(jù)時，成功率就會直線下降，NewVantage Partners最近的調查結果顯示了這一點。在過去的五年中，95%的企業(yè)領導人表示，他們的公司參與了一個大數(shù)據(jù)項目，但只有48.4%的項目取得了”可衡量的結果”。

NewVantage Partners的大數(shù)據(jù)執(zhí)行調查顯示，只有不到一半的大數(shù)據(jù)項目實現(xiàn)了目標，而 “文化”變化是最難實現(xiàn)的。資料來源: Data Informed 。

事實上，根據(jù)2016年10月發(fā)布的 Gartner的研究結果，大數(shù)據(jù)項目很少能跨過試驗階段。Gartner的調查發(fā)現(xiàn)，只有15%的大數(shù)據(jù)實現(xiàn)被部署到生產中，與去年調查報告的14%的成功率相對持平。

9.大數(shù)據(jù)的增長將減少對數(shù)據(jù)工程師的需求

如果你公司大數(shù)據(jù)計劃的目標是盡量減少對數(shù)據(jù)科學家的需求，你可能會得到令人不快的驚喜。 2017 Robert Half 技術薪資指南指出，數(shù)據(jù)工程師的年薪平均躍升到13萬美元和19.6萬美元之間，而數(shù)據(jù)科學家的薪資目前平均在11.6萬美元和16.3萬美元之間，而商業(yè)情報分析員的薪資目前平均在11.8萬美元到13.875萬美元之間。

10.員工和一線經理將張開雙臂擁抱大數(shù)據(jù)

NewVantage Partners的調查發(fā)現(xiàn)，85.5%的公司都致力于創(chuàng)造一個“數(shù)據(jù)驅動的文化”。然而，新的數(shù)據(jù)計劃的整體成功率僅為37.1%。這些公司最常提到的三個障礙是缺乏組織一致性(42.6%)，缺乏中層管理人員的采納和理解(41%)，以及業(yè)務阻力或缺乏理解(41%)。

未來可能屬于大數(shù)據(jù)，但獲得這一技術的好處需要大量的針對多樣人性的老式辛勤工作。

來源：極客頭條

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。