掌握10到30種技術(shù)，只為創(chuàng)建一個大數(shù)據(jù)解決方案

大數(shù)據(jù)解決方案數(shù)據(jù)分析編程語言

機房360 | 2016-11-23 10:35

【數(shù)據(jù)猿導(dǎo)讀】如今，大數(shù)據(jù)應(yīng)用程序比常規(guī)應(yīng)用程序復(fù)雜10倍，開發(fā)人員通常需要了解大量的技術(shù)，以使大數(shù)據(jù)能夠正常工作

掌握10到30種技術(shù)，只為創(chuàng)建一個大數(shù)據(jù)解決方案

大數(shù)據(jù)的應(yīng)用仍然太難了。盡管有很多的炒作的成分，但大多數(shù)企業(yè)仍然努力從他們的數(shù)據(jù)中獲得價值。而Dresner咨詢服務(wù)公司得出結(jié)論：“盡管長時間的意識培養(yǎng)和炒作，大數(shù)據(jù)分析的實際部署目前并不廣泛適用于大多數(shù)組織。”

這是人員的問題。盡管有說服力的數(shù)據(jù)，企業(yè)高管們往往寧愿忽略這些數(shù)據(jù)。但是，大數(shù)據(jù)復(fù)雜性的一大部分是因為所需要的軟件。雖然Spark和其他更新的系統(tǒng)已經(jīng)改善了軌跡，但大數(shù)據(jù)基礎(chǔ)設(shè)施仍然太難了，這是杰西·安德森精明的一點。

實施起來困難

長期以來，人才一直是大數(shù)據(jù)采用的最大障礙之一。2015年Bain&Co.公司通過對高級IT主管調(diào)查發(fā)現(xiàn)，59%的受訪者認為他們的公司缺乏對數(shù)據(jù)和業(yè)務(wù)有意義的能力。調(diào)查機構(gòu)Gartner公司分析師尼克·荷德科特別指出，“到2018年，由于技能和集成的挑戰(zhàn)，70%的Hadoop部署將無法滿足成本節(jié)省和收入目標。”人員的技能很重要，換句話說，相關(guān)人才供不應(yīng)求。

隨著時間的推移，人員的技能差距將會減少，當(dāng)然，但是了解平均Hadoop部署是不平凡的。安德森指出，大數(shù)據(jù)的復(fù)雜性歸結(jié)為兩個主要因素：“你需要掌握10到30種不同的技術(shù)，只是為了創(chuàng)建一個大數(shù)據(jù)解決方案。而采用分布式系統(tǒng)是比較簡單的”。

問題是什么

安德森表示典型的移動應(yīng)用程序與Hadoop支持的應(yīng)用程序的復(fù)雜性，注意后者涉及“盒子”或組件的數(shù)量的兩倍。然而，用簡單的詞語表達，“Hadoop解決方案的'HelloWorld'比其他域中到高級設(shè)置更復(fù)雜。

安德森說，人們面臨復(fù)雜的困難，是需要了解涉及的廣泛的系統(tǒng)。例如，人們可能需要知道10種技術(shù)來構(gòu)建大數(shù)據(jù)應(yīng)用程序，但這可能需要熟悉另外20種技術(shù)，只需知道在給定情況下使用哪種技術(shù)即可。否則，例如，你將如何知道使用MongoDB而不是Hbase?還是Cassandra?或neo4j?

此外，在分布式系統(tǒng)中運行有其復(fù)雜性，而大數(shù)據(jù)的技能短缺依然存在。

簡單的出路

企業(yè)正在努力盡量減少在大數(shù)據(jù)構(gòu)建中所固有的復(fù)雜性的一種方法是轉(zhuǎn)向公共云。根據(jù)最近的Databricks對ApacheSpark用戶的調(diào)查，Spark到公共云的部署在過去一年中增長了10%，達到了總體部署的61%。云計算代替了那些繁瑣以及不靈活的內(nèi)部部署基礎(chǔ)設(shè)施，可以提供靈活性。

然而，它并不能消除所涉及的技術(shù)的復(fù)雜性。關(guān)于此或數(shù)據(jù)庫或消息代理的相同選擇仍然存在。這種選擇，以及其中的復(fù)雜性，不會很快消失。像Cloudera和Hortonworks這樣的公司已經(jīng)嘗試簡化這些選擇，將它們整合到堆棧中，但是它們?nèi)匀换旧咸峁┬枰焕斫庖员阌杏玫墓ぞ?。AmazonWebServices公司通過其Lambda服務(wù)進一步發(fā)展，這使得開發(fā)人員能夠?qū)Ｗ⒂诰帉憫?yīng)用程序代碼，而AWS負責(zé)所有底層基礎(chǔ)架構(gòu)。

但下一步是完全為最終用戶預(yù)先制作應(yīng)用程序，這是華爾街分析師彼得·戈德馬克所說的銷售基礎(chǔ)設(shè)施組件的更大的機會。用他的話來說，一個主要類別的“獲獎?wù)?rdquo;是應(yīng)用和分析供應(yīng)商，它將基礎(chǔ)技術(shù)的復(fù)雜性抽象為一個用戶友好的前端。企業(yè)用戶的可尋址的受眾將比程序員的市場致力于核心技術(shù)。

這是市場需要去的地方，而且是快速的。人們幾乎沒有做過。對于每個能夠掌握所有的相關(guān)的大數(shù)據(jù)技術(shù)公司，包括那些高端產(chǎn)業(yè)的企業(yè)，只是想只是希望重塑自己，需要有人使他們的數(shù)據(jù)更具可操作性，人們現(xiàn)在需要這類供應(yīng)商出現(xiàn)。

來源：機房360

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。