干貨來襲，三種優(yōu)化方式讓你的數(shù)據(jù)分析“如虎添翼”

優(yōu)化數(shù)據(jù)分析互聯(lián)網(wǎng) 大數(shù)據(jù)

丑燦 | 2016-04-19 11:40

【數(shù)據(jù)猿導讀】融合式基礎(chǔ)架構(gòu)系統(tǒng)為我們提供了很多有效進行大數(shù)據(jù)分析所需的資源，包括處理Hadoop的能力以及大規(guī)模存儲能力

每年，數(shù)據(jù)技術(shù)企業(yè)需要管理的數(shù)據(jù)量和數(shù)據(jù)類型正在不斷攀升。我們平時所謂的大數(shù)據(jù)，包括了從社交網(wǎng)站的博文、音頻和圖像到成交記錄、傳感器信息數(shù)據(jù)和視頻的的每一種信息，這些數(shù)據(jù)正在不斷的增長。根據(jù)IDC，數(shù)據(jù)正在以每年40%的速度增長，并且在接下來的十年當中，這個增長速度仍將持續(xù)。

企業(yè)們正掙扎于如何有效地收集和儲存快速增長的數(shù)據(jù)問題中。但是真正能讓企業(yè)從數(shù)據(jù)中獲利的辦法就是分析那些能夠改進產(chǎn)品質(zhì)量、加快決策制定、提高消費者滿意度以及優(yōu)化商業(yè)流程的方法。根據(jù)戴爾的調(diào)查報告顯示，那些采用大數(shù)據(jù)技術(shù)提案的企業(yè)當中，有89%的企業(yè)在公司的決策制定中顯現(xiàn)出卓越的提升。來自于麥肯錫全球研究機構(gòu)的數(shù)據(jù)顯示，那些在企業(yè)內(nèi)部大規(guī)模采用數(shù)據(jù)分析技術(shù)的零售商可以將他們的經(jīng)營利潤提高到60%以上，而那些采用數(shù)據(jù)分析技術(shù)的醫(yī)療機構(gòu)可以將自己的經(jīng)營成本降低8個百分點。

若想獲取這樣的利益，需要企業(yè)建立具有可擴展性、靈活性以及節(jié)省成本的IT基礎(chǔ)設(shè)施。但是企業(yè)也可以利用傳統(tǒng)的IT技術(shù)架構(gòu)來滿足對于數(shù)據(jù)分析的擴展性要求，但是不久之后企業(yè)就會發(fā)現(xiàn)，他們在追求數(shù)據(jù)分析所帶來的價值和滿足大量數(shù)據(jù)分析要求的道路上，將會因為IT系統(tǒng)的性能讓數(shù)據(jù)分析量受到限制。所有的這些都讓企業(yè)傳統(tǒng)的IT架構(gòu)深陷圇圄之中——不僅對于系統(tǒng)的數(shù)據(jù)存儲量有要求，還對處理能力和網(wǎng)絡(luò)帶寬有嚴苛的要求。

其中最大的問題就是傳統(tǒng)的IT系統(tǒng)架構(gòu)需要把數(shù)據(jù)量縮小成先管的數(shù)據(jù)庫格式，這種格式的大小、速度以及數(shù)據(jù)處理的規(guī)模都是有限的。“你面臨的后果就是不得不丟掉這些數(shù)據(jù)或者任由他老化，因為相關(guān)的數(shù)據(jù)庫僅僅能夠處理這些容量的數(shù)據(jù)，這意味著你只能對所有數(shù)據(jù)的子集進行分析處理。”來自Taneja Group的一位高級分析師說。

融合式基礎(chǔ)架構(gòu)系統(tǒng)為我們提供了很多有效地進行大數(shù)據(jù)分析所需的資源，包括處理Hadoop的能力以及大規(guī)模存儲能力。如果想讓融合式基礎(chǔ)架構(gòu)系統(tǒng)實現(xiàn)大數(shù)據(jù)的分析，需要以下三種能力：

Hadoop

Hadoop是分布式計算的開源軟件，對于大數(shù)據(jù)分析至關(guān)重要。他無疑是解決快速增長的數(shù)據(jù)處理、存儲以及分析問題的不二之選。

“Hadoop的生態(tài)系統(tǒng)可以讓你保存你所有的原始數(shù)據(jù)，因為你可以通過更多的本地磁盤增加更多的數(shù)據(jù)節(jié)點來擴展你的系統(tǒng)，” Matchett解釋說。“因此，如果你有一個分析任務(wù)需要花費4小時的話，那么當你將數(shù)據(jù)量從100千兆字節(jié)變成200千兆字節(jié)的話，系統(tǒng)仍舊可以用4小時完成分析。”

存儲

大量的數(shù)據(jù)就需要有相應(yīng)大容量的存儲能力，并且數(shù)據(jù)存儲正快速不斷的擴張，所以這要要求我們盡可能建立一個可以不斷擴容的數(shù)據(jù)存儲系統(tǒng)架構(gòu)。但是一些融合式基礎(chǔ)架構(gòu)系統(tǒng)仍舊使用傳統(tǒng)方式的儲存陣列。伴隨著更多快閃記憶體陣列的激增，Matchett強調(diào)了使用具有擴展儲存方案的融合性基礎(chǔ)架構(gòu)的重要性。

數(shù)據(jù)處理環(huán)境的優(yōu)化

和傳統(tǒng)的架構(gòu)相比，融合性基礎(chǔ)架構(gòu)總體上可以提供相對更便捷和更快速的擴展性能，性能優(yōu)越的環(huán)境對于大數(shù)據(jù)分析而言可以讓你的運算能力與儲存能力互補干擾。“理想的狀態(tài)就是讓數(shù)據(jù)的計算與數(shù)據(jù)的存儲相互獨立進行。” Matchett說。

來源：化學數(shù)據(jù)聯(lián)盟

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。