臨淵慕魚，不如退而結(jié)網(wǎng)：聽IT媒體人談?wù)勊壑械摹按髷?shù)據(jù)”

IT媒體大數(shù)據(jù) 云計(jì)算分布式存儲

劉策 | 2016-07-07 14:41

【數(shù)據(jù)猿導(dǎo)讀】云計(jì)算架構(gòu)與分布式存儲的融合，是大數(shù)據(jù)處理的前提與基礎(chǔ)，也推動了大數(shù)據(jù)時代的發(fā)展。通過業(yè)務(wù)上云，實(shí)現(xiàn)數(shù)據(jù)整合，通過數(shù)據(jù)整合實(shí)現(xiàn)應(yīng)用創(chuàng)新……如此環(huán)環(huán)相扣，最終實(shí)現(xiàn)了數(shù)據(jù)的清洗、分析與變現(xiàn)，幫助客戶實(shí)現(xiàn)更精準(zhǔn)的定位與推廣

臨淵慕魚，不如退而結(jié)網(wǎng)：聽IT媒體人談?wù)勊壑械摹按髷?shù)據(jù)”

一、

對于我這樣的IT媒體從業(yè)者來說，一般4-5月和9-10月會比較忙，因?yàn)榭蛻艨偸沁x擇在這兩個時間段推出新的產(chǎn)品、技術(shù)和解決方案。恰逢這時候也是Q2和Q4季度的新開始，一些采用自然財年的公司更是希望借助這個時候沖沖業(yè)績。

相對應(yīng)的，1-2月和7-8月就是比較閑的兩個時間段。前者是因?yàn)檎荡汗?jié)，IT屌絲男們忙著排隊(duì)買火車票回家，更沒有了上班的心思;后者則是因?yàn)榭崾铍y耐，而且接近年中，許多公司也會做半年的總結(jié)和規(guī)劃，也就相對放松了市場活動。

可是，今年的7月卻有所不同。雖然這個月才剛剛開始，但許多廠商的活動邀請就已經(jīng)紛至沓來，也讓我和那些媒體小伙伴們疲于應(yīng)付。

這不，我剛剛結(jié)束了今天的會議，準(zhǔn)備在酒店大堂的咖啡廳里休息一下，打個盹再回家。

“哎呦，李總，好久不見，快請坐”我睜開滿是困意的雙眼，看到鄰桌來了一群男男女女，聽聽他們說話的意思好像是在談客戶。

“李總，這是我們公司的王工，他現(xiàn)在負(fù)責(zé)咱們這個項(xiàng)目，要不請王工先跟您介紹一下?”這幫人說話的聲音還不小，我盡量把身子窩進(jìn)沙發(fā)里，但還是聽得清清楚楚。

“是這樣的，李總，我覺得咱們現(xiàn)在的項(xiàng)目有點(diǎn)問題，關(guān)于您強(qiáng)調(diào)的這個大數(shù)據(jù)的應(yīng)用哈……”耳邊傳來一陣渾厚的江浙口音，不用問，肯定是那個“王工”在說話。

……

我努力的讓自己不去聽他們在談什么，但無奈的是“大數(shù)據(jù)”、“分布式存儲”、“數(shù)據(jù)抓取”之類的詞匯不絕于耳。我輾轉(zhuǎn)反側(cè)仍不能寐，最后只能憤起回家。

這覺睡的，跟開會有啥區(qū)別?

二、

“大數(shù)據(jù)”一詞的泛濫并不是從今天開始的。2013年7月，我在舊金山飛往北京的航班上，百無聊賴的草草翻完了那本著名的《大數(shù)據(jù)時代》。這本書其實(shí)放在包里有段日子了，但如果不是長途飛機(jī)那種孤獨(dú)、寂寞、冷，我真心不會考慮看這么一本無趣的內(nèi)容，雖然它的讀者評價很高。

之所以評價高，不是因?yàn)閮?nèi)容有多么深刻，而是當(dāng)時討論大數(shù)據(jù)的書寥寥無幾，可贊美的就更少了。坦白來說，這本書寫的只是概念和方向，而不是技術(shù)與工具。所以嚴(yán)格來說，這本書就跟現(xiàn)在許多的所謂“專訪”、“揭秘”差不多，看起來言之鑿鑿，其實(shí)空洞無物。

如今，我隨手在亞馬遜上搜索了一下大數(shù)據(jù)的相關(guān)書籍，出現(xiàn)的內(nèi)容就達(dá)到了近2000條。從2013年到現(xiàn)在，短短三年的時間，大數(shù)據(jù)就呈現(xiàn)出井噴式的發(fā)展，直到現(xiàn)在行業(yè)內(nèi)張口閉口大數(shù)據(jù)，成為了最熱門的關(guān)鍵字。每次你刷網(wǎng)頁、逛淘寶甚至看《新聞聯(lián)播》的時候，都能看到或聽到大數(shù)據(jù)的相關(guān)內(nèi)容，這也意味著媒體口中的“大數(shù)據(jù)時代”真的到來了。

每年，包括IDC和Gartner在內(nèi)的數(shù)據(jù)公司都會發(fā)布最新的統(tǒng)計(jì)數(shù)據(jù)，說明未來的數(shù)據(jù)規(guī)模有多么多么大，人們對于數(shù)據(jù)分析的依賴有多么多么強(qiáng)，以此來說明行業(yè)發(fā)展的趨勢有多么多么好。其實(shí)仔細(xì)想想，似乎每次有新技術(shù)出現(xiàn)的時候都是類似的情況，看來這些免費(fèi)提供的報告果然不能深究，細(xì)思恐極。

就這樣，在政府、企業(yè)、科研、分析機(jī)構(gòu)的持續(xù)推動下，大數(shù)據(jù)應(yīng)用在全國范圍內(nèi)如火如荼的展開，這時候許多老板們才發(fā)現(xiàn)，似乎這三個字不僅僅是說說那么簡單。

三、

但是在大數(shù)據(jù)風(fēng)靡的同時，許多前所未有的問題也開始浮現(xiàn)出來。

算不出——傳統(tǒng)IT架構(gòu)不能適應(yīng)如此巨大的數(shù)據(jù)量需求，數(shù)據(jù)的大量涌入使得原有的IT系統(tǒng)難以為繼;

擴(kuò)不了——傳統(tǒng)IT技術(shù)資源不能共享，水平擴(kuò)展能力不足，跟不上數(shù)據(jù)的快速增長;

存不起——傳統(tǒng)存儲設(shè)備成本過高;

這些東西聽起來太枯燥，且容我來講個故事。

張三在XX創(chuàng)業(yè)大街旁開了一家賣米粉米線麻辣燙的小作坊，每個月雖然賺不了什么大錢，但是生活也算富足。不過自從張三開展了外賣業(yè)務(wù)之后，業(yè)務(wù)便一天天忙碌起來，甚至到了最后整條大街的寫字樓都在張三這里買麻辣燙。慢慢的，張三覺得原有的小作坊完全施展不開，兩口子的夫妻店也需要擴(kuò)大經(jīng)營。要不要把原有的小作坊改成大酒樓，雇傭更多的廚師服務(wù)員?張三想不明白這個問題。

張三面臨的也正是許多公司老板頭疼的事情。隨著業(yè)務(wù)規(guī)模的擴(kuò)大，一方面需要原有的IT架構(gòu)進(jìn)行調(diào)整，另一方面架構(gòu)調(diào)整意味著更多的投入，而這些投入是否能夠收到回報還是個未知數(shù)。在大數(shù)據(jù)時代，似乎每個企業(yè)都在面臨這方面的困擾，如何解決這個問題讓許多決策者陷入了兩難。

還是妻子的一句玩笑話解答了張三的疑惑——為什么不與更多的外賣APP合作，開設(shè)更多的分店?

不把雞蛋放在一個籃子里，這個道理誰都明白，但是當(dāng)事者迷的也是大有人在。好在張三想明白了這個問題——與更多的外賣APP合作，就解決了高峰期送外賣人手的問題;開設(shè)更多的分店，就解決了外賣產(chǎn)出量與送貨時間的問題。一舉兩得，妙哉妙哉。

四、

用IT的眼光看來，與外賣APP合作意味著開啟了送外賣的“云計(jì)算”模式，各家外賣公司就成為了云平臺;而開設(shè)更多的分店，則是采取了“分布式存儲”，將業(yè)務(wù)壓力分散在了更多的節(jié)點(diǎn)上，也使得業(yè)務(wù)能夠?qū)崿F(xiàn)并行化處理。

云計(jì)算架構(gòu)與分布式存儲的融合，是大數(shù)據(jù)處理的前提與基礎(chǔ)，也推動了大數(shù)據(jù)時代的發(fā)展。通過業(yè)務(wù)上云，實(shí)現(xiàn)數(shù)據(jù)整合，通過數(shù)據(jù)整合實(shí)現(xiàn)應(yīng)用創(chuàng)新……如此環(huán)環(huán)相扣，最終實(shí)現(xiàn)了數(shù)據(jù)的清洗、分析與變現(xiàn)，幫助客戶實(shí)現(xiàn)更精準(zhǔn)的定位與推廣。

如今，浪潮最新推出的云海大數(shù)據(jù)一體機(jī)產(chǎn)品可以廣泛應(yīng)用于應(yīng)對高并發(fā)分布式查詢業(yè)務(wù)優(yōu)化，海量異構(gòu)數(shù)據(jù)倉庫的構(gòu)建、大數(shù)據(jù)處理分析以及包含大數(shù)據(jù)服務(wù)的PaaS平臺建設(shè)等業(yè)務(wù)場景。據(jù)了解，浪潮云海大數(shù)據(jù)一體機(jī)包括SDA50000分布式數(shù)據(jù)庫一體機(jī)和SDA70000大數(shù)據(jù)一體機(jī)兩款產(chǎn)品，具有以下四大特性：

融合高效：采用新型分布式并行計(jì)算架構(gòu)，可橫向擴(kuò)展達(dá)到4000個節(jié)點(diǎn)，形成強(qiáng)大的計(jì)算和處理能力;通過計(jì)算、存儲和網(wǎng)絡(luò)集中池化，柜內(nèi)數(shù)據(jù)交換，資源利用率可提升40%，由于采用整機(jī)柜服務(wù)器模式，滿柜搭載32節(jié)點(diǎn)1U標(biāo)準(zhǔn)服務(wù)器，可為用戶節(jié)省75%的機(jī)房空間，整體功耗可降低66%;使用統(tǒng)一的可視化管理監(jiān)控模塊，運(yùn)維管理工作降低50%以上。在性能調(diào)優(yōu)方面，SDA70000基于SmartRack融合架構(gòu)，軟硬件預(yù)集成預(yù)調(diào)優(yōu)，性能優(yōu)于Hadoop社區(qū)版2-10倍。

敏捷易用：組件化交付，將繁瑣的大數(shù)據(jù)環(huán)境搭建過程在生產(chǎn)線完成，開箱即用，易于部署。只需插電、連接網(wǎng)絡(luò)、啟動等簡單幾步即可開始使用。一體化運(yùn)維，一站完成對軟件、計(jì)算、網(wǎng)絡(luò)和存儲單元的運(yùn)維管理，無需頻繁切換控制臺，建設(shè)周期縮短50%運(yùn)維效率提升40%。

企業(yè)級增強(qiáng)：平臺可靠性可達(dá)99.999%;針對分布式文件系統(tǒng)有30項(xiàng)優(yōu)化，例如小文件存儲優(yōu)化、數(shù)據(jù)導(dǎo)入自動創(chuàng)建二級索引等，速度提高20%;整合和增強(qiáng)HBase、HDFS、Hive、Storm等20項(xiàng)關(guān)鍵組件，適配流式計(jì)算、離線處理、交互式分析、迭代預(yù)測、圖計(jì)算等多種計(jì)算場景。

強(qiáng)大的開發(fā)支持：兼容SQL-92/99/2003、OLAP擴(kuò)展，PL/SQL兼容度大于92%;提供基于MADLib的高級機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘功能;無需數(shù)據(jù)導(dǎo)入，即可直接訪問HDFS、Hive、HBase、關(guān)系數(shù)據(jù)庫的數(shù)據(jù)，進(jìn)行統(tǒng)一的數(shù)據(jù)碰撞。

如今，包括政府、氣象、公安等許多客戶都正在應(yīng)用浪潮云海大數(shù)據(jù)一體機(jī)實(shí)現(xiàn)業(yè)務(wù)的擴(kuò)展與升級，云海大數(shù)據(jù)一體機(jī)也幫助客戶深入行業(yè)，發(fā)揮價值。不僅如此，包括公安、氣象、交通、衛(wèi)生、教育、金融、電信、銀行、金融、證券、保險、審計(jì)等各大行業(yè)浪潮云海大數(shù)據(jù)一體機(jī)也都有完善的解決方案，不斷深化與發(fā)掘數(shù)據(jù)價值。

來源：IT大嘴巴

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。