浪潮云海Insight 三劍客護航“大數(shù)據(jù)+”時代

大數(shù)據(jù) 浪潮大數(shù)據(jù)生態(tài) 數(shù)據(jù)庫

賽迪網(wǎng) | 2016-06-28 13:33

【數(shù)據(jù)猿導(dǎo)讀】浪潮近期同步推出云海Insight三劍客：云海Insight HD、云海Insight MPP、云海Insight MemDB，涵蓋了當(dāng)前主流的分布式數(shù)據(jù)存儲和計算組件，能支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等幾乎全部數(shù)據(jù)類型的處理

天下武功唯快不破，然“大數(shù)據(jù)＋”時代的開啟，讓很多成名已久的“武林高手”扼腕嘆息，結(jié)構(gòu)化數(shù)據(jù)包打天下的時代已經(jīng)成為歷史！從IT到DT意味著什么？意味著需要頓悟新的功法，應(yīng)對更殘酷的江湖競爭！

繼云計算之后，大數(shù)據(jù)迅速躋身IT江湖熱門功法排行榜。云和大數(shù)據(jù)好比硬幣的兩面，云計算是大數(shù)據(jù)處理的依托平臺，大數(shù)據(jù)則是云計算最典型的應(yīng)用，正引發(fā)全球范圍內(nèi)深刻的技術(shù)和商業(yè)變革。在這個廣闊的市場空間，浪潮怎會缺席？

時勢造英雄：結(jié)構(gòu)化數(shù)據(jù)“之退”與非結(jié)構(gòu)化數(shù)據(jù)“之進”

傳統(tǒng)數(shù)據(jù)處理方式，以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)增長緩慢、系統(tǒng)都比較孤立，用傳統(tǒng)關(guān)系型數(shù)據(jù)庫來管理這些數(shù)據(jù)基本可以滿足各類應(yīng)用開發(fā)。但是在大數(shù)據(jù)時代，數(shù)據(jù)來源更加豐富，很多數(shù)據(jù)通過設(shè)備、服務(wù)器、應(yīng)用自動產(chǎn)生的，這些數(shù)據(jù)以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，增長速度快，價值密度低。所謂的“大數(shù)據(jù)生態(tài)”，數(shù)據(jù)類型多樣、計算場景復(fù)雜，傳統(tǒng)數(shù)據(jù)庫對這類需求和應(yīng)用在架構(gòu)和功能上幾乎束手無策，需要不同的技術(shù)手段支撐，這樣其實就給類似Hadoop、MPP、內(nèi)存數(shù)據(jù)庫等架構(gòu)體系提供了很好的發(fā)展機會和空間。大數(shù)據(jù)生態(tài)除了傳統(tǒng)關(guān)系數(shù)據(jù)庫之外，還需要MPP、 NewSQL、NoSQL、流式計算、實時計算、內(nèi)存計算等多種存儲和計算手段。

浪潮近期同步推出云海Insight三劍客：云海Insight HD、云海Insight MPP、云海Insight MemDB，涵蓋了當(dāng)前主流的分布式數(shù)據(jù)存儲和計算組件，能支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等幾乎全部數(shù)據(jù)類型的處理。幫助企業(yè)方便快捷地架起完整的大數(shù)據(jù)處理平臺，以期幫助用戶構(gòu)建海量數(shù)據(jù)的“極速”處理能力，應(yīng)對大數(shù)據(jù)的復(fù)雜應(yīng)用場景。對各類數(shù)據(jù)進行整理、交叉分析、比對碰撞、內(nèi)容檢索、深度挖掘、特征提取等，對用戶提供自助的實時、近時、迭代的響應(yīng)能力等。

電視劇《歡樂頌》熱播，通過大數(shù)據(jù)技術(shù)，對網(wǎng)絡(luò)直播平臺的收視點擊情況和網(wǎng)友互動評論情況進行分析，可以知道哪個女主最受男性歡迎。這在傳統(tǒng)的收視統(tǒng)計中，是需要收視儀定點采樣、人員專門統(tǒng)計等一些列手段，花費大量工作量才能完成的。作為新興技術(shù)技術(shù)，大數(shù)據(jù)的發(fā)展已經(jīng)從概念到大規(guī)模落地，正在為各行業(yè)帶來一些新奇的變化。

1、分布式計算引擎HD

HD適合PB級以上的海量數(shù)據(jù)離線處理，可在大數(shù)據(jù)應(yīng)用建設(shè)中輕松構(gòu)建基礎(chǔ)資源庫。

它采用Hadoop 架構(gòu)，融合了業(yè)界最新 Spark 實時計算架構(gòu)，讓二者優(yōu)勢互補。可以擴展到數(shù)千個節(jié)點的集群規(guī)模，設(shè)計了高度兼容SQL語句的解析引擎，提供可視化運維、統(tǒng)一用戶、證書認(rèn)證滾動升級能力，讓用戶使用Hadoop 像使用數(shù)據(jù)庫一樣簡單。

HD具備企業(yè)級、高安全性、易運維、強兼容性等諸多特點。

2、分布式數(shù)據(jù)倉庫MPP

MPP是處理TB-PB級的結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫和數(shù)據(jù)集市的最優(yōu)選擇。

它采用sharenothing架構(gòu)，性能和擴展性優(yōu)于傳統(tǒng)的oracle數(shù)據(jù)庫（oracle RAC share disk架構(gòu)）和SQL server數(shù)據(jù)庫（share everything）。

MPP是基于MPP架構(gòu)的分布式關(guān)系型數(shù)據(jù)庫，其SQL查詢性能比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫提升 10～100 倍；支持千節(jié)點內(nèi)的穩(wěn)定運行，可在BI領(lǐng)域替換傳統(tǒng)架構(gòu)。

總體來說，分布式數(shù)據(jù)倉庫MPP具備開放彈性架構(gòu)、在線線性擴展、擁有成本可控、海量并行處理、優(yōu)秀混合負(fù)載、平臺持續(xù)可用、易于管理維護等特點，具體如下圖所示。

3、內(nèi)存數(shù)據(jù)庫MemDB

MemDB適合TB數(shù)量級以下規(guī)模超高并發(fā)訪問的OLTP和OLAP實時計算和加速場景。

它基于內(nèi)存的無共享分布式架構(gòu)，支持Key-Value、及SQL關(guān)系型存儲，具備跨地區(qū)集群能力；MemDB同時支持分布式事務(wù)和毫秒級響應(yīng)，善于進行實時數(shù)據(jù)處理。

內(nèi)存數(shù)據(jù)庫MemDB具備在線可擴展、計算高性能、數(shù)據(jù)高可靠、跨地域分布等特點，具體如下圖所示。

大數(shù)據(jù)的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。這句話道出了大數(shù)據(jù)的本質(zhì)，隨著大數(shù)據(jù)在不同行業(yè)、不同業(yè)務(wù)領(lǐng)域的滲透，對海量數(shù)據(jù)的挖掘和運用已經(jīng)成為推動行業(yè)發(fā)展的重要因素。

面對如此海量的數(shù)據(jù)，如何高效地處理、運營這些數(shù)據(jù)，是首先需要解決的問題，自然必須借助高效的工具。云海Insight的三個子產(chǎn)品，即可以分別對應(yīng)不同的大數(shù)據(jù)應(yīng)用場景也可以組合解決復(fù)雜的大數(shù)據(jù)應(yīng)用場景，真正幫助用戶以數(shù)據(jù)事實為依據(jù)，以數(shù)據(jù)分析為導(dǎo)向，讓整個行業(yè)轉(zhuǎn)向數(shù)據(jù)化運營的高速軌道上來。

三劍客各司其職，適合的就是對的！

據(jù)統(tǒng)計顯示，全球數(shù)據(jù)量從2010年到2020年將增長50倍，達(dá)到前所未有的40ZB。40ZB是什么概念？相當(dāng)于全世界沙粒數(shù)量的40倍。中國數(shù)據(jù)量的增速遠(yuǎn)遠(yuǎn)高于全球總體水平，2012年的數(shù)據(jù)量為364EB，占全球總數(shù)的13%，2020年將達(dá)到8600EB，所占比例將達(dá)21%。不過我國大數(shù)據(jù)中有價值的信息只能占到33%，真正能夠發(fā)揮價值的數(shù)據(jù)只占5‰左右。

面對龐大的數(shù)據(jù)量，用戶將面臨存儲系統(tǒng)成本高、存不起，傳統(tǒng)可擴展性差、擴不了，大量非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)用傳統(tǒng)計算方式算不出等問題和挑戰(zhàn)！隨著業(yè)務(wù)的復(fù)雜性、多樣性及數(shù)據(jù)量的急劇增長，加上各種業(yè)務(wù)數(shù)據(jù)處理時間要求不一致，僅靠單一的產(chǎn)品無法滿足所有業(yè)務(wù)需求，浪潮云海Insight大數(shù)據(jù)處理平臺上的三劍客云海Insight HD、云海Insight MPP、云海Insight MemDB各司其職，分別使用不同的場景，對于要求苛刻的您來說，選擇適合自己的就是對的。

分布式計算引擎HD通常面向海量數(shù)據(jù)存儲、分析的應(yīng)用建設(shè)，目前已廣泛用于公安（科信－警務(wù)云／技偵－4G數(shù)據(jù)匯集／交管－六合一平臺）、稅務(wù)（金三二階段）、網(wǎng)安（網(wǎng)綜及應(yīng)用）、通信（數(shù)據(jù)管理中心）、交通（高速－車輛軌跡）等行業(yè)的大數(shù)據(jù)應(yīng)用建設(shè)中。此外，年度季度數(shù)據(jù)統(tǒng)計分析等海量非實時的業(yè)務(wù)處理場景，也很適用。

分布式數(shù)據(jù)倉庫MPP則廣泛應(yīng)用于公安（指揮決策）、稅務(wù)（大屏／電子稅務(wù)局）、能源（經(jīng)營分析）等行業(yè)的數(shù)據(jù)集市、指揮決策、統(tǒng)計分析類系統(tǒng)中。它適用于中等規(guī)模數(shù)量級別的大數(shù)據(jù)處理，可在BI領(lǐng)域代替?zhèn)鹘y(tǒng)架構(gòu)。

內(nèi)存數(shù)據(jù)庫MemDB主要適用于數(shù)據(jù)計算、數(shù)據(jù)寫入、數(shù)據(jù)同步類場景，適配快速實時性數(shù)據(jù)處理，數(shù)據(jù)量級稍小，類似于網(wǎng)上訂票、余票查詢這種高實時性要求的業(yè)務(wù)。

整體來看，云海Insight可提供數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)緩沖沉淀、分析數(shù)據(jù)集市、實時數(shù)據(jù)分析和數(shù)據(jù)可視化展現(xiàn)的多種業(yè)務(wù)處理能力，提供了SQL、API、命令行、可視化界面多種操作方式，可輕松實現(xiàn)多類型訪問接口。云海Insight支持標(biāo)準(zhǔn)化的x86平臺，支持融合架構(gòu)的大數(shù)據(jù)一體機，也可以以內(nèi)置服務(wù)的形式無縫集成進云海IOP-PaaS平臺。

DT時代的大數(shù)據(jù)生態(tài)

近年來，浪潮堅持尋求突破，在智慧城市、公安、煙草、交通、醫(yī)療、旅游等多個行業(yè)成功積累了云和大數(shù)據(jù)落地經(jīng)驗。全域公共免費WIFI城市、云上集聚的大數(shù)據(jù)公共平臺、政府?dāng)?shù)據(jù)開放示范城市、大數(shù)據(jù)交易所……這些都是浪潮對大數(shù)據(jù)的生動詮釋。

在大數(shù)據(jù)應(yīng)用的基礎(chǔ)設(shè)施層面，浪潮云海Insight大數(shù)據(jù)產(chǎn)品套件與云海IOP平臺、云海大數(shù)據(jù)一體機一起，共同為行業(yè)用戶提供底層平臺支撐。致力于進行大數(shù)據(jù)應(yīng)用開發(fā)的合作伙伴，可以專注利用云海Insight開發(fā)出自己的應(yīng)用，而無須關(guān)注底層實現(xiàn)。

可以看到，從IT走向DT時代并不復(fù)雜，只要找到合適的工具，分分鐘進入DT時代。當(dāng)然未來也不再是孤膽英雄、單打獨斗的時代，生態(tài)系統(tǒng)比任何時候都重要，浪潮期待與更多合作伙伴共同攜手，提供更加豐富的大數(shù)據(jù)應(yīng)用。

來源：賽迪網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。