干貨！大數據時代下三種存儲架構解析

大數據存儲架構數據挖掘

田文杰 | 2016-05-13 10:56

【數據猿導讀】大數據時代，移動互聯、社交網絡、數據分析、云服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一

政府、軍隊軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統(tǒng)成為大數據基礎架構中最為關鍵的核心。

數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統(tǒng)成為大數據基礎架構中最為關鍵的核心。

大數據時代，移動互聯、社交網絡、數據分析、云服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統(tǒng)成為大數據基礎架構中最為關鍵的核心。

大數據時代下的三種存儲架構解析

傳統(tǒng)的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業(yè)務急需新型大數據處理中心來支撐。除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特征，才能滿足具備大數據特征的應用需求。這些史無前例的需求，讓存儲系統(tǒng)的架構和功能都發(fā)生了前所未有的變化。

基于大數據應用需求，“應用定義存儲”概念被提出。存儲系統(tǒng)作為數據中心最核心的數據基礎，不再僅是傳統(tǒng)分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特征之外，還要有虛擬化、并行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特征的業(yè)務應用需求。

尤其在云安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高分辨率的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩(wěn)定性，系統(tǒng)可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

(1)基于嵌入式架構的存儲系統(tǒng)

節(jié)點NVR架構主要面向小型高清監(jiān)控系統(tǒng)，高清前端數量一般在幾十路以內。系統(tǒng)建設中沒有大型的存儲監(jiān)控中心機房，存儲容量相對較小，用戶體驗度、系統(tǒng)功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業(yè)、政法行業(yè)中基本管理單元等應用較為廣泛。

(2)基于X86架構的存儲系統(tǒng)

平臺SAN架構主要面向中大型高清監(jiān)控系統(tǒng)，前端路數成百上千甚至上萬。一般多采用IPSAN或FCSAN搭建高清視頻存儲系統(tǒng)。作為監(jiān)控平臺的重要組成部分，前端監(jiān)控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節(jié)點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對于IPSAN而言，雖然在ISCSI環(huán)節(jié)數據并發(fā)讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬件平臺通用、海量數據可充分共享等優(yōu)點，仍然得到很多客戶的青睞。FCSAN在行業(yè)用戶、封閉存儲系統(tǒng)中應用較多，比如縣級或地級市高清監(jiān)控項目，大數據量的并發(fā)讀寫對千兆網絡交換提出了較大的挑戰(zhàn)，但應用FCSAN構建相對獨立的存儲子系統(tǒng)，可以有效解決上述問題。

面對視頻監(jiān)控系統(tǒng)大文件、隨機讀寫的特點，平臺SAN架構系統(tǒng)不同存儲單元之間的數據共享冗余方面還有待提高;從高性能服務器轉發(fā)視頻數據到存儲空間的策略，從系統(tǒng)架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬件數據并發(fā)性能、接入前端數據較少。上述問題催生了平臺NVR架構解決方案。

該方案在系統(tǒng)架構上省去了存儲服務器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統(tǒng)的寫入和檢索速度;同時也徹底消除了傳統(tǒng)文件系統(tǒng)由于供電和網絡的不穩(wěn)定帶來的文件系統(tǒng)損壞等問題。

平臺NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監(jiān)控數據時，可通過授權的視頻監(jiān)控客戶端直接查詢并點播相應位置的視頻監(jiān)控數據進行歷史圖像的查看。由于數據管理服務器具有監(jiān)控系統(tǒng)所有監(jiān)控點的錄像文件的索引，因此通過平臺CMS授權，視頻監(jiān)控客戶端可以查詢并點播整個監(jiān)控系統(tǒng)上所有監(jiān)控點的數據，這個過程對用戶而言也是透明的。

(3)基于云技術的存儲方案

當前，安防行業(yè)可謂“云”山“物”罩。隨著視頻監(jiān)控的高清化和網絡化，存儲和管理的視頻數據量已有海量之勢，云存儲技術是突破IP高清監(jiān)控存儲瓶頸的重要手段。云存儲作為一種服務，在未來安防監(jiān)控行業(yè)有著客觀的應用前景。

與傳統(tǒng)存儲設備不同，云存儲不僅是一個硬件，而是一個由網絡設備、存儲設備、服務器、軟件、接入網絡、用戶訪問接口以及客戶端程序等多個部分構成的復雜系統(tǒng)。該系統(tǒng)以存儲設備為核心，通過應用層軟件對外提供數據存儲和業(yè)務服務。

一般分為存儲層、基礎管理層、應用接口層以及訪問層。存儲層是云存儲系統(tǒng)的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成?；A管理層是云存儲系統(tǒng)的核心，其擔負著存儲設備間協同工作，數據加密，分發(fā)以及容災備份等工作。應用接口層是系統(tǒng)中根據用戶需求來開發(fā)的部分，根據不同的業(yè)務類型，可以開發(fā)出不同的應用服務接口。訪問層指授權用戶通過應用接口來登錄、享受云服務。其主要優(yōu)勢在于：硬件冗余、節(jié)能環(huán)保、系統(tǒng)升級不會影響存儲服務、海量并行擴容、強大的負載均衡功能、統(tǒng)一管理、統(tǒng)一向外提供服務，管理效率高，云存儲系統(tǒng)從系統(tǒng)架構、文件結構、高速緩存等方面入手，針對監(jiān)控應用進行了優(yōu)化設計。數據傳輸可采用流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數據結構，大幅提高了系統(tǒng)性能。

高清監(jiān)控存儲是一種大碼流多并發(fā)寫為主的存儲應用，對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲解決方案采用獨特的大緩存順序化算法，把多路隨機并發(fā)訪問變?yōu)轫樞蛟L問，解決了硬盤磁頭因頻繁尋道而導致的性能迅速下降和硬盤壽命縮短的問題。

針對系統(tǒng)中會產生PB級海量監(jiān)控數據，存儲設備的數量達數十臺上百臺，因此管理方式的科學高效顯得十分重要。云存儲可提供基于集群管理技術的多設備集中管理工具，具有設備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運行狀態(tài)的監(jiān)控、主動報警，圖像化系統(tǒng)檢測等功能。

在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統(tǒng)文件系統(tǒng)中，文件檢索采用的是“目錄-》子目錄-》文件-》定位”的檢索步驟，在海量數據的高清視頻監(jiān)控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。采用序號文件定位可以有效解決該問題。

云存儲可以提供非常高的的系統(tǒng)冗余和安全性。當在線存儲系統(tǒng)出現故障后，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁盤插入到冷備機中，實現所有數據的立即可用。

對于高清監(jiān)控系統(tǒng)，隨著監(jiān)控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。

云存儲系統(tǒng)除上述優(yōu)點之外，在平臺對接整合、業(yè)務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰(zhàn)。承建大型系統(tǒng)、構建云存儲的商業(yè)模式也亟待創(chuàng)新。受限于寬帶網絡、web2.0技術、應用存儲技術、文件系統(tǒng)、P2P、數據壓縮、CDN技術、虛擬化技術等的發(fā)展，未來云存儲還有很長的路要走。

來源：中國安防行業(yè)網

收藏分享

聲明：數據猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數據猿”與作者名稱，否則將會受到數據猿追責。