一文看懂大數(shù)據(jù)安全分析的前世今生

大數(shù)據(jù) 數(shù)據(jù)安全防御模型

木千之 | 2016-08-01 10:35

【數(shù)據(jù)猿導讀】大數(shù)據(jù)時代下的信息安全面臨著新的威脅，如云平臺下的個人隱私保護，如全方位立體的信息系統(tǒng)增加了受威脅攻擊的承受面積等。幸運的是，大數(shù)據(jù)分析技術也開始滲透進入安全領域，開始與傳統(tǒng)安全技術相結(jié)合，誕生了數(shù)據(jù)時代的新型安全應對方法：大數(shù)據(jù)安全分析

引言

截止到2012年，全球數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至 ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司(IDC)的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為 0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達1.82ZB，相當于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到今天的44倍。每一天，全世界會上傳超過5億張圖片，每分鐘就有20小時時長的視頻被分享。然而，即使是人們每天創(chuàng)造的全部信息——包括語音通話、電子郵件和信息在內(nèi)的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創(chuàng)造出的關于人們自身的數(shù)字信息量。

這種趨勢是否會繼續(xù)下去?答案是肯定的，我們現(xiàn)在尚處于“物聯(lián)網(wǎng)”的最初級階段，智能設備還僅僅存在于家用電器等;而隨著技術成熟，我們的工業(yè)設備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通。互聯(lián)互通的高度信息化社會產(chǎn)生的可用數(shù)據(jù)量當超越已有的任一個社會階段。

我們已然處于“大數(shù)據(jù)”時代，不僅僅是“數(shù)據(jù)”，而且是“大”數(shù)據(jù)。

大數(shù)據(jù)時代下的信息安全面臨著新的威脅，如云平臺下的個人隱私保護，如全方位立體的信息系統(tǒng)增加了受威脅攻擊的承受面積等。每一個新的數(shù)據(jù)源加入信息網(wǎng)絡，便會成為新的潛在受攻擊點。慶幸的是，大數(shù)據(jù)分析技術也開始滲透進入安全領域，開始與傳統(tǒng)安全技術相結(jié)合，誕生了數(shù)據(jù)時代的新型安全應對方法：大數(shù)據(jù)安全分析。今天，我們就從最初的網(wǎng)絡安全開始講起，一起來回顧大數(shù)據(jù)安全分析技術誕生的整個路程。

1、網(wǎng)絡安全的主干

FreeBuf是一個關于安全的頂級盛宴，一般來說，你總是能在這里找到你關心的安全問題，比如漏洞挖掘、后門設計、智能安全等。我們今天所談當屬其中一個較大的類別，也是我們今天討論的起點——網(wǎng)絡安全(CyberSecurity)：

網(wǎng)絡安全是指：網(wǎng)絡系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護，不因偶然的或者惡意的原因而遭受到破壞、更改、泄露，系統(tǒng)連續(xù)可靠正常地運行，網(wǎng)絡服務不中斷。

僅從定義來看網(wǎng)絡安全定義吧，不免有些抽象，一般來說我們可以使用 CIA 來具體描述網(wǎng)絡安全內(nèi)涵(目標)：

機密性(Confidentiality)：數(shù)據(jù)不被非法訪問;

完整性(Integrity)：數(shù)據(jù)不被非法修改;

可用性(Availabitliy)：網(wǎng)絡服務始終良好運行;

當然，除去通用的CIA安全屬性，我們也可以要求可審計性、不可否認性(數(shù)字簽名)以及可控性(信息傳播及內(nèi)容受控，如次數(shù)或特定人群訪問權)等。具體可以根據(jù)自身的業(yè)務需求在CIA基礎上充實成為最適合自身企業(yè)的安全模型。

網(wǎng)絡安全的目標實現(xiàn)依賴于其實現(xiàn)體系，其體系可以歸結(jié)為圖1：

上圖中涉及到網(wǎng)絡安全四個關鍵機制，其中預防是安全的起始，通過風險評估與控制形成初級安全防御;當預防措施失效時，檢測機制將發(fā)現(xiàn)存在的攻擊行為，報警后由響應機制進行中斷服務、斷開連接等具體安全措施。最初的網(wǎng)絡安全框架中只有上述三類，隨著攻擊特征的研究逐漸增多，預測攻擊行為的可能性增大，因此預測機制專用于預測高風險用戶與高風險節(jié)點，響應的攻擊分析后可以作為新知識提供給預測模塊，實現(xiàn)預測的智能升級。預防、預測、檢測與相應構成了網(wǎng)絡安全的主干(整體框架)，而百花爭艷的安全技術則像是點綴其上的美艷花朵。

2、孤掌難鳴的困境

遺憾的是，現(xiàn)有的安全防御機制在大數(shù)據(jù)時代的表現(xiàn)總是力不從心。我們先來看看預防機制。

預防機制的核心是風險管理，即識別和控制機構面臨的安全風險的過程。風險管理主要包括風險識別與風險控制，風險識別指檢查和分析機構信息系統(tǒng)的安全態(tài)勢與面臨的風險，形成分線評估報告;風險控制則是指用控制手段，減少機構面臨的安全風險。風險管理可以簡單理解為“ 先評估，后實施 ”。

一般來說風險管理可以分為三個層次：管理控制，主要是策略方針，如密碼安全策略(復雜性與長度要求)，支付卡行業(yè)數(shù)據(jù)安全標準(PCIDSS)等;技術控制：邏輯訪問控制(基于角色的訪問控制策略)、加密協(xié)議等;物理控制：門禁、設施保護、安全視頻監(jiān)控等。

圖2給出了企業(yè)風險管理的層次實例，常見的預防措施可以分為主機與網(wǎng)絡兩個層次，主機方面涉及安全操作系統(tǒng)設計，已有漏洞補丁升級;邏輯訪問控制：認證(用戶身份)與授權(文件訪問權、網(wǎng)絡使用權等);安全實現(xiàn)：代碼安全審查(strcpy()/strncpy())、單元測試、最小特權實現(xiàn)等。網(wǎng)絡層面包括安全協(xié)議：SSL/TLS等加固IP/TCP;安全設備：防火墻，IDS等(基于網(wǎng)絡數(shù)據(jù)包的分析)。

最為常見的例子莫過于在網(wǎng)絡層實施SSL協(xié)議，該協(xié)議的主要功能是在原有TCP/IP框架上添加身份認證與數(shù)據(jù)加密功能，數(shù)據(jù)包結(jié)構如圖3：

一般的SSL協(xié)議通信過程可以見圖4(客戶端連接服務器)：

客戶端Alice首先要驗證服務端Bob的身份，之后二者協(xié)商生成一個本次會話的臨時密鑰K，使用K加密本次會話數(shù)據(jù)包，從而實現(xiàn)了安全數(shù)據(jù)傳輸。

看上去從主機到網(wǎng)絡，我們已經(jīng)根據(jù)風險評估的結(jié)果實施了全面的防御準備，看上去固若金湯，可是事實上果真如此嗎?事實上網(wǎng)絡安全威脅從未消失或減緩，反而變本加厲，而“安全”也成為了互聯(lián)網(wǎng)的熱搜詞匯，甚至國家層面都成立了“中共中央網(wǎng)絡安全和信息化領導小組”，因此可見網(wǎng)絡安全形式之嚴峻。

自身防御漏洞百出

安全形式嚴峻的第一個重要因素就是，防御體系自身就漏洞百出。首先從計算機系統(tǒng)與信息網(wǎng)絡自身角度來看脆弱性始終存在：

設計缺陷：競爭條件漏洞(race condition vulnerability)、緩沖區(qū)溢出等; 競爭漏洞：如root程序的核查文件(access)與修改文件(write)間具有時間間隔，導致攻擊者改變了文件符號鏈接，將符號鏈接到密碼文件上;

緩沖區(qū)溢出：strcpy()的源字符串長度超過了目標字符串空間長度，導致覆蓋掉了RET指針;

即便設計科學的防御系統(tǒng)在實際部署中也會存在諸多問題，如：

某些業(yè)務應用設計時未考慮安全因素，安全模塊事后追加，存在片面性與兼容性問題;

相關人員缺乏相應安全培訓;

系統(tǒng)設置缺陷(防火墻使用默認密碼或開放默認端口)

實際部署成本制約無法真實實現(xiàn)防御系統(tǒng)功能，如考慮安全性與效能之間的折衷(如卡巴斯基的查殺率與系統(tǒng)占用率)、部署預防系統(tǒng)時的非技術考量：機構需求、經(jīng)濟成本、上級政策等;

一般來說，企業(yè)的信息系統(tǒng)中一般都會存在以下漏洞：

后門：隱秘登錄端口，rootkit(隱藏后門等惡意程序，暗中收集數(shù)據(jù))

拒絕服務：升級版DDOS

竊聽：竊聽網(wǎng)絡機密數(shù)據(jù)傳輸、監(jiān)控硬件設備電磁信號(如測信道攻擊)

應用漏洞：主要用于獲取root權限，然后創(chuàng)建/維護后門、木馬等;

社工：攻擊機構中脆弱的“人性”因素(欺詐攻擊)

因此，防御系統(tǒng)自身的設計缺陷以及實際部署中的成本制約與管理不規(guī)范導致安全漏洞無法完全避免。

攻擊者日益精進

除去防御者自身因素之外，攻擊者日益精進，從而威脅越來越高級、復雜也是一個重要原因。我們先來看看常見的攻擊分類：

探測攻擊(Probe)：端口掃描(nmap-m:n)、抓包解析(tcpdump等)

拒絕服務攻擊：TCP SYN洪流(發(fā)送多個SYN連接不響應)、PingofDeath(Ping協(xié)議組包錯誤)、DDOS(多枚炮彈同時命中)

遠程入侵攻擊(R2L)：登錄密碼暴力破解/字典攻擊、緩沖區(qū)溢出、SQL注入、社工;

提權攻擊(U2R)：緩沖區(qū)溢出、rootkit等;

感染傳播攻擊(Infections)：木馬、Botnet等;

網(wǎng)絡攻擊并不容易，必須經(jīng)過縝密的偵查與策劃，其核心階段有五個：

準備階段：探測目標端口、判斷系統(tǒng)軟件版本信息等，社工收集補充信息，評估目標防御水平，選擇攻擊突破口;

入侵階段：利用緩沖區(qū)溢出、SQL注入等方法獲得系統(tǒng)root權限，是R2L與U2R兩類攻擊的結(jié)合，甚至是社工方式進入(釣魚網(wǎng)站等);

后入侵階段：創(chuàng)建后門與安裝rootkit以便于長期控制目標;以目標為基礎，探測周圍網(wǎng)絡，貢獻其它目標主機(感染)，尋找有價值目標(APT);

自我保護階段：設置rootkit\加密等多種安全保護程序，修改內(nèi)核進程表避免安全軟件查殺、修改安全日志等;

總攻階段：秘密傳輸目標網(wǎng)絡的機密信息或崩潰目標網(wǎng)絡系統(tǒng)，取決于攻擊者的動機、目標以及技術能力和目標的安全防御水平;

每一個攻擊類型都很復雜，而且階段繁瑣，因此自然對攻擊者的技術門檻很高;然而現(xiàn)實中的攻擊者很多僅僅是“腳步小子”，原因就在于當前存在許多可選、高效、開放的黑客工具。由于數(shù)量眾多，我們今天僅對代表性的工具作一速覽：

信息收集工具包括網(wǎng)絡包捕獲工具Wireshark\Tcpdump\Net2pcap等，網(wǎng)絡掃描探測工具(主機IP協(xié)議版本)：Nmap\Amap\Vmap\Xprobe等。

攻擊工具包括木馬類的Danger\AIMSpy\NetSpy等;拒絕服務攻擊類的Targa、HOIC\LOIC等;網(wǎng)絡包偽造類：Packeth\Packet Excalibur\Libnet等;應用層類：Code Red Worm\Nimda Worm\AppDDoS\Botnet等;用戶攻擊類：Ntfsdos\Yaga\Metasploit等。

值得一提的是Metasploit，現(xiàn)在已經(jīng)更新為Kali系統(tǒng)，其上融合了現(xiàn)有的全套安全工具，從網(wǎng)絡掃描、DNS解析，到SQL注入、郵件偽造、POC利用等，已經(jīng)成為了事實上滲透測試的標準平臺。

上圖中是Kali系統(tǒng)上的一次攻擊應用。隨著這些高級工具的出現(xiàn)，原本復雜攻擊要求的高技術門檻越來越低，呈現(xiàn)了反向增長的奇怪曲線，如圖6：

上圖反映了歷史攻擊復雜度與攻擊者技術要求的變化曲線，可以看出攻擊演變趨勢上，攻擊成本日益低廉，技術門檻越來越低;與此同時攻擊工具日趨復雜，攻擊復雜度越來越高，攻擊越來越難以防范。而不斷進化的攻擊也使得防御系統(tǒng)效果越來越差，單單BYOD的引入，就使得自用設備打破了原始的安全邊界防御，更何況大數(shù)據(jù)時代便捷多元的信息通信設備與方法，傳統(tǒng)安全防御技術基本形同虛設。

3、似是而非的替代方案

原有單純基于安全邊界與單一安全設備的防御體系被現(xiàn)實摧垮，于是人們開始尋找安全的替代方案。當網(wǎng)絡中具備了防火墻\IDS等多種安全設備之后，一種自然的想法是將現(xiàn)有所有安全機制融合，形成層次漸進的安全防御機制，即縱深防御，也稱作深度防御。

深度防御(Defense-in-depth)指利用一系列防御機制來保護計算機網(wǎng)絡的理念，效果是一旦某一機制無法正常運行，會有另外一個可正常運行的機制替代它。

一個典型的深度防御模型如圖7，其中：

實時防御部分負責對實時消息流進行檢測防御：防火墻為第一道關口，負責控制內(nèi)外網(wǎng)絡訪問;IDS對通過防火墻的數(shù)據(jù)流進一步檢查，發(fā)現(xiàn)其中的攻擊行為報警相應;若攻擊逃避IDS檢測，則直接由應急響應與災難恢復模塊處理。

日常防御模塊由脆弱性檢測模塊進行系統(tǒng)自檢，而預警子系統(tǒng)要綜合已有所有安全信息，對未知攻擊進行初步的預測?；A設施主要有多種數(shù)據(jù)庫組成，分別對兩類防御提供平臺支持。

深度防御的關鍵在于檢測出攻擊，從而將攻擊損失降到最小?，F(xiàn)有基于IDS的檢測系統(tǒng)是深度防御的核心模塊，因此我們重點分析下現(xiàn)有的檢測系統(tǒng)。

入侵檢測系統(tǒng)(IDS)由來已久，至今發(fā)展經(jīng)歷了個世代，第一個世代中的IDS基于誤用檢測(特征、規(guī)則檢測)，重點分析網(wǎng)絡包數(shù)據(jù)，從而發(fā)現(xiàn)可能的入侵與DOS攻擊，此時的IDS僅能檢測已知威脅;第二世代的IDS利用SIEM進行了融合，從而可以關聯(lián)多個IDS的報警數(shù)據(jù)，提高了發(fā)現(xiàn)攻擊的能力。

雖然IDS發(fā)展了兩個世代，但是其不足也是明顯的。一方面攻擊態(tài)勢日趨嚴峻，攻擊方式日趨復雜(工具多元化)，攻擊門檻日趨降低(技術要求降低，腳本小子)，攻擊動機日趨強化(腳本小子-好奇，黑產(chǎn)-經(jīng)濟利益，國家隊-權力/政治，內(nèi)部人-不滿報復);另一方面現(xiàn)有檢測技術能力有限，應對多態(tài)惡意代碼、 APT攻擊、0-day攻擊時都束手無策。而且防御與攻擊的最大不同在于：攻擊只為成功一次，防御則要成功每一天，因此防御方責任更大，形勢更為嚴峻。

最近幾年發(fā)生的安全事件也驗證了當前安全防御脆弱無力的事實，如2010年發(fā)生的震驚全球的“極光攻擊”與“震網(wǎng)”兩個典型APT攻擊，其影響損失不言而喻，但是伊朗核電站所受影響已無法簡單用經(jīng)濟損失來衡量;2014年韓國銀行客戶金融數(shù)據(jù)失竊，童年JP摩根銀行客戶賬戶失竊，內(nèi)部人信息竊取、欺詐已經(jīng)成為了企業(yè)面臨的首要威脅。具體可參加下圖：

正當人們?yōu)楝F(xiàn)有安全防御無力痛心的時候，大數(shù)據(jù)技術卻蓬勃發(fā)展，一系列核心技術與平臺架構均日趨成熟，甚至出現(xiàn)了成熟的市場實例(如Amazon 的大數(shù)據(jù)分析平臺)。與此同時，安全日志的重要性逐漸得到大家的重視，2010年一份報告顯示86%的安全事件可以回溯到安全日志，而安全日志數(shù)據(jù)量巨大，導致實際無法有效利用。

如同發(fā)現(xiàn)了新的美洲大陸，安全界不約而同將目光轉(zhuǎn)向了大數(shù)據(jù)技術在安全日志中的應用。學術界普遍認為利用大數(shù)據(jù)技術是挖掘日志價值，是提升安全檢測效果的關鍵。因此第三個世代的IDS出現(xiàn)了，其融合了大數(shù)據(jù)分析技術，構建了安全威脅情報平臺，從長時間窗口中關聯(lián)，挖掘攻擊信息，不僅提高了檢測未知威脅的能力，也縮短了攻擊與檢測相應的時間周期。

4、達摩克利斯之劍

大數(shù)據(jù)技術的出現(xiàn)使得分析蘊藏著攻擊痕跡的海量安全日志成為可能，以此為依托，國內(nèi)外均開展了大量大數(shù)據(jù)安全領域研究。內(nèi)部威脅因其特有的隱蔽、透明特性也成為了大數(shù)據(jù)安全分析的重要應用領域?；谄髽I(yè)內(nèi)部特有的內(nèi)部威脅風險，提取威脅特征，然后在各設備安全日志中挖掘分析，從而檢測內(nèi)部威脅成為未來行之有效的內(nèi)部威脅檢測方案，可以說大數(shù)據(jù)安全分析技術成為了懸在內(nèi)部威脅頭上的達摩克利斯之劍。按照數(shù)據(jù)源、分析方法、時間度量、能動性與持時間周期等，我們可以將現(xiàn)有內(nèi)部威脅中的大數(shù)據(jù)安全分析歸為幾類：

按照數(shù)據(jù)來源可以分為主機、網(wǎng)絡、應用分析三類?；谥鳈C數(shù)據(jù)檢測數(shù)據(jù)來自系統(tǒng)調(diào)用日志與系統(tǒng)日志;基于網(wǎng)絡數(shù)據(jù)檢測數(shù)據(jù)來自基于網(wǎng)絡數(shù)據(jù)包頭數(shù)據(jù)與流量數(shù)據(jù)與基于無線網(wǎng)絡數(shù)據(jù)檢測;基于應用日志檢測數(shù)據(jù)來自數(shù)據(jù)庫日志、網(wǎng)站日志、IDS指示器數(shù)據(jù)等。

按照使用方法可以分為誤用檢測與異常檢測。誤用檢測又稱特征檢測，需要提取已知攻擊特征，基于簽名匹配檢測攻擊，其準確率較高，然而無法檢測未知威脅;異常檢測基于“白名單”思想，建立用戶的正常行為模型，從而檢測偏離正常模型的行為，其可以檢測未知威脅，但誤報率較高。

按照時間度量可以分為實時內(nèi)部威脅檢測與離線檢測。實時監(jiān)測將安全日志數(shù)據(jù)組我欸數(shù)據(jù)流實時分析報警;而離線檢測則在后臺進行數(shù)據(jù)挖掘分析

按照能動性可以分為被動檢測與主動檢測兩類。顧名思義，被動檢測就是傳統(tǒng)的IDS，檢測到內(nèi)部威脅即報警，但是不采取安全措施，等待人為命令;主動檢測類似于IPS，檢測到內(nèi)部威脅可以自動斷開內(nèi)部攻擊者連接，剝奪其訪問權等。

按照時間周期可以分為連續(xù)監(jiān)測與周期檢測。連續(xù)監(jiān)測即不間斷監(jiān)測，而周期檢測則是特定周期執(zhí)行檢測，兩次檢測間隔可能被攻擊者利用。

5、實例

作為本章的最后，我們介紹一個實際的大數(shù)據(jù)安全在內(nèi)部威脅中的應用實例，以供大家參考。如檢測內(nèi)部人團伙竊取信息行為：

1.分析文件訪問異常行為的用戶

2.分析上步異常用戶的郵件聯(lián)系人圖;

3.分析異常郵件關系圖中所有用戶的文件行為;

4.采用機器學習建立分類器，多人、多終端家呢異常;

5.關聯(lián)多類異常，檢測內(nèi)部信息竊取攻擊;

內(nèi)部威脅中的大數(shù)據(jù)安全分析尚未形成統(tǒng)一的理論，仍處于“摸著石頭過河”階段。

6、小結(jié)

本篇從最初的網(wǎng)絡安全講起，分析了隨著信息時代發(fā)展，網(wǎng)絡防御方所面臨的挑戰(zhàn)與對抗安全威脅的決心和努力，隨著大數(shù)據(jù)平臺技術與分析技術的成熟，終于大數(shù)據(jù)安全分析應用逐漸成為了現(xiàn)實。本文的基本脈絡我們以流程圖的形式總結(jié)如圖8：