思考：如何在實現(xiàn)大數(shù)據(jù)高效共享的同時，保護(hù)敏感信息不被泄露

大數(shù)據(jù) 數(shù)據(jù)共享敏感信息數(shù)據(jù)泄露

網(wǎng)絡(luò)大數(shù)據(jù) | 2016-11-22 11:37

【數(shù)據(jù)猿導(dǎo)讀】隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)中蘊藏的巨大價值得以挖掘，同時也帶來了隱私信息保護(hù)方面的難題，即如何在實現(xiàn)大數(shù)據(jù)高效共享的同時，保護(hù)敏感信息不被泄露

思考：如何在實現(xiàn)大數(shù)據(jù)高效共享的同時，保護(hù)敏感信息不被泄露

數(shù)據(jù)安全是信息安全的重要一環(huán)。當(dāng)前，對數(shù)據(jù)安全的防護(hù)手段包括對稱/非對稱加密、數(shù)據(jù)脫敏、同態(tài)加密、訪問控制、安全審計和備份恢復(fù)等。他們對數(shù)據(jù)的保護(hù)各自有各自的特點和作用，今天我主要說數(shù)據(jù)脫敏這一防護(hù)手段。

許多組織在他們例行拷貝敏感數(shù)據(jù)或者常規(guī)生產(chǎn)數(shù)據(jù)到非生產(chǎn)環(huán)境中時會不經(jīng)意的泄露信息。例如:

1.大部分公司將生產(chǎn)數(shù)據(jù)拷貝到測試和開發(fā)環(huán)境中來允許系統(tǒng)管理員來測試升級，更新和修復(fù)。

2.在商業(yè)上保持競爭力需要新的和改進(jìn)后的功能。結(jié)果是應(yīng)用程序的開發(fā)者需要一個環(huán)境仿真來測試新功能從而確保已經(jīng)存在的功能沒有被破壞。

3.零售商將各個銷售點的銷售數(shù)據(jù)與市場調(diào)查員分享，從而分析顧客們的購物模式。

4.藥物或者醫(yī)療組織向調(diào)查員分享病人的數(shù)據(jù)來評估診斷效果和藥物療效。

結(jié)果他們拷貝到非生產(chǎn)環(huán)境中的數(shù)據(jù)就變成了黑客們的目標(biāo)，非常容易被竊取或者泄露，從而造成難以挽回的損失。

數(shù)據(jù)脫敏就是對某些敏感信息通過脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在涉及客戶安全數(shù)據(jù)或者一些商業(yè)性敏感數(shù)據(jù)的情況下，在不違反系統(tǒng)規(guī)則條件下，對真實數(shù)據(jù)進(jìn)行改造并提供測試使用，如身份證號、手機(jī)號、卡號、客戶號等個人信息都需要進(jìn)行數(shù)據(jù)脫敏。

數(shù)據(jù)脫敏系統(tǒng)設(shè)計的難點

許多公司頁考慮到了這種威脅并且馬上著手來處理。簡單的將敏感信息從非生產(chǎn)環(huán)境中移除看起來很容易，但是在很多方面還是很有挑戰(zhàn)的。

首先遇到的問題就是如何識別敏感數(shù)據(jù)，敏感數(shù)據(jù)的定義是什么?有哪些依賴?應(yīng)用程序是十分復(fù)雜并且完整的。知道敏感信息在哪并且知道哪些數(shù)據(jù)參考了這些敏感數(shù)據(jù)是非常困難的。

敏感信息字段的名稱、敏感級別、字段類型、字段長度、賦值規(guī)范等內(nèi)容在這一過程中明確，用于下面脫敏策略制定的依據(jù)。

一旦敏感信息被確認(rèn)，在保持應(yīng)用程序完整性的同時進(jìn)行脫敏的方法就是最重要的了。簡單地修改數(shù)值可能會中斷正在測試，開發(fā)或升級的應(yīng)用程序。例如遮擋客戶地址的一部分，可能會使應(yīng)用程序變得不可用，開發(fā)或測試變得不可靠。

脫敏的過程就是一個在安全性和可用性之間平衡的過程。安全性是0%的系統(tǒng)中，數(shù)據(jù)不需要進(jìn)行脫敏，數(shù)據(jù)庫中都是原來的數(shù)據(jù)，可用性當(dāng)然是100%;安全性是100%的系統(tǒng)中，大概所有的數(shù)據(jù)全都存一個相同的常量才能實現(xiàn)。

所以需要選擇或設(shè)計一種既能滿足第三方的要求，又能保證安全性的算法就變得特別重要了。

選定了敏感數(shù)據(jù)和要施加的算法，剩下的就是如何實現(xiàn)了，在什么過程中進(jìn)行脫敏呢?

難題的解決方案

1.如何識別敏感數(shù)據(jù)

現(xiàn)在有兩種方式來識別敏感數(shù)據(jù)。第一種是通過人工指定，比如通過正則來指定敏感數(shù)據(jù)的格式，Oracle公司開發(fā)的Oracle Data Masking Pack中就使用了這一種方法來指定。

第二種方式就是自動識別了，在文獻(xiàn)[2]中，作者給出了基于數(shù)據(jù)特征學(xué)習(xí)以及自然語言處理等技術(shù)進(jìn)行敏感數(shù)據(jù)識別的自動識別方案(沒有具體的實現(xiàn),只提出了模型)。

具體的實現(xiàn)在gayhub上找了一個java實現(xiàn)的工程，chlorine-finder，看了下源碼具體原理是通過提前預(yù)置的規(guī)則來識別一些常見的敏感數(shù)據(jù)，比如信用卡號，SSN，手機(jī)號，電子郵箱，IP地址，住址等.

2.使用怎樣的數(shù)據(jù)脫敏算法

在比較常見的數(shù)據(jù)脫敏系統(tǒng)中，算法的選擇一般是通過手工指定，像Oracal的數(shù)據(jù)脫敏包中就預(yù)設(shè)了關(guān)于信用卡的數(shù)據(jù)選擇什么算法進(jìn)行處理，關(guān)于電話的數(shù)據(jù)怎么處理，用戶也可以進(jìn)行自定義的配置。

脫敏方法現(xiàn)在有很多種，比如k-匿名，L多樣性，數(shù)據(jù)抑制，數(shù)據(jù)擾動，差分隱私等。

k-匿名：

匿名化原則是為了解決鏈接攻擊所造成的隱私泄露問題而提出的。鏈接攻擊是這樣的，一般企業(yè)因為某些原因公開的數(shù)據(jù)都會進(jìn)行簡單的處理，比如刪除姓名這一列，但是如果攻擊者通過對發(fā)布的數(shù)據(jù)和其他渠道獲得的信息進(jìn)行鏈接操作，就可以推理出隱私數(shù)據(jù)。

k-匿名是數(shù)據(jù)發(fā)布時保護(hù)私有信息的一種重要方法。 k-匿名技術(shù)是1998 年由Samarati和Sweeney提出的 ,它要求發(fā)布的數(shù)據(jù)中存在至少為k的在準(zhǔn)標(biāo)識符上不可區(qū)分的記錄,使攻擊者不能判別出隱私信息所屬的具體個體,從而保護(hù)了個人隱私, k-匿名通過參數(shù)k指定用戶可承受的最大信息泄露風(fēng)險。

但容易遭受同質(zhì)性攻擊和背景知識攻擊。

L-多樣性

L多樣性是在k-匿名的基礎(chǔ)上提出的，外加了一個條件就是同一等價類中的記錄至少有L個“較好表現(xiàn)”的值，使得隱私泄露風(fēng)險不超過 1/L，”較好表現(xiàn)“的意思有多種設(shè)計，比如這幾個值不同，或者信息熵至少為logL等等..

但容易收到相似性攻擊。

數(shù)據(jù)抑制

數(shù)據(jù)抑制又稱為隱匿，是指用最一般化的值取代原始屬性值，在k-匿名化中，若無法滿足k-匿名要求，則一般采取抑制操作，被抑制的值要不從數(shù)據(jù)表中刪除，要不相應(yīng)屬性值用“ ** ”表示。

>>> s = "CREDITCARD">>> s[-4:].rjust(len(s), "*")'******CARD'

數(shù)據(jù)擾動

數(shù)據(jù)擾動是通過對數(shù)據(jù)的擾動變形使數(shù)據(jù)變得模糊來隱藏敏感的數(shù)據(jù)或規(guī)則，即將數(shù)據(jù)庫 D 變形為一個新的數(shù)據(jù)庫 D′ 以供研究者或企業(yè)查詢使用，這樣諸如個人信息等敏感的信息就不會被泄露。通常，D′ 會和 D 很相似，從 D′ 中可以挖掘出和 D 相同的信息。這種方法通過修改原始數(shù)據(jù)，使得敏感性信息不能與初始的對象聯(lián)系起來或使得敏感性信息不復(fù)存在，但數(shù)據(jù)對分析依然有效。

Python中可以使用faker庫來進(jìn)行數(shù)據(jù)的模擬和偽造。

from faker import Factory

fake = Factory.create()

fake.country_code()# 'GE'fake.city_name()# '貴陽'fake.street_address()# '督路l座'fake.address()# '輝市哈路b座 176955'fake.state()# '南溪區(qū)'fake.longitude()# Decimal('-163.645749')fake.geo_coordinate(center=None, radius=0.001)# Decimal('90.252375')fake.city_suffix()# '市'fake.latitude()# Decimal('-4.0682855')fake.postcode()# '353686'fake.building_number()# 'o座'fake.country()# '維爾京群島'fake.street_name()# '姜路'

相關(guān)技術(shù)有：一般化與刪除，隨機(jī)化，數(shù)據(jù)重構(gòu),數(shù)據(jù)凈化，阻礙，抽樣等。

差分隱私

差分隱私應(yīng)該是現(xiàn)在比較火的一種隱私保護(hù)技術(shù)了，是基于數(shù)據(jù)失真的隱私保護(hù)技術(shù)，采用添加噪聲的技術(shù)使敏感數(shù)據(jù)失真但同時保持某些數(shù)據(jù)或數(shù)據(jù)屬性不變，要求保證處理后的數(shù)據(jù)仍然可以保持某些統(tǒng)計方面的性質(zhì)，以便進(jìn)行數(shù)據(jù)挖掘等操作。

差分隱私保護(hù)可以保證，在數(shù)據(jù)集中添加或刪除一條數(shù)據(jù)不會影響到查詢輸出結(jié)果，因此即使在最壞情況下，攻擊者已知除一條記錄之外的所有敏感數(shù)據(jù)，仍可以保證這一條記錄的敏感信息不會被泄露。

想要體驗的同學(xué)可以去Havard的Differential Privacy實驗室，他們做了一個DP的原型實現(xiàn).

想要詳細(xì)了解的同學(xué)可以看一下知乎上的這個問題 <點擊文末閱讀原文查看鏈接>

關(guān)于動態(tài)脫敏系統(tǒng)的實現(xiàn)，現(xiàn)在一般有兩種，一種是重寫數(shù)據(jù)庫程序代碼，在權(quán)限判決后對請求語句進(jìn)行重寫，從而查詢數(shù)據(jù);另一種是用戶的sql語句通過代理后，代理會對其中關(guān)于敏感信息的部分進(jìn)行語句的替換，并且在返回時會重新包裝為與原請求一致的格式交給用戶。

總結(jié)

經(jīng)過上面的分析，看來實現(xiàn)一個全自動的準(zhǔn)確率高的脫敏系統(tǒng)難度相當(dāng)大啊，希望自己能夠圓滿完成任務(wù)。

來源：網(wǎng)絡(luò)大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。