在銀行企業(yè)生產(chǎn)數(shù)據(jù)庫(kù)中，儲(chǔ)存著大量的敏感信息，例如儲(chǔ)戶(hù)個(gè)人身份信息、手機(jī)號(hào)碼、身份證、銀行賬戶(hù)信息、資金信息等，這些數(shù)據(jù)，在銀行業(yè)很多工作場(chǎng)景中都會(huì)得到使用，例如，業(yè)務(wù)分析、開(kāi)發(fā)測(cè)試、審計(jì)監(jiān)管，甚至是一些外包業(yè)務(wù)等方面，使用的都是真實(shí)的業(yè)務(wù)數(shù)據(jù)和信息。如果這些數(shù)據(jù)發(fā)生泄露、損壞，不僅會(huì)給銀行企業(yè)帶來(lái)經(jīng)濟(jì)上的損失，更重要的是會(huì)大大影響用戶(hù)對(duì)于銀行的信任度。

實(shí)施時(shí)間：

開(kāi)發(fā)完善：2019年1月1日-2019年3月5日

實(shí)施時(shí)間：2019年3月6日-2019年3月8日

應(yīng)用場(chǎng)景

在銀行及金融機(jī)構(gòu)等環(huán)境中，針對(duì)敏感信息及個(gè)人信息的安全保護(hù)，需要根據(jù)數(shù)據(jù)使用者的職能限制數(shù)據(jù)使用權(quán)限，不過(guò)在內(nèi)部全面執(zhí)行這一政策并非易事。

客戶(hù)現(xiàn)場(chǎng)有兩種脫敏需求：

1、客戶(hù)現(xiàn)場(chǎng)需要將脫敏數(shù)據(jù)導(dǎo)出成.del文件放到一個(gè)ftp服務(wù)器上；且每天生成的文件都會(huì)以當(dāng)天的日期作為目錄的名字，數(shù)據(jù)脫敏系統(tǒng)每天會(huì)有個(gè)定時(shí)任務(wù)自動(dòng)到ftp服務(wù)器上去讀取對(duì)應(yīng)日期；在目錄中所有數(shù)據(jù)文件下載到數(shù)據(jù)庫(kù)脫敏系統(tǒng)后開(kāi)始脫敏，需要將這些.del文件脫敏后發(fā)送到ftp服務(wù)器上，然后客戶(hù)方的開(kāi)發(fā)人員會(huì)到這個(gè)ftp服務(wù)器上讀取脫敏后的數(shù)據(jù)文件。

2、直接對(duì)DB2數(shù)據(jù)庫(kù)進(jìn)行脫敏，但是這個(gè)需求較小。

面臨挑戰(zhàn)

在大多數(shù)環(huán)境下，針對(duì)打包內(nèi)部開(kāi)發(fā)應(yīng)用程序以及開(kāi)發(fā) DBA 工具中的敏感信息限制訪問(wèn)權(quán)限的成本異常高昂，而且極為耗時(shí)。許多數(shù)據(jù)庫(kù)訪問(wèn)監(jiān)控（DAM）解決方案能夠?qū)徍擞脩?hù)訪問(wèn)記錄，并在發(fā)生數(shù)據(jù)泄露問(wèn)題后幫助進(jìn)行識(shí)別，但它們無(wú)法對(duì)敏感信息進(jìn)行匿名化處理，以便防患于未然。其他技術(shù)則要求進(jìn)行大規(guī)模的應(yīng)用程序變更，導(dǎo)致不可接受的性能問(wèn)題，且無(wú)法為所有需要保護(hù)的多種個(gè)人信息提供保護(hù)。

產(chǎn)品需要新增一個(gè)“從遠(yuǎn)程文件脫敏”的功能，需要考慮和注意的事項(xiàng)較多，主要面臨的挑戰(zhàn)及問(wèn)題如下：

（1）假設(shè)8點(diǎn)開(kāi)始拉取數(shù)據(jù)，那么是否需要檢查8點(diǎn)之后新下發(fā)的數(shù)據(jù)？

（2）脫敏完成之后，需要對(duì)數(shù)據(jù)完整性進(jìn)行校驗(yàn)；

（3）脫敏完成后，對(duì)已下載的脫敏文件進(jìn)行清理等問(wèn)題；

（4）需針對(duì)“因每次tomcat重啟之后會(huì)出現(xiàn)定時(shí)任務(wù)失效”的情況，進(jìn)行修復(fù)。

數(shù)據(jù)支持

現(xiàn)場(chǎng)每天會(huì)生成3-4G的.del數(shù)據(jù)文件，需要在夜間設(shè)置定時(shí)任務(wù)將其從遠(yuǎn)程ftp服務(wù)器上讀取到脫敏服務(wù)器上；完成脫敏后，將脫敏數(shù)據(jù)發(fā)送到目標(biāo)ftp服務(wù)器上；同時(shí)，也需要脫敏部分?jǐn)?shù)據(jù)庫(kù)數(shù)據(jù)到開(kāi)發(fā)測(cè)試庫(kù)。

應(yīng)用技術(shù)／實(shí)施過(guò)程

應(yīng)用技術(shù)：主動(dòng)到遠(yuǎn)程ftp服務(wù)器上讀取數(shù)據(jù)文件，脫敏完成后再將脫敏完的數(shù)據(jù)文件發(fā)送到遠(yuǎn)程ftp服務(wù)器上；

實(shí)施過(guò)程：請(qǐng)代理商幫忙部署了DB2數(shù)據(jù)庫(kù)，為客戶(hù)在專(zhuān)門(mén)準(zhǔn)備的環(huán)境上安裝定制版數(shù)據(jù)庫(kù)靜態(tài)脫敏系統(tǒng)；為客戶(hù)配置源ftp和目標(biāo)ftp，設(shè)置數(shù)據(jù)文件脫敏任務(wù)并設(shè)置對(duì)應(yīng)的定時(shí)任務(wù)。

核心功能

1）自動(dòng)讀取下發(fā)文件

根據(jù)下發(fā)數(shù)據(jù)的文件格式和下發(fā)周期，對(duì)文件定時(shí)進(jìn)行讀取。

2）創(chuàng)建文件源自動(dòng)添加文件

創(chuàng)建默認(rèn)文件源，并根據(jù)FTP文件列表自動(dòng)添加要脫敏的數(shù)據(jù)文件。

3）自動(dòng)敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)

創(chuàng)建文件源的敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)，自動(dòng)執(zhí)行敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)，并進(jìn)行敏感數(shù)據(jù)的自動(dòng)梳理和確定。

4）自動(dòng)創(chuàng)建文件脫敏任務(wù)

自動(dòng)創(chuàng)建文件脫敏方案，根據(jù)文件源和敏感數(shù)據(jù)梳理結(jié)果進(jìn)行脫敏方案的自動(dòng)配置；自動(dòng)創(chuàng)建文件脫敏任務(wù)，將脫敏方案關(guān)聯(lián)到脫敏任務(wù)，并進(jìn)行脫敏任務(wù)的自動(dòng)執(zhí)行。

5）敏感字段梳理的模板配置

基于靜態(tài)初始化的數(shù)據(jù)進(jìn)行敏感數(shù)據(jù)梳理模版的手動(dòng)配置和管理。

6）脫敏方案的模板配置

脫敏方案的手動(dòng)配置和管理。

7）敏感數(shù)據(jù)發(fā)現(xiàn)

按照用戶(hù)指定或預(yù)定義的敏感數(shù)據(jù)特征，對(duì)數(shù)據(jù)進(jìn)行自動(dòng)識(shí)別，發(fā)現(xiàn)敏感數(shù)據(jù)。同時(shí)，DBMasker可發(fā)現(xiàn)數(shù)據(jù)間的主外鍵關(guān)系、數(shù)據(jù)間的依賴(lài)關(guān)系、同類(lèi)數(shù)據(jù)間的聯(lián)動(dòng)關(guān)系，為數(shù)據(jù)子集管理等功能提供保障。

8）敏感數(shù)據(jù)字典管理

以敏感數(shù)據(jù)為中心，對(duì)數(shù)據(jù)庫(kù)字段進(jìn)行分類(lèi)管理；對(duì)同庫(kù)多表、多庫(kù)多表的同類(lèi)敏感數(shù)據(jù)實(shí)施統(tǒng)一的脫敏算法和策略，保證同一組織內(nèi)跨系統(tǒng)、跨庫(kù)之間的脫敏一致性；并支持敏感數(shù)據(jù)字典導(dǎo)入、導(dǎo)出等功能。

9）脫敏方案管理

針對(duì)每一脫敏項(xiàng)目，在基礎(chǔ)脫敏算法上，可配置專(zhuān)門(mén)脫敏策略，或?qū)崿F(xiàn)脫敏算法的擴(kuò)展；DBMasker可實(shí)現(xiàn)脫敏策略的導(dǎo)入導(dǎo)出，以幫助脫敏策略的復(fù)用。

10）脫敏任務(wù)管理

可對(duì)任務(wù)進(jìn)行停止、啟動(dòng)、重啟、暫停、繼續(xù)等操作，支持任務(wù)并發(fā)。脫敏過(guò)程中可跳過(guò)異常數(shù)據(jù)，持續(xù)執(zhí)行任務(wù)；支持脫敏任務(wù)的中斷續(xù)延。

業(yè)務(wù)流程

1）庫(kù)到庫(kù)業(yè)務(wù)流程說(shuō)明

數(shù)據(jù)庫(kù)到數(shù)據(jù)庫(kù)的全量脫敏，由源數(shù)據(jù)庫(kù)抽取數(shù)據(jù)并脫敏后輸出到目標(biāo)數(shù)據(jù)庫(kù)中。

2）文件到文件業(yè)務(wù)流程說(shuō)明

●數(shù)整平臺(tái)定時(shí)下發(fā)數(shù)據(jù)文件到指定的文件服務(wù)器中；

●脫敏系統(tǒng)到指定的文件服務(wù)器中讀取數(shù)據(jù)文件，根據(jù)文件下發(fā)完成標(biāo)記和表數(shù)據(jù)字典進(jìn)行數(shù)據(jù)比對(duì)，如果下發(fā)的文件解壓完成將繼續(xù)進(jìn)行敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)的執(zhí)行，如果未下發(fā)或解壓完成將重新讀取下發(fā)文件；

●自動(dòng)創(chuàng)建敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)，并進(jìn)行敏感數(shù)據(jù)的自動(dòng)發(fā)現(xiàn)，執(zhí)行發(fā)現(xiàn)任務(wù)后根據(jù)敏感數(shù)據(jù)梳理模板對(duì)敏感數(shù)據(jù)進(jìn)行自動(dòng)梳理，生成梳理后的敏感字段列表；

●判斷是否有敏感數(shù)據(jù)，如果沒(méi)有將生成敏感數(shù)據(jù)發(fā)現(xiàn)任務(wù)執(zhí)行報(bào)告，并顯示執(zhí)行結(jié)果和消息提示；如果生成敏感數(shù)據(jù)，將根據(jù)脫敏方案模板自動(dòng)生成脫敏任務(wù)，并執(zhí)行脫敏任務(wù)；

●判斷脫敏任務(wù)執(zhí)行是否成功，如果出現(xiàn)異常將發(fā)送異常報(bào)告信息，并顯示執(zhí)行結(jié)果和消息提示；如果脫敏任務(wù)執(zhí)行成功，發(fā)送目標(biāo)文件信息和任務(wù)執(zhí)行報(bào)告，并顯示執(zhí)行結(jié)果和消息提示；

●用戶(hù)可到目標(biāo)文件服務(wù)中查詢(xún)脫敏數(shù)據(jù)。

部署方案

外部合作

主要由安華金和團(tuán)隊(duì)完成，項(xiàng)目實(shí)施期間由代理商協(xié)助部署了DB2數(shù)據(jù)庫(kù)。

商業(yè)變化

實(shí)現(xiàn)自動(dòng)化脫敏

能滿(mǎn)足用戶(hù)定期產(chǎn)生的增量數(shù)據(jù)文件進(jìn)行自動(dòng)脫敏，只需要進(jìn)行一次配置（文件源及相關(guān)模板的初始化配置）就可以完全自動(dòng)執(zhí)行脫敏任務(wù)，對(duì)脫敏完成的數(shù)據(jù)發(fā)送至目標(biāo)FTP服務(wù)器，用戶(hù)直接獲取脫敏后數(shù)據(jù)使用即可。突出了場(chǎng)景滿(mǎn)足、自動(dòng)化、便捷簡(jiǎn)單的使用特點(diǎn)：

（1）支持遠(yuǎn)程文件脫敏；

（2）支持脫敏數(shù)據(jù)輸出到遠(yuǎn)程FTP服務(wù)器；

（3）支持文件自動(dòng)化脫敏；

（4）支持敏感字段模板管理；

（5）支持脫敏方案模板管理；

（6）支持定時(shí)任務(wù)管理。

保證業(yè)務(wù)可靠運(yùn)行

提供了遵循“保證脫敏后數(shù)據(jù)可應(yīng)用”規(guī)則的能力。 具體表現(xiàn)在以下六個(gè)方面的支持：

1）智能化

隨著企業(yè)數(shù)據(jù)的增長(zhǎng)和數(shù)據(jù)內(nèi)容的不斷豐富， 敏感數(shù)據(jù)可能分散在成百上千張表和字段中， 元數(shù)據(jù)的管理工作越發(fā)繁重；同時(shí)從業(yè)務(wù)系統(tǒng)抽取的敏感數(shù)據(jù)在格式和組織上存在很大隨意性；因此脫敏產(chǎn)品應(yīng)該具有很好的識(shí)別敏感數(shù)據(jù)的能力，能夠不依賴(lài)元數(shù)據(jù)中對(duì)表和字段的定義，而是根據(jù)數(shù)據(jù)特征自動(dòng)的識(shí)別敏感數(shù)據(jù)并進(jìn)行有效脫敏。 例如身份證、地址、電話、郵件、銀行卡號(hào)、車(chē)牌號(hào)、企業(yè)名稱(chēng)等。

可逆性， 隨著數(shù)據(jù)分析的流行和普及，第三方分析機(jī)構(gòu)和內(nèi)部經(jīng)分團(tuán)隊(duì)需要將在脫敏后數(shù)據(jù)基礎(chǔ)上分析的結(jié)果還原為業(yè)務(wù)數(shù)據(jù)，以形成真實(shí)的分析結(jié)果。因此需要提供對(duì)脫敏后數(shù)據(jù)的可逆還原能力。

2）可重復(fù)和不可重復(fù)性

數(shù)據(jù)脫敏需要提供能夠重復(fù)脫敏相同數(shù)據(jù)的能力，在不同輪次的脫敏中，保證相同的隱私數(shù)據(jù)脫敏后的數(shù)據(jù)也是相同的，從而保證數(shù)據(jù)在增量環(huán)境下能夠被有效的關(guān)聯(lián)。另一方面，有些時(shí)候處于安全考慮，需要提供不可重復(fù)的脫敏能力，保證相同的數(shù)據(jù)在不同輪次的脫敏產(chǎn)生的數(shù)據(jù)是不同的，從而防止逆向工程還原數(shù)據(jù)。

3）數(shù)據(jù)有效性

為了保證業(yè)務(wù)測(cè)試系統(tǒng)和分析系統(tǒng)的正常運(yùn)行，需要保證脫敏后的數(shù)據(jù)必須能夠準(zhǔn)確反應(yīng)原始數(shù)據(jù)的業(yè)務(wù)屬性和數(shù)據(jù)分布特征；對(duì)于原始數(shù)據(jù)中的姓名、地址、病癥、企業(yè)名稱(chēng)等信息需要在脫敏后仍然具有可讀性； 脫敏后的數(shù)據(jù)滿(mǎn)足業(yè)務(wù)系統(tǒng)的數(shù)據(jù)規(guī)則，能夠正確的通過(guò)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)有效性驗(yàn)證，如身份證號(hào)、銀行卡號(hào)的校驗(yàn)碼，生日數(shù)據(jù)的區(qū)間，有效的發(fā)卡行信息，年齡與出生日期的匹配等。

4）數(shù)據(jù)完整性

脫敏后的數(shù)據(jù)需要保證是完整的，并且提供不改變?cè)紨?shù)據(jù)尺寸，不包含無(wú)效信息的能力，防止敏感數(shù)據(jù)不符合目標(biāo)數(shù)據(jù)的定義，造成無(wú)法順利入庫(kù)的情況。

5）數(shù)據(jù)關(guān)聯(lián)性

脫敏后的數(shù)據(jù)應(yīng)能滿(mǎn)足業(yè)務(wù)系統(tǒng)的數(shù)據(jù)關(guān)系特征，嚴(yán)格保留原有的數(shù)據(jù)關(guān)系； 例如身份證號(hào)在多個(gè)表中出現(xiàn)，需要保證這些數(shù)據(jù)經(jīng)過(guò)脫敏后也是一樣的。另外，對(duì)于具有時(shí)間序列關(guān)系的數(shù)據(jù)，需要保證每個(gè)日期脫敏后仍然能夠保持原有的時(shí)間序列。

通過(guò)對(duì)上述六個(gè)方面的支持，有效保障了脫敏后的數(shù)據(jù)可以滿(mǎn)足原始數(shù)據(jù)相同的業(yè)務(wù)規(guī)則，是能夠代表實(shí)際業(yè)務(wù)屬性的虛構(gòu)數(shù)據(jù)，能夠使脫敏數(shù)據(jù)的使用者從體驗(yàn)上感覺(jué)數(shù)據(jù)是真實(shí)的，從而最終保證使用脫敏后的數(shù)據(jù)可以保證業(yè)務(wù)可靠運(yùn)行。

敏感數(shù)據(jù)統(tǒng)一管理

1）敏感數(shù)據(jù)自動(dòng)發(fā)現(xiàn)

DMS 系統(tǒng)內(nèi)置了大量的敏感數(shù)據(jù)發(fā)現(xiàn)算法，能夠通過(guò)對(duì)數(shù)據(jù)的采樣分析，自動(dòng)發(fā)現(xiàn)系統(tǒng)中的敏感數(shù)據(jù)，包括姓名、證件號(hào)、銀行賬戶(hù)、金額、日期、住址、電話號(hào)碼、 Email 地址、車(chē)牌號(hào)、車(chē)架號(hào)、企業(yè)名稱(chēng)、工商注冊(cè)號(hào)、組織機(jī)構(gòu)代碼、納稅人識(shí)別號(hào)等； 同時(shí)提供了用戶(hù)自定義敏感數(shù)據(jù)特征的擴(kuò)充能力。通過(guò)敏感數(shù)據(jù)自動(dòng)發(fā)現(xiàn)功能，不僅可以避免人工定義敏感數(shù)據(jù)帶來(lái)的大量工作， 同時(shí)可確保不會(huì)遺漏隱私信息，更能夠持續(xù)發(fā)現(xiàn)新的敏感數(shù)據(jù)字段。

2）敏感數(shù)據(jù)字典管理

以敏感數(shù)據(jù)為中心，進(jìn)行分類(lèi)管理數(shù)據(jù)庫(kù)字段。例如“身份證號(hào)”作為一類(lèi)敏感數(shù)據(jù)，在該類(lèi)管理所有數(shù)據(jù)庫(kù)中的身份證號(hào)數(shù)據(jù)字段，并可實(shí)施統(tǒng)一的脫敏算法，并支持敏感數(shù)據(jù)字典的導(dǎo)入、導(dǎo)出等管理功能。

案例提交企業(yè)·安華金和：

北京安華金和科技有限公司（以下簡(jiǎn)稱(chēng)安華金和），公司2009年3月2日成立至今，一直專(zhuān)注于數(shù)據(jù)安全領(lǐng)域，是中國(guó)專(zhuān)業(yè)的數(shù)據(jù)安全產(chǎn)品及解決方案提供商，由長(zhǎng)期致力于數(shù)據(jù)處理和信息安全領(lǐng)域的專(zhuān)業(yè)人士共同創(chuàng)造。作為中國(guó)“數(shù)據(jù)安全治理”體系框架的提出者，安華金和提供涵蓋人員組織、安全策略、流程制定及技術(shù)支撐全方位的整體數(shù)據(jù)安全思路與方案；同時(shí)，安華金和作為獨(dú)立的第三方云數(shù)據(jù)安全服務(wù)商（CDSP）為國(guó)內(nèi)外各大云平臺(tái)用戶(hù)提供專(zhuān)業(yè)的數(shù)據(jù)安全保障；安華金和也是中國(guó)最大的公有云平臺(tái)——阿里云在數(shù)據(jù)安全領(lǐng)域的戰(zhàn)略合作方。

來(lái)源：數(shù)據(jù)猿