在AI的賦能之下，金融、醫(yī)療、安防等領(lǐng)域的應(yīng)用遍地開(kāi)花。人們忽然發(fā)現(xiàn)，AI技術(shù)似乎成了一種基礎(chǔ)配置，各行各業(yè)都在大力引入AI。AI到底安不安全？這個(gè)問(wèn)題想必是一直縈繞在每個(gè)人心底的。

據(jù)報(bào)道，最新安全專(zhuān)家表示可以使用人工智能生成的語(yǔ)音來(lái)欺騙銀行的驗(yàn)證系統(tǒng)，可查看余額和近期轉(zhuǎn)賬記錄。

這個(gè)操作細(xì)思極恐，當(dāng)不法分子利用AI技術(shù)，掌握當(dāng)事人的聲音或者面部信息，從而合成某人的聲音或者動(dòng)態(tài)視頻便可以騙取“安全系統(tǒng)”的信任，直接就可以從對(duì)方的賬戶查到自己想要的信息。

隨著技術(shù)開(kāi)源、標(biāo)準(zhǔn)化工具的推出，制作一段虛假內(nèi)容的門(mén)檻越來(lái)越低，因此近年網(wǎng)絡(luò)社交平臺(tái)上虛假視頻的數(shù)量呈高速增長(zhǎng)。而且隨著技術(shù)的不斷成熟，合成視頻在清晰度、流暢度、逼真度等各方面都有大幅提升，真假難辨的背后更是危害性的不斷增強(qiáng)。

AI攻破AI

對(duì)于一個(gè)顛覆性科技成果的出現(xiàn)，人們?nèi)菀字豢吹娇駳g，背后帶來(lái)的安全性問(wèn)題卻常常被忽略。

近日，資深撰稿人約瑟夫·考克斯（Joseph Cox）在Vice平臺(tái)發(fā)布文章，分享了他如何利用AI生成的語(yǔ)音成功入侵銀行賬號(hào)。

據(jù)悉，大多數(shù)美國(guó)和歐洲銀行都提供了語(yǔ)音 ID 的登錄方式，不過(guò)最新安全專(zhuān)家表示可以使用人工智能（AI）生成的語(yǔ)音來(lái)欺騙銀行的驗(yàn)證系統(tǒng)。

約瑟夫·考克斯打電話給銀行的服務(wù)熱線，在電話接通之后他點(diǎn)擊附近筆記本電腦上的一份文件，播放一段聲音：" 檢查我的余額 "。實(shí)際上這是使用AI生成的一段聲音，并不是約瑟夫·考克斯自己的的聲音。

約瑟夫·考克斯表示，他自己不敢相信AI生成的聲音真的奏效了，“我成功使用人工智能生成的聲音進(jìn)入銀行賬戶。之后，我可以訪問(wèn)賬戶信息，包括余額和最近的交易和轉(zhuǎn)賬清單”，約瑟夫·考克斯說(shuō)。

事實(shí)上，這樣的語(yǔ)音生成其實(shí)并沒(méi)有那么難以獲得，GitHub上就有類(lèi)似的項(xiàng)目。只需要從GitHub下載一個(gè)名為“Real-Time-Voice-Cloning”的AI項(xiàng)目，就能輕松克隆聲音。實(shí)際原理就是一個(gè)實(shí)時(shí)語(yǔ)音克隆工具，通過(guò)AI的深度學(xué)習(xí)，只需要說(shuō)話者幾秒鐘的原始音頻，就能模仿該說(shuō)話者的聲音生成音頻并進(jìn)行說(shuō)話。

約瑟夫·考克斯的實(shí)驗(yàn)打破了這樣一個(gè)想法，即基于語(yǔ)音的生物識(shí)別安全并不能妥善保護(hù)用戶隱私。一些專(zhuān)家也呼吁銀行完全放棄語(yǔ)音認(rèn)證，因?yàn)闉E用人工智能語(yǔ)音可能會(huì)導(dǎo)致欺詐和賬戶黑客攻擊。

當(dāng)AI用于詐騙，解決只能靠AI。

在2021年一家名為Pindrop的安全初創(chuàng)公司宣布，它已經(jīng)籌集了9000萬(wàn)美元，通過(guò)一個(gè)AI平臺(tái)來(lái)解決AI語(yǔ)音克隆這一問(wèn)題。該公司表示，該AI平臺(tái)可以通過(guò)分析近1400種聲音屬性來(lái)驗(yàn)證來(lái)電者或語(yǔ)音命令是否合法，從而識(shí)別最復(fù)雜的模仿和黑客企圖。Pindrop所建立的關(guān)鍵是，讓一個(gè)聲音的“指紋”不僅僅是你發(fā)出的特定的音調(diào)，還包括如何說(shuō)話、通常在哪里打電話、聲音的空間，甚至是常用設(shè)備。只有將所有這些與你確定的“正常”環(huán)境相匹配，才能被該系統(tǒng)認(rèn)定為真實(shí)。

約瑟夫·考克斯的實(shí)驗(yàn)并不是個(gè)別案例，隨著智能科技的發(fā)展，近年來(lái)AI詐騙開(kāi)啟了“狂飆”之路，層出不窮。

深度合成技術(shù)大大降低了信息造假的難度

2021年6月，一個(gè)“網(wǎng)絡(luò)科技公司”法人馬某就以某電競(jìng)網(wǎng)絡(luò)科技公司作為創(chuàng)收的平臺(tái)，聯(lián)合滿某等人通過(guò)非法渠道大量收購(gòu)捆綁了公民個(gè)人信息（包含公民身份證號(hào)、照片）的游戲賬號(hào)。

他們通過(guò)使用AI技術(shù)破解“人臉識(shí)別”系統(tǒng)侵犯?jìng)€(gè)人信息，將非法獲取的公民照片制作動(dòng)態(tài)人臉，然后利用特殊處理的手機(jī)“劫持”攝像頭，使系統(tǒng)不啟動(dòng)攝像頭，而是獲取之前做好的視頻，最后通過(guò)了認(rèn)證，借非法出售捆綁公民信息的游戲賬號(hào)從中非法牟利。

他們使用特定方法犯罪嫌疑人通過(guò)出售、出租相關(guān)游戲賬號(hào)以及提供售后破解服務(wù)方式非法獲利3萬(wàn)余元，交易流水60余萬(wàn)元，買(mǎi)賣(mài)個(gè)人有效賬號(hào)共897條，身份證號(hào)碼（包含照片）432條。

2021年9月24日，廣西玉林警方一舉將這個(gè)團(tuán)伙搗毀，這也是廣西首個(gè)通過(guò)破解人臉識(shí)別技術(shù)侵犯公民個(gè)人信息犯罪團(tuán)伙。

當(dāng)前，“人臉識(shí)別”技術(shù)，已被廣泛運(yùn)用于生活中。“人臉識(shí)別”自帶的天然屬性，使其擁有媲美人類(lèi)指紋的唯一性，因而往往被設(shè)置為完成各類(lèi)事項(xiàng)的終極驗(yàn)證環(huán)節(jié)。

但在大規(guī)模落地的同時(shí)，人臉識(shí)別系統(tǒng)也面臨安全挑戰(zhàn)，比如容易受到對(duì)抗樣本攻擊，即通過(guò)對(duì)人臉圖像做微小的改動(dòng)，就能夠欺騙識(shí)別系統(tǒng)作出錯(cuò)誤的判斷，破壞人臉認(rèn)證系統(tǒng)，可能引發(fā)重大損失。

在2022“互聯(lián)網(wǎng)之光”博覽會(huì)上，海淀企業(yè)北京瑞萊智慧科技有限公司演示的“換臉術(shù)”便引來(lái)了眾多人的駐足。張嘴、搖頭，攝像頭在捕捉到觀眾的動(dòng)作后，屏幕上原本靜態(tài)的人像瞬間“動(dòng)”了起來(lái)，動(dòng)作幅度和真人完全一致，還能眨眼和露齒微笑，仿真度很高；甚至觀眾拍完一張照片后，幾分鐘內(nèi)就能生成一段視頻，將觀眾的臉自動(dòng)替換掉某影視劇中知名演員的臉。

據(jù)瑞萊智慧技術(shù)專(zhuān)家介紹，這背后采用的是深度合成技術(shù)，利用深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等生成合成類(lèi)算法，制作圖像、音頻、視頻等信息。

與此同時(shí)，專(zhuān)家也表示，這項(xiàng)技術(shù)卻存在著安全隱患。

就目前來(lái)看，我們現(xiàn)在安全系統(tǒng)的驗(yàn)證主要通過(guò)AI識(shí)別技術(shù)實(shí)現(xiàn)，如人臉識(shí)別、語(yǔ)音識(shí)別。而目前觸發(fā)的安全事件則是通過(guò)AIGC（AI生成），如AI生成圖片、生成視頻、生成語(yǔ)音。

其中，人工智能識(shí)別技術(shù)的實(shí)現(xiàn)主要基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，其中最核心的技術(shù)點(diǎn)是神經(jīng)網(wǎng)絡(luò)模型。

對(duì)于人臉識(shí)別技術(shù)，其原理是通過(guò)采集圖像數(shù)據(jù)，利用計(jì)算機(jī)視覺(jué)技術(shù)提取出人臉的特征信息，并將這些信息編碼為向量或矩陣形式。然后，通過(guò)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型，將這些特征與身份信息進(jìn)行關(guān)聯(lián)，從而實(shí)現(xiàn)對(duì)人臉的自動(dòng)識(shí)別。在實(shí)現(xiàn)過(guò)程中，需要考慮光照、姿態(tài)、表情等多種因素對(duì)人臉特征的影響，以及保護(hù)用戶隱私的問(wèn)題。

對(duì)于語(yǔ)音識(shí)別技術(shù)，其原理是通過(guò)采集語(yǔ)音信號(hào)，對(duì)其進(jìn)行數(shù)字化處理并提取出其聲學(xué)特征，然后將這些特征輸入到深度神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)語(yǔ)音識(shí)別。在實(shí)現(xiàn)過(guò)程中，需要解決噪聲、口音、說(shuō)話速度等多種因素對(duì)語(yǔ)音信號(hào)的影響，以及提高識(shí)別準(zhǔn)確率和效率的問(wèn)題。

除了深度神經(jīng)網(wǎng)絡(luò)模型，人工智能識(shí)別技術(shù)還需要借助大規(guī)模數(shù)據(jù)集、特征提取算法、模型訓(xùn)練算法等多種技術(shù)來(lái)支持其實(shí)現(xiàn)。

而AI生成技術(shù)主要基于深度學(xué)習(xí)中的生成模型，其中最主要的是生成對(duì)抗網(wǎng)絡(luò)（GAN）模型。

對(duì)于AI生成圖片技術(shù)，其原理是通過(guò)訓(xùn)練一個(gè)生成器網(wǎng)絡(luò)和一個(gè)判別器網(wǎng)絡(luò)，讓它們?cè)趯?duì)抗的過(guò)程中相互學(xué)習(xí)和提升，最終生成逼真的圖像。生成器網(wǎng)絡(luò)接受隨機(jī)噪聲或其他輸入，輸出一張圖片；判別器網(wǎng)絡(luò)則評(píng)估這張圖片是否真實(shí)，生成器網(wǎng)絡(luò)通過(guò)反饋機(jī)制來(lái)優(yōu)化生成的圖片。這樣，通過(guò)不斷訓(xùn)練生成器和判別器，生成器就能夠生成高度逼真的圖片。在實(shí)現(xiàn)過(guò)程中，需要考慮圖像的分辨率、顏色、紋理等特征，并保持生成圖片的多樣性。

對(duì)于AI生成動(dòng)態(tài)視頻技術(shù)，其原理與生成圖片類(lèi)似，但是需要考慮時(shí)間序列上的連續(xù)性，即生成一系列逼真的視頻幀。這需要在生成器和判別器之間設(shè)計(jì)合適的架構(gòu)，以及合適的損失函數(shù)來(lái)保持視頻的連續(xù)性。在實(shí)現(xiàn)過(guò)程中，需要考慮視頻的幀率、分辨率、場(chǎng)景和物體的運(yùn)動(dòng)等特征，以及保持生成視頻的真實(shí)性和流暢性。

對(duì)于AI生成語(yǔ)音技術(shù)，其原理是通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，將文本或其他形式的輸入轉(zhuǎn)化為逼真的語(yǔ)音。這需要在神經(jīng)網(wǎng)絡(luò)中設(shè)計(jì)合適的聲學(xué)特征提取和語(yǔ)音合成算法，以及考慮聲音的音高、音色、語(yǔ)調(diào)和發(fā)音等特征。在實(shí)現(xiàn)過(guò)程中，需要解決音頻信號(hào)的質(zhì)量、連續(xù)性和自然度等問(wèn)題。

除了生成對(duì)抗網(wǎng)絡(luò)（GAN）模型，AI生成技術(shù)還需要借助大規(guī)模數(shù)據(jù)集、合適的損失函數(shù)和優(yōu)化算法、模型架構(gòu)等多種技術(shù)來(lái)支持其實(shí)現(xiàn)。

雖然這些技術(shù)乍看起來(lái)對(duì)于普通人來(lái)說(shuō)很難實(shí)現(xiàn)，但隨著技術(shù)開(kāi)源、標(biāo)準(zhǔn)化工具的推出，制作一段虛假內(nèi)容的門(mén)檻越來(lái)越低。

可以看到，AI識(shí)別和AI生成（AIGC）在技術(shù)原理上都依賴于深度學(xué)習(xí)技術(shù)，尤其是神經(jīng)網(wǎng)絡(luò)模型。它們共用的底層技術(shù)包括數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練和優(yōu)化等方面。

雖然AI識(shí)別和AIGC在底層技術(shù)上有很多共性，但它們的主要區(qū)別在于任務(wù)的不同。

就拿此次AI生成語(yǔ)音攻破銀行系統(tǒng)事件來(lái)說(shuō)，銀行的語(yǔ)音識(shí)別主要是通過(guò)識(shí)別已有的事物來(lái)進(jìn)行分類(lèi)、識(shí)別、檢測(cè)；而專(zhuān)家通過(guò)AI技術(shù)生成的語(yǔ)音則是基于模型生成新的事物或場(chǎng)景，包括圖片、視頻、語(yǔ)音等。

因此，在AI識(shí)別和AIGC任務(wù)的實(shí)現(xiàn)過(guò)程中，會(huì)有一些不同的技術(shù)和算法被應(yīng)用，例如在AIGC中需要考慮生成的多樣性、連續(xù)性和可控性，而在AI識(shí)別中需要考慮魯棒性、準(zhǔn)確性和泛化能力等問(wèn)題。

據(jù)工商銀行金融研究院安全攻防實(shí)驗(yàn)室主管專(zhuān)家蘇建明介紹，人臉識(shí)別流程依次是動(dòng)作活體檢測(cè)、現(xiàn)場(chǎng)人臉采集、人臉特征上送、靜默活體檢測(cè)、人臉比對(duì)，對(duì)應(yīng)的典型攻擊分別是打印照片攻擊、ROM注入攝像頭劫持攻擊、報(bào)文篡改攻擊、高精度偽造攻擊、人臉融合對(duì)抗攻擊。

如果黑產(chǎn)分子利用“AI換臉”破解線上銀行的人臉核驗(yàn)系統(tǒng)，通過(guò)表情操縱讓照片做出“張嘴、眨眼、搖頭”等指令性動(dòng)作，再讓智能設(shè)備不啟動(dòng)攝像頭，直接底層注入合成的動(dòng)態(tài)人臉視頻，繞過(guò)活體檢測(cè)，便可順利破解人臉識(shí)別。這一方式也容易被不法分子用于盜刷銀行卡、非法辦理手機(jī)卡等詐騙場(chǎng)景。除了欺騙機(jī)器外，還可以通過(guò)偽造電話語(yǔ)音、視頻通話畫(huà)面等欺騙真人，引誘轉(zhuǎn)賬、實(shí)施敲詐等。

用魔法打敗魔法

任何事物客觀上都有兩面性，人工智能也不例外。一方面，它為技術(shù)的探索和創(chuàng)造提供了空間。另一方面，它也為犯罪、欺騙，以及欺詐提供了可能性。

目前，AIGC生成內(nèi)容對(duì)當(dāng)前AI識(shí)別的挑戰(zhàn)主要體現(xiàn)在以下幾個(gè)方面：

1、對(duì)抗樣本攻擊：通過(guò)對(duì)已有的訓(xùn)練模型進(jìn)行修改、添加噪聲等手段，使其在識(shí)別新的輸入數(shù)據(jù)時(shí)產(chǎn)生誤判，這對(duì)于基于AI識(shí)別的安全系統(tǒng)來(lái)說(shuō)是一種重要的挑戰(zhàn)。

2、多樣性和可控性：AI生成的圖片、視頻、語(yǔ)音等內(nèi)容具有更高的多樣性和可控性，這意味著在識(shí)別過(guò)程中需要考慮更多的變化和可能性，增加了AI識(shí)別的難度和復(fù)雜度。

3、數(shù)據(jù)質(zhì)量和可信度：由于AIGC生成的內(nèi)容并非真實(shí)的物理世界中的數(shù)據(jù)，因此其質(zhì)量和可信度存在一定的風(fēng)險(xiǎn)和不確定性。如果將其用于關(guān)鍵領(lǐng)域，例如醫(yī)療、金融、軍事等，可能會(huì)帶來(lái)嚴(yán)重的安全問(wèn)題和損失。

如果利用AIGC生成的圖片、視頻、語(yǔ)音騙過(guò)相關(guān)的安全系統(tǒng)，將對(duì)目前以生物識(shí)別為基礎(chǔ)建立的安全體系帶來(lái)極大的影響。生物識(shí)別技術(shù)在實(shí)現(xiàn)上已經(jīng)相對(duì)成熟，被廣泛應(yīng)用于各個(gè)領(lǐng)域。但如果這些技術(shù)被AIGC生成的虛假數(shù)據(jù)所攻擊，將可能導(dǎo)致系統(tǒng)的誤判、失效和癱瘓，從而給人們的生命和財(cái)產(chǎn)安全帶來(lái)巨大威脅。

因此，針對(duì)AIGC生成內(nèi)容對(duì)AI識(shí)別的挑戰(zhàn)，可以采取以下措施來(lái)升級(jí)AI生物識(shí)別系統(tǒng)：

如通過(guò)多種生物特征進(jìn)行識(shí)別，目前的生物識(shí)別系統(tǒng)主要以人臉識(shí)別和語(yǔ)音識(shí)別為主，但隨著AIGC技術(shù)的發(fā)展，這些特征越來(lái)越容易被偽造。因此，可以引入其他生物特征，如指紋、虹膜、靜脈等，增加識(shí)別難度，提高安全性。

還可以加強(qiáng)算法研究，算法是生物識(shí)別系統(tǒng)的核心，需要不斷研究和開(kāi)發(fā)更加先進(jìn)的算法。例如，可以采用深度學(xué)習(xí)等新技術(shù)來(lái)提高識(shí)別準(zhǔn)確率和對(duì)抗攻擊的能力。

除此之外，可以引入人工智能安全技術(shù)，如對(duì)抗樣本訓(xùn)練、可解釋性機(jī)器學(xué)習(xí)等，提高生物識(shí)別系統(tǒng)的抗攻擊能力和可靠性。采用多因素認(rèn)證技術(shù)，如結(jié)合生物識(shí)別和密碼識(shí)別等，提高認(rèn)證的安全性和可靠性等。

統(tǒng)籌發(fā)展和安全是每項(xiàng)新技術(shù)發(fā)展過(guò)程中面臨的必然問(wèn)題，如何實(shí)現(xiàn)高水平發(fā)展和高水平安全的良性互動(dòng)，也是當(dāng)前人工智能產(chǎn)業(yè)發(fā)展的重要命題。

針對(duì)開(kāi)放環(huán)境下的人工智能系統(tǒng)面臨的諸多安全挑戰(zhàn)，北京航空航天大學(xué)軟件開(kāi)發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任劉祥龍表示，目前人工智能算法及系統(tǒng)的安全性缺乏科學(xué)評(píng)測(cè)手段，難以有效評(píng)測(cè)完整的人工智能模型和算法能力。

在他看來(lái)，從技術(shù)上來(lái)看應(yīng)形成從安全性測(cè)試到安全性分析與安全性加固的完整技術(shù)手段，最終形成標(biāo)準(zhǔn)化的測(cè)試流程。未來(lái)的人工智能安全應(yīng)該圍繞從數(shù)據(jù)、算法到系統(tǒng)各個(gè)層次上的全面評(píng)測(cè)，同時(shí)配合一套整體的從硬件到軟件的安全可信計(jì)算環(huán)境。

——END——

來(lái)源：數(shù)智猿