2024世界人工智能大會暨人工智能全球治理高級別會議上，全球治理、全球合作成為話題焦點，大會現(xiàn)場多位AI大咖都分享了自己的見解和思考。

專家方面

1. 清華大學蘇世民書院院長、清華大學人工智能國際治理研究院院長薛瀾在多場論壇上闡釋了自己的觀點。

全體會議

我想今天從三個方面跟大家來交流：首先，人工智能未來帶來的收益和可能帶來的風險；二是在人工智能治理方面中國做過什么樣的實踐，以及它可能帶來的啟發(fā)；三是討論人工智能的國際治理問題。

第一方面，人工智能發(fā)展可以給我們帶來各方面的收益，有各方面廣泛應用，我想這個大家比較熟悉。但我想在更加宏觀角度來看，它能夠為我們做什么？

2015年全世界193個國家在聯(lián)合國共同簽署了SDG，人類可持續(xù)發(fā)展目標，希望到2030年能夠推動人類社會更好地發(fā)展。193個國家所簽署的SDG一共有17個目標，下面有169個具體的指標。人工智能能夠為它來做什么？大家知道，去年聯(lián)合國召開一次會議看看時間過半，SDG執(zhí)行情況如何？情況不容樂觀，有很多目標不但沒有能夠?qū)崿F(xiàn)，而且還倒退。所以大家對人工智能賦予了很高期望。

最近也有研究人工智能對SDG發(fā)展帶來影響做出了一些分析。其中一個分析，17個目標分成三個大領(lǐng)域：經(jīng)濟發(fā)展、社會發(fā)展和環(huán)境可持續(xù)發(fā)展?？傮w來講，人工智能會對169個指標里面134個帶來積極促進作用，當然也有可能對其中59個/35%左右產(chǎn)生不利影響。左圖可以看到積極正面影響，右邊帶來不利影響。從宏觀角度看到，人工智能潛在積極影響和不利方面。

目前，人工智能可能帶來一些風險。第一，技術(shù)內(nèi)在問題，包括所謂幻覺，另外自主人工智能系統(tǒng)長遠來講，受到自主發(fā)展可能，對人類社會的威脅；第二，基于技術(shù)開發(fā)帶來風險，包括數(shù)據(jù)安全問題、算法歧視、能源環(huán)境等等問題；第三，技術(shù)應用，包括誤用或者濫用，長遠對社會就業(yè)帶來影響。這些問題都是不可忽視的。

如何推動人工智能健康發(fā)展，盡可能地讓它收益最大化？同時把風險降到最低？中國在過去這些年的實踐當中已經(jīng)建立了相對比較完整的體系，首先在底層產(chǎn)業(yè)應用方面有一系列法律法規(guī)去推動人工智能的合理發(fā)展。另外，針對算法、算力、數(shù)據(jù)有一系列治理規(guī)則。同時，針對它的風險也有很多基本規(guī)則。2019年發(fā)布《人工智能治理準則》，包括《倫理準則》，這個作為底層。另外，針對相關(guān)很多問題的法律也出臺，針對專項及具體場景應用都出臺相應治理規(guī)則。構(gòu)建了多維度、多層次、多領(lǐng)域、多舉措的整體治理體系。

同時，特別強調(diào)人工智能發(fā)展和風險防控，要讓廣大社會能夠?qū)θ斯ぶ悄苡懈玫牧私猓赃@點也有很多研究顯示確實公眾在這方面，中國社會對人工智能發(fā)展積極、擁抱，但同時也對人工智能認識有不足的地方。所以，今年2月份四部門《2024年提升全面數(shù)字素養(yǎng)與技能工作要點》，部署這方面任務(wù)。

剛才講到中國這方面的實踐，從全球角度來講，要看到人工智能發(fā)展面臨著很多挑戰(zhàn)。

剛才李強總理特別談到存在巨大的問題，首先是基礎(chǔ)設(shè)施鴻溝，25億人屬于脫線狀態(tài)，同時全世界存在公民素質(zhì)數(shù)字素養(yǎng)鴻溝，另外是人工智能發(fā)展和素養(yǎng)的鴻溝。這些是要全球共同努力發(fā)展，不但阻礙全球發(fā)展，也對全球治理帶來很大影響，而且在今天國際社會里面，一個國家?guī)淼娘L險就是全球的風險，所以這些問題必須得共同努力解決。

解決這方面問題，首先要把發(fā)展和安全作為“一體兩翼”，國際社會對安全問題可以說是非常重視，要去推動其解決。另外一點，對于發(fā)展目前存在的鴻溝，AI鴻溝、數(shù)智鴻溝方面關(guān)注不夠。所以，最近中國在全球發(fā)布了這方面的規(guī)則。所以，在這方面應該說有很多的工作可以進一步討論。

首先，通過多途徑建立國際交流及防控體系，加強政府間的多邊對話機制，同時希望能夠通過科學共同體力量助力國際機制全面完善。剛才特別高興看到他們的主席來討論，全球科技力量可以跟政府、跟企業(yè)共同推動人工智能的健康發(fā)展。

我們也希望聯(lián)合國等國際組織能夠真正起到綜合全面協(xié)調(diào)的作用，去年通過安全協(xié)議，今年剛剛通過加強人工智能能力建設(shè)國際合作決議，打破各種壁壘，加強國際合作協(xié)議，同時在產(chǎn)業(yè)、科學界共同努力下推動人工智能合理發(fā)展。

最后，希望大家共同努力推動人工智能健康發(fā)展，為人類和平與發(fā)展作出更大的貢獻，謝謝大家！

人工智能前沿技術(shù)的治理挑戰(zhàn)與應對措施論壇

當前，人工智能的治理與發(fā)展已經(jīng)走到了關(guān)鍵的"十字路口"，尤其是生成式人工智能所帶來的挑戰(zhàn)是前所未有的。在這樣關(guān)鍵的時間節(jié)點上，我們必須意識到人工智能治理也面臨著空前挑戰(zhàn)：

其一，人工智能技術(shù)的發(fā)展速度遠遠快于監(jiān)管制度的制定速度，首當其沖的便是發(fā)展與治理的平衡問題；

其二，人工智能引發(fā)的問題前所未有，這使得人工智能監(jiān)管變得空前復雜，沒有任何一個監(jiān)管機構(gòu)能夠單獨管理好人工智能牽涉的各個方面；

其三，隨著國際格局變化和中美關(guān)系復雜化程度的加深，我們越來越認識到，不管如何，國際社會不太可能形成一個單一的全球性機構(gòu)來監(jiān)管人工智能發(fā)展的方方面面，因此加強國與國之間的人工智能治理溝通與合作非常必要。

前沿人工智能安全與治理論壇

今天要討論的內(nèi)容是全球關(guān)于AI安全和治理這方面的問題。最近大家做出了很多的努力，在英國和韓國都開了安全峰會，這些都是在過去12個月之間我們所開的一些關(guān)于AI安全的會，我覺得這是一個好的跡象，說明大家都關(guān)注這一點，說明大家對于人工智能存在的風險存在共識，大家對于人工智能系統(tǒng)的自主性比較擔心。正是基于此，我們知道現(xiàn)在有很多國家采取了一些行動，試圖解決這方面的治理問題，有國內(nèi)的問題也有國際的問題，剛才有專家講到中國AI治理的系統(tǒng)，我覺得主要要關(guān)注的是全球的問題。

我覺得全球?qū)用骊P(guān)于治理方面有幾大挑戰(zhàn)：

第一，步伐的問題、不平的問題。因為我們技術(shù)發(fā)展太快了，政治和機構(gòu)改變要慢得多，因此步伐的中間都要有一個差距，這是我們第一個要面臨的挑戰(zhàn)。

第二，還有最近的一個新挑戰(zhàn)形成，之前也有人談到關(guān)于技術(shù)發(fā)展的方向，目前大家說我們需要更多的運算能力，需要增加系統(tǒng)的能力把握未來的方向。我其實也有聽到一些專家和科學家的討論，他們開始質(zhì)疑是不是這是唯一的方式，還是有其他的方式思考這個問題，以及如何實現(xiàn)更加健康的AI系統(tǒng)的發(fā)展。我不知道是不是其他專家都有分享過，但是可以說這方面逐漸會有新的想法出來，在技術(shù)的社區(qū)當中。

第三，機構(gòu)性挑戰(zhàn)。政權(quán)復雜問題帶來的挑戰(zhàn)，之前有同事提到過這一點，我們會有一些非線性機構(gòu)有一些重疊的問題，之前我們也看到過基因數(shù)據(jù)，基因數(shù)據(jù)也是非常類似的，也就是說有AI問題，很多的機構(gòu)、機制其實是相關(guān)的，但是并沒有上下級清晰的關(guān)系。比如不同的體系都有自己的治理方式，這是我們目前的情況。我們怎樣協(xié)調(diào)所有這些機構(gòu)，怎樣結(jié)合起來，讓公司能夠研究出來怎樣做治理，這是我覺得比較大的問題。

第四，地緣政治方面的問題，這是大家都不想談的顯而易見的問題。

看一下中美這些年科技方面的合作，2017年開始美國和中國之間的科技合作急劇下降，因此我做了這樣的表格，清楚的顯示兩個維度展示出國家科學家之間的合作，是否對于國家安全有益的影響，還是說對于經(jīng)濟有有利的影響。

可以看到在Q1是兩者皆非，既不是經(jīng)濟方面也不是國家安全方面，沒有用的研究，就是我們的基礎(chǔ)研究。Q2加強了國家安全，而對經(jīng)濟沒有應該。Q3是商業(yè)化的技術(shù)，主要是關(guān)注經(jīng)濟方面。Q4是兩者都結(jié)合了，我們把前沿科技放在這邊。如果我們做測繪的話，可以把技術(shù)和研究領(lǐng)域進行區(qū)分。2017年Q1基本上是兩國之間的科學技術(shù)研究，Q4是WTO的科學合作，Q2是我們有一個Wassenaar協(xié)議，關(guān)于中國技術(shù)出口控制的協(xié)議，這個實施了很多年，Q4目前還是一個“？”，關(guān)于前沿技術(shù)還需要看未來的走向。這基本四個象限都囊括了。2017年之后Q2的政策推向了各個方向，包括在Q1、Q3和Q4。這是2017年之后的情況不需要贅述了，有中國的倡議，很多中國的科學家受到了迫害，這是現(xiàn)在的情況。

因此我們談?wù)摰紸I治理方面合作的時候，這是我們現(xiàn)在面臨的情況，這就產(chǎn)生了關(guān)于合作方面令人毛骨悚然的影響。我們知道美國的同事如果要跟中國合作的話要寫報告、打報告等，做很多的工作。同時，我之前也有參與過相關(guān)的研究，很多公司不想要參加，因為他們擔心可能會被加入到某個名單上。在這樣一種環(huán)境下談合作，我覺得很困難。

有什么樣的方式可以解決這些挑戰(zhàn)？我非常同意提升安全性和治理的合作，我可能比較有雄心，我希望10%是可以合作的，另外我們需要做一些聯(lián)合國際的全球科研，比如說我們怎么樣做危機管理，比如有緊急的處理計劃處理緊急情況，這種緊急情況和緊急計劃需要技術(shù)人員合作完成。因此全球科研方面的合作是非常有潛力的。

第二個問題，怎么樣解決步伐差距的問題，過去幾年被邀請到不同的機構(gòu)做講話，關(guān)于靈敏治理方面，政府不需要像EU這樣推出綜合性的AI法律，而是緊緊跟上、快速響應，這是我們可以做的一方面。

另外一方面，Tino剛剛有談到，而且講的非常好。

第三點，我們不僅僅需要考慮政府，業(yè)界本身的自我管理也是非常有用的，我們聽說美國核武器的操作員他們自己也有一個協(xié)會，也會以非常嚴格的方式自我進行約束，很多核反應堆有時候會出小的問題、事故等等，都需要上報，看看怎樣研究避免出現(xiàn)問題。自我的約束和管理我覺得是非常有用的，我希望能夠做出這方面的努力。

最后，關(guān)于國際的治理方面，很高興能夠看到聯(lián)合國站出來扮演很好、很重要的角色，組成專家組，提供相應的意見，發(fā)布相應的報告。像Tino和我都同意的一點是這是一個非常復雜的問題，不太可能會有某一個機構(gòu)做出層次分明、非常清晰的管理方式。因此我認為多邊的網(wǎng)絡(luò)系統(tǒng)可能是可行的方案，某些人關(guān)注某些問題，其他人關(guān)注其他的問題。但是我覺得我們需要分出三類問題，可能是未來會有更多的時間討論的：

第一，國內(nèi)的問題，國內(nèi)的監(jiān)管對于技術(shù)的使用問題；

我們知道不同的文化對于技術(shù)的使用還有不同的法律環(huán)境都會有影響，所以在治理方面肯定是會有區(qū)別的。

第二，國際社會問題，比如根本的風險需要國際合作；

第三，更難管理同時需要注意的是國內(nèi)的這些問題可能會對國際上產(chǎn)生影響，當然也有可能國際上的事情對國內(nèi)產(chǎn)生影響。

這三個類別是我們需要討論的問題。

最后，美國和中國的競爭怎樣解決這個問題，當然非常有挑戰(zhàn)性，不是今天要討論的問題，但是我覺得至少想要看一下怎么樣創(chuàng)造一個安全的空間，讓技術(shù)人員和技術(shù)專家能夠互相合作，不用擔驚受怕，可以自由討論一些問題樣從技術(shù)層面解決，如果沒有這一點我們今天講的很多東西都是無法實現(xiàn)的。

謝謝。

2. 中國科學院自動化研究所研究員，聯(lián)合國人工高層顧問機構(gòu)專家曾毅

近年來，上海在人工智能的應用領(lǐng)域取得了顯著的成果，尤其是在新應用的機遇探索上。上海在AI的社會應用影響方面也有自己的獨特認知。例如，今年的世界人工智能大會提出的上海宣言就很好地體現(xiàn)了發(fā)展、治理、安全并重的理念，以及如何通過安全和治理實現(xiàn)穩(wěn)健的發(fā)展。

同時，曾毅也談到了人工智能所帶來的風險，“數(shù)據(jù)顯示，2023年人工智能所帶來的風險是2022年的十倍以上，這意味著，生成式的人工智能發(fā)展把這項風險帶向了社會各個領(lǐng)域，并且在各國之間反復出現(xiàn)，那是因為大家更多關(guān)注人工智能發(fā)展的機遇，對可能產(chǎn)生的隱患卻沒有更好的學習。”

他介紹，2020年起，聯(lián)合國教科文組織了召集了一批來自各國的人工智能倫理方面的專家組，撰寫了全球人工智能倫理的建議書，體現(xiàn)了各國對人工智能倫理的共識。“但僅形成倫理共識是不夠的，重要的如何落地才是關(guān)鍵。”

此外，曾毅表示，政府、學者、產(chǎn)業(yè)、媒體、公眾等每一個人在人工智能的發(fā)展過程中都有自己的角色和義務(wù)，比如人工智能前沿研究者更關(guān)注創(chuàng)造更強大的人工智能，但公眾和媒體有義務(wù)和能力觀察可能產(chǎn)生的社會風險。

人工智能會不會真正對人類的生存帶來挑戰(zhàn)，產(chǎn)生災難性的后果？人類又如何完成與人工智能的和諧共生，這一切尚未可知，需要長期的研究支持。但曾毅強調(diào)，如果真的出現(xiàn)比人類更聰明的智能存在，人類在這過程中需要反思和思維演化，從人類為中心轉(zhuǎn)化為以生態(tài)為中心。“人工智能像一面鏡子，讓我們看到自身的不足，同時也反過來加速了人類發(fā)展。”

3. 圖靈獎得主、中國科學院院士、清華大學交叉信息研究院院長姚期智

要控制好 AI，但又不能破壞它。

他說，AI 風險來自于三個方面：一是網(wǎng)絡(luò)風險延伸和擴大。現(xiàn)在，我們覺得管理數(shù)據(jù)安全已經(jīng)是很困難的，出現(xiàn)了AI會困難100倍。二是沒有意識到的社會風險，比如說AI非常強大，而且是可以有很多方式去使用，所以顛覆現(xiàn)在社會結(jié)構(gòu)在短時間內(nèi)發(fā)生的可能性，這是存在的。比如說有人提到，AI可能帶來大規(guī)模未來的失業(yè)。三是最有意思的層面，生存或者存在的風險。以前也面臨過，當火車或者蒸汽機發(fā)明的時候，就有人有這樣的擔憂。

姚期智說，自己作為計算機科學家看到了最有深度的問題，一方面我們把 AI 控制好，畢竟這是我們設(shè)計出來的；另外一方面，也不希望它被我們給破壞了，這樣權(quán)衡是非常困難的。正如圖靈所說，這是無法預測的，預測不了機器有了足夠算力之后會做什么。

姚期智還提出了AI風險都需要專家來解決，不僅是科學家，還可能需要政府、律師、經(jīng)濟學家來參與，幾乎涉及到每一個行業(yè)。

4. 上海人工智能實驗室主任、銜遠科技創(chuàng)始人周伯文

對 AI 安全的投入遠落后于 AI 性能的投入，目前，從算法研究、人才密集度、商業(yè)驅(qū)動力、甚至包括算力的投入等方面來看，我們對 AI 安全的投入遠遠落后于對 AI 性能的投入?，F(xiàn)在，世界上只有 1% 的（資源）投入在對齊或者安全考量上。

對于人工智能系統(tǒng)的安全和能力可否兼得，周伯文認為我們將遵循“AI-45平衡律”，沿著可信AGI的“因果之梯”拾級而上，探索二者系統(tǒng)性平衡之路。

5. 上海人工智能實驗室青年科學家邵婧

不僅僅是對齊，AI的整個生命周期都急需安全監(jiān)測和干預。

6. 中國工程院院士高文

人工智能的安全風險可以從模型、算法硬件、自主意識不可控三個方面考慮。開展國際合作研究和人才培養(yǎng)是提高AI安全水平的關(guān)鍵。

7. 中國科學院微小衛(wèi)星創(chuàng)新研究院副院長、衛(wèi)星數(shù)字化技術(shù)重點實驗室主任，愛因斯坦探針衛(wèi)星總設(shè)計師，中法天文衛(wèi)星總指揮張永合

人工智能在推動國際合作、提升科研效率及實現(xiàn)科學發(fā)現(xiàn)中的重要作用，并對未來人工智能在全球治理框架下如何更好地服務(wù)于空間天文研究提出了前瞻性的思考。

8. 斯梅爾數(shù)學與計算研究院執(zhí)行院長，華院計算董事長、創(chuàng)始人宣曉華

在人工智能在社會治理，尤其是社會治理這些領(lǐng)域的應用大模型，相對來說可能可以有更多的數(shù)據(jù)，或者它有的時候像法律的大模型，它跟語言相對來說比較接近，所以這個角度來說，大模型當然是比較自然的可以用到這些領(lǐng)域。

9. 圖靈獎得主、蒙特利爾學習算法研究所(MILA)科學主任Yoshua Bengio

《先進人工智能安全性國際科學報告》主要關(guān)注風險，關(guān)于AI大家都做了很多的工作，對于政策制定者來說他們必須要了解人工智能其中的風險，以及我們是否有能力管理這些風險。我們對于AI快速指數(shù)級的變化是沒有準備的，我們需要開始提升我們的準備程度，我們需要了解風險閾值、預警，達成國際協(xié)議。整體來說我們需要面臨不確定性的時候，需要隨時準備開始行動。

10. 加州大學伯克利分校教授、綠洲實驗室（Oasis Labs）創(chuàng)始人Dawn Song

人工智能安全面對對抗性攻擊需要魯棒性和安全，而如今已經(jīng)是正式驗證系統(tǒng)的時代。Dawn Song還談到，AI的安全是至關(guān)重要的，在對抗性環(huán)境當中考慮人工智能的安全性是最重要的一點。通過設(shè)計實現(xiàn)安全，構(gòu)建具有可證明保證的安全系統(tǒng)是AI安全研究的重要方向。

11. 密歇根大學教授Peter Railton

公平和道德規(guī)范的出現(xiàn)是通過智能體之間的反復互動實現(xiàn)的。

12. 卡耐基梅隆大學助理教授Zico Kolte

即使看似微不足道的問題也可能引發(fā)嚴重的安全隱患。

------------------------

科技產(chǎn)業(yè)領(lǐng)域

13. 新思科技總裁兼首席執(zhí)行官蓋思新

全球協(xié)作能夠使全世界人民從人工智能帶來的巨大進步中受益，同時確保這些創(chuàng)新能力得到負責任的實踐。

14. 黑石集團董事長、首席執(zhí)行官兼聯(lián)合創(chuàng)始人蘇世民

他對全球監(jiān)管機構(gòu)很感興趣，因為從事這項技術(shù)的人對它可能出錯的地方要有應有的敬畏。

15. 星環(huán)信息科技（上海）股份有限公司創(chuàng)始人、CEO孫元浩

人工智能應成為人類發(fā)展的助手，而非替代者，通過完善的安全測試、標準，確保其在安全和道德的框架內(nèi)服務(wù)于社會進步。

16. 北京智譜華章科技有限公司首席執(zhí)行官張鵬

其實每一項技術(shù)的革新都會引起這方面大范圍的探討。他認為，我們不要因為新技術(shù)帶來的未知而恐懼，相反我們應該冷靜看待這種不確定的風險，通過分析、討論、行動，逐步解決這些問題。

來源：數(shù)據(jù)猿