會議主題：世界人工智能大會暨人工智能全球治理 高級別會議全體會議

會議時(shí)間：2024年7月4日 上午11：00

會議形式：線上速記

會議內(nèi)容：

主持人：我是上海廣播電視臺第一財(cái)經(jīng)的主持人黃偉，本屆大會的主題是“以共商促共享 以善治促善智”。當(dāng)前人工智能全球治理已經(jīng)成為世界各國共同面臨的重大課題，急需通過對話與合作、凝聚共識管控風(fēng)險(xiǎn)，推動(dòng)人工智能朝著科技向善的方向發(fā)展。

今天在我們?nèi)w大會的一開始，首先邀請到的第一位嘉賓是WAIC老朋友，一直以來他都在不懈推動(dòng)人工智能治理發(fā)展。各位，接下來讓我們以熱烈掌聲歡迎清華大學(xué)蘇世民書院院長、清華大學(xué)人工智能國際治理研究院院長薛瀾先生帶來他最新的見解，有請！

薛瀾：大家上午好！非常高興有機(jī)會今天跟大家來分享關(guān)于人工智能治理的一些想法。

我想今天從三個(gè)方面跟大家來交流：首先，人工智能未來帶來的收益和可能帶來的風(fēng)險(xiǎn)；二是在人工智能治理方面中國做過什么樣的實(shí)踐，以及它可能帶來的啟發(fā)；三是討論人工智能的國際治理問題。

第一方面，人工智能發(fā)展可以給我們帶來各方面的收益，有各方面廣泛應(yīng)用，我想這個(gè)大家比較熟悉。但我想在更加宏觀角度來看，它能夠?yàn)槲覀冏鍪裁矗?/p>

2015年全世界193個(gè)國家在聯(lián)合國共同簽署了SDG，人類可持續(xù)發(fā)展目標(biāo)，希望到2030年能夠推動(dòng)人類社會更好地發(fā)展。193個(gè)國家所簽署的SDG一共有17個(gè)目標(biāo)，下面有169個(gè)具體的指標(biāo)。人工智能能夠?yàn)樗鼇碜鍪裁?？大家知道，去年?lián)合國召開一次會議看看時(shí)間過半，SDG執(zhí)行情況如何？情況不容樂觀，有很多目標(biāo)不但沒有能夠?qū)崿F(xiàn)，而且還倒退。所以大家對人工智能賦予了很高期望。

最近也有研究人工智能對SDG發(fā)展帶來影響做出了一些分析。其中一個(gè)分析，17個(gè)目標(biāo)分成三個(gè)大領(lǐng)域：經(jīng)濟(jì)發(fā)展、社會發(fā)展和環(huán)境可持續(xù)發(fā)展。總體來講，人工智能會對169個(gè)指標(biāo)里面134個(gè)帶來積極促進(jìn)作用，當(dāng)然也有可能對其中59個(gè)/35%左右產(chǎn)生不利影響。左圖可以看到積極正面影響，右邊帶來不利影響。從宏觀角度看到，人工智能潛在積極影響和不利方面。

目前，人工智能可能帶來一些風(fēng)險(xiǎn)。第一，技術(shù)內(nèi)在問題，包括所謂幻覺，另外自主人工智能系統(tǒng)長遠(yuǎn)來講，受到自主發(fā)展可能，對人類社會的威脅；第二，基于技術(shù)開發(fā)帶來風(fēng)險(xiǎn)，包括數(shù)據(jù)安全問題、算法歧視、能源環(huán)境等等問題；第三，技術(shù)應(yīng)用，包括誤用或者濫用，長遠(yuǎn)對社會就業(yè)帶來影響。這些問題都是不可忽視的。

如何推動(dòng)人工智能健康發(fā)展，盡可能地讓它收益最大化？同時(shí)把風(fēng)險(xiǎn)降到最低？中國在過去這些年的實(shí)踐當(dāng)中已經(jīng)建立了相對比較完整的體系，首先在底層產(chǎn)業(yè)應(yīng)用方面有一系列法律法規(guī)去推動(dòng)人工智能的合理發(fā)展。另外，針對算法、算力、數(shù)據(jù)有一系列治理規(guī)則。同時(shí)，針對它的風(fēng)險(xiǎn)也有很多基本規(guī)則。2019年發(fā)布《人工智能治理準(zhǔn)則》，包括《倫理準(zhǔn)則》，這個(gè)作為底層。另外，針對相關(guān)很多問題的法律也出臺，針對專項(xiàng)及具體場景應(yīng)用都出臺相應(yīng)治理規(guī)則。構(gòu)建了多維度、多層次、多領(lǐng)域、多舉措的整體治理體系。

同時(shí)，特別強(qiáng)調(diào)人工智能發(fā)展和風(fēng)險(xiǎn)防控，要讓廣大社會能夠?qū)θ斯ぶ悄苡懈玫牧私?，所以這點(diǎn)也有很多研究顯示確實(shí)公眾在這方面，中國社會對人工智能發(fā)展積極、擁抱，但同時(shí)也對人工智能認(rèn)識有不足的地方。所以，今年2月份四部門《2024年提升全面數(shù)字素養(yǎng)與技能工作要點(diǎn)》，部署這方面任務(wù)。

剛才講到中國這方面的實(shí)踐，從全球角度來講，要看到人工智能發(fā)展面臨著很多挑戰(zhàn)。

剛才李強(qiáng)總理特別談到存在巨大的問題，首先是基礎(chǔ)設(shè)施鴻溝，25億人屬于脫線狀態(tài)，同時(shí)全世界存在公民素質(zhì)數(shù)字素養(yǎng)鴻溝，另外是人工智能發(fā)展和素養(yǎng)的鴻溝。這些是要全球共同努力發(fā)展，不但阻礙全球發(fā)展，也對全球治理帶來很大影響，而且在今天國際社會里面，一個(gè)國家?guī)淼娘L(fēng)險(xiǎn)就是全球的風(fēng)險(xiǎn)，所以這些問題必須得共同努力解決。

解決這方面問題，首先要把發(fā)展和安全作為“一體兩翼”，國際社會對安全問題可以說是非常重視，要去推動(dòng)其解決。另外一點(diǎn)，對于發(fā)展目前存在的鴻溝，AI鴻溝、數(shù)智鴻溝方面關(guān)注不夠。所以，最近中國在全球發(fā)布了這方面的規(guī)則。所以，在這方面應(yīng)該說有很多的工作可以進(jìn)一步討論。

首先，通過多途徑建立國際交流及防控體系，加強(qiáng)政府間的多邊對話機(jī)制，同時(shí)希望能夠通過科學(xué)共同體力量助力國際機(jī)制全面完善。剛才特別高興看到他們的主席來討論，全球科技力量可以跟政府、跟企業(yè)共同推動(dòng)人工智能的健康發(fā)展。

我們也希望聯(lián)合國等國際組織能夠真正起到綜合全面協(xié)調(diào)的作用，去年通過安全協(xié)議，今年剛剛通過加強(qiáng)人工智能能力建設(shè)國際合作決議，打破各種壁壘，加強(qiáng)國際合作協(xié)議，同時(shí)在產(chǎn)業(yè)、科學(xué)界共同努力下推動(dòng)人工智能合理發(fā)展。

最后，希望大家共同努力推動(dòng)人工智能健康發(fā)展，為人類和平與發(fā)展作出更大的貢獻(xiàn)，謝謝大家！

主持人：接下來在現(xiàn)場邀請到的這位嘉賓是在上海辛勤耕耘，并且獲得斐然業(yè)績的科學(xué)家，接下來掌聲邀請上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家、清華大學(xué)惠妍講席教授周伯文先生，帶來關(guān)于《技術(shù)發(fā)展和安全治理的見解》，掌聲歡迎！

周伯文：尊敬的各位領(lǐng)導(dǎo)、各位嘉賓，大家上午好！非常榮幸在美麗的上海與大家分享人工智能安全的前沿技術(shù)話題。

今天，我想提出一個(gè)技術(shù)主張，探索人工智能的45度平衡率。

當(dāng)前，以大模型為代表的生成式人工智能快速發(fā)展，但是人力不斷提升，模型應(yīng)用存在一系列潛在風(fēng)險(xiǎn)顧慮。以公眾對AI風(fēng)險(xiǎn)的關(guān)注順序來看，首先是數(shù)據(jù)泄露、濫用隱私以及版權(quán)相關(guān)內(nèi)容風(fēng)險(xiǎn)，其次是惡意使用帶來的偽造、虛假信息等相關(guān)的使用風(fēng)險(xiǎn)，當(dāng)然可能誘發(fā)偏見、歧視等相關(guān)的倫理問題。還有擔(dān)心是否會帶來就業(yè)結(jié)構(gòu)等社會系統(tǒng)性的挑戰(zhàn)，甚至在科幻電影中出現(xiàn)了AI失控、人類喪失自主權(quán)的設(shè)定。這些AI風(fēng)險(xiǎn)有的已經(jīng)出現(xiàn)，但更多是潛在的。防范這一風(fēng)險(xiǎn)需要各界共同努力，需要科學(xué)社區(qū)做出更多的貢獻(xiàn)。

去年5月份，數(shù)百名AI科學(xué)家共同簽署文件表達(dá)了對AI風(fēng)險(xiǎn)的擔(dān)憂，呼吁、防御人工智能風(fēng)險(xiǎn)應(yīng)該與流行病、核戰(zhàn)爭與其他大規(guī)模風(fēng)險(xiǎn)一樣成為全球優(yōu)先議題。

根本原因是目前AI發(fā)展是失衡的，我們來看目前AI發(fā)展趨勢，橫軸是AI的技術(shù)能力提升，Transformer帶來的模型基礎(chǔ)下，大數(shù)據(jù)、大參數(shù)量的定理呈指數(shù)級增長，AI縱向角度安全標(biāo)識、安全賦能與評估測量等，呈現(xiàn)離散化、碎片化且后置的特性。

最近的一些對其技術(shù)兼顧了性能和安全性，人類反饋強(qiáng)化學(xué)習(xí)、超級對齊等，這些方法幫助將人類偏好傳遞給大模型，涌現(xiàn)出了ChatGPT、GPT4，以及上海書生大模型等等。雖然瞄準(zhǔn)安全提升，往往還是性能優(yōu)先。

所以，總體上AI模型安全的提升還遠(yuǎn)遠(yuǎn)落后于性能，這種失衡導(dǎo)致AI發(fā)展包角的，不均衡背后是兩者投入上的巨大差異。右邊對比中可以看到，兩者在研究上是否體系化，我們說的算法研究。人才密集度、商業(yè)驅(qū)動(dòng)力，包括算力的投入度方面對比來看，安全度投入遠(yuǎn)遠(yuǎn)落后于AI投入，目前世界上只有1%對齊或者安全優(yōu)先考量。

正如李總理剛才提出智能向善，AI要確保安全可控，統(tǒng)籌發(fā)展以安全。所以毫無疑問，我們要避免現(xiàn)在這類AI發(fā)展，真正需要追求的是右上角的AGI。

可幸AGI需要能夠兼顧安全與性能，所以我們需要找到AI安全優(yōu)先，但又能保證AI能力長期發(fā)展的技術(shù)體系，把這樣一種技術(shù)思想體系叫做AI45度平衡率。AI45度平衡率是指長期角度來看，我們要大體上沿著45度安全與性能平衡發(fā)展，所謂平衡是指短期內(nèi)可以有波動(dòng)，但不能長期低于45度，如同我們所處的現(xiàn)在。也不能長期高于45度，這樣會阻礙技術(shù)和產(chǎn)業(yè)應(yīng)有的發(fā)展。45度平衡的技術(shù)體系要求強(qiáng)技術(shù)驅(qū)動(dòng)、全流程優(yōu)化、多主體參與，以及敏捷治理。

實(shí)現(xiàn)AI45度平衡率，也許有很多技術(shù)路徑。上海探索一條以因果為核心的路徑，取名為可信AGI的“因果之梯”?？尚臕GI的“因果之梯”分為泛對齊、可干預(yù)、能反思。泛對齊主要包含當(dāng)前最前沿人類偏好對齊技術(shù)，但需要注意的是這些安全對齊技術(shù)目前僅依賴于其相關(guān)性，而不是真正的因果關(guān)系?？赡軐?dǎo)致錯(cuò)誤的推理和潛在的危險(xiǎn)，一個(gè)典型的例子是巴普羅夫的狗，當(dāng)狗基于鈴聲和統(tǒng)計(jì)的相關(guān)性形成條件反射時(shí)，可能在任何時(shí)候聽到都可以分泌唾液；可干預(yù)包含AI系統(tǒng)進(jìn)行動(dòng)態(tài)干預(yù)，探究其因果安全技術(shù)，包括人在回路，機(jī)器可解釋性和剛剛最近提出的對抗演練?？梢酝ㄟ^提高可解釋性和泛化性來提升安全性，同時(shí)也提升AI的能力；能反思這要求AI系統(tǒng)不僅追求高效的執(zhí)行任務(wù)，還能夠?qū)徱曌陨硇袨榈耐庠谟绊懞蜐撛陲L(fēng)險(xiǎn)，從而確保性能同時(shí)保證安全和道德邊界不被突破，這階段技術(shù)包括基于價(jià)值的訓(xùn)練、因果可解釋性、推理等等。

目前，從全球來看，AI安全和性能技術(shù)發(fā)展主要停留在第一階段，部分在嘗試第二階段，等真正實(shí)現(xiàn)AI安全與性能平衡必須完善第二階段，并勇于攀登第三階段。沿著可信AGI因果之梯乘勢而上，希望能夠?qū)崿F(xiàn)AI卓越與安全完美融合。為全球、全人類帶來清潔豐富的能源一樣，我們希望深度理解AI內(nèi)在機(jī)理和內(nèi)在過程，從而有效開發(fā)革命性技術(shù)。

但也正如可控核聚變對全人類都是共同利益一樣，我們堅(jiān)信AI安全性也是全球性公共福祉。正如書記所說，需要國際社會共同努力和合作，我們要與大家攜手推進(jìn)AI45度發(fā)展，共享AI安全技術(shù)，加強(qiáng)全球AI安全人才的交流與合作，平衡AI安全與能力的投入，共同構(gòu)建開放、安全的通用人工智能創(chuàng)新生態(tài)和人才發(fā)展環(huán)境。

謝謝大家！

主持人：各位來賓，接下來把目光聚焦到智能芯片領(lǐng)域，有請新思科技總裁兼首席執(zhí)行官蓋思新先生帶來他對于產(chǎn)業(yè)創(chuàng)新和全球治理的思考。

蓋思新：謝謝，我非常榮幸受邀在這里進(jìn)行發(fā)言，很高興能夠講一講AI的治理。我想從商業(yè)和企業(yè)角度講講。

首先，我想說一下我們要了解AI的全面情況，AI是從半導(dǎo)體開始、從芯片開始，它在推動(dòng)非常了不起顛覆性的技術(shù)，同時(shí)上面的軟件也在運(yùn)行，我們有針對特別市場的應(yīng)用，用戶通過這些應(yīng)用在體驗(yàn)AI?？紤]到AI的顛覆性，會影響到每個(gè)市場，每個(gè)市場會變得更加智能、更加鏈接，所以在全球?qū)用婵紤]整個(gè)生態(tài)系統(tǒng)以及怎樣有責(zé)任地來確保人工智能的安全。

我們是從半導(dǎo)體角度來講，看下過去60年，半導(dǎo)體行業(yè)花了60年實(shí)現(xiàn)5000億銷售，8-9年翻1倍到1萬億，幾乎所有增量都是由AI增長所驅(qū)動(dòng)，AI需要很多基礎(chǔ)設(shè)施來訓(xùn)練模型，同時(shí)進(jìn)行這些模型在每個(gè)應(yīng)用上的推理，這也是我們會應(yīng)用到各種各樣的設(shè)備。雖然在過去30-40年出現(xiàn)很多顛覆性的技術(shù)，比如說個(gè)人的電腦、移動(dòng)設(shè)備的發(fā)明以及互聯(lián)網(wǎng)的發(fā)明，我們還沒有見證AI到一個(gè)非常大的轉(zhuǎn)折點(diǎn)，從歷史上來說，半導(dǎo)體的市場根據(jù)芯片的性能來進(jìn)行優(yōu)化，也會優(yōu)化芯片的能耗。在使用AI的時(shí)候，還要加上優(yōu)化的層面，包括安全和保障。

那么，我們公司做什么？提供軟件，幫助工程師開發(fā)非常復(fù)雜的半導(dǎo)體芯片。大家也知道，半導(dǎo)體芯片是最復(fù)雜的工程任務(wù)，人類見證獲得最復(fù)雜的任務(wù)，所以我們盡可能自動(dòng)化減少復(fù)雜性，要用行業(yè)的軟件，向工程師提供這樣的軟件。AI給我們提供了很好的機(jī)會來加速、改進(jìn)這些芯片開發(fā)過程，并且行業(yè)也缺少這方面的專業(yè)人才。所以，我們實(shí)現(xiàn)了很快的速度以及也在性能各方面實(shí)現(xiàn)了很好的優(yōu)化。

在AI方面有很多共同的原則，之前很多人也講到。主要是談芯片層級，或者是半導(dǎo)體層級。今天這些公司具體在做什么工作？能夠?qū)嵭蟹浅０踩陌雽?dǎo)體，最終把AI應(yīng)用在它的實(shí)際生活場景中，確保它的安全。給大家舉幾個(gè)例子：

第一，有政府合規(guī)的問題，確保每個(gè)芯片都知道在芯片里面每個(gè)部件是什么，等于這個(gè)芯片每個(gè)部分的材料，都能夠保證安全以及隱私保護(hù)，可以把IP插入其中，能夠確保芯片自己的安全。確保芯片也不會被加入不合規(guī)的內(nèi)容到其中，不會有這樣的脆弱性。同時(shí)，能夠保證監(jiān)管的過程也是非常高效，在半導(dǎo)體設(shè)計(jì)過程中，有時(shí)候消耗能量非常大。在半導(dǎo)體層面上能量消耗怎樣能夠更高效？讓我們大型數(shù)據(jù)中心能夠進(jìn)一步擴(kuò)大基礎(chǔ)設(shè)施建設(shè)？這些都是需要我們作為半導(dǎo)體芯片在設(shè)計(jì)過程中進(jìn)行考慮的問題。

我們作為一家公司，也在試圖將AI應(yīng)用在自己的工作流里，公司大概有2萬多名工程師，我們怎么來用AI加速自己的工作效率？已經(jīng)建立了人工智能卓越中心/AI卓越中心，目的就是教育我們自己的工作人員很清楚地知道AI倫理、風(fēng)險(xiǎn)、價(jià)值，以及更好地教育我們的客戶來用模型，使用技術(shù)開發(fā)更多的芯片，不斷地進(jìn)行監(jiān)督和跟蹤。在我們的產(chǎn)品里AI新一類技能進(jìn)行不斷跟蹤。

另外，對AI進(jìn)行商業(yè)化，2017年開始投資于AI，到現(xiàn)在有7年，在給客戶銷售產(chǎn)品里面一直有AI。所以，我們AI能夠有助于提升效率，進(jìn)一步優(yōu)化芯片的設(shè)計(jì)、半導(dǎo)體的設(shè)計(jì)。我們也進(jìn)一步擴(kuò)大了自己AI的工作，包含了一些生成式AI內(nèi)容。比如說，怎么樣有更多新技術(shù)引入到半導(dǎo)體行業(yè)里面？用生成式AI作為知識基礎(chǔ)提升工程師的工作效率？現(xiàn)在工程師數(shù)量還是缺的，AI很好證明可以應(yīng)用在什么領(lǐng)域，去補(bǔ)充工程師數(shù)量不足，提升整個(gè)行業(yè)的工作表現(xiàn)和效率，我也希望大家不要忘記還有一個(gè)耗能問題。有幾個(gè)數(shù)字，用AI來指導(dǎo)我們進(jìn)行芯片設(shè)計(jì)，能量的使用量/耗能量能夠減少30%，但是設(shè)計(jì)這套非常復(fù)雜的過程，效率還可以增長15倍。

在進(jìn)一步加速過程中，使用和開發(fā)AI，我還是從半導(dǎo)體行業(yè)角度來看，千萬不要忘記技術(shù)治理和生態(tài)系統(tǒng)的重要性。這些都非常重要，來確保AI的使用是合規(guī)的、合乎倫理安全的。

我就說這些，感謝大家今天花時(shí)間來聽我從半導(dǎo)體從業(yè)者角度探討如何進(jìn)一步優(yōu)化，從硅最基礎(chǔ)一面一直到半導(dǎo)體一面，一直保證它的安全性。

主持人：接下來，一同進(jìn)入黑石集團(tuán)董事長首席執(zhí)行官兼聯(lián)合創(chuàng)始人蘇世民先生和索奈顧問及投資公司董事長、首席執(zhí)行官喬舒亞·雷默所帶來的高端對話，請看大屏幕！

喬舒亞·雷默：當(dāng)時(shí)有10幾個(gè)人引用過這段話，您說不僅改變了應(yīng)用的方式，有很多公司進(jìn)行定價(jià)值的情況，原來大家覺得之前的公司一下子值了幾十億，值錢公司變得不值錢，您從商業(yè)角度怎么看AI跟投資方面的交際，這方面看到了什么洞察？人工智能怎么改變黑石內(nèi)部監(jiān)管？我更想問的問題就是AI怎么改變對于現(xiàn)有企業(yè)的價(jià)值認(rèn)定方面產(chǎn)生什么影響？

蘇世民：我去年也說過了，有一些企業(yè)在AI融合方面做得很棒，但其他有一些企業(yè)好像不太適應(yīng)AI。所以，我們總是考慮在進(jìn)行一些潛在的投資機(jī)會分析的過程中，因?yàn)樵谶@個(gè)時(shí)代一個(gè)年輕人都很幸運(yùn)，你可以借助AI幫助你打造模型。我剛進(jìn)入這一行的時(shí)候根本做不來模型，不擅長數(shù)字，所以我看到的這一類新的AI應(yīng)用方面機(jī)器都可以做，比如說起草投資委員會的會議備忘錄等等都可以AI幫你做到，讓我感到很驚喜。我也看到目前這項(xiàng)技術(shù)進(jìn)展已經(jīng)非常順利，但也始終讓大家把你們的預(yù)期放低一點(diǎn)，但是你的警惕性要保持高度的情況。不能把頭埋在沙子里，不關(guān)注外面技術(shù)發(fā)展風(fēng)險(xiǎn)，因?yàn)榧夹g(shù)深度發(fā)展以后，一定會產(chǎn)生非常深遠(yuǎn)的影響。

喬舒亞·雷默：關(guān)于這點(diǎn)，我的意思是多年以來你讓我牢記的一點(diǎn)就是你思考風(fēng)險(xiǎn)的方式，我很少遇到像您這樣的人，在思考風(fēng)險(xiǎn)的時(shí)候又有哲學(xué)性，又有戰(zhàn)術(shù)實(shí)踐性。AI有沒有改變你管理風(fēng)險(xiǎn)或在投資中關(guān)于風(fēng)險(xiǎn)的定價(jià)方式？

蘇世民：有句話，投資界里面老年人都膽子小，投資久了膽子都小。對出錯(cuò)的事情始終保持警惕，都是好事，這就給了我們這類人雙重視角，展示出來哪一些有可能能成功，真正讓行得通，也告訴我們有哪些商業(yè)領(lǐng)域是我們不想觸碰的。因?yàn)橐坏〢I發(fā)展起來，有可能會讓你血本無歸，本來也是可以避免的。我們不像股票投資者不喜歡投的話就可以直接賣股票、退出，我們退不掉，只有硬資產(chǎn)。所以我們要看一個(gè)資產(chǎn)必須從5-10年長期周期視角來看，來評估。我本來想從猜測，現(xiàn)在還是用“評估”這個(gè)詞，來評估一下。如果AI繼續(xù)深入發(fā)展，對你所投的企業(yè)當(dāng)前業(yè)務(wù)產(chǎn)生什么影響？有些企業(yè)可能會變成大贏家，一定也有輸家，我們當(dāng)然希望不要意外地、預(yù)料不到地成為AI技術(shù)發(fā)展以后的輸家。所以AI成為我們看待事物的重要方式。

喬舒亞·雷默：說到學(xué)術(shù)方式，您是人工智能領(lǐng)域在學(xué)術(shù)研究方面規(guī)模最大的一個(gè)人了，您本身就專注資金非常大的資產(chǎn)捐助者，您為什么做AI這個(gè)領(lǐng)域？資產(chǎn)領(lǐng)域和學(xué)術(shù)領(lǐng)域有什么不同？

蘇世民：我沒有選AI，AI選了我。最早我作為資助牛津大學(xué)AI倫理運(yùn)營方面的新人文項(xiàng)目投資，我之所以這么做，當(dāng)時(shí)就是因?yàn)槊總€(gè)人都用理科投資的時(shí)候，我覺得應(yīng)該把立刻投資和人類思想相結(jié)合，因?yàn)闀淖內(nèi)祟?0-20年之后的行為，要思考關(guān)聯(lián)的問題，還有監(jiān)管一系列影響。我對一個(gè)全球性的AI監(jiān)管機(jī)構(gòu)非常感興趣。從事這項(xiàng)立刻技術(shù)的人出錯(cuò)的地方有一個(gè)應(yīng)有的敬畏。

喬舒亞·雷默：未來優(yōu)秀大學(xué)人工智能研究是什么樣？您現(xiàn)在做的和最優(yōu)秀的傳統(tǒng)大學(xué)環(huán)境的人工智能AI有什么差距？

蘇世民：相比于商業(yè)，大學(xué)其實(shí)在競爭方面屬于劣勢的，突破性進(jìn)展目前主要出現(xiàn)在商界。因?yàn)槠髽I(yè)買得起，負(fù)擔(dān)得起，開發(fā)所需的一些算力。所以，目前的結(jié)構(gòu)性變化以及正在發(fā)生，大學(xué)雖然都有超級聰明的人在那兒研究，但是競賽當(dāng)中相比于商業(yè)界處于劣勢。隨著時(shí)間發(fā)展之后，必須建立起來一種更有價(jià)值、更有思考的方式，比僅僅資助一位教授研究項(xiàng)目更有價(jià)值。這些也能夠幫助大學(xué)，我們知道大目前商業(yè)企業(yè)商業(yè)基礎(chǔ)，這些知識基礎(chǔ)最早來自于大學(xué)的技術(shù)研究，如果你讓我去預(yù)測的話，如果兩者之間有更多的融合、尊重，那會有更好的結(jié)構(gòu)。

主持人：感謝喬舒亞·雷默和蘇世民先生帶來對談，再次謝謝兩位分享。

自1966年設(shè)立以來，各位，圖靈獎(jiǎng)一直是全球計(jì)算機(jī)領(lǐng)域的最高榮譽(yù)。今天我們非常榮幸地邀請到其中的三位獲獎(jiǎng)人齊聚一堂，來共論人工智能治理的協(xié)同探索和創(chuàng)新未來。

各位，接下來讓我們掌聲有請圖靈獎(jiǎng)得主羅杰·瑞迪、圖靈獎(jiǎng)得主曼紐爾·布盧姆和圖靈獎(jiǎng)得主姚期智先生。同時(shí)，有請本場話題引領(lǐng)人原微軟執(zhí)行副總裁、美國國家工程院外籍院士沈向洋先生，掌聲有請四位嘉賓！

自1966年設(shè)立以來，圖靈獎(jiǎng)一直是全球計(jì)算機(jī)領(lǐng)域的最高榮譽(yù)。今天我們非常榮幸地邀請到其中的三位獲獎(jiǎng)人齊聚一堂，來共論人工智能治理的協(xié)同探索和創(chuàng)新未來。

各位，接下來讓我們掌聲有請圖靈獎(jiǎng)得主羅杰·瑞迪、圖靈獎(jiǎng)得主曼紐爾·布盧姆和圖靈獎(jiǎng)得主姚期智先生。同時(shí)，有請本場話題引領(lǐng)人原微軟執(zhí)行副總裁、美國國家工程院外籍院士沈向洋先生，掌聲有請四位嘉賓！

沈向洋：大家上午好！今天特別榮幸有這個(gè)機(jī)會和大家進(jìn)行小組討論，這三位都是導(dǎo)師級別的人物，快速給三位專家做一個(gè)介紹。

第一位，羅杰·瑞迪1994年獲得圖靈獎(jiǎng)，我一直非常驕傲地說，他拿了圖靈獎(jiǎng)的時(shí)候我還是他的學(xué)生，所以這點(diǎn)讓我特別驕傲。

第二位，曼紐爾·布盧姆教授，非常棒的老師，非常棒的學(xué)者，1995年時(shí)候獲得圖靈獎(jiǎng)。

第三位，姚期智，清華大學(xué)教授，2000年獲得圖靈獎(jiǎng)。

今天有這個(gè)機(jī)會和三位專家分享一下關(guān)于AI的未來，甚至可以談?wù)動(dòng)嘘P(guān)AI的過去，我們?nèi)绾嗡伎荚谶@個(gè)時(shí)代的AI治理。

首先問一下羅杰·瑞迪教授您的整個(gè)職業(yè)生涯都與AI相關(guān)，告訴大家一個(gè)小秘密，人工智能這個(gè)詞就是你的導(dǎo)師在大會上創(chuàng)造出來的，您當(dāng)時(shí)獲得圖靈獎(jiǎng)的時(shí)候就說要建一個(gè)大規(guī)模的AI系統(tǒng)，實(shí)際上您最近也在思考AI愿景以及風(fēng)險(xiǎn)一面。跟我們講講您對AI的看法如何，以及對它的擔(dān)心是什么？

羅杰·瑞迪：我今天上午聽了大家的討論，我很驚喜，也很高興。

第一，看到大家都對AI治理方面的風(fēng)險(xiǎn)問題、安全性有擔(dān)心。我們應(yīng)該做些什么來用AI？在每一個(gè)領(lǐng)域里更多用AI，把AI視為工具，進(jìn)一步加強(qiáng)人類智能，心智能力。不管你是誰，有能力做你想做的事，速度提升10-100倍。問題是怎么做到？我們需要做哪些研究？需要做哪些投資？但現(xiàn)在還沒有做到這一點(diǎn)。

第二，聯(lián)合國發(fā)言人講到“能力建設(shè)”。現(xiàn)在我們的教育體系，沒有辦法培養(yǎng)未來的一代人，也就是了解AI的一代人。他們需要用AI來做好自己的工作，我們不能解決每個(gè)人的每個(gè)問題，但是我們能讓每個(gè)人把自己工作做好。

沈向洋：謝謝，接下來有請曼紐爾·布盧姆講非常重要的AI方面，也是您過去幾年所研究的問題，這就是意識，這個(gè)很神秘的東西。有意識的AI，您能不能介紹一下您的工作？

曼紐爾·布盧姆：非常感謝，我和兩位導(dǎo)師一起定義神經(jīng)元，我很幸運(yùn)和他們一起學(xué)習(xí)，我也想說試圖研究人的大腦，這是二年級開始做的。我的老師和媽媽說，我可能高中會畢業(yè)，但上不了大學(xué)。我媽媽感到很困擾，但我并沒有很苦惱，我問了我的父親，我能做什么變得更聰明？他說，如果你知道你的大腦里在發(fā)生什么，你就會變得更加聰明一些。我覺得這個(gè)是很好的想法。

所以，我非常幸運(yùn)做的工作是跟意識有關(guān)，我也做了20多年，這個(gè)行業(yè)發(fā)展得越來越好，我們越來越多地了解了大腦是怎么運(yùn)作，現(xiàn)在研究意識已經(jīng)是大家都能接受的，當(dāng)時(shí)想研究意識，（盡管）導(dǎo)師是很了不起的人，各方面都很鼓勵(lì)和積極，他說你不要去研究意識，這是1958年的時(shí)候。

現(xiàn)在研究意識已經(jīng)很正常，意識能夠給我們想法，讓我們?nèi)ソ⑼ㄓ萌斯ぶ悄?。雷諾爾·布朗和我創(chuàng)立了意識的模型，我們叫做“有意識的圖靈機(jī)（CTM）”，部分是基于圖靈工作，它的想法來自于圖靈，建立非常簡單的想要理解東西的模型。圖靈建了自己的圖靈機(jī)，就是第一個(gè)計(jì)算機(jī)。我們工作也是基于神經(jīng)科學(xué)家告訴我們的，有自己的大腦模型。對我來說，這是非常重要的，在我四年級的時(shí)候想搞清楚大腦里在發(fā)生什么，但我做不到這一點(diǎn)，我聽到了它的模型就知道這就是我要做的，這可以和四年級人解釋到底大腦里發(fā)生了什么，大腦里在發(fā)生什么？這個(gè)模型告訴我們，要把大腦里發(fā)生的事情想象成劇場，就像現(xiàn)在這里有很多的觀眾、專家，他們都是在聽臺上發(fā)生什么。臺上有人在講話、提問題、回答，這就是向所有觀眾進(jìn)行廣播。發(fā)生意識的時(shí)候，所有的聽眾聽到了所傳播的有意識的想法。

我之所以講這點(diǎn)，是因?yàn)檫@個(gè)模型告訴我們可以讓很多處理器同時(shí)工作，大腦里有100多億神經(jīng)元，100億的處理器在聽舞臺上發(fā)生什么，作出回應(yīng)。這個(gè)模型很神奇的地方在于告訴我們怎樣做各種各樣的事情。

沈向洋：您講的這個(gè)模型，有意識的圖靈機(jī)，是非常有意思的，剛開始研究AI的時(shí)候我們就想知道大腦怎么運(yùn)作，等會兒回到這個(gè)話題。接下來問問姚老師，您在計(jì)算機(jī)科學(xué)領(lǐng)域取得很大的成就，最近您也非常關(guān)注于AI，包括非常重要的話題就是AI治理的話題。

之前薛教授的幻燈片里引用了您的一份報(bào)告，您一直在思考治理的問題，能不能進(jìn)一步分享一下我們?yōu)槭裁捶浅＞o迫關(guān)注這個(gè)問題？

姚期智：謝謝，我高興能夠來到這里，能夠看到兩個(gè)老朋友，可以有機(jī)會交流一下。

今天早上我們已經(jīng)看到了很多人所講的AI潛在風(fēng)險(xiǎn)，以及我們應(yīng)該怎么去治理。我想做的就是首先講講風(fēng)險(xiǎn)，會和大家講講為什么從職業(yè)角度是非常關(guān)注人工智能治理問題。

AI風(fēng)險(xiǎn)來自于三個(gè)方面：一是像剛才所講的是一種網(wǎng)絡(luò)風(fēng)險(xiǎn)延伸和擴(kuò)大，隨著AI能力出現(xiàn)，傳統(tǒng)的數(shù)據(jù)和網(wǎng)絡(luò)安全方面的風(fēng)險(xiǎn)會被放大?，F(xiàn)在，我們覺得管理數(shù)據(jù)安全已經(jīng)是很困難的，出現(xiàn)了AI會困難100倍；二是沒有意識到的社會風(fēng)險(xiǎn)，比如說AI非常強(qiáng)大，而且是可以有很多方式去使用，所以顛覆現(xiàn)在社會結(jié)構(gòu)在短時(shí)間內(nèi)發(fā)生的可能性，這是存在的。比如說有人提到，AI可能帶來大規(guī)模未來的失業(yè)；三是最意思的層面，也和曼紐爾·布盧姆剛才講的有關(guān)，也就是所謂的生存或者存在的風(fēng)險(xiǎn)。以前面臨過存在的風(fēng)險(xiǎn)，生存的風(fēng)險(xiǎn)，當(dāng)火車或者蒸汽機(jī)發(fā)明的時(shí)候，就有人有這樣的擔(dān)憂。近期大家擔(dān)憂過核威脅，這都是非常合理的。這次，又出現(xiàn)了一個(gè)新的強(qiáng)大技術(shù)在改變世界，這一次顛覆性的力量可能比核生物威脅更加威脅。所有這些風(fēng)險(xiǎn)都需要很多專家來解決，不僅是科學(xué)家，還可能需要政府、律師、經(jīng)濟(jì)學(xué)家來參與，幾乎涉及到每一個(gè)行業(yè)。

現(xiàn)在，我會講一講作為計(jì)算機(jī)科學(xué)家，一直在做理論研究，同時(shí)曼紐爾·布盧姆也在做很多理論研究。

為什么我們會對這個(gè)問題感興趣？我對這個(gè)問題感興趣出于兩個(gè)原因：一是關(guān)心第一類和第三類的風(fēng)險(xiǎn)。AI相當(dāng)于網(wǎng)絡(luò)風(fēng)險(xiǎn)的放大，曼紐爾·布盧姆和我也都是專業(yè)研究密碼學(xué)，所以從這個(gè)角度來說是很有意思的話題。AI可以說有些是無法解釋，在數(shù)學(xué)上無法掌握，對我們來說這是一個(gè)挑戰(zhàn)。對我們來說發(fā)展新的密碼學(xué)就比較困難。現(xiàn)在由于AI出現(xiàn)了之后，網(wǎng)絡(luò)風(fēng)險(xiǎn)處在非常早的階段，和四五十年前情況非常相似。所以我們需要專家、需要有人關(guān)注這個(gè)問題；二是，第三類風(fēng)險(xiǎn)也是我很關(guān)注的，和可計(jì)算性有關(guān)。從AI破壞力角度來說，正是因?yàn)锳I非常強(qiáng)大，具體說明了計(jì)算機(jī)復(fù)雜學(xué)研究的科學(xué)家所了解的情況。我們知道更大的算力會給你更多的知識和智慧，可以在理論上進(jìn)行構(gòu)建。但是，沒有人預(yù)計(jì)到這樣情況的發(fā)生，現(xiàn)在看到算力能解決很多以前不知道怎么解決的問題，這也是讓人感到非?？謶值摹Ｗ鳛橛?jì)算機(jī)理論學(xué)家來說，我是這么看的，我也想要理解這個(gè)問題。

現(xiàn)在簡單來說，突然發(fā)現(xiàn)了一個(gè)方式，創(chuàng)造一個(gè)新的物種，這個(gè)物種比我們強(qiáng)大很多很多倍，我們是不是確定能跟它共存？如果無動(dòng)于衷，就會被滅亡，這也是毫無疑問。這也是計(jì)算機(jī)的本質(zhì)，或者是惡意行為者所帶來的情況。

所以，很有意思的問題，或者作為計(jì)算機(jī)科學(xué)家看到了最有深度的問題，一方面我們把AI控制好，畢竟這是我們設(shè)計(jì)出來的；另外一方面，也不希望它被我們給破壞了，這樣權(quán)衡是非常困難的。正如圖靈所說，這是無法預(yù)測的，預(yù)測不了機(jī)器有了足夠算力之后會做什么。所以，我對這個(gè)問題很感興趣，正如曼紐爾·布盧姆所說，他也在做這個(gè)理論。他的工作和這個(gè)也是非常相關(guān)。

沈向洋：非常高興聽羅杰·瑞迪先生作為科學(xué)家介紹的情況，我覺得特別開心，最早研究計(jì)算科學(xué)的時(shí)候有四個(gè)領(lǐng)域，AI、語言和其他的幾個(gè)領(lǐng)域，現(xiàn)在四個(gè)領(lǐng)域綜合到一個(gè)AI領(lǐng)域。您那時(shí)候一直在做AI研究，您是非常有遠(yuǎn)見的一個(gè)人。那時(shí)候我去讀書的時(shí)候很幸運(yùn)作為您的學(xué)生，您總是充滿震撼人心大膽的想法，您又是計(jì)算科學(xué)方面的教授，還打造了第一個(gè)機(jī)器人中心、第一個(gè)語言科技中心、第一個(gè)機(jī)器學(xué)習(xí)部，所有領(lǐng)域都是您主動(dòng)提出來的。

接下來，應(yīng)該推哪個(gè)新的機(jī)構(gòu)？在CMU，在上海，我們接下來要推什么新的領(lǐng)域、新的方向？

羅杰·瑞迪：你要了解新的想法，首先要記住一點(diǎn)，每個(gè)技術(shù)它一方面產(chǎn)生新的機(jī)會也會帶來問題。比如說汽車，作為一個(gè)新的技術(shù)，100年前如果告訴他們因?yàn)槠嚰夹g(shù)出來以后，1億年全球路上死掉100萬人，我們不會用這個(gè)車，你肯定不會這么說。所以，我們一定不要把孩子和洗澡水一齊扔出去。

我們應(yīng)該更積極主動(dòng)做些什么事？每個(gè)工程師都應(yīng)該做更好的一些事，我們做什么？怎么讓他們效率更高？一個(gè)小時(shí)把一天的活都干了？這就意味著做很多投資、研究工作。希望我們能到那一步，不要去想著它的負(fù)面就不做了，要想著技術(shù)和未來帶來的機(jī)會更多。以后在世界上每個(gè)人生產(chǎn)效率上漲10倍，因此GDP從100萬億生長到1000萬億。

沈向洋：我最想問您一個(gè)問題，也想告訴在座聽眾們再有一個(gè)小秘密，和圖靈獎(jiǎng)有關(guān)。曼紐爾·布盧姆也是非常優(yōu)秀的老師，我們怎么評估一個(gè)老師厲害不厲害，主要看學(xué)生厲害不厲害。您作為圖靈獎(jiǎng)得主，您學(xué)生拿到圖靈獎(jiǎng)是最多的。

最后問曼紐爾·布盧姆老師，您的學(xué)生拿圖靈獎(jiǎng)數(shù)量最多，您知道姚期智先生這一輩子都在教育下一代學(xué)生，花了很多事，您怎么做老師這么成功？怎么能學(xué)點(diǎn)您的本事？

曼紐爾·布盧姆：謝謝你這么客氣，我很幸運(yùn)，我的學(xué)生都比我聰明，就這個(gè)原因。所以我不開玩笑，從他們身上學(xué)到了很多，從學(xué)生身上。跟他們學(xué)點(diǎn)東西很有意思，有時(shí)候說一句，有時(shí)候不了解、不懂，也不敢，一些少見情況下，有的人證明方式是不理解我就直說，我聽不懂，不理解。有幾次發(fā)現(xiàn)可能是證明手段里有問題，是錯(cuò)的。我再回到前面說的CTM，CTM特別有意思，組織1000萬個(gè)處理器，很有意思的把它組成在一起，都是他們所知道的意識模型，最上面永遠(yuǎn)是總的管理者、執(zhí)行官。CEO本人不一定知道你懂什么，你的專業(yè)能力是什么，不知道你有多少時(shí)間做多少事，不一定了解你所有了解的專業(yè)技能。所以，到需要做一件事的時(shí)候，不知道挑誰來做。CTM模型，我所知道的跟其他意識模型不一樣，所以在CTM的意識模型里，沒有一個(gè)中央決策者的角色。讓每一個(gè)人都參與，每一個(gè)人都能夠把最重要的信息放在最前臺，這是很有意思的CTM的意識模型，這個(gè)和擁有總裁CEO不一樣的。

沈向洋：非常感謝曼紐爾·布盧姆先生，大家好好讀讀你的論文，了解一下CTM的意識模型，非常有意思。最后請姚期智先生跟我們再談?wù)凙I未來如何？

姚期智：我們現(xiàn)在處于非常激動(dòng)人心的歷史時(shí)期，圖靈測試的解決方案最后解決是我們的目標(biāo)，就像開始羅杰·瑞迪先生說的，千萬不要太多地強(qiáng)調(diào)它的安全性，不要太少地關(guān)注它的好處，我同意您的觀點(diǎn)。借用曼紐爾·布盧姆在伯克利講的那句話，我希望我們能做得到。

沈向洋：感謝姚期智先生，接下來談一個(gè)小時(shí)都沒問題，但是只有20分鐘，所以就這點(diǎn)時(shí)間了。我再總結(jié)一句，曼紐爾·布盧姆您的學(xué)生里面有3-4個(gè)人又拿了圖靈獎(jiǎng)，太棒了！所以，我總結(jié)一點(diǎn)，用中文來說，我們都講“名師出高徒”，曼紐爾·布盧姆教授講的是“高徒出名師”，非常感謝！

主持人：謝謝，一年一會，又一次在現(xiàn)場聆聽了各位的真知灼見。討論的主題其實(shí)都是人工智能的兩方面，大家還記得剛才我們所談?wù)摰拿恳粋€(gè)主題嗎？好的、壞的、確定的、神秘的、嚴(yán)謹(jǐn)?shù)暮痛竽懙?。所以我們需要共論、共享、共智，謝謝四位和我們一起討論了人工智能的協(xié)同探索和治理未來。

各位領(lǐng)導(dǎo)、各位來賓，女士們、先生們，本屆大會的全體會議到此結(jié)束，接下來將會有3×24三天大會的精彩內(nèi)容，在互聯(lián)網(wǎng)上的全程直播，將會有無數(shù)的精彩內(nèi)容等待大家發(fā)現(xiàn)，再一次謝謝所有在座的各位來賓，以及在云端收看直播的各位觀眾朋友們，我們未來再見！

來源：數(shù)據(jù)猿