未來，中美會簽署《不擴散人工智慧條約》嗎？

對大部分人而言，人工智慧帶來的威脅似乎只存在於科幻小說中，如《我，機器人》、《黑客帝國》及《終結者》等。

但人工智慧的威脅是真實存在的。多年以來，頂尖計算機科學家們一直在發出警告，而最近世界上一些最聰明的人也開始大聲疾呼。比爾·蓋茨認為人工智慧比核災難更為危險，伊隆·馬斯克說人工智慧可能是人類面臨的「生死攸關的最大威脅」，史蒂芬·霍金則稱人工智慧或許「標誌著人類的終結」。

電影《終結者》

首先，我們應當給「人工智慧」下個定義。從某種意義上說，人工智慧早已存在。它存在於網路搜索引擎中，存在於電子遊戲中，存在於垃圾郵件攔截器中，存在於蘋果手機Siri中。

所有這些都是弱人工智慧（artificial narrow intelligence，ANI）的例子。所謂弱人工智慧，是只能完成幾個特定任務的人工智慧。設計精良的弱人工智慧完成一些特殊任務的能力能夠與人類比肩，甚至超過人類，但與人類不同的是，弱人工智慧無法勝任其他任務。谷歌的阿爾法狗或許能在圍棋上擊敗任何人類，但它能做的也僅僅是下圍棋。這類人工智慧對我們幫助頗多，而且似乎不會給人類帶來生存威脅。

而在強人工智慧（artificial general intelligence，AGI）層面，情況就變得危險了。一個強人工智慧可以全方位與人類比肩。與弱人工智慧不同，強人工智慧可以被用於任何領域。雖然還沒有任何人開發出強人工智慧，但從理論上說，強人工智慧能夠在任何任務上等同人類，自然也可以不費吹灰之力完成執行複雜計算、數秒之內大量複製、瞬時傳輸等任務。

超人工智慧（artificial super intelligence，ASI）則完全不同。它將在所有層面上擊敗人類，而它究竟比人類聰明多少，有可能超出我們的估算。

人類的最終發明

在發表於Wait, But Why網站的著名文章《人工智慧革命：通往超級智能之路》里，蒂姆·厄本解釋了為何人工智慧認知能力的發展很可能令我們震驚。

人類傾向於認為，在最聰明的人和最愚笨的人之間存在巨大的智力差，援引牛津大學哲學家尼克·博斯特羅姆舉出的例子，阿爾伯特·愛因斯坦遠比村裡的白痴聰明。但若將非人類的動物也包括進來，愛因斯坦與白痴的智力差就變得微乎其微了。一個人與一隻黑猩猩的智力差，要比愛因斯坦與白痴的智力差大上無數倍。而黑猩猩與老鼠之間的智力差則更是相差千里。

這意味著，雖然讓人工智慧擁有與黑猩猩同樣的智力水平需要花費數年甚至數十年，但一旦達到這個水平，人工智慧成長到與人類比肩的強人工智慧的速度就會快很多，這就是一些人所稱的「智能爆炸」。

此外，我們還應當將遞歸自我改善因素考慮進來，這一概念在研究如何增進智能的人工智慧研究者之間非常流行。一個能夠進行遞歸自我改善的人工智慧會找到令自身更加聰明的方法，而一旦做到這一步，它就能找到令自身變得愈發聰明的更多方法，從而提升自身智能。這樣一個人工智慧將獨立令自身的認知能力呈指數級增長。

這樣，一個智力水平接近人類的人工智慧將加速進展，不僅不會停留在博斯特羅姆所謂的「人類城站」（Humanville Station），反而會呼嘯而過。一個能夠進行遞歸自我改善的人工智慧如果在早上達到了村裡白痴的智力水平，那麼到了下午它就有可能達到愛因斯坦的智力水平。而到了晚上，它的智力水平或許已經遠遠超過了任何人類。為開發出強人工智慧而歡呼的研究者們或許會發現，在他們還沒喝完杯中的香檳時，強人工智慧就已經演變成了超人工智慧。

正如人類遠比黑猩猩聰明一樣，超人工智慧可能遠比人類聰明。我們甚至無法想像這樣一個存在。我們認為，智商為70的人蠢笨，智商為130的人聰明，但我們無從想像一個智商高達10000的人是什麼樣，或者一個擁有如此高認知能力的存在到底能做些什麼。對於我們來說，它的能力無法估算：很多我們認為根本不可能或異想天開的事情，對於它們來說簡直如同兒戲。治癒疾病就如倒出藥丸一樣得心應手，星際旅行好比從一個房間步入另一個房間一樣輕而易舉，毀滅地球上的所有生物如同捻滅一支蠟燭一樣信手拈來。

我們能夠用來形容這樣一種存在的詞語就是上帝，但正如厄本不無擔憂地指出的，我們應當追問的是：它會是一個仁慈的上帝么？

馴服上帝

一些計算機科學家似乎信心滿滿，他們認為人類能夠令一個強人工智慧或超人工智慧變得「善良」，馴服人類創造出來的上帝只是一個編程問題。

編程設計一個強人工智慧或超人工智慧很可能是一個極具挑戰的任務。誰知道如果不向它發出具體指令或賦予它價值觀的話，它會有何行動，或者即便我們發出了具體指令或賦予了其價值觀，它的行動依然難以預測。牛津大學人類未來研究所創始主任尼克·博斯特羅姆舉了一個例子，一個人工智慧被要求儘可能多地製造回形針，在某一時刻，它可能會決定為了最大化生產出回形針應當阻止人類對它進行重新編程或切斷電源。而為了達成這一目標，它殺死了所有人類，這樣它就可以繼續不受影響地不停製造回形針。

我們應當注意到，在這一情境里，人工智慧並非出於對人類的憎惡而對人類實施了滅絕行動（正如我們使用抗生素也並非由於憎惡細菌一樣），而僅僅是因為人類對它來說無所謂。同樣，當谷歌的Deep Mind人工智慧程序隨著自身越來越聰明而變得越來越具有進攻性時，它很可能在模擬遊戲中使用激光攻擊對手，這並不是因為它對對手抱有任何惡意，它這麼做只是因為這一戰略可以令其贏得比賽的幾率最大化。

為了阻止發生類似事情，一些人建議給人工智慧植入對人類有益的程序。然而，這種努力同樣也可能導致意想不到的後果。

例如，一個被設計成「令人快樂」的人工智慧或許會意識到，達成這一目標最有效的方法就是捕獲人類，將電極植入人類大腦，刺激控制快感的中樞。

同樣，一個被設計成遵守伊薩克·阿西莫夫機器人三定律的人工智慧——

1）機器人不得傷害人類，或因不作為而令人類受到傷害。

2）機器人必須服從人類指令，除非該指令違背第一定律。

3）機器人必須保護自己，只要這樣做不違背第一和第二定律。

或許決定，既然人類無時無刻不在傷害彼此，那麼遵守這些定律的最佳方法就是將所有人類都溫柔地監禁起來。

還有人建議，將一套預設的價值觀上傳至人工智慧——比如實用主義或自由民主。但即便我們假設人們能夠就選擇哪套哲學觀達成一致，就連向人類灌輸價值觀都實屬不易，更何況人工智慧。我們無法判斷，一個超人工智慧將如何解讀人類的價值觀或這套價值觀的內在矛盾。

目前，我們還未能找到一個可靠的方法來確保超人工智慧的目標或價值觀符合人類自身的目標或價值觀。一個大意的假設、疏忽或模糊指令都可能導致意料之外或計劃之外的結果。

囚禁上帝

還有一些人建議，在強人工智慧或超人工智慧周圍設立防護措施。他們提出了複雜程度不同的方法，從阻斷人工智慧連接網路，到限制人工智慧接觸外部世界，到將人工智慧困在一系列同心虛擬世界中。但這些防護措施無一能夠真正讓人安心。

首先，正如路易斯維爾大學計算機工程和計算機科學副教授羅馬·V·亞普爾斯基指出的那樣，人類發明的每種安全措施最終都會被規避。

「簽名可以被偽造，鎖可以被撬開，最高安全級別的監獄也發生過越獄，擁有保鏢的領導人被暗殺，銀行金庫被洗劫一空，法律被鑽了空子……密碼被破解，網路被滲透，電腦被黑客入侵，生物識別系統被騙，信用卡被克隆，加密貨幣被盜用 ……驗證碼被破解，密碼協議被破壞，」他寫道。「數千年的人類歷史充斥著數百萬試圖以技術和邏輯增強安全的例證，然而這些無一不以失敗告終。」

任何安全措施最終不是被人類黑客規避，就是被自然力量破壞（如在福島核電站引發核泄漏的海嘯）。當一個項目的風險可控時，一定程度的失敗率是可以容忍的。但當一個小小失誤就能讓人工智慧終結人類支配地位時，這是無法令人接受的。

那麼就存在這樣一種可能，即任何安全措施都有可能被人工智慧規避。事實上，人類最優秀的計算機科學家能夠發明出的任何安全措施，在一個超人工智慧看來都極其可笑，因為超人工智慧顯然遠比任何人類都要聰明。

想像一個被黑猩猩囚禁的人類。假設這是一群極其聰明的黑猩猩，它們利用最先端的猴子科技來囚禁人類——或許它們利用樹枝建造出了一個簡易牢籠。我們難道會懷疑人類不會最終以黑猩猩完全無法想像的方式逃脫么？他可以在籠子下方挖地洞，也可以利用手邊東西打造工具，也可以拆除籠子欄杆把它當做武器，或者生火燒毀部分籠子。無論以哪種方式，他想方設法逃出牢籠都只是時間問題。

同樣，一個超人工智慧將遠比人類更為聰明。亞普爾斯基在《防範奇異：人工智慧囚禁問題》一文中指出，一個超人工智慧可以輕輕鬆鬆地操控人類守衛放它逃生。它可以瞄準人類守衛的弱點，許諾賦予他力量或長生不老，或承諾治癒其身患絕症的心愛之人。

它也可能檢測到系統漏洞，並利用該漏洞（人類黑客一直都在從事著類似活動）。或者佯裝發生故障，然後當人類守衛放鬆警備準備檢查故障時一舉逃走。又或者它甚至可以用人類認為完全不可能的方式逃走。博斯特羅姆認為，當與外部世界完全隔絕時，人工智慧或許能發明一種方式，通過在其電路系統中以特殊方式排列電子而產生無線電波。當然，這些都只是人類微不足道的大腦想出來的點子，比我們聰明數千倍的人工智慧會想出更多方法。有效的安全措施取決於實力，而當我們面對智力遠為高超，因而實力遠為強大的對手時，這些措施無一生效。認為我們能夠控制這樣一種存在只是狂妄自大罷了。

伊隆·馬斯克在TED大會一次演講中將發展人工智慧比作召喚惡魔。「你知道，在所有故事中都有這麼一個人，他一手拿著五芒星，一手捧著聖水，信心滿滿地認為自己可以控制惡魔。但事實是他不能。」

我們如何囚禁上帝？對這個問題的簡短回答是：「我們做不到。」

我們需要一個協議

開發出強人工智慧和超人工智慧或許離我們不遠了，主流計算機科學家們預測為2040年。這或許聽起來還很遙遠，但我們需要從現在開始未雨綢繆。

「如果一個超級先進的外星文明向我們發送一條簡訊， 我們將在幾十年之後到達， 我們會僅僅回答 好的，等你們到了之後打電話，我們會把燈留著 ？ 」史蒂芬·霍金在與加州大學伯克利分校的斯圖爾特·拉塞爾、麻省理工學院的馬克思·泰格馬克和弗蘭克·維爾切克合作的文章中寫道。「很可能不會。但這一情景或多或少都將在人工智慧身上重現。」

任何一個大國若想在21世紀繼續前進，都不能無視人工智慧這樣的技術。尤其是美國和中國，它們正在向公營和私營的人工智慧研究領域投入大量資源，希望能夠獲取下一個重大突破。

但同時，人工智慧給人類帶來了真正生死攸關的威脅。人類面臨的其他生存威脅，從全球變暖到大規模殺傷性武器，都已經存在著某種形式的協議來管控相關風險。現在是時候出台一個人工智慧協議了。

特朗普已經退出了前國務卿克里簽訂的《巴黎協定》

各方合作建立一個國際框架至關重要，在人工智慧研究仍處於初期的現在，在人工智慧產業還未飛速發展之前，在我們習慣了人工智慧帶給我們的便利之前，在相關既得利益者和遊說集團攫取巨大權力之前。應對全球變暖危機的困境展示出人類不思進取的傾向，哪怕是我們正面臨著生死存亡的威脅。「人類很可能輕易就讓自己淪落到依賴機器的境地，當這種依賴達到一定程度，人類除了接受機器作出的所有決定外，別無選擇，」太陽微系統公司聯合創始人比爾·喬伊在題為《未來為何不需要我們》的文章中寫道。他警告，到那時「人們將無法關掉機器，因為我們是如此依賴它們，以至於關閉機器即意味著自殺」。

當我向頂尖計算機科學家提出出台限制人工智慧相關協議的想法時，很多人都對此持懷疑態度，有些人甚至拋出了宿命論。

「一台"在所有方面都勝過人類 的機器將與世界GDP價值相當，大約為100萬億美元，」拉塞爾說。「阻止人們建造這樣一台機器會很難。」

「人工智慧不同於核武器，」伊利諾伊大學厄巴納-香檳分校前計算機科學教授史蒂夫·奧莫亨德羅說。奧莫亨德羅現為Self-Aware System總裁，這是一家旨在推動安全使用人工智慧的智庫。「鑒於當下的技術水平，很難查證簽約方在遵守（人工智慧）協議上是否合規。」

然而，我們必須為此作出努力。人工智慧的快速發展不僅給人類的繁榮帶來了巨大潛力，同時也給人類的毀滅帶來了巨大威脅。我們沒有借口放棄遏制後者的努力。

至此，我們可以總結出幾條結論：

1）一個超人工智慧無法被馴服或囚禁。

2）一個能夠進行遞歸自我改善的強人工智慧將很快進化為超人工智慧。

3）即便無法進行遞歸自我改善，一個強人工智慧依然能夠給人類帶來生存威脅，因為強人工智慧除了能夠在執行任何任務上比肩人類，它還能夠從事只有計算機才能勝任的工作。

如果我們要在一個限制人工智慧的協議中划出一條分界線，那麼這條分界線應當劃在強人工智慧級別：任何人都不應被允許開發在所有領域與人類比肩或勝過人類的人工智慧，也不應被允許開發可獨立進化出這種能力的人工智慧。弱人工智慧的相關研究——我們當下使用的人工智慧的進階版——可以不受阻礙地得到進一步發展。重要的區別在於領域的特殊性，一個弱人工智慧無法解決超出其能力範圍的問題，但是一個強人工智慧可以被用於任何領域。「每個系統都有一個特殊的領域，除非進行大規模重新設計，否則它無法切換到其他領域，」亞普爾斯基解釋說。「（IBM國際象棋人工智慧）「深藍」無法被用於分揀郵件，（參加「Jeopardy」綜藝節目的IBM人工智慧）「沃森」無法駕駛車輛。但一個強人工智慧（就其定義來說）能夠切換領域。」

而基於以上這些原則的協議將會是什麼樣子？

可能的條款

一個控制人工智慧的國際框架應當包含一些與控制大規模殺傷性武器框架同樣的元素：

1）承諾不開發相關技術，或支持任何人開發相關技術，或允許任何人開發相關技術。

2）在遵守協議條款的締約國之間建立一個分享信息和技術的渠道。

3）一個監控該領域發展的國際組織。

4）一個核查違約者的檢查機構。

5）將任何違反規則的人提交聯合國安理會接受懲罰。

6）一個移除並處理違禁品的機制。

關於承諾和信息技術分享條款，其意義不言自明。一言以蔽之，簽約國必須承諾，不僅要規避開發強人工智慧研究，還應確保各自國內的私營部門不會參與相關開發。

顯然，這將極其困難。強人工智慧的研究成果很可能會帶來豐厚的利潤，尤其是公司會有極大的動力參與開發，哪怕這種開發是違法行為。

《我們的最終發明：人工智慧與人類時代的終結》一書作者詹姆斯·巴拉特列舉了很多受貪婪驅使、不負責任的公司行為。

「公司行事就彷彿是肆意妄為的精神病患者，」他對我說。「我腦海中浮現的是美國聯合碳化物的博帕爾事件，福特公司的斑馬車油箱爆炸事件，安然公司的加州大停電事件。臉書、谷歌、IBM或百度也並不比這些公司更正直。我不覺得他們會對創新實施管理。」

各國必須承諾對國內的人工智慧研究進行嚴密監控，同時應對任何可能導致開發出強人工智慧的研究實施懲罰，這些懲罰必須嚴厲到足以令任何潛在收益化為烏有。

而對人工智慧發展實施監控，可以被控制在一個合理的範圍內。

「雖然一些作者指出，開發強人工智慧遠比開發核武器更容易避人耳目，」機器智能研究所的卡伊·蘇塔拉寫道，但「先進的高科技研究的確傾向於需要大規模投資，而大規模投資很可能被哪怕不那麼嚴密的監控捕捉到。」

「識別出那些在強人工智慧研究上擁有長期嚴肅興趣的能人並不困難，」博斯特羅姆在《超智能：路徑、危險和戰略》一書中寫道。「這樣的人才通常會留下足跡。他們可能已經發表了學術論文，或在網路論壇上發布過帖子，或在頂尖計算機科學系獲得了學位。他們也可能與其他人工智慧研究者保持聯繫，這就可以讓我們通過繪製社交網路圖找到他們。」

因此，致力於開發強人工智慧的研究者們可以被監控。或許可以設立一個國際機構，推動人工智慧的安全使用並進行檢查，正如國際原子能機構對核原料的檢查一樣。

當然，協議的細節還需要專家來敲定。正如全球巨災風險研究所副主管G.S. 威爾遜提議的那樣，由一個專家組來決定在強人工智慧或其他存在潛在風險的研究中什麼是「合理的關切水平」。

這樣一個協議必然會引發抑制創新的擔憂。這些擔憂合情合理。人工智慧創新的確會極大地受制於這些措施，而這個領域的創新將會擴展知識，拯救生命，將我們的生活水平提高到一個前所未有的高度。然而，人類滅絕的切實威脅令我們放棄部分利益的決定更為明智。

缺陷

這樣一個協議的缺陷也是顯而易見的。

一些隱秘的強人工智慧研究是否能躲避最嚴密的監控？是的，正如一個恐怖分子可以在當局完全不知情的情況下組裝出一個核炸彈。但這並不意味著核武器控制條約毫無意義。

會不會有一些國家作弊？當然，而且一份條約只有在能確保被嚴格執行的情況下才有效。

強人工智慧和弱人工智慧間的微妙區別也是一個漏洞。一個弱人工智慧只能完成一些任務（而「一些」究竟是多少？），弱人工智慧在不進行大規模重新設計的情況下無法從事不同任務（而究竟什麼算是「大規模」？）。

最重要的是，令各國簽署這樣一個協議也非常困難。但如果人工智慧研究競賽中的領跑者——美國、中國和日本——強力推動，其他國家將會效仿。

冷戰期間，世界一直生活在人類滅亡的恐懼中。但正是這份恐懼促使大國設立了最大化降低大規模殺傷性武器危害的協議。尤其是美國和蘇聯，這兩個大國選擇終結各自的生物武器項目，因為與核原料和化學品不同，生物武器使用的病毒和細菌極其變幻莫測，它們很可能會演化成為更強大、更危險的毒株。這一點與人工智慧相似。

眼下，世界正面臨著人工智慧帶來的生死攸關的新威脅。沒有什麼框架協議能夠完全消除它帶來的威脅，但如果一個協議能夠在最大程度上減少這種威脅，那麼這就足以讓我們為此付出努力。未來正在迫近，時不我待。

作者：

陳志明

香港作家

給中國交「白卷」的特朗普，還想放飛自我到什麼時候？

本文僅代表作者個人觀點，並不代表中美聚焦網立場。

本文為中美聚焦網專欄作家原創文章，版權歸作者與中美聚焦網共同所有，如需轉載請與中美聚焦微信公眾號聯繫並註明出處。

中美聚焦網｜中美交流基金會

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 中美聚焦 的精彩文章: