Nature：我們為什麼不該擔心超級智能出現？

1新智元編譯1

來源：Nature

譯者：劉小芹

是什麼讓我們對人工智慧（AI）感到憂心？白宮上周發布的報告是對智能機器可能帶來的威脅的最新報告。Nature上周發表的評論文章提出，科學和政治關注極端的未來風險可能會分散我們對已經存在的問題的注意力。

這種關注的部分原因來自對AI可能發展出自我意識，從而帶來有關人類存續的嚴重威脅的過度關注。最近的一些新聞顯示，受人尊敬的思想家如比爾·蓋茨和斯蒂芬·霍金都在關注機器的自我意識。某種程度上，機器的某個軟體將「覺醒」，機器自身的欲求將優先於人類的指示，從而威脅人類的存續。

但是，在我們對AI的憂心中，機器的自我意識問題並不像人們想像的那麼重要。事實上，仔細閱讀蓋茨、霍金等人的報道會發現，他們從來沒有真的關心自我意識。此外，對機器自我意識的恐懼扭曲了公眾的辯論重點。AI被純粹以是否擁有自我意識定義是否危險。我們必須要認識到，阻止AI發展自我意識與阻止AI發展出可能造成傷害的能力是不一樣的。

對機器自我意識的關注來源於哪裡？似乎主要來源於外行人士和新聞記者。搜索關於AI威脅的新聞報道，會發現幾乎總是記者提到自我意識。雖然我們的很多行為都是無意識狀態下發生的，例如感知視覺畫面並構成話語，但是人們的複雜規劃總是與有意識的思考有關。沒有有意識的思考，要做掌管世界這種複雜事情是不可思議的。所以人們很難想像AI可能構成對人類存續的威脅，除非它也有自我意識。

一些研究人員認為，意識是人類認知的重要組成部分（雖然他們對意識有哪些功能沒有定論），也有一些研究人員反駁這種觀點，認為意識根本沒有用處。但是，即使意識對人類智能至關重要，它是否對所有可想像到的智能都同等重要尚未清楚，例如編碼到計算機中的智能。我們對意識的作用實在了解不夠——無論是人類、動物或是軟體的意識——不了解它是否是複雜思考必需的。

意識，或我們對意識的知覺，可能自然地伴隨著超級智能。也就是說，我們基於我們與它的交互來判斷某事是否有意識。具有超級智能的AI能與我們交談，創造計算機生成的、帶有情緒表達能力的人臉，就像你在Skype上與真實的人交談一樣，等等。超智能AI可以輕易擁有所有自我意識的外在跡象。也許沒有自我意識，發展通用AI是不可能的。

（值得注意的是，無意識的AI可能比有意識的超智能AI更危險，因為，至少對人類來說，阻止不道德行為的一個程序是「情感共鳴」：情感的共鳴使人能體會別人的情感。也許有意識的AI會比無意識AI更關心人類。）

無論是哪種方式，我們必須認識到，AI即使沒有意識就可能聰明到足以對人類構成真正的威脅。世界上已經有無數這樣的例子，完全沒有意識的東西會對人類造成危險。例如，病毒完全沒有意識，也沒有智能，甚至有些人認為它們也沒有生命。

牛津大學研究員Nick Bostrom在他的書《超級智能》（Superintelligence，牛津大學出版社，2014）中描述了許多有關AI的危險性的例子。其中一個例子是，一個AI程序的主要任務是創造更多的回形針。當它的智能提升了，同時沒有被賦予其它價值，它可能會為了達到目標而尋求控制世界資源，而沒有一絲絲人性。另一個例子是，一個AI程序被要求計算pi的無窮值，它將地球上的所有物質都用作了計算的資源。假如某個AI被賦予某個更值得稱道的目標，例如減少痛苦，它可能會試圖消除人性。這些假設中的失控非常危險，不是因為AI有自我意識，而是因為他們的建立沒有基於微妙而複雜的倫理道德。

我們不應該對AI的自我意識過度擔心，而應該把更多精力投入到對目標、價值和道德規範的規劃中。現在全球都在競相開發AI。第一個超智能AI應該也是唯一一個。這是因為，一旦它出現了——不管有沒有自我意識——它能夠自我提升，並根據它自己的價值觀改變世界。

一旦超智能AI出現，將難以控制。所以，我們能做的安全防範措施是建一個項目，以確保第一個出現的超智能AI是友好的，並能始終擊敗邪惡AI。一個資金充足、由有道德的程序員和研究人員組成的機構，人類可能幸免於難。

TAG:新智元 |

※Sandman Doopler，多功能智能鬧鐘是否能吸引你使用呢？
※誰說功能和顏值不能共存？這個火爆 Kickstarter 的智能包包不服
※為了讓你用上智能選股，我們豁出去要送你一台iPhoneX！
※為什麼說 iPhone 8 Plus 是迄今拍照最好的智能手機？
※真智能？Oclean One智能牙刷到底怎麼樣？
※趕超Apple Watch，這些智能手錶既有功能還有顏值！
※智能錢包Volterman上架Indiegogo眾籌平台，有了它就不用愁丟錢包了？
※LV智能手錶Tambour Horizon，看完是不是有衝動入手一個呢？
※新蘋果表與Fitbit Ionic對比 誰是更好的智能手錶？
※想把名表變智能化一點？Smart Buckleb表扣能幫你
※不讓智能喧賓奪主，HomePod看上去很蘋果
※iPhone X：可能真的是智能手機的未來
※Louis Vuitton 推出了 Tambour Horizon，這可能是奢侈品牌智能腕錶當中最有誠意的一款
※這就是 Android 之父推出的 Essential 智能手機
※Louis Vuitton 推出首款智能表，中國售價最便宜但你會買嗎？
※敢和 Apple Watch 叫板的智能手錶該是什麼樣的？
※想要智能又輕奢？LV 給你 Apple Watch 之外的新選擇
※各種大牌「不務正業」，Apple Watch遇到勁敵！智能腕錶這杯羹夠它們分嗎？
※Louis Vuitton推出智能表，中國售價最便宜你會買嗎