真不是為了毀滅人類：如何創造惡意的人工智慧？
惡意人工智慧對人類構成嚴重威脅的可能性已經成為了當下一個熱點爭論話題。從物理學家史蒂芬·霍金到科技企業家伊隆·馬斯克，許多影響力巨大的傑出人物都對人工智慧的危險發出過警告。
這就是人工智慧安全正成為一個重要學科的原因。計算機科學家開始分析設計糟糕的人工智慧系統可能帶來的意想不到的後果——有的人工智慧系統使用了錯誤的道德框架，有的擁有與人類不同的價值觀……
但這一領域還存在著一個重要的漏洞，肯塔基州路易斯維爾大學獨立研究者 Federico Pistono 和 Roman Yampolskiy 說：「就我們所知，在如何設計惡意機器的方面還沒任何東西發表。」
這是一個顯著的問題，因為在計算機安全專家在有希望打敗惡意的機器之前，他們必須先了解它們。
Pistono 和 Yampolskiy 現在決定填補這一空白——至少是部分填補：他們開發的關鍵點是在某些特定的環境中最有可能出現的惡意人工智慧。因此，他們預設了惡意人工智慧系統可能出現的條件。而他們的結論對某一兩家公司來說不是好新聞。
所以哪些跡象表明有可能會開發出惡意的人工智慧系統？Pistono 和 Yampolskiy 說可能會有一些明顯的跡象。
其中最明顯的一個是人工智慧系統開發過程中監督的缺乏。
「如果一個團隊決定開發一個惡意人工智慧，它會阻止一個全局性監督委員會的存在，從而增加自己成功的可能性。」
為了做到這一點，這樣一個團隊會通過散布混亂的信息淡化其工作所帶來的影響和危險。「策略是傳播相互矛盾的信息，使之在公眾的想像中創造關於通用人工智慧研究的危險和機遇的疑問。」
另一個重要的跡象是人工智慧系統背後閉源代碼的存在。Pistono 和 Yampolskiy 說：
「密碼技術和計算機安全的專家都很清楚閉源軟體和演算法沒有它們自由且開源的競爭對手那樣安全。非自由軟體和硬體的存在將人類置於了更大的危險中。」
事實上，他們說儘管人工智慧也可以使用開源軟體開發，但這是否更安全仍然是未知的。開源過程可以讓更多人尋找和修復漏洞，但也將這些軟體的許可權賦予了罪犯、恐怖分子等可能將其用於邪惡目的的人。
目前，這兩種方式開發的人工智慧都存在。其中閉源系統已經取得了一些廣為人知的成就。比如，谷歌的人工智慧系統最近在古老的圍棋遊戲中擊敗了人類。Facebook 也擁有一個有很高知名度的人工智慧研究團隊，儘管該團隊公開的成果要少一些。
兩家公司都沒有明確公開其研究的管理方式。比如，谷歌的子公司 DeepMind 聲稱其擁有一個人工智慧倫理委員會，但卻一直拒絕披露誰在管理這個機構。Facebook 只是說對人工智慧的擔憂被誇大了。
開源人工智慧的發展沒有那麼先進；但至少部分在對商業對手的恐懼的驅動下，開源人工智慧也開始獲得發展的勢頭。其中最引人注目的是 OpenAI，這是一個創立於 2015 年的非營利性人工智慧組織，其目標是「以利於人類整體福祉的方式推進數字智能的發展，而不受到經濟回報需求的限制。」
該組織目前已經獲得了多達 10 億美元的資助，其中包括一再警告人工智慧的危險的科技企業家伊隆·馬斯克。（Musk 也是本文提到的研究的作者之一 Roman Yampolskiy 的資助者之一。）
OpenAI 是否將增加或減少惡意人工智慧系統出現的可能性仍尚不明朗。但其目標至少是確保一切發展都處在公眾的視野之中。
人工智慧安全上還存在一個短板：用於人工智慧系統的網路安全應用的發展沒有用於普通軟體的好。計算機安全專家早就認識到惡意軟體是現代社會的一個顯著威脅。許多重在安全的應用——核電站、空中交通管制、生命支持系統等——的設計最多不過是避免災難而已。這種情況會因惡意軟體（病毒和木馬等）的設計者有意尋找和利用這些應用的漏洞而加劇。
為了解決這個問題，安全專家已經開發出了一個強有力的生態系統，以在漏洞被利用之前就將其識別出來並進行修復。他們研究惡意軟體並尋找中和它們的方法。
他們也有一個用於僅在圈內傳播這種信息的通信系統，這可以使漏洞在被傳播開之前就迅速得到糾正。
但在人工智慧研究方面卻並不存在一個類似的系統。在目前人工智慧系統還相對良性時，這可能並不重要——目前的人工智慧關注的主題大都是自然語言處理、對象識別和駕駛等任務。但在未來幾年內，這種情況可能會迅速改變，總會有人開始主動研發惡意人工智慧。
人類應該怎樣應對可能給人類帶來可怕後果的惡意人工智慧？這是一個很重要的問題，這是一個值得我們現在就開始深入思考的問題。
※霍金論「人工智慧」或將毀滅人類，我們有必要恐慌嗎？
※助人還是毀滅，人工智慧未來發展的趨勢會怎樣？
※人工智慧毀滅人類？
※未來人類的毀滅或許是這些不可思議的終極武器造成的
※人工智慧不會說謊！當機器人說出我不會毀滅人類，才是噩夢的開始
※人造黑洞的力量可以毀滅人類嗎？
※人工機器人，不排斥毀滅人類，你了解其中奧秘嗎？
※人工智慧：毀滅還是重生？
※發展人工智慧是喜是憂？霍金再次警告其毀滅人類可能
※這樣的外星怪物一個就能毀滅人類，只因能複製人類！
※好的科幻作品能讓人反思：毀滅地球的也許是人類自己
※你是如何毀滅自己的夢想的
※人類用核武器真的可以毀滅地球？真相讓人觸目驚心
※網辯辯詞人工智慧還是人類自身更容易毀滅人類
※人類的締造者想毀滅人類AI的締造者人類想贏AI，都勝算渺茫
※霍金再次強調人工智慧可能「毀滅人類」
※馬斯克的人工智慧才會讓人類毀滅？那AI還是安全行業的未來嗎？
※人工智慧毀滅人類的十種方式
※霍金再次預言人類毀滅的主因，可能就因為你我的嘴？