《生命3.0》作者：在AI基礎研究和教育投入上，中國完勝美國

新智元 今天

新智元編譯

作者：venturebeat.com

翻譯：劉小芹

【新智元導讀】馬克斯·泰格馬克是人工智慧領域最重要的思想家之一，《生命3.0：在人工智慧的時代生而為人》的作者。本文是venturebeat網站對泰格馬克的專訪，談論了人工智慧面臨的挑戰，特別是當這些挑戰涉及到自主武器和國防系統時，比如最近五角大樓備受爭議的Maven項目。

馬克斯·泰格馬克（Max Tegmark）是一位瑞典裔美國物理學家。他是麻省理工學院的教授，基礎問題研究所的科學主任，也是生命未來研究所（FLI）的創始人之一。他發表了200多篇論文，並為宇宙微波背景輻射實驗開發了數據分析工具。由於他對宇宙學的貢獻，泰格馬克被選為美國物理學會會士。

Max Tegmark也是人工智慧領域最重要的思想家之一。2015年，Elon Musk向FLI捐贈了1000萬美元，以推進對人工智慧系統的倫理、法律和經濟影響的研究。泰格馬克在他的最新著作《生命3.0：在人工智慧的時代生而為人》（Life 3.0: Being Human in the Age of Artificial Intelligence）中提出，未來的神經網路可能能夠重新設計自己的硬體和內部結構。其後的章節探討了「超級智能AI」的潛在影響，包括機器與人類的融合、社會結構的改變，以及像仁慈的國王一樣監視其創造者的演算法。

本文是venturebeat網站對泰格馬克的專訪，談論了人工智慧面臨的挑戰，特別是當這些挑戰涉及到自主武器和國防系統時，比如最近五角大樓備受爭議的Maven項目。

對於超級智能，我們沒有滅火器

問：你寫過很多關於你認為AI將走向何方的文章，在《生命3.0》中，你列出了超級智能AI最終可能會融入我們的生活的12種不同的方式。我記得其中一個是「1984式」的社會，還有一個是「AI作為征服者」。圍繞AI似乎有很多消極的觀點，尤其是彼得·泰爾(Peter Thiel)和伊隆·馬斯克(Elon Musk)這些思想領袖似的人物，他們堅信AI是一種威脅，認為我們應該認真地思考要怎樣實施AI。那麼我的問題是：就智能而言，什麼是越來越有可能實現的？你認為這些智能需要怎樣的形式？你認為人們對AI的擔憂是否過頭了？

Max Tegmark：人們經常問我是支持還是反對AI，我反問他們，他們是否認為火是一種威脅，他們是支持火還是反對火。然後他們認為這個問題很愚蠢；你當然贊成使用火——贊成用火來取暖——但反對縱火，對吧？火和AI都是一種技術，它們的區別在於，AI，尤其是超級智能，是更強大的技術。

技術不是壞事，技術也不是好事；技術是我們做事能力的放大器。技術越強大，我們就能做得越好，也能做得越糟糕。我很樂觀地認為，只要我們在科技日益增長的力量和我們管理科技的日益增加的智慧之間的競爭中獲勝，我們就能創造一個真正令人振奮的高科技未來。我想這就是問題所在，因為我們要贏這場比賽的一直以來的策略就是從錯誤中吸取教訓。我們發現了火，搞砸了很多，然後發明了滅火器。因此，有了核武器或超級人工智慧等更強大的技術，我們可不希望從錯誤中吸取教訓——最好是第一次就把事情做好。

我個人認為，伊隆·馬斯克(Elon Musk)和斯蒂芬·霍金(Stephen Hawking)等人被指責為悲觀主義者，這是不對的，因為他們都是相當樂觀的人。馬斯克之所以多次談論AI的危險，是因為他考慮的是長遠的未來，而不是像普通政治家那樣只考慮下一個選舉周期的未來。

人們開始意識到如果事情做對了，AI的力量是多麼的神奇，但如果把事情搞砸了，AI又將是多麼糟糕的力量。人們有時會叫我閉嘴，叫我不要談論AI的風險了，因為這是危言聳聽。但這並不是危言聳聽——我們在MIT將其稱為「安全工程」（safety engineering）。

NASA在發射阿波羅11號登月計劃之前，系統地考慮了所有假如發生故障可能出現的問題。那是危言聳聽嗎？不是！那正是確保登月成功所需的安全工程。

這就是我所提倡的應對非常強大的AI的策略：想想哪些地方可能出錯，如何確保它正常運行。我認為，真正的威脅是自滿，是人類拒絕做安全工程，拒絕做計劃。

問：是的，我認為你剛才提到的滅火器的類比很恰當。我不確定對於AI，我們是否也有滅火器，對吧?

Tegmark：是的，對於超級智能來說，我們當然沒有滅火器。你不會希望明天美俄之間突然爆發核戰爭，升起成千上萬的蘑菇雲，然後說「讓我們從這個錯誤中吸取教訓吧！」我們最好是提前計劃並第一時間避免它出現錯誤。隨著一項技術從岩石演化成核能，生物科技，以及最終，未來演化成極其強大的AI，你就到達了一個不允許犯錯的門檻。

對於自主武器，需要畫一條紅線

問：是的，當然。你是未來生命研究所的聯合創始人，去年夏天你發表了一封公開信，許多人工智慧和機器人研究人員署名反對自主武器。但不幸的是，我們似乎聽到越來越多關於自主武器的消息。最近的一個例子是五角大樓的Project Maven，這個無人機項目在谷歌內外引起了很多爭議。很難不去關注自主武器的問題，對吧?

Tegmark：這個問題我是相對樂觀的。我有很多同事對此非常悲觀，說：「哦，我們要完蛋了。任何可用于軍事的技術都將被用于軍事，所以放棄吧，讓軍備競賽開始吧。」但事實並非如此。生物武器就是一個反例。看看今天的生物學，你主要會將它與什麼聯繫在一起：治療疾病的新方法還是殺人的新方法？當然是前者。但事情本來不一定會發展成這樣。上世紀60年代末，美國和蘇聯都在儲備生物武器，我們原本可能面臨一個可怕的未來——但實際上沒有。

生物學領域有一條非常明確的紅線，超出這條線，人們會認為生物學的應用是糟糕的，他們不想資助那些應用，也不想研究它們。我樂觀的願景是，對於AI完全可以採用同樣的做法，10年後，將會有一項國際協議禁止某些類型的攻擊性致命武器，人們會認為AI在世界上是積極的力量，而不是主要是可怕的、恐怖主義集團的暗殺工具。

但是，和生物學一樣，這並不是一個必然的結論。這將需要大量的努力，而這正是你現在所看到的大量爭議。你看到很多AI研究人員，包括谷歌公司里針對Project Maven簽名的那些人，說他們想要畫一條紅線。現在這是一場非常激烈的辯論。目前還不清楚爭論將走向何方，但我很樂觀地認為，我們可以把它推向生物學走過的正確方向。悲觀的說法認為我們總是厄運臨頭，無法阻止這種濫用，這是不正確的。

問：你在公開信中提到，即使簽署了國際條約，美國和中國等國家對AI的恰當和不恰當的使用達成共識，但這些工具也有可能落入不那麼謹慎的領導人手中。例如，看看阿薩德政權統治下的敘利亞的生物武器。這是一個不得不冒的風險，還是我們可以做些什麼來阻止它的發生?

Tegmark：我認為我們可以做很多事情來阻止它。就生物武器來說，它們實際上造價很低，但事實是我們還沒有遭受任何生物武器的攻擊，對吧？這並不是因為不可能，真正關鍵的是它的污名本身。人們認為研發生物武器很噁心，他們不想在這上面工作，更別說得到風險投資的資金。敘利亞的阿薩德得到了生物武器，並使用了它們，的確，但是他的污名是如此強烈，厭惡是如此強烈，他甚至自願放棄了一堆生物武器，只為了不被入侵。

結果，是的，有人被化學武器殺死了，但是被化學武器殺死的人比遭遇車禍或醫療失誤而死的人要少得多——你知道，車禍和醫療是AI可以解決的事情。所以，總的來說，我們在這些化學武器上的處境要比假如當初大家認為「好吧，這是一項人權，每個人都可以擁有生物武器，就像在美國每個人都可以擁有槍支一樣。」要好得多。

致命的自主武器將會很便宜，但單打獨鬥式製造自主武器並將其出售給別人和超級大國之間進行自主武器軍備競賽有著巨大的區別。一旦這些武器像常規武器一樣被大量生產出來，朝鮮、ISIS、博科聖地(Boko Haram)都有了，它們就會像洪水猛獸一樣席捲世界各地的黑市。到那時，我們就完蛋了，它們就像卡拉什尼科夫衝鋒槍，你絕對不可能阻止恐怖分子擁有這些武器。

但如果它永遠不能達到大規模生產的階段，那麼它將仍然只是一件令人討厭的事情，因此AI作為一個整體將被視為積極的事情。我確實認為這是非常可行的，而且確實是會發生的。但在自主武器變得非常便宜之前，必須很快地採取措施，因為軍備競賽一旦開始，它們就會自己獲得動力。

AI專家的基本觀點是，應該在某個地方劃一條界線。但另一方面，AI在軍事中有很多用途，有些人認為這很好，例如以色列的「鐵穹」導彈防禦系統。目前還不清楚這條線應該畫在哪裡，但這就是談判的目的。第一步是召集所有的專家，包括外交官和政治家們一起，弄清楚在哪裡畫線。許多公司和政府已經開始支持這個想法。

AI偏見：是可以預防的問題

問：換個話題，最近有很多關於AI偏見的討論。你認為這是一個大問題嗎，還是認為這不是一個AI問題，而是一個數據問題？一些研究人員認為，我們只是缺乏合適的數據——我們在有限的數據集上訓練演算法，導致了結果被扭曲。

Tegmark：我的看法是，如果你擁有一項技術，光擁有這項技術是不夠的。你必須要明智地使用它。例如，如果這項技術是一個決定誰會被判刑，誰不會的AI，那麼就要了解你擁有的數據類型，並且去充分地了解系統內部如何運作。看看在美國被廣泛部署的Compas系統，它是一個黑盒子，用戶通常都不知道它是如何工作的。（譯註：Compas是Northpointe公司設計的一個風險評估系統，被美國司法機構用於評估犯人再次犯罪的風險。）結果他們驚訝地發現這個系統可能帶有種族偏見。這是另一個例子，說明為什麼我們應該主動並提前考慮可能出現的問題。

對那些認真思考過這些問題的人來說，這並不令人驚訝。這是一個可以預防的問題。

如果不投資於教育，基本上就已經在這場競爭中失敗了

問：我將以最後一個大問題結束。我們談到不同國家都在AI領域投入大量資金，都想打造「人工智慧創新中心」，尤其在中國很流行這種說法。印度的莫迪政府也提出了很多AI相關的措施，不僅關於國防系統和武器，而且印度在某種意義上想打造下一個AI矽谷。作為密切關注這個問題的人，你認為哪個國家將在這上面取得進展？請你預測一下未來20年甚至50年後的情況會是什麼樣子。

Tegmark：對我來說，最有趣的一個問題不是它會變成什麼樣子，而是我們應該做些什麼來使它看起來更好。很顯然，美國和中國是人工智慧的兩個超級大國，儘管在英國谷歌DeepMind在做一些有趣的事情……

問：還有加拿大，對吧？

Tegmark：加拿大有一些很棒的事情。但如果你比較中國、加拿大和其他國家，你會發現美國是人均在基礎計算機科學教育上投資最少的國家，而比如說中國，投資非常大。美國在軍事上的投資得到了很多宣傳，但投資基礎教育真的很重要。你知道為什麼美國是當今科技行業的領導者嗎？為什麼矽谷在加州而不是在比利時？這是因為在60年代，在太空競賽中，美國政府在基礎STEM教育上投入了大量的資金，這造就了整整一代充滿激情的年輕美國人，是他們後來創立了科技公司。

AlphaGo和Alpha Zero在圍棋上的勝利對中國來說是第一個重要時刻：他們意識到必須在人工智慧基礎教育和研究上投入巨資。在美國，我覺得我們太過自滿，我們正在固步自封。如果你看看美國政府對美國國家科學基金會的投入，與中國的投資相比，這是非常不合理的。如果我們不投資於教育，基本上就已經在這場競爭中失敗了。

你不能只給波音這類的公司一堆合同。你需要打造一個有才華的勞動力隊伍。在美國甚至還沒有科學顧問，並且一年多來都沒有任命一個。我們未來能為美國科技提供什麼樣的領導力，取決於我們今天在學生身上投資多少。有很多經濟研究表明，對於未來的經濟你能做出的最好的投資就是投資於這類研究。

如果我們在AI領域做對了，就將有一個前所未有的機會能幫助人類繁榮昌盛，這就是我們真正值得為之奮鬥的原因。今天，世界上的每一個問題都可以用更好的技術來解決。而AI是其中的關鍵部分。

註：

《生命3.0》英文版一經出版迅速登頂美國亞馬遜科技類圖書排行榜榜首，受到埃隆·馬斯克、斯蒂芬·霍金、雷·庫茲韋爾等人的推薦。目前，中文版已經預售，購買地址請掃下方二維碼：

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_3 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！