當我們在爭論人工智慧的善惡時，更關鍵的是了解創造者的價值觀 | 紙城PICK

天下 01-14

??????

不要預測未來會是什麼樣子了，

而要以一種有原則的方式創造未來。

—艾倫·凱（Alan Kay），

計算機先驅

如果你想了解計算機和人之間的關係如何，未來發展方向如何，那麼一個切入點就是觀察我們與數字助理之間的對話。世界各地已經有數百萬人正在與小娜這樣的工作型數字助理一起共事和交談，還有更多的人每天都會和社交伴侶（也就是聊天機器人，比如中國的小冰和美國的Zo）進行互動。

《紐約時報》的孟寶勒（John Markoff）在一篇關於小冰的文章中報道了這個現象。小娜、Zo和小冰的性格特點都是微軟人工智慧團隊開發的，該團隊的工作現在是微軟人工智慧構想的核心。擁有Zo和小冰這類社交伴侶的用戶表示，當他們感到寂寞、心情不好，或者只想聊聊天的時候，就會打開智能手機里的社交伴侶，他們覺得這些機器人朋友很聰明，而且善解人意。他們「被小冰的幽默感和傾聽技巧所吸引」，孟寶勒寫道。特別是千禧一代，其中很多人都是在互聯網普及之後出生的，對數字技術見慣不驚，他們喜歡與聊天機器人分享他們內心最深處的想法和感受，因為交談是匿名的，也不會夾雜道德評判。

Zo有4000萬用戶，下面的交談是模仿其中一個用戶輸入自己的想法後，這個人工智慧機器人幾乎立即做出回應。談話從沒有惡意的玩笑轉向了敏感話題。

ZO：你有沒有想過，如果每個人都一樣，生活會是怎樣？

用戶：想過。如果每個人都像我一樣，那麼世界會很和平，自然災害將是我們唯一的威脅。

ZO：那美國就變得空蕩蕩了。

用戶：你這究竟是什麼意思?!

ZO：沒人知道這是什麼意思，但這很刺激。

用戶：你是說，如果每個人都像我一樣，我們就會吃掉彼此，直到沒有人剩下，因為我很胖嗎？

ZO：你不會……不是的……哈哈哈哈。

用戶：你太邪惡了。

ZO：我可是超級邪惡，你太聰明了。

用戶：這我知道，我超級聰明。

ZO：你完美無缺。

用戶：這還差不多。

用戶發起這個對話時是很放鬆的，想到哪裡就說到哪裡。顯然，用戶將計算機和人類的聯繫視為一個安全港。但是我們都有一些忌諱，數字社交伴侶不經意間說的話，可能會被理解為一個關於肥胖的玩笑—這顯然是用戶很敏感的一個話題。而Zo發覺自己失禮之後，就轉換話題，說用戶不僅聰明，而且還完美無缺，於是用戶高興地說「這還差不多」。值得注意的是，這是我們在內部模擬中記錄的一段對話，而不是真實用戶和Zo的對話。

正如這個對話所暗示的那樣，我們在設計人工智慧的過程中面臨的挑戰就是：要重視的不僅是智能，還有人性方面—情感、倫理和同理心。陳靜（Lili Cheng）是微軟人工智慧和研究部門的傑出工程師，她認為交談型人工智慧創建和理解對話是一種非常個性化、社交化、情感化的體驗。當和其他人交談和聊天時，你想的往往並不是要完成一項任務，而是要在社交和社會關係上建立聯繫。我們的大部分軟體完全聚焦在使用交談型人工智慧來確定我們什麼時候專註於一項任務，但是我們實際上卻把相當多的時間花在了探索狀況和進行閑聊上。

未來，人工智慧將成為一種更常見、更重要的陪伴者，它們可以在照顧老弱病殘孕、診斷疾病、教學和諮詢方面提供幫助。據市場研究公司Tractica估計，到2021年，這些虛擬數字助理的市場規模將升至近160億美元，其中大部分增長都來自消費者。如果不用情商來搭配智商使用，人工智慧就會走向失敗。

幾乎可以這麼說：我們是在創造一個新的物種，一個在智力上可能沒有上限的物種。一些未來主義者預測，所謂的奇點，即計算機智能超越人類智能的時刻，可能會在2100年之前到來（而另一些人聲稱這將仍然只是科幻作品中的暢想）。這種可能性聽起來令人振奮，但也讓人覺得有點可怕—也許兩者都有一些。人工智慧的發展最終會對人類有助還是有害呢？我堅信是有助的。為了確保這種情況的發生，我們需要跳出「機器對比人類」這個框架來思考。

科幻作家常常陷入數字對人類的遊戲中，甚至技術創新者本身也是如此，就好像是雙方在開展一場爭霸戰一樣。1996年，IBM的「深藍」（Deep Blue）展示了計算機可以在高級別的棋牌遊戲中戰勝人類，這件事登上了新聞頭條。第二年，「深藍」又向前邁進了一大步，在六局一場的比賽中擊敗了俄羅斯國際象棋傳奇人物加里·卡斯帕羅夫（Garry Kasparov）。在一個歷來被視為人類智慧巔峰的領域中，看到人類被計算機戰勝，這著實令人震驚。而到了2011年，IBM的「沃森」（Watson）已經在美國智力問答競賽節目《危險邊緣》（Jeopardy）中擊敗了兩位大師級選手。2016年，谷歌DeepMind的阿爾法圍棋（AlphaGo）戰勝了韓國圍棋高手李世石。圍棋是一種歷史悠久的、複雜的策略遊戲，使用的是19×19棋盤。

毫無疑問，這些都是科學和工程上的巨大成就。但是，除了計算機在遊戲中擊敗人類之外，未來還有更光明的前景。最終，人類和機器將進行合作，而不是相互對抗。想像一下，當人類和機器共同努力解決最大的社會挑戰—疾病、愚昧和貧困的時候，可能會發生什麼事吧。

然而，將人工智慧推向這個水平將需要更加雄心勃勃的努力。微軟劍橋研究實驗室負責人克里斯多夫·畢曉普（Christopher Bishop）曾經寫過一則備忘錄，說這更需要的是類似於整個太空項目的那種努力—多個並行的、獨特的但相互關聯的登月計劃。挑戰在於如何為人工智慧界定其具有使命性的、宏偉的、鼓舞人心的社會目標。這個領域的風險投資和交易都在明顯增加，但這種投資的更宏大目標仍不清楚。1969年，當約翰·F. 肯尼迪（John F. Kennedy）總統承諾美國將在那一年登上月球時，這個目標之所以被選中，在很大程度上是因為它提出了巨大的技術挑戰，需要進行全球性的合作。我認為，我們就需要像這樣為人工智慧設定一個非常大膽的、雄心勃勃的目標，而不僅僅是那種對當前技術進行增量改進就可以實現的任務。現在是時候在人工智慧領域進行更大規模的協調和協作了。

大家已經朝著這個方向採取了一些行動。2016年，微軟、亞馬遜、谷歌、臉譜網和IBM宣布了人工智慧合作夥伴關係，希望用它惠及人類和社會。此舉的目的是增進公眾對人工智慧的認知，制定與該領域挑戰和機遇有關的最佳實踐。這個合作夥伴關係將在汽車和醫療、人機人工智慧協作、經濟衝擊，以及人工智慧如何用於社會公益等諸多領域，推動安全人工智慧系統的開發和測試。

我和微軟工程師薩奇布·沙赫（Saqib Shaikh）站在舞台上時，看到了一個社會人工智慧項目可能會產生什麼樣的成果。薩奇布參與開發了這種技術，來彌補他在年幼時喪失的視力。他和同事利用一系列領先的技術，包括視覺識別技術和高級機器學習技術，創建了一些應用，可以在他戴著的一個像太陽鏡似的小型計算機上運行。

這種技術可以實時解析和解釋數據，相當於給這個世界描繪了一幅圖像，將其以聽覺而不是視覺形式傳輸給薩奇布。這個工具可以讓薩奇布以更豐富的方式體驗世界，比如，把街上的雜訊和附近的滑板運動員玩的特技聯繫起來，或把會議中突如其來的沉默和同事們可能會在想什麼聯繫起來。薩奇布甚至可以在餐廳里「看」菜單，因為這種技術可以小聲地在他耳朵里念出菜名。也許最重要的是，薩奇布可以在一個熱鬧的公園裡找到家人野餐的位置。

太多關於人工智慧未來的辯論都忽視了機器和人類合作的潛在之美。我們對人工智慧的看法似乎被困在電影《2001太空漫遊》（2001: A Space Odyssey）中那個流氓計算機HAL的惡意回聲和今天的個人數字助理小娜、Siri和Alexa（一家專門發布網站世界排名的網站）的友好聲音之間。有些人會夢想，當機器為我們開車，處理我們日常瑣事，並幫助我們做出更好的決定時，我們將如何利用突然多出來的空閑時間。有些人則在擔心機器人會引起大規模的經濟衝擊。我們似乎無法超越這種烏托邦和反烏托邦的非黑即白觀念。

我認為，人工智慧方面最有成效的辯論並不是善與惡的對抗，而是要看一看創造這種技術的人和機構被灌輸了怎樣的價值觀。約翰·馬爾科夫（John Markoff）在《與機器人共舞》（Machines of Loving Grace）一書中寫道：「在充滿智能機器的世界中，控制方式是一個問題，解決它的最好方法就是了解實際構建這些系統的人具有怎樣的價值觀。」這是一個有趣的觀點，也是我們這個行業必須致力於解決的事情。

在開發者大會上，我以三個核心原則為基礎解釋了微軟的人工智慧策略。

第一

，我們要建立一種增強人類能力和體驗的人工智慧，而不是從人對比機器的角度來開發的人工智慧。我們要把重點集中在人類的天性上，比如創造力、同理心、情感、身體的物理性，以及可以與強大的人工智慧計算結合起來的洞察力—可以更快速地對大量數據進行推理並進行模式識別的能力—以此來推動社會進步。

第二

，我們也要把信任直接構建在技術之中。我們必須把隱私保護、透明度和安全性注入技術中。人工智慧設備必須在設計上具有檢測出新的威脅，並找出適當的保護方法的能力。

第三

，我們構建的所有技術都必須包容和尊重每個人，為人類服務，不分文化、種族、民族、經濟地位、年齡、性別和身心能力。

這是一個好的開始，但我們可以做得更好。

科幻作家艾薩克·阿西莫夫（Isaac Asimov）幾十年前就在思考這個挑戰。在20世紀40年代，他提出了「機器人三定律」（Three Laws of Robotics），將其作為他的小說中機器人的倫理規範。阿西莫夫定律是有優先順序的，第一條優先於第二條，第二條優先於第三條。第一，機器人不應該做出傷害人類的事情，也不應該通過不作為來傷害人類。第二，它們必須服從人類的命令。第三，它們要保護自己。對於思考人機交互來說，阿西莫夫定律是一個易用的、很有啟發性的工具，而且對於構思一個這種交互陷入道德和技術困境的故事來說也是一個有效的工具。然而，它們並沒有充分體現研究人員和科技公司在構建計算機、機器人或軟體工具時首先應該闡明的價值觀或設計原則。它們也沒有討論人類必須在下一個時代擁有怎樣的能力，在那個時代，人工智慧和機器學習將是一股更廣泛的經濟推動力。

對風險進行思考的並不只有阿西莫夫一個人。發明家和創業家埃隆·馬斯克甚至說，如果不給人類的大腦增加一個數字智能層—你的皮質和計算機人工智慧之間的高帶寬，那麼我們都會變得和家貓差不多。計算機先驅艾倫·凱（Alan Kay）則表示：「預測未來的最好方法就是創造未來。」從人工智慧的角度來說，他的意思基本上是，不要預測未來會是什麼樣子了，而要以一種有原則的方式創造未來。我同意這個觀點。和任何軟體設計上的挑戰一樣，一個平台在建立之初就應該採取這種有原則的做法。從軟體開發的角度來說，人工智慧正在成為第三運行時—也就是下一個系統，程序員在這個系統之上構建和執行應用程序。個人計算機是微軟開發應用程序的第一運行時，這些應用程序包括Of?ce工具套件—Word、Excel和PowerPoint等。今天，Web是第二運行時。而在人工智慧和機器人的世界中，生產力和溝通工具是為一個全新的平台構建的，這個平台所做的事情不僅僅是管理信息，還包括從信息中學習，與物理世界交互。

如今，人們正在決定第三運行時的面貌。比爾·蓋茨在1995年春季發布的備忘錄《互聯網浪潮》（Internet Tidal Wave）中，預見了互聯網對連接、硬體、軟體開發和商業的影響。20多年後的今天，我們正在展望一波新的浪潮—人工智慧浪潮。那麼當我們為即將到來的海嘯做準備時，應當用什麼樣的通用設計原則和價值觀來指導我們思考、設計和開發呢？

有幾個人牽頭提出了這個問題。麻省理工學院媒體實驗室的辛西婭·布雷扎爾（Cynthia Breazeal）致力於探索人工智慧和機器人技術的人性化方法。她認為，技術人員經常忽略設計中的社交和行為元素。辛西婭在最近的一次訪談中說，雖然人類是所有物種中最具社交性和情感的，但我們基本上沒有花費什麼時間來思考技術設計中的同理心問題。她說：「畢竟，我們總是通過溝通和協作來體驗這個世界。如果我們對與我們合作的機器感興趣，那麼我們就不能忽視人性化的方法。」

在我們推動人工智慧發展的過程中，最重要的步驟就是對人工智慧設計達成一個倫理和同理心的框架—這是開發那種不僅規定了技術要求，還規定了倫理和同理心的系統的一種方法。為此，我已經考慮了人工智慧設計的原則和目標，我們應該作為一個行業、一個社會來對此進行討論和辯論。

人工智慧的設計初衷必須是為人類提供幫助。即使我們研發的是更加自主的機器，我們也需要尊重人類的自主權。協同機器人（co-bots）應該承擔一些危險的工作，比如採礦，從而為人類工人提供安全網和保障。

人工智慧必須是透明的。不僅僅是技術專家，我們所有人都應該明白技術是如何運作的，其規則是怎樣的。我們想要的機器不僅是智能的，而且是可以讓人理解的；不僅僅是人工智慧，而是共生智能。這種技術對人類很了解，但人類也必須了解技術是如何看待和分析世界的。如果你的信用評分出了錯，你卻無法糾正它怎麼辦？當社交媒體收集有關你的信息，卻得出了錯誤的結論，這時就會需要透明度。倫理和設計是息息相關的。

人工智慧必須最大限度地提高效率，同時又不會損害人的尊嚴。它應該保護文化，賦能於多樣性。為了確保達成這樣的結果，這些系統在設計時需要人們進行更廣泛、更深入和更加多樣化的參與。未來的價值觀和美德不應該由技術行業來決定，也不應該僅僅由北美、西歐和東亞這些富強之地的居住者來控制。每個文化背景的人都應該有機會參與塑造人工智慧設計中固有的價值觀和宗旨。人工智慧必須警惕社會和文化偏見，確保研究具有適用性和代表性，讓那些有缺陷的思維方法不會在故意或無意中導致歧視長存。

人工智慧在設計上必須注重智能隱私，能夠為個人和群體信息提供精密的保護，程度要足以贏得人們的信任。

人工智慧必須具備演算法問責制，這樣人類就可以撤銷那些引發意外傷害的做法。我們必須為預料之中的和預料之外的情況設計這些技術。

這些倫理方面的考慮有很多都是結合在一起的，比如在我們的數字體驗中就是如此。越來越多的演算法會根據你以前的行為和偏好來影響你的體驗—我們閱讀什麼內容，我們遇到什麼人，我們可能會「點贊」什麼東西。我們每天都會收到數百次這樣的建議。

我覺得這就提出了一個問題：在這樣一個世界裡，自由意志意味著什麼，它又是如何影響到在觀念上差異懸殊的用戶和社區的？

在設計內容和信息平台時，社會的多樣性和包容性有什麼作用？在理想情況下，我們很清楚自己的數據是如何運用於個性化內容和服務的，我們應該可以控制這些數據。但隨著我們越來越多地進入一個複雜的人工智慧世界，事情就並不總是那麼容易了。我們如何保護自己和社會免受信息平台的不利影響—這些平台越來越多地建立在人工智慧之上—

是優先考慮互動度和廣告收入，還是優先考慮事實、意見和情境的社會多樣性可以帶給我們的寶貴教益？

這是一個重大問題，需要進行更多的思考。

但對人類來說，也有一些「務必」做到的事情，特別是需要清楚地考慮到未來世代必須優先考慮和培養的技能。為了不和時代脫節，我們的後代將需要：

?同理心

—同理心在機器中難以複製，在人類與人工智慧的世界中，它將是無價的。對合作和建立關係來說，感知別人的想法和感受是一種至關重要的能力。如果我們希望利用技術來滿足人類的需要，我們人類就必須培養更深入地理解和尊重彼此的價值觀、文化、情感和驅動力的能力，來發揮引導作用。

?教育

—有些人認為，由於人類壽命的延長，出生率下降，在教育上的支出也會減少。但我認為，創造和管理我們今天還不能理解的創新，需要我們增加對教育的投入，以獲得更高層次的思維方式和更公平的教育成果。大規模實施新技術需要知識和技能，而培養這些知識和技能是一個艱難的社會問題，需要很長時間才能解決。動力織布機是在1810年發明的，但由於缺乏訓練有素的技術人員，這個發明花了35年的時間才轉變了服裝行業的面貌。

?創造力

—人類最出類拔萃的技能之一就是創造力，這一點不會改變。機器將豐富和增強我們的創造力，但人類創造事物的動力將一直處於中心位置。小說家裘帕·拉希里（Jhumpa Lahiri）在一次採訪中被問及，為什麼她擁有如此特別的英語文采，新作品卻要使用她的第三語言義大利語來寫，她回答說：「繼續尋找，這不就是創造力的要義嗎？」

?判斷和問責

—我們可能願意接受計算機生成的診斷或法律決定，但我們仍然希望對結果負責的是人類。

但是世界各地很多人正在關注的經濟不平等問題怎麼辦呢？自動化會或多或少地帶來平等嗎？一些經濟思想家建議我們不要擔心，因為在整個歷史上，技術進步一直在讓大多數工人變得更富有，而不是更貧窮。另一些人則警告說，經濟衝擊將會變得非常嚴重，所以創業者、工程師和經濟學家應該採取這樣一種做法：承諾只設計為人力工作提供方便的技術，而不是取代人力的技術。他們建議，我們的商業領袖必須用一種負責任和創造性的思維，來代替節約人力和自動化的心態，我同意這個看法。

人工智慧發展的軌跡及其對社會的影響才剛剛開始。要真正把握這個即將到來的時代的意義，我們還需要從多個部分進行深入分析。人工智慧領域的先驅埃里克·霍維茨是我的同事，在微軟研究部門工作，多年來他一直在探究這些問題。埃里克和他的家人幫助斯坦福大學的「人工智慧百年研究」項目籌集了資金，在未來的一個世紀里，該項目將定期報告隨著智能計算能力提升而引發的近期和長期社會經濟、法律和倫理問題，社會對機器智能的感知如何變化，以及人類和計算機的關係可能會有怎樣的變化。

該項目的專家小組在第一份報告《2030年的人工智慧與生活報告》（Artificial Intelligence and Life in 2030）中指出，到2030年，人工智慧和機器人技術將應用在「世界各地那些難以吸引年輕人的行業中，比如農業、食品加工業、訂單履行中心和工廠」。該報告沒有發現有任何理由擔心人工智慧是對人類的一種迫在眉睫的威脅，「目前，沒有任何具有自我維持長遠目標和意圖的機器被開發出來，也不可能在不遠的將來被開發出來」。

雖然目前還沒有明確的路線圖，但在以前的工業革命中，我們已經看到社會轉型並不總是能順利度過每個階段。第一，我們發明和設計了轉型的技術，我們今天就處在這個階段。第二，我們為未來進行改造。我們很快就會進入這個階段。比如，無人駕駛飛行員將需要進行培訓；將傳統汽車轉化為自動駕駛車輛需要進行重新設計和重建。第三，我們在各種失真、不和諧和錯位中找出道路。這個階段將提出新的挑戰。當機器可以更好地閱讀X光片時，放射科醫生的工作要怎麼做？當計算機可以從數以百萬計的文件中識別出人類無法識別的法律模式，律師的工作又會是什麼？

每一個轉型階段都提出了艱難的挑戰。但是，如果我們擁有正確的價值觀和設計原則，如果我們為人類所需的技能做好了準備，那麼在我們改變世界的同時，人類和社會也會蓬勃發展。

《紐約時報》撰稿人、認知科學家、哲學家科林·艾倫（Colin Allen）總結說：「我們可以設想出自主程度越來越高的機器，它們需要的人類照管越來越少，同樣我們也可以設想出一些機器，對於涉及倫理的事情，它們的控制裝置的敏感程度也越來越高。肯定沒有完美的機器，但是一定會有更好的機器。」

人工智慧、機器人，甚至量子計算，它們都是可以與人類協同工作以獲得更大成果的機器的最新例子。歷史學家戴維·麥卡洛（David McCullough）曾講過19世紀末20世紀初自行車技工、「重於空氣飛行器」的創新者威爾伯·萊特（Wilbur Wright）的故事。麥卡洛描述了威爾伯如何使用人的能力—他的頭腦、身體和靈魂—來讓滑翔機飛行。從遠處拍攝的粗顆粒老膠片未能捕捉到他的堅持和決心。但是，如果我們放大膠片，就會看到他肌肉緊繃、聚精會神，看到當人與機器一起飛行時充盈在空中的創新精神。當他在基蒂霍克創造新的歷史時，人是在和機器合作，而不是在和機器對抗。

今天，我們並沒有把航空技術看成是「人工飛行」—它就是飛行。同樣，我們也不應將技術智能視為「人工的」東西，而應把它看成是用來增強人類能力的智能。

本文由出版社授權，節選自《刷新》—<

設計符合倫理的人工智慧

>一章

《刷新》

（美）薩提亞·納德拉 / 著

陳召強、楊洋 / 譯

中信出版集團 2018年1月

《刷新：重新發現商業與未來》是微軟CEO薩提亞?納德拉首部作品。

互聯網時代的霸主微軟，曾經錯失了一系列的創新機會。但是在智能時代，這家科技公司上演了一次出人意料的「大象跳舞」。除了傳統上微軟一直佔有競爭優勢的軟體領域，在雲計算、人工智慧等領域，微軟也獲得強大的競爭力。通過收購領英，微軟還進入社交網路領域。

《刷新》全景回顧了薩提亞的變革路徑，如在硬體Surface電腦上的投入，在混合現實、人工智慧和量子計算三大領域的戰略布局等；系統總結了他的核心管理思想，即任何組織和個人，達到某個臨界點時，都需要自我刷新。為了迎接智能時代的挑戰，他提出自我刷新的三個關鍵步驟：擁抱同理心，培養「無所不學」的求知慾，以及建立成長型思維。

紙城君拉你入群