人工智慧怎麼為自己設定目標？

科技 01-25

智能系統不能決定自己的初始目標，但會根據經驗構建自己的派生目標，而其行為是被這些目標共同決定的。在這方面計算機和人類並無本質區別，所以人工智慧系統完全可以達到人類水平的自主性。我們應當對由此而來的機會和挑戰有所準備，而簡單地斷言「人工智慧歸根結底是實現設計者目標的工具（所以沒什麼新鮮的）」或「人工智慧的目標是我們完全無法影響的（所以必定毀滅人類）」都是錯的。

撰文

王培（美國天普大學計算機與信息科學系）

在那些認為人工智慧永遠不能達到人類水平的理由中，最常見的一個是「所有智能系統都是設計者實現自己目標的工具，而機器自身是不可能有任何目標的。只有人能為自己設定目標。」我在這裡要指出這個斷言是錯誤的。

計算機系統中的目標

每個系統都有「做什麼」的問題，也有「怎樣做」的問題。前者是關於目標或任務，後者是關於方法或手段。在傳統計算系統中，二者都是人定的：每個程序都按人指定的方法實現人設定的目標。比如說你可以調用一個程序來找到一組數中的最大值，但計算機只是接受並實現了你給它的目標，而不是自己設置或選擇了這個目標。

當要達到的目標很大的時候（比如「成為首富」），一個自然的策略是將其分解成若干小些的目標。如果一個「小目標」仍嫌太大（比如「先掙一個億」），那就進一步分解，直到目標可以實現為止（比如「從床上爬起來」）。這個目標分解過程在人工智慧中叫「反向鏈接」（backward chaining，見參考資料[1]）。在反向鏈接過程中生成的目標通常被稱為「子目標」。這些目標儘管是系統生成的，但不能說是系統為自己設定的，因為「子目標」是循給定的程序將外界設定的「總目標」分解而得，所以它們的存在價值和意義也完全是為該「總目標」的實現做貢獻。

即使是目前火爆的機器學習，也只是從大量數據中總結實現給定目標的方法，而目標本身不是學到的。前不久，AlphaGo的升級版以快棋60戰不敗的記錄橫掃圍棋界，儘管它從來也沒有「自己想要」下圍棋。在AlphaGo中大顯神通的「強化學習」技術是通過其每個決定所得到的「獎勵分數」來逐漸學會在各個情境下怎麼做得分最高的。這類系統中確定各個情境的獎勵分數的那個函數就隱含地確定了系統的目的，而這個函數不是系統自己設定的，是設計者編製在系統中的。

智能和自主性

AlphaGo算是有智能嗎？不同的人會有不同的評價（見《當你談論人工智慧時，到底在談論什麼？》），但我想不少人會和我一樣覺得真正的智能系統必須有自主性，即在「做什麼」和「怎樣做」兩方面都能自己做主。在《計算機能有創造性嗎？》之中，我已經解釋了怎樣讓智能系統自己發現解決某些問題的辦法，而這裡要介紹怎樣讓它為自己設定目標。

我在《你這是什麼邏輯?》等專欄文章中已經介紹了我設計的「納思」系統的若干方面。因為納思必須在知識和資源相對不足的條件下工作，其中對目標的處理和傳統系統非常不同（詳見參考資料[2]）。作為一個人造系統，納思的「初始目標」自然還是由外部設定的，但即使在這方面，它和傳統系統也有兩點顯著不同：

（1）實時性：初始目標既可以是由設計者植入系統的先天結構的（比如「造福人類」），也可以是用戶在系統運行時隨時輸入的（比如「給我杯茶」）。這些目標都有時間要求（比如「永遠」、「三年內」、「今天」、「馬上」、「儘快」），而且常常在系統仍忙於其它目標時出現。

（2）開放性：只要是目標以系統所能識別的方式表達即可，而對其內容並無限制。這就是說諸目標可以是直接或間接相互衝突的（比如一個用戶說「開門」而另一個說「關門」），或超出系統的現有知識範圍（比如「實現世界和平」）。

由於智能系統不是神仙，上述特徵的一個必然後果就是納思不能保證實現給它設定的所有目標。當然，它不總是簡單地說「我做不到」，而是儘可能最大限度地實現它們。一般情況下，系統不是一個接一個地實現其諸多目標，而是同時考慮它們。每個初始目標有個「優先度」，以便系統權衡輕重緩急，並在目標間有衝突時決定傾向哪方。

除去在非常簡單的情況下，一個智能系統中的絕大多數目標都是不能直接一步就實現的。不要說「造福人類」或「掙一個億」，就是「送杯茶」也需要分成若干步驟，各有其具體目標。納思能夠根據其知識通過推理生成「派生目標」。比如說如果它相信創辦一家人工智慧公司就能掙一個億，那麼它就有理由以「創辦一家人工智慧公司」作為一個新目標。這和前面提到的「反向鏈接」有相似之處，但有幾個根本差別。首先是要考慮對其它目標的影響。比如說它如果相信人工智慧的未來發展會威脅「實現世界和平」這個目標（這是個有反思精神的AI），那它就有理由不設立「創辦人工智慧公司」這個新目標，而通過其它途徑去掙一個億（比如炒房地產）。因此，在納思中一般不能把一個派生目標看成單一初始目標的子目標，因為它往往和很多初始目標有關，起碼沒有被它們所否決。其次，即使一個派生目標主要是作為實現某個初始目標的手段被創建的，但由於二者的關係是基於系統當時的知識，那很有可能被後來的經驗所推翻。比如說「創辦人工智慧公司」可能最終導致賠錢的結果，從而和「掙一個億」的期望相悖。我在《證實、證偽、證明、證據：何以為「證」?》中解釋過，智能系統對未來的預測是基於過去經驗之上的，因此永遠有出錯的可能性。這就意味著一個派生目標的實現可能實際上無助於使其建立的初始目標，甚至可能阻礙後者的實現，但這是系統在生成此目標時不知道或沒想到的。最後，一個派生目標建立後，它與其「本源」目標的聯繫會逐漸淡化，以至於在其本源消失（不論是被滿足還是被放棄）之後仍然可能存在。

綜上所述，納思的目標派生過程同時也開始了一個「手段目的化」的過程。如果初始目標Ａ觸發了派生目標Ｂ的創立，這二者的關係僅僅是歷史性的，而不是永久性的。系統會把Ｂ作為一個獨立的目標來對待，而不是作為Ａ的附庸。當然這裡會有一個量上的差別，即Ｂ的優先度開始時會低於Ａ的優先度。如果Ｂ後來得到越來越多的其它（Ａ以外的）支持，它可能逐步成長為一個對系統比Ａ更重要的目標，這就是說在決定系統行為時，Ａ未必永遠比Ｂ有更高的發言權。在納思中對這個派生鏈的長度是沒有限制的，所以如果Ｂ又觸發了C，C觸發了D，D和Ａ的實際聯繫就可能非常遙遠了，儘管追根尋源是從那裡來的。由於派生目標不僅取決於初始目標，而且取決於系統的經驗，它們在不同程度上應當被看成系統為自己設定的目標，而一個派生目標離初始目標的「距離」越遠，它的「自主」程度就越高。在上面的例子中，Ａ完全是「外來的」，而B、C、D則一個比一個更有資格被稱為系統「自己的」。有興趣的讀者可以通過我主頁上的鏈接下載一個納思的測試版來驗證這種現象。