對話IJCAI2019特邀講者Leslie Kaelbling：與AI和機器人結緣背後的故事
AI 科技評論按：IJCAI（國際人工智慧聯合會議，International Joint Conferences on Artificial Intelligence）是人工智慧領域歷史最為悠久，也是影響力最大的學術會議之一，隨著近年來人工智慧的熱度日益攀升，原本僅在奇數年召開的 IJCAI 自 2015 年開始變成每年召開。今年，萬眾矚目的 IJCAI 也將如約而至，將於 8 月 10 日至 16 日在中國澳門隆重召開。
特邀報告（Invited Talks）作為 IJCAI 最受關注的環節之一，隨著會議的臨近，特邀講者名單也在相繼公布中。機器人作為人工智慧領域的一個非常重要的研究方向，本次大會也特別邀請了機器人專家、麻省理工教授 Leslie Kaelbling 做特邀報告。屆時，她將帶來主題為《Doing for our robots what evolution did for us》的特邀演講。
Leslie Kaelbling 是麻省理工學院的機器人專家。 她在強化學習、規劃、機器人導航等人工智慧研究領域獲得了引人注目的研究成果，其中包括將運籌學中的部分可觀察的馬爾可夫決策過程應用到人工智慧和機器人中，曾獲得 IJCAI「計算機與思想獎」（Computers and Thought Award）等重要獎項，同時她也是人工智慧領域頗負盛名的《機器學習研究雜誌》的創始人兼主編。
近日，麻省理工學院教授 Lex Fridman 在其播客訪談節目《Artificial Intelligence Podcast》中與 Leslie Kaelbling 進行了對話。對話中，Leslie Kaelbling 不僅分享了她從哲學領域轉入計算機科學領域，並與 AI 和機器人結緣的背後的故事，還詳細闡述了其對於機器人發展歷程以及現狀的見解。
採訪視頻播放地址：https://www.youtube.com/watch?v=Er7Dy8rvqOc
AI 科技評論將採訪視頻整理成文如下，全文進行了不改變原意的刪改。
Leslie Kaelbling：說到是什麼讓我對 AI 產生了濃厚的興趣，就不得不提我在高中時期閱讀的《哥德爾、艾舍爾、巴赫》（G?del, Escher, Bach）。這本書對我來說極具塑造性，它讓我感受到了原函數和組合函數的另一種趣味性，也讓我更加了解怎樣將複雜的事情與簡單的部分區分出來，並開始思考怎樣的 AI 以及程序才能夠讓機器產生智能行為。
Lex Fridman：因此您最開始喜歡上的其實是 AI 與機器人的推理邏輯。
Leslie Kaelbling：是的，喜歡機器人則是因為我的第一份工作。當時我從斯坦福大學的哲學專業畢業，正打算去讀計算機科學的碩士，然後我被 SRI 錄用了，進入到他們的 AI 實驗室工作。他們當時正在研發一款類似於 Shaky 的後代機器人，但是 Shaky 原來的研發者都不在了，因此我的工作就是嘗試讓這個機器人擁有做事情的能力。這也是讓我真正對機器人產生興趣的契機。
Lex Fridman：我們先稍微回顧一下您的大學生涯。您在斯坦福大學獲得了計算機科學的碩士和博士學位，但是您的大學本科讀的是哲學專業，那您認為哲學中有哪些部分是您可以應用到計算機科學的研究中的。
Leslie Kaelbling：哲學與計算機科學是緊密相關的。我在大學本科期間沒有讀計算機專業是因為斯坦福大學當時還沒有開設這個專業，但是實際上，斯坦福大學開設了一些特殊的輔修課程，比如現在稱作符號系統（symbolic system）的學科，這門課程教授的內容是邏輯模型理論（logic model theory）以及自然語言的形式語義（formal semantics of natural language）。這對於我之後從事 AI 和計算機科學的研究做了一個完美的鋪墊。
Lex Fridman：這非常有意思。當時如果對 AI 感興趣的話，大家一般會選擇上哪些計算機相關課程？您當時對於 AI 的想法深為著迷，除了哲學，還源自於什麼其他的原因？
Leslie Kaelbling：當時並沒有很多人從事這個方向的研究，甚至也沒有什麼人探討它。但是我大學的同班同學倒是都對人工智慧挺感興趣的：我們班有接近一半的人轉向計算機科學專業深造，近一半的轉向法律專業深造，而只有一兩位同學繼續留在哲學專業學習。所以哲學專業和計算機科學專業二者間其實是有相當普遍的關聯性的。
Lex Fridman：你認為 AI 研究人員是否需要擁有哲學家的另一重身份，還是說他們應該堅持從事「硬」的科學和工程研究，而不需要進行一些哲學思考？也就是說，如果研究者從事於機器人研究，卻無法很好地從哲學上的大視角來看待研究問題，又該用什麼來驅動他們研究出出色的 AI 呢？
Leslie Kaelbling：我認為哲學專業中與 AI 最緊密相關或者說與 AI 有點關係的，就是信念、知識以及表示這些東西。這些其實都是非常形式化的東西，似乎距離我們所做的常規計算機科學工作只有一步之遙。我認為現在非常重要的問題依舊是，你可以用機器來做什麼以及不能做什麼。儘管我個人完全是一個唯物主義者，但我認為我們沒有理由無法開發出一個行為舉止與人類毫無區別的機器人，而判斷它與人類是否有區別的關鍵在於它的內心是否是有直覺或哲學思維。實際上，我並不知道自己是否非常在意這個。
但是我們現在不知道它們獲得哲學思維，進行感知和規劃，以及在現實世界中順利運行有多難。畢竟現在的機器人在很多任務上，都還做不到像人類一樣。
所以問題實際上就是，現在機器人和人類在哲學上還存在巨大的差距。我們都知道，如果機器人要在現實世界應用這些知識，就需要對這些知識進行擴展，並需要擁有形成常識以及在大部分工作中進行不確定性推理的能力。這些都是開放性的問題，我不知道要怎樣去用確定而全面的視角看待這些問題。
對於我來說，這似乎並不是一個哲學差距的問題，而是一個技術上的大難點，除此之外，我並不認為機器人和人類在其他方面存在差距。
Lex Fridman：好的。您是否認為 AI 還存在一些遺憾呢？還記得當您開始對機器人學或機器人產生興趣的時候，當時對 Shaky 機器人有什麼印象？您當時對於機器人的想像是否實現了呢？
Leslie Kaelbling：我最開始研究的機器人是 Shaky，它是 SRI 研究人員開發出來的機器人。當我第一次踏入 SRI 的時候，當時它正站在某個辦公室的角落，正在將液壓油滴在一個鍋中。這個機器人是相當具有標誌性的，每個人都應該讀到過 Shaky 的技術報道，因為它身上匯聚了許多非常好的想法，比如他們不僅將很好的搜索、符號規劃和學習的宏操作符都應用到了機器人身上，還對機器人進行了較初級的空間規劃配置，並且為 Shaky 配置上了手臂。他們在很多方面都有了比較清晰的基本思路。
Shaky 是一個移動機器人，它可以推動物體，在它自身搭載的執行器和底座的幫助下，可以將物體移到旁邊去。同時，它還能夠使用它的視覺去進行自我定位、探測物體，並基於它所看到的東西進行規劃，並推理是否要探視和拍照。我覺得，當時它對我們現在所能想到的很多事情都有了基本的認知。
Lex Fridman：您認為它是怎樣表示周圍的環境空間的呢？
Leslie Kaelbling：它對於許多不同程度的抽象表示都有認知，我認為，它對於低級別的抽象表示，會使用某種佔用網格；對於高級別的抽像表示，它會使用針對某種空間以及關聯性的抽象符號。
Lex Fridman：現在有一個詞叫「片狀」（flaky）。
Leslie Kaelbling：是的。當時在 SRI 的時候，我們正在開發一個全新的機器人。正如我剛剛所說的，團隊中沒有一個人是來自於之前 Shaky 那個項目的，因此我們相當於是從頭開始。當時是我的導師並最終也成為了我的論文導師的 Stanresinshine，就曾受到「情景計算」（Situated Computation）或者說「情境自動裝置」（Situated Automata）這個想法的啟發。這個想法就是：邏輯推理的工具非常重要，但是可能僅有工程師或者設計者會將這個工具用到系統的分析中，此外，這一工具不一定要應用到系統自身的頭部中。
當時我認為可以使用邏輯去證明關於機器人行為的理論：即使機器人不使用它頭部的邏輯，它也可以進行手臂的動作。這就是區別。而這個想法就是使用這些原則去開發可以做事情的機器人。不過當時，我自己需要學習大量的基礎工作，因為我沒有機器人學背景，不知道任何機器控制、感知相關的知識。所以在這一過程中，我們把很多技術都重新研發了一遍。
Lex Fridman：那您認為這是優勢還是阻力呢？
Leslie Kaelbling：我的意思是說，在這個過程中，你可以學到很多事情，並且最終攻克問題以後也能更清楚地明白自己走到了哪一步。
Lex Fridman：您能總結一下 AI 和機器學習強化學習的歷史，以及您怎樣看待它從 20 世紀 50 年代至今的發展？
Leslie Kaelbling：它的發展的一個重要特點就是徘徊：變得火熱之後又落到低谷，之後又變得受歡迎，隨後又落到低谷......實際上，我認為它的進程很大程度上是由社會學進程所驅動的。
早期，它的發展是控制論的發展有關，人們以動態平衡的思路開發機器人，當機器人需要動能的時候，就為它們充電，之後它們就可以在周圍滾動，做事情。後來，我對於這一思路思考了很長時間，我認為它是具有啟發性的。但是當時人們不贊成這一思路，他們認為我們需要讓機器人不斷接近實現真的智能，即類人智能。
之後人們嘗試研究專家系統去實現真正的智能，但是都太過表面了。我們對智能的理解是表面的，這就跟我們理解鋼鐵廠怎麼運轉一樣。我們認為，只要對智能進行解釋，然後將它用邏輯寫下來，之後再設計一台計算機來對其進行推理就實現了專家系統，然而結果，我們發現計算機無法實現推理。不過我認為比較有意思的是，當專家系統的研究開始變得不太順利時，我們不僅改變了研究方法，我們還改變了問題。我們似乎沒有更好地方法甚至可以說沒有辦法去解決專家系統的問題。最終我們放棄去解決專家系統的問題，開始轉向另一個完全不同的問題。
Lex Fridman：想必當時研究界有很多人會認為不應該放棄專家系統的研究，而您則傾向於將該問題先擱置到一邊。現在讓我們回到剛剛的話題，專家系統之後的 20 年的發展。
Leslie Kaelbling：認為專家系統很異常，這個觀點是無可厚非的，這就像有的人認為僅僅做一些表面的符號推理是錯誤的一樣，以及有些人認為醫生在擁有臨床經驗之前不能成為一名真正的醫生一樣。因此當時存在這個問題的方向對或不對的爭論，都是正常的，只不過我們最終還是無法找到解決方法。
Lex Fridman：您剛剛提到，邏輯學和符號系統中你最喜歡的部分，就是它們能夠給以短名稱給大規模的設置命名。所以這些方面在符號推理中有什麼應用嗎，比如說專家系統或符號計算？你認為在 80 和 90 年代，人工智慧發展的最大阻礙是什麼？
Leslie Kaelbling：實際上我並不是專家系統的擁護者，不過我對一些符號推理倒是很感興趣。說到人工智慧發展的阻礙，我認為最主要的阻礙是當時人們的想法，大家認為人類能夠有效地將他們的知識轉成某種形式的邏輯陳述。
Lex Fridman：這不僅僅要求付出代價和努力，還要人類真正擁有這種能力。
Leslie Kaelbling：是的。雖然我們都算是有遠見的專家，但是完全無法用內省的方式來想明白我們如何做到這一點。關於這一點，我認為其實當時每個人都明白：專家系統不是要求人類寫下用來識別水瓶的規則，而是要寫下用來進行決策的規則。我認為當時大家都發現了，所謂的專家能給出的解釋，就像鷹派能夠解釋他們怎樣做事以及為何做事一樣。他們給出的解釋不一定很好。
之後，他們改造了專家系統，使其轉而依賴於某種感知事物的東西，但是感知的這種東西又回到了我們剛剛提到的：我們無法很好地定義它們。所以從根本上來說，我認為其根本問題就是假設人們可以明確表達他們做決策的方式和原因。
Lex Fridman：所以說，從專家那裡轉換而來的知識進行編碼後，就變成了機器能夠理解和推理的東西。
Leslie Kaelbling：並不是。這不僅僅需要編碼，還需要讓知識完全脫離專家。我的意思是，將知識編寫到計算機中本來就很難。而我更認為，人們無法將這些知識生成出來。人們可以講一個故事告訴我為什麼要做這件事，但我並不確定這樣表達出來的東西能夠為機器所理解。
Lex Fridman：在分層規劃方面仍然存在符號推理的用武之地，正如您剛才所談到的那樣。所以具體的難點在哪裡呢？
Leslie Kaelbling：即便人類不能為機器提供推理過程的描述，這也並不意味著在計算機內部不能進行各類風格的推理。這只是兩個正交點（Orthogonal Points）。這樣的話，問題實際上就變成了：應該在計算機內部用何種方式進行推理？答案是，我認為計算機內部需要針對所面臨的不同問題，使用各種不同的推理方式。
Lex Fridman：我是否可以理解為，這個問題是，人們可以對哪類事物進行符號編碼，從而實現推理？
Leslie Kaelbling：關於符號，我甚至都不喜歡這個術語，因為我不知道它在技術上和形式上到底是什麼意思，與此同時，我對抽象深信不疑。抽象是直觀、重要的，因為對於生活中的一切，人不可能從特別細的粒度出發做出完整的推理。你不可能僅僅基於某張圖像，就做出要讀博士的決策。
所以如果你要推理出要攻讀博士學位，甚至是購買哪些食材來做晚餐，你就必須縮小狀態空間的大小以及推理的視界。那該怎樣縮小狀態空間的大小或推理的視界？答案是抽象：空間抽象和時間抽象。
我認為沿著目標軸線的抽象也很有趣，對目標進行抽象和分解可能更像是一個分解的過程，某種程度上我認為這就是大家所謂的符號或離散模型。當你在聊天的時候，你可能會談到房子的面積，而不會談你在某個時間點的姿勢；你會說你在下午做了某件事，而不會說你在兩點五十四分做了某件事情。你這樣做其實是因為這樣能簡化了你的推理問題，以及你沒有足夠的信息去對你在今天下午兩點五十四分的姿勢進行高保真的推理。
我需要重點重申的一點是，所有的這些都不應該淪為教條，認為我們不應該這樣做，不應該那樣做。我可以贊成符號推理，而你也可以支持神經網路。計算機科學最終會告訴我們所有這些問題的正確答案是什麼，如果我們夠聰明的話，也可以搞清楚。
Lex Fridman：是的，實際上當你試圖用計算機解決實際問題時，正確答案自然而然就出來了。您剛剛提到抽象這個概念，提到所有的網路都源自於抽象，存在自動化的方式去形成策略、專家驅動的方法去構建抽象，並且當下人類似乎在抽象構建上的表現更好，所以你提到兩點五十四分與下午對比，那我們如何構建這樣的分類法呢？現在是否有可能實現諸如抽象此類的自動構建？
Leslie Kaelbling：我認為當機器學習發展得更好時，工程師可以開發出演算法來構建出非常出色的抽象。
Lex Fridman：我們不妨先放下抽象的討論，先談談部分可觀察的馬爾可夫決策過程（Partially Observable Markov Decision Processes，POMDPs）。首先想請問一下您，什麼是馬爾可夫決策過程？我們世界中有多少事物是可以建模以及具有馬爾可夫決策過程的。比如您從 POMDPs 的角度，怎樣看待早晨做早餐的花費？又怎樣看待 POMDPs？它跟我們的真實世界又是怎樣建立聯繫的？
Leslie Kaelbling：其實這是一個立場問題，立場就是我看待問題所處的位置。我作為一名研究人員或者系統設計者，可以選擇以何種方式對我周圍的世界建立模型，從而了解這個混亂的世界。如果我其將當做這種形式的問題處理，我就可以沿著演算法這一類的思路，提出方案來解決問題。當然對這個世界建模並不能代表能解決任何問題，也不是馬爾可夫決策過程。但是我能通過以各種方式建模的來尋找解決方案，一旦我找到正確的建模方式，就能得到一些可以用的演算法。
Lex Fridman：您可以通過各種方式為這個世界建模。一些方式會更傾向於接受不確定性，也更容易為世界的不確定性進行建模，而一些方式可能會強行將這個世界變成確定性的。
Leslie Kaelbling：是的。一些模型是不確定性的，但是這個模型並不能表示當前狀態的不確定性，而是對未來的發展走勢進行建模。
Lex Fridman：那什麼是馬爾可夫決策過程呢？
Leslie Kaelbling：馬爾可夫決策過程，是一個假設我能夠完全了解系統的當前狀態，即掌握系統的所有信息情況下對未來做預測的模型。所以記住歷史發生的所有事情，與對未來所做預測的好壞並無關聯。同時，該模型也假設我能夠採取一些行動來改變世界的當前狀態，並且我無法對這些變化進行確定性建模，而只能建立概率模型。這種概率模型對於某些系統來說可能非常有用，不過對於大多數問題來說都沒什麼用。因為對於大多數問題，你無法只能觀察到它們的部分狀態，並且這些問題都是各不相同的。
Lex Fridman：所以對於馬爾可夫決策過程，我們只能觀察到部分狀態。所以當你不能觀察到大部分狀態，也不能完整地了解周邊世界的信息時，馬爾可夫決策過程又怎樣處理現實問題呢？
Leslie Kaelbling：現在這個過程的思路依舊是，假設存在我們了解周圍世界的一些信息的情況，我們能夠做出好的預測。雖然我們不知道當前完整的狀態，不過我們可以通過圖像等去觀察、感受，然後根據觀察到的歷史行為去推斷世界的發展趨勢，並基於自己無法確定的未來發展動向，來決定採取什麼行動。
Lex Fridman：在不確定的情況下做出規劃，這個問題是非常困難的。在對世界進行建模來處理現實世界這種特殊系統的不確定性方面，您有著非常豐富的經驗。
Leslie Kaelbling：這種最優規劃問題往往是不可判定的，它取決於你進行了怎樣的設置。很多人都表示，我不使用 POMDPs，因為它們難以處理。我個人認為這是一件非常滑稽的事情，因為問題之所叫做問題，就是需要你必須去解決的。
而我們 AI 研究者之所以會出現，就是因為要解決的問題非常棘手。我們都明白我們正在解決的問題在計算上的難度非常高，我們可能無法為它找到最優解。即便我們認為可能無法提出最佳解決方案，但是還是會回到最優問題上反覆探索，我們能做的就是讓建模、演算法不斷、不斷地接近最優。
我從來不會說，問題的計算是多麼複雜。相反地，這些複雜的問題能夠讓我更清晰地了解我解決問題的方式，然後一步步地執行近似操作，最終在一個合理的時間範圍內找到可計算的最優解。
Lex Fridman：當您在探討最優解的時候，當時業界有多重視追求最優解決方案的思想？此外，追求最佳解決方案的思想多年來也一直在變化。
Leslie Kaelbling：這很有趣，從理論上來說，我們實際上有一點方法論危機。我的意思是，我認為理論對於我們現在所做的很多事情都很重要。
現在出現了很多經驗豐富的黑客攻擊，他們對此進行訓練並進行編號。我們很難說清這樣好還是不好。如果你關注計算機科學理論，你會發現在談論了探討一段時間後，每個人都會討論最優化解決問題。人們會關注怎樣找到遺憾綁定（Regret Bound）、怎樣執行近似、怎樣證明問題的解是近似解，花的時間越多就越接近最終的最優解。
我覺的比較有意思的是，對於難度非常高的問題，我們沒有建立一個比較好的「近似解」概念。我個人非常喜歡研究難度很高的問題，希望自己建立某種形式的解決方案的概念，讓我可以判斷這個演算法是有一定作用的，讓我知道除了運行它還能用它做點其他什麼事情。
Lex Fridman：所以擁有某種概念某種程度上對您有很深的吸引力，同時您可以使用這些概念來更好地看清某些事情，並期待這些事情能夠給您帶來好的結果。
Leslie Kaelbling：科學這一學科中也有工程學，但我認為二者並不完全相同。我認為我們正在做的工程學取得了跨越式的發展，它是走在科學前頭的學科。但是它今後如何發展，大致是怎樣以及為什麼工作，沒有人清楚。我們需要將工程問題轉化成科學問題，我們需要知道工程學怎樣、為什麼工作的原理，比如在曾經的一段時間，人們如果要建橋樑就要真正地去建，而現在我們不需要去真正去建橋樑，就能預測這架橋樑建成後會是什麼樣。這些都是我們可以應用到學習系統以及機器人中的。
Lex Fridman：您期望從唯物主義的角度來看待人工智慧、智能系統以及機器人？ MDPs 所涉及的信念空間（Belief Space）和狀態空間（State Space）有什麼區別？您通過世界的狀態來進行推理，那信念空間呢？
Leslie Kaelbling：信念空間不是說考慮當前世界的狀態是什麼樣的從而嘗試讓機器人去控制這些狀態，我將它理解為一種世界如何發展的概率分布，這樣的話控制問題不再是怎樣控制機器人在這個世界穿行的問題，而變成了一個控制信念的問題，即我採取行動不僅僅考慮這個行為對真實世界產生什麼影響，還會考慮它對於我自己對世界的理解會產生什麼影響。這就可能迫使我提出一個問題：哪些是不會真正改變世界狀態但會改變我對世界的信念的？我會將這些信息彙集起來作為決策考量的依據。
Lex Fridman：這是增強智能體對世界的推理和探索能力的很強大的方法。您在面臨什麼問題的時候，會考慮用到信念空間，又在什麼情況下會僅僅考慮狀態空間呢？
Leslie Kaelbling：其實大部分問題都是需要刻意收集信息的。在一些問題中，比如說象棋中是不存在不確定性的，但是對於對手來說，可能就會存在不確定性，這樣的話就不存在狀態的不確定性了。即便一些問題存在不確定性，但是你可以在解決問題的過程中去收集信息。比如，當你乘坐駕駛自動汽車的時候，它並不完全知道它身處何處，但它了解光照時長一直在變化的信息，這個時候你是不需要收集信息的；但是當你自己在道路上駕駛汽車時，你要看看你旁邊以及後方的路況，需要決定在哪邊道路開等等，你需要衡量這些信息的價值，並選擇收集哪些信息以及合理區分。
同時，在你採取行動前，你還需要考慮自身的不確定性。如果我知道我所站的地方與門框恰好相對，我就能順利穿過門。但是如果我不能確定門所在的位置，最好就不要馬上邁過去，而要先進行評估。
Lex Fridman：你對世界的不確定程度，實際上就是你在形成規划過程中需要優化的一部分。那您能否描述一下，我們怎樣採用分層規劃的方式來對這個世界做規劃？距離機器人真正實現對一些事情做規劃還有一段很長的道路。
Leslie Kaelbling：推理中使用的分層推理，包括時間分層和空間分層。我們先說一下時間分層。之前的執行過程需要進行很長時間，而使用時間分層就能夠抽象地將這個過程劃分為幾個部分。在之前我們也談到過，如果你能夠在狀態空間中構建時間抽象，你就能進行高水平的規劃，比如說我要前往城鎮，然後給車加油，之後我會到這裡做一些什麼事情等等。你可以推理出這些行為的依賴性和約束性，而不需要進行事無巨細的考量。
在分層規劃中，我們需要做的就是針對抽象，做出高水平的規劃。我認為這個過程是非常靈活的，它不需要考量所有的細節因素，同時我也認為這是非常有趣的一個步驟。我喜歡以機場這一場景為例，比如你可以規劃前往紐約，之後到達目的機場，然後到達辦公樓，但是你無法提前說出你在機場發生的事情，這或許是因為你自己懶得想，但更多的還是因為你沒有足夠的信息推理出你在哪個登機口登機，坐在你前面的是誰等等這些事情。
所以，規劃得太詳細是沒有意義的，但是你必須實現信念上的飛躍，相信你到了那裡就能弄清楚所有事情。有人說，我終其一生所學到的就是預測實現某些類型的子目標的難度。我認為這是至關重要的，如果你對於完成這些中間步驟沒有一個模型，你就無法對飛往某個地方做規劃。
我們現在要討論的一件事就是，就是如何對這些你沒有經歷過的情況進行概括，從而進行預測，比如說穿過吉隆坡機場要多長時間。所以，對於這類抽象模型，我真的非常感興趣，一旦我們創建好這些模型，我們就可以用這些模型來做分層推理，我認為這非常重要。
Lex Fridman：就跟您剛剛提到，一旦你出現在機場，你就離目標只剩幾步之遙了。您能解釋一下這個目標的起點是什麼嗎？
Leslie Kaelbling：Herb Simon 在人工智慧早期就談到過從方法到結果的正向推理以及從結果出發的反向推理。人們直覺上會認為狀態空間數量很多，你可以採取的行為也很多。比如說我坐著的時候，想要搜索我前面在哪，我所有能做的事情是什麼，其狀態空間和可採取的行為數量都是龐大的。
如果你可以在另一個層面上推理，比如確定了希望實現的目標，要知道如何實現這一目標，這樣問題的範圍就更小了。有趣的是，現在 AI 規劃領域還沒有解決已知的這類問題，並且他們現在傾向於使用的方法還是從方法到結果的正向推理，目前還沒有什麼研究在從結果出發的反向推理中做出更好的結果。這還是我的某種直覺，我還無法立即向你證明這一點。
Lex Fridman：也很榮幸您能跟我們分享您的直覺。您之前是否思考 AI 領域需要藉助點哲學的智慧？您認為將人類的一生或生命的某個部分制定成一個規劃問題有多難？當您從事於機器人研究時，您往往考慮的是物體操作、物體移動任務等，那您打算什麼時候走出實驗室，讓機器人出門、做午飯以及追求更加高遠的目標呢？您怎樣看待這個問題？
Leslie Kaelbling：我認為這個想法是錯誤的，事實上人類的一生並不都是規劃問題。大家可能都覺得將生活的各個部分整合在一起非常重要，但是這些部分在推理、表示以及學方面的風格都是截然不同的。大家都清楚的是，一個人不可能永遠都是這樣的或者那樣的，人類的大腦也並不總是一成不變，所有的事情都是如此，它們的構成部分、子架構等都不盡相同。所以我個人認為，我們沒理由去憧憬，將會有一個演算法能夠真正地完成整個任務。
Lex Fridman：我們現在能做的，還只是針對特定的問題設計出特定的演算法。
Leslie Kaelbling：這需要考量問題類型，比如說，某些推理可能需要在圖像空間中進行。我要再次提到的一點事，推理只是一個強化學習問題，它的思路可以是基於模型的，也可以是不基於模型的。人們可能還在談論是否應該學習——我們可以學習策略直接產生行為，也可以學習一個客觀的價值函數，或者學習一個轉移模型以及某些能夠告知我們世界動態信息的東西。比如當我旅遊的時候，想像我學到了一個轉移模型，將它與規劃器結合起來，然後畫出一個圍繞它的盒子，我就可以學到一個策略，而這個策略是以不同的方式儲存的。與其他策略一樣，它也僅僅是一個策略。
而我更傾向於將其視為一種在計算上的時空權衡。一方面，對於更公開的策略表示，它可能需要佔據更多的空間，但是我可以快速地計算出應該採取的行為；另一方面，使用一個非常緊湊的世界動態模型加上一個計劃器，我可能只能比較慢地計算出接下來要採取的行為。我認為這一點不存在任何爭議，它只是一個「對於我們來說，哪種計算形式最好」的問題。
比如用代數操作做某些推理是合適的，但是如果面對的是控制騎獨輪車這樣的任務，它對時間響應的要求很高，但是決策空間也要小很多，在這種時候可能我們就需要不同的表示方式。隨便舉的例子，不一定貼切。
Lex Fridman：您認為感知和規劃哪個的難度係數更高？您如何看待通過了解周圍的世界來實現感知？
Leslie Kaelbling：我認為一個重要的問題是表示。近來，感知取得了很大的進展，我們可以用來分類圖像，玩某些類型的遊戲或者將其應用到駕駛汽車等等。我認為，我們對於應該提供怎樣的感知還沒有很好的思路。
關於模塊化，現在有一個很強烈的觀點表示，我們不應該創建任何模塊化，而應該創建一個巨型神經網路，並對它進行端到端地訓練使其完成任務，這才是向前發展的最佳方式。這個觀點很難反駁，除非在樣本複雜性的基礎上，你或許可以說，如果想要在在這個巨型神經網路上實現強化學習，就需要大量的數據以及許多類似損壞的機器人系統等。
對此也僅有唯一一個答案：我們需要在裡面構建一些東西（才能降低樣本複雜性的需求），比如構建一些結構、構建一些偏倚。從機器學習理論上來看，降低樣本複雜性的唯一方法就是以某種方式縮小假設空間——這可以通過內部的偏見來實現。我們有各種各樣的理由認為，自然界為人類內置了偏見。而卷積就是一種偏見，一種非常強烈、具有批判性的偏見。
所以我個人認為，我們需要尋找更多像卷積一樣，並且還能夠解決其他方面的推理問題的東西。在與成像非常相似的空間推理等問題上，卷積給我們帶來了很大的幫助。我認為，類似的其他想法，例如向前搜索、抽象概念以及目標等的存在都是非常重要的，但是人們往往不給這些想法萌芽的機會。
Lex Fridman：目標語義、目標空間中的類似於卷積的想法？
Leslie Kaelbling：是的，人們開始研究的圖卷積就是與一種關係表徵相關的想法。我認為對於感知，研究者們接下來要實現的就是更好地理解感知是如何產生的。之後，我們才能更好地知道要對輸出做什麼。但我們僅僅試圖去創建一個集成智能體，而實際上並不清楚感知的輸出應該是什麼，也不知道這些輸出怎樣和其他東西掛上鉤。因此，我認為現在迫在眉睫的問題就是，我們能夠創建什麼樣的架構，比如另一個能像卷積網路那樣允許我們在上面實現高效學習的真正非常厲害的架構。
Lex Fridman：您對於感知目前的發展現狀令人信服的描述，我也贊成。您在教授一門關於智慧的集成的課程，那您認為怎樣才能創建擁有人類智能水平的機器人？
Leslie Kaelbling：我不清楚我們到底是否知道該怎樣創建這樣一個機器人。
Lex Fridman：那您認為機器人需要擁有自我意識、知覺、倫理道德嗎？
Leslie Kaelbling：我沒怎麼考慮過機器人是否需要知覺這一問題，即便是大多數關注這個的哲學家都知道，我們可以擁有行為表現像人類但沒有知覺的殭屍機器人。在這個時候，我們會慶幸並不關心這個方面的問題。
Lex Fridman：您是否有從技術角度來思考過自我意識對於機器人的作用？
Leslie Kaelbling：但是自我意識到底意味著什麼呢？你需要實現的是讓某些系統的部分觀察系統的其他部分，然後告知我們是否運行良好，這是很關鍵的。它們是否具有自我意識，則取決於我們給「擁有自我意識」設定了怎樣的標準。但顯然，比如說某行代碼計算出程序執行的次數，這其實也是一種自我意識。所以這裡的邊界挺模糊的，可以要求很高、也可以要求很低，我們還在摸索一個合理的標準。
Lex Fridman：您在很多維度上都了解得很長遠，但是最吸引該領域研究者的一個研究方向則是讓機器人的智能達到人類水平。
Leslie Kaelbling：但是現在對於我來說，最有吸引力的研究方嚮應該是研究如何選擇把哪些東西構建在系統中、把哪些東西交給系統去學習。如果你問我多少年後機器人的智能可以達到人類水平，我甚至都不會參與這一討論，因為我認為我們錯過了很多想法，也不知道到底需要多少年去實現這一目標。
Lex Fridman：我不問您多少年後可以實現，但是我可能需要問，對於我們目前已實現的成就，您印象比較深刻的是哪個？您認為什麼才是不錯的智能測試？您認為面向機器人自然語言的圖靈測試等測試基準怎麼樣？是否思考過這些問題？
Leslie Kaelbling：我比較反對這些測試基準。我認為我們花了太多的時間在爭論哪些事情對於提高機器人的性能更好上。
Lex Fridman：測試基準、數據集或者圖靈測試挑戰其實可以將研究者們匯聚起來，激勵他們創建出表現更好的機器人，因為他們都希望在比賽中獲勝，例如自動駕駛領域的 DARPA 挑戰賽。您怎樣看待它們的價值呢？
Leslie Kaelbling：許多人都認為這些比賽是具有激勵性的，是很好的，但是我個人認為它們是反激勵性的。不過你們或許能夠獲得一段有趣的時期——一群聰明的人在比賽中獲得了超大的動力，並最大限度地發揮出腦力，有時候可能也會產生很酷的想法，可供我們事後咀嚼。這對我來說並不是一件好事，不過我也並不反對大家這麼做。
Lex Fridman：這就跟您之前所說的，某件事以外的所有其他事情都會讓它變得更好。下面我們跳過一些問題。您創立了《機器學習研究雜誌》（Journal of Machine Learning Research，JMLR）並擔任其主編，那出版這一期刊是基於怎樣的契機？您如何看待當前機器學習和人工智慧領域的出版模式？
Leslie Kaelbling：好的。我之所以會創立《機器學習研究雜誌》，故事源自於當時由 Kluwer 創立的叫做《機器學習》的期刊。當時我也是編輯委員會中的一員，我們常常會召開一些會議，向 Kluwer 抱怨，對於圖書館來說雜誌太過昂貴並且人們難以在上面發表文章。當時，我們真的希望為這部分人解決這些問題，不過其他人永遠只會表示自己的同情而會採取任何行動，所以我們就決定創立一份新雜誌。當時也有一份雜誌叫做《人工智慧研究雜誌》，這份雜誌也採取同樣的出版模型，並且以這一模型存在了 5 年左右的時間，也發展得非常好。
我猜想我們當時都並不知道怎麼創立一份雜誌，好在這件事情本身並不難。於是，《機器學習》期刊編輯委員會中 75% 的成員都從那裡辭職，來共同創立了這份新雜誌。
Lex Fridman：所以新創立的這份雜誌更加開放？
Leslie Kaelbling：是的，《機器學習研究雜誌》是完全開放的。當時我有一個博士後學生 George Kennedy 就想要呼籲這些雜誌免費向所有人開放。
由於《機器學習研究雜誌》既沒有版面費用，也沒有訪問限制，當時很多人都對這本雜誌心存懷疑，認為這是一場欺詐，覺得這是不可能發生的事情。運行這份雜誌期間，我在很長一段時間都沒有存款，因為需要支付合作律師和 IP 地址的費用，當時雜誌一年的運營費用大概為幾百美元，現在的花費可能更高些但是也沒有高很多。
之所以一切免費，是因為我覺得計算機科學家所具有的能力和自主性，是其他領域的科學家們所不具備的。我們教授們自己很熟悉這些技術，學生也熟悉，我們也認識那些有能力製作和破解網站的人，大家一起動手，一下午時間就能做一個免費開放的學術網站出來。所以基礎設施對我們來說不是問題，但對於其他領域的人來說就是比較難實現的事情。
Lex Fridman：所以這一訪問開放的期刊不需要聲望、也不需要任何其他論文也可以得以出版？
Leslie Kaelbling：事實證明，確實不需要聲望。
Lex Fridman：在很早之前，我不記得具體的時間了，當時我評論了一篇您也評論過的論文，記得當時讀到您評論說：這篇論文寫得非常出色，對您產生了較大的影響，並影響了您未來的評論方式。當時您並不贊成我的觀點，但是您將我的評論修改得更好了。這其實可以看出，當時雜誌的整個評論過程是存在缺陷的，您認為該怎樣才能改進這一過程呢？
Leslie Kaelbling：實際上，這份雜誌創立之初，我想要做一些完全不同的事情，但是最終沒有實現，這是因為似乎我們更需要的是一份傳統的記錄雜誌，所以基本上，我們把這份雜誌打造得跟一般的雜誌一樣，只不過對外開放訪問了。當然了，「出版」什麼東西現在越來越變得稀鬆平常，你隨便在哪個學術文本存儲網站傳一篇文章就算是發表了，並且對於所有的這些內容，我隔天就可以將它們進行出版。因此，將這些內容對外開放是沒有任何障礙的，不過我們依舊需要進行策劃以及評估，而我沒有時間去閱讀所有的檔案，一般認為出版社會公眾所稱讚的文章就足夠了。
這樣的話，你可以說我們不再需要任何期刊了，大家只需要把論文傳到學術網站上去，然後人們就可以上傳或下載論文，你的簡歷也就會顯示文章獲得了多少個稱讚。同時我認為期刊在仔細閱讀和評註方面也存在其價值。在 Twitter 或者 Reddit 上很難辨別讀者對論文是支持、否定還是爭議的態度，以及他們是否知道他們在談論的是什麼。所以我認為期刊的第二個目的是，判斷我應該重視那些觀點。
我不知道如果我有無限的時間，我是否也不會去做這些，因為我希望讓機器人來做這部分工作。但如果我覺得我傾向於在出版方向上做更多的事情，我會去實現我最開始想做的另外一件事情，那就是將我重視並且非常清晰的一些人的觀點匯聚起來，至於是對外公開還是私人保留，這個我不確定。我們可能不會出版所有的評論，僅僅將為非常出色的論文所寫的評論對外開放。
如果一些論文得到 Leslie 的朋友們的評論，並且論文觀點得到誇獎，論文作者也可以將其寫入簡歷中：Leslie 的朋友們給了我的論文打了五星好評。這就可以說明論文就跟雜誌所收錄的論文一樣出色。我認為我們應該將很好的評論對外開放，並以某種方式對這些評論進行組織，但當時我真的不知道該怎麼做。
Lex Fridman：其實您可以借鑒電影領域的互聯網電影資料庫（IMDb），那裡匯聚了電影評論員，他們會寫影評，不過資料庫匯中會定期更新非評論員寫的影評，這兩個部分是分開的。
Leslie Kaelbling：我喜歡公開評論，我認為了解這個過程很有趣。
Lex Fridman：這也許是推進論文評論的一個正確方向，但是可能仍然無法像評論電影或視頻遊戲那樣吸引人。這是我的個人觀點，可能聽起來有些愚蠢，但是執行評審的趣味和輕鬆程度取決於用戶界面，而作為一位評論家的效率，則意味著向一位優秀的評論家邁進了多遠，這些人為因素會起到作用。
Leslie Kaelbling：現在給論文寫優秀的評論是一項大投資，現在可以看到的論文數量非常多。每年有 3000 多篇新論文，雖然我不知道每年會新出多少電影，但是現在我認為數量要比每年新出的機器學習論文要少。
我是一個老年人，所以不可避免地會說現在的事情都變化得太快了，像陷在泥巴中一樣執著。我認為現在研究者們的眼光變得越來越短視，比如學生們想要發表大量論文，他們認為這樣才是令人興奮、有價值的事情，然後拍拍腦袋寫論文，諸如此類。雖然其中的一些工作成果是不錯的，但是我擔憂的是，這種做法會把那些花兩年的時間來思考某個問題的研究者逼走。
在我們那個年代，我們做研究並不發表論文，你可以花數年時間來研究論文，你可以選擇研究一個非常難的問題，然後花費大量時間來不斷研究、咀嚼這個問題，當你去寫作完成論文時，也會經歷一段艱巨的時期。我不認為每個人都需要按照這種模式進行研究，但是我認為現在也有一些難度非常高的問題需要研究者以更加長遠的眼光來從事這些問題的研究。然而我們現在完全沒有激勵研究者們採用這種研究方式，這是我所擔心的地方。
Lex Fridman：在目前的情況下，對於 AI 未來的發展您有什麼期望和擔憂？AI 已經經歷了多次寒冬、起起伏伏，您認為還會有下一次寒冬到來嗎？您是否對於創造出如您所說的機器人更抱有期待？
Leslie Kaelbling：我認為經歷這個周期是無法避免的，但是這個起伏的周期曲線實際上是一次比一次高的，就像你用一個有雜訊的優化器優化某個函數曲線一樣。顯而易見，機器學習的出現對於人工智慧領域的發展，意義深遠且重大，毫無疑問，目前人工智慧的發展是比之前更高的。當然，我也認為人們高估了人工智慧，吹的牛皮太大，投資者們最終會說，「當初說得那麼好聽，怎麼最後什麼都沒做到」。這些泡沫未來可能會破滅。但我覺得在實現達到人類水平的人工智慧的過程中是不可能一帆風順地一直向上的。
Lex Fridman：您對於 AI 所存在的威脅是否有短期或者長期的擔憂呢？或許短期的擔憂會比較少，但是關於將會有更多機器人替代人類工作的擔憂呢？
Leslie Kaelbling：我們可以探討一下效用問題。實際上我之前與一些軍事倫理學家有過一次有趣的交流，他們希望跟我探討自動核武器的問題。他們是非常有趣、聰明並且接受過良好教育的一群人，但是他們對於人工智慧和機器學習知之甚少。他們問我的第一個問題就是，你研發的機器人有做過什麼你沒有預料到的事情嗎？我情不自禁地笑出聲，因為稍微了解過機器人的人都知道，它們做不出來。而我意識到，他們對於我們怎樣對機器人編程的理解是錯誤的，他們認為我們對機器人編程就像給樂高的 Mindstorm 機器人編程一樣，執行前進一米、左轉、拍照這些動作。這樣的編程方式固然也是對的，但這種機器人如果做一些預料之外的事情，就有點奇怪了。
事實上，我認為這應該成為我一項新的教育任務，如果我需要跟非專業人員交流，我要試圖去教給讓他們理解：我們控制的其實是機器人中至少一個或多個層次的抽象，同時機器人還存在假設層，可以是規劃空間或者分類器空間，此外還有一系列答案和目標函數，然後我們使用一些優化方法，在各個層級優化解決方案，並且我們不知道最終產生的解決方案是什麼。我認為溝通這些非常重要，或許其中有一些人了解相關知識，但我還是認為這種溝通這門學科是必不可少的。
現在有很多人在探討價值對齊的問題，我們可以確定的是，當機器人或者軟體系統的能力越來越強時，它們的目標會與人類的目標更加一致，或者說二者間的目標會以某種方式互相兼任，也可以說當它們與我們有不同的目標時，我們也可以用一種很好的方式去進行調和。
因此我認為思考這些術語非常重要，比如說，你無需被機器人世界末日論所嚇倒，而是思考價值對齊的目標函數的重要性。每一位從事優化工作的研究者都知道，必須要謹慎考量最終期望得到的東西，比如說研究者們有時候可能獲得了最佳的解決方案，然而最終發現目標方向是錯誤的。
對於我來說，即便在最短時期內，務實也是至關重要的問題，任何一位從演算法工程師到目標函數工程師的研究者，這一問題都完全有可能發生，並且會改變我們的思維和方法論。
Lex Fridman：所以可以說，您的研究生涯始於斯坦福的哲學專業，現在又回歸到哲學中來。
Leslie Kaelbling：我在上課時也提到過，當機器學習研究者在設計目標函數時，需要「戴上兩個帽子」，一個「帽子」是他需要實現的目標是什麼；另一個「帽子」則是他的優化器能夠將優化實現到什麼程度，這都是需要考慮和衡量的要點。
關於機器人會取代人類工作這一擔憂，我能理解這件事情非常重要，但我不太了解社會學、經濟學，也不是很了解人類，所以我不知道該怎麼看待這個問題。
Lex Fridman：確實，這個問題涉及到社會學和經濟學的方面，很難去講清楚。
Leslie Kaelbling：雖然這個問題並不是我的專長，但我還是認為人類思考這個問題很有必要。
Lex Fridman：您認為對於人工智慧領域以及您自己而言，短期內哪個領域的研究會是最令人興奮的？
Leslie Kaelbling：我之前講述過如何設計智能機器人的事情，智能機器人是我們這個領域中大部分人都想要實現的目標，而大家面臨的問題則是，機器人怎樣實現最高效的策略？我們可以嘗試很多不同的極端方案，其中一個非常極端的方案就是做內省（Introspection），然後編程，這種方法現在的表現還不是很好；另一個極端的方案是我們採用了一大堆神經網路，然後訓練它們去完成任務，我同樣也認為這個方案無法奏效。
在這個過程中面臨的一個問題就是找到中間立場，這個問題同樣也不是技術上的問題，僅僅是關於怎樣找到最佳實現方法的問題。對於我來說，它很明顯是學習和非學習的一種組合，需要考慮的怎樣構建這個組合的內容。這也是對我最具有吸引力的一個問題。
Lex Fridman：最後一個問題是，在科幻小說中，您最喜歡的機器人是哪個？比如說《星球大戰》中的 R2D2 機器人或是更加現代化的 HAL 機器人。
Leslie Kaelbling：我個人更加關注的是研究機器人的過程。實際上我研究機器人是因為這個研究方向很有趣，而並不在乎我能夠研發出怎樣的機器人。
Lex Fridman：今天這場美麗的對話就到此結束了，非常感謝您今天的發言。
Leslie Kaelbling：當然，今天的對話很有趣。
（完）
TAG:AI研習社 |