UC 伯克利優化理論教授談深度學習：為了可解釋性，我們可能需要犧牲一些模型表現
AI 科技評論按：在人工智慧的浪潮之下，以深度學習為首的機器學習方法迅速席捲了各個領域，給許多問題帶來了全新的解決方案（當然同時也帶來了新的問題等待解決）。
除了我們熟悉的 CV、NLP 之外，優化理論、運籌學也和深度學習之間互相產生著聯繫和影響。近日我們就採訪了來自 UC 伯克利大學電子工程和計算機學院以及工業工程和運籌學學院教授 Laurent El Ghaoui，聽聽看他對這些領域的見解。
根據個人主頁介紹，Laurent El Ghaoui 教授的研究方向包括魯棒優化、機器學習和統計（重點在於稀疏性）以及新聞媒體的統計分析。教授也著有《優化模型（Optimization Models）》、《優化模型與應用（Optimization models and applications）》等專著。我們很想知道教授對優化問題有哪些感悟、在他看來機器學習學習方法和傳統優化方法之間又有哪些聯繫和區別。以下為採訪全文。
AI 科技評論：您的研究領域包括機器學習、數據挖掘、統計學和演算法優化，您的研究和應用經驗也很豐富。您最近在研究什麼呢？有什麼進展或者突破嗎？
Ghaoui 教授：近期我們在探索深度學習模型，這很有挑戰性因為它很不穩定，訓練也需要很多時間和很多數據。許多深度學習研究中關注的都是模型，我們關注的也是如何改進出更好的模型。比如從數據的角度看，深度學習模型選用什麼樣的架構才是對的、網路應該有多少層、每個層應該做什麼。我們也在開發一些新方法，我覺得很興奮。雖然我們的研究還沒有結束，但是我覺得這將會成為一種訓練神經網路的完全不同的方法，很有可能會更穩定、更容易訓練、訓練起來更快、不同的數據層之間的並行化程度更高等等，同時還有潛力根據數據決定什麼是最好的架構。這讓我很興奮，我還不是很確定它能成，但是我希望下個季度里我們能做出一些突破。
AI 科技評論：您也參與過很多不同領域的應用，比如房屋、能源、金融、政治，您能橫跨這麼多領域，有什麼方法論或者秘訣嗎？
Ghaoui 教授：我確實參與過很多不同的領域，不過這沒什麼秘訣，就是 AI 技術本身驅動著我而已。我舉個例子吧，我曾經和零售巨頭 Walmart 合作過，幫他們根據購買需求優化商品價格。我研究了這個問題，發現它和根據用電需求預測第二天所需的發電量是同一個問題。這兒沒什麼秘訣，這些問題的數學形式總是一樣的，我甚至覺得很奇怪為什麼是一樣的。完全不同的角度、不同的行業、不同的問題，但是 AI 模型總是一模一樣。我很驚訝，這裡沒有隱藏的秘密，但它就是這樣的情況。這就是 AI 的力量。在背後支撐的不是我自己知識，而是事情就是這樣的。到了某個程度以後，所有的問題看起來都是完全一樣的，一樣的技術，同一回事。
AI 科技評論：這個時代的數據在爆炸般增長，這也會給統計分析帶來越來越大的挑戰。根據您的研究經驗，您覺得我們都有哪些方法可以應對這些挑戰？
Ghaoui 教授：這件事很有意思。在這裡，針對這個問題我想說 AI 的速度非常重要，夠快才能幫助人類實時地理解數據，而不是像現在的深度學習 AI 那樣，訓練一個 AI 有時候可以花 30 天的時間。所以我們需要做的下一步就是實時化。並且我覺得，為了達到這個目標，我們需要和硬體之間建立好的互動、並且有好的硬體架構才行。為了當大規模 AI 可以實時運行，需要軟硬體協同設計，需要和硬體有更好的整合。現在人們用伺服器組成雲服務、用 GPU 等等，就覺得這個問題解決了，其實並不是這樣的。訓練模型需要的時間還是太長了，我們需要走向下一個階段。
AI 科技評論：在機器學習模型的應用中，結果的可解釋性是一個非常重要的方面。有沒有辦法改善機器學習模型的可解釋性？
Ghaoui 教授：這對我來說也是一個非常重要的問題。雖然我的演講中沒有提到它，但我覺得它同樣是目前的 AI 模型面臨的巨大挑戰之一。經常來說，模型是一個黑盒子，它不會告訴你為什麼判斷這個病人有這個疾病、或者這個司機是一個好司機或者壞司機、或者應不應該貸款給這個人。我覺得未來，為了讓人類和機器之間有更好的互動，我們有必要理解為什麼機器做出了這些決定。當前的 AI 很成功，比如在翻譯方面就是。它不會告訴我為什麼把這個單詞翻譯成了另一個單詞，我自己不關心為什麼，別的人也沒人關心。只要翻譯出的結果是好的，它就可以繼續是一個完全的黑盒子、完全複雜的系統，我也看不清、你也看不清，這都沒什麼問題。但是對於某些任務，尤其是醫療保健中，我們需要了解基於這張大腦的圖像就判斷了這個人有沒有癌症的原因是什麼，AI 需要有能力說「它在這兒，而且我把它和這個和那個做了對比」。
所以可解釋性非常重要。但是現在的機器學習模型並不擅長被解釋，所以我認為可解釋性應當有限於模型的選擇，因為這樣起碼可以有更好的解釋性。有一些模型是關注於解釋性的；有一些模型可能不那麼複雜、沒有那麼多的預定義，但是更好解釋。它們能告訴你做出決定是因為這個這個那個原因、是因為這五個特徵，等等，所以這筆貸款沒有通過。
AI 科技評論：稀疏性、正則化和魯棒性之間有什麼聯繫嗎？能否給我們講一個您處理它們的故事？
Ghaoui 教授：這和剛才說的關於可解釋性的是一回事。我覺得如果 AI 模型中的規則太複雜了，那輕微改變圖像就會導致模型做出錯誤的預測也是很自然的事情。這就是深度學習中缺乏魯棒性的體現。很多人都在研究這個問題，我覺得這對我的意義就是我們必須回到更簡單的模型上去，很高的表現如果很脆弱那也是沒有用的。輸入發生輕微的變化，模型表現就會變成零。所以我覺得我們不應該僅僅關注高的模型表現，我們應當關注的是穩定前提下的表現、是可靠的表現，不能太脆弱。
AI 科技評論：您也是航空航天領域的一名優秀教師，這和 AI 領域之間也挺遠的。這其中有什麼聯繫嗎？
Ghaoui 教授：我們前面討論過的一些想法，比如嘗試幫沃爾瑪解決問題、嘗試幫銀行解決問題等等，到了最後所有的模型都是一樣的，而且和駕駛飛機穿過一片霧非常相似。起飛、落地、穿過霧所有這些我的論文中研究的駕駛類型，實際上都和向未來做一筆投資有著一樣的數學模型。因為其中就是有這些相似性，是同樣的問題、有著同樣的方程形式。現在我已經老了，1990 年代我年輕的時候航天還是當時的熱門領域。現在沒人想著它了，每個人想的都是 AI。當時這就是我的起點，實際上它和 AI 很接近，所有這些問題都很相似。
AI 科技評論：您能介紹一些魯棒優化的現實應用嗎？
Ghaoui 教授：這其實不完全是屬於 AI 領域的技術。對我來說它是 AI 技術，不過它不是關於預測、判斷圖像或者其它什麼東西的，它的重點在於控制。那麼，魯棒優化是一種你不需要完全清楚模型的樣子就能對它進行控制的方法。比如你想做一筆投資，你就需要知道你所投資的商品在未來的價格是怎麼樣的。在魯棒優化中，你不需要確切知道接下來會發生什麼，而這恰恰是實際生活中經常出現的情況。在現實中，你從來都不知道未來會發生什麼，所以你不應該用機器學習預測未來會發生什麼，而且還認為它做出的預測是完美無缺的。這就好像，我在濃霧天里開車，如今的 AI 就好比透過濃霧看到路向一邊轉彎了，然後我就信任我的 AI 模型做出的預測，閉上眼睛，沿著預測出的彎去開。我們最好能夠記得，未來發生的事情可能會有誤差，你不是完全明白的，所以你今天做出的決定也必須要加入到考量中，因為你並不能確切知道未來是什麼樣的。對於 AI 來說，你也不應該完全信任它的預測。
AI 科技評論：您這次來到中國的主要目的是什麼？有什麼您很感興趣的東西嗎？
Ghaoui 教授：我想說，我對這個積極為未來投資的國家非常著迷。這種特性也不只中國有，全世界都看得到，這是現代社會的一個積極建設力量。對於外國人來說，中國很值得敬仰，我也希望其它國家可以多和中國積極互動，我自己也會積极參与。我自己的目標是通過我的公司、實驗室等等一些建設性力量在學界和產業界展開合作、做出成果，希望能夠傳遞到我這一顆建設性的心。
AI 科技評論：在您之間的演講中，您曾經說過即便是今天，工程和社會科學之間也有一些隔閡，尤其是在學術界。您對於在工程和社會科學之間建立新的互動模式有什麼想法嗎？
Ghaoui 教授：沒錯，在有了現代科技和 AI 之後，我們完全有可能用不同的辦法測量社會問題。我自己最喜歡的角度是通過文本。很多人都識字、很多人都知道如何閱讀文本。那你要如何處理知識、處理大量的文本、從文本里提取知識呢，我覺得這其中就是日常社會和 AI 之間的聯繫的很好體現。舉個例子，我不懂中文，不過我們有翻譯技術。但是如果我有很多很多的文章，我也沒辦法把它們全部翻譯了再一個一個看。這件事還是太艱巨了，即便把許多中文文檔翻譯成了許多英文文檔，還是很難做。所以我認為 AI 發展的下一步不僅僅是要翻譯，它還需要能壓縮、能總結，這樣我只需要閱讀 10 條新聞就好，而不是閱讀一百萬條。
————— 新人福利 —————
關注AI 科技評論，回復1獲取
【數百 G 神經網路 / AI / 大數據資源，教程，論文】
————— AI 科技評論招人了 —————
AI 科技評論期待你的加入，和我們一起見證未來！
現誠招學術編輯、學術兼職、學術外翻
————— 給愛學習的你的福利 —————
三大模塊，五大應用，手把手快速入門 NLP
海外博士講師，豐富項目經驗
演算法+實踐，搭配典型行業應用
隨到隨學，專業社群，講師在線答疑
TAG:AI科技評論 |