如何將機器學慣用在基於規則的驗證上

機器學習一直保持著非常迅速的發展。同時，智能自治系統（IAS，Intelligent Autonomous Systems），特別是自主車輛（AV，Autonomous Vehicle），也在快速地發展，因此，「如何更好地驗證IAS」這個問題亟需解決。IAS驗證未來必將是基於機器學習（ML，Machine Learning）的。

那麼，我們是否可以假設，隨著機器學習技術水平的不斷提高，所有的驗證都能通過機器學習來完成，或者是否存在某個部分必須要以基於規則、「邏輯」的方式來確定？ 機器學習的歷史看起來就像是一部戰鬥史，機器學習與其他替代方案之間的鬥爭，但最後其他方案都失敗了。所以，一個完全基於機器學習的解決方案最終將取得勝利。

我們來試著猜測一下這個完全基於機器學習解決方案的樣子。就像這篇文章所提到的，動態驗證包含了各種各樣不同的內容：規範、測試的定義和生成、監控與識別、檢查、覆蓋率收集等等。而這些很可能就是（完全或大部分）基於機器學習來實現的。

我們來看下驗證參數化場景這個例子。「我們的自主車輛超過了另一輛車」：識別「超車」是模糊的，所以這也許應該是基於機器學習的。錯誤檢查（「是否承擔了不必要的風險？太膽小了？」）也是模糊的，很難在規則中表達，所以，也許我們只需要訓練「超越級別和檢查的網路」。讓我們拋棄規則，擁抱機器學習吧。

但這又感覺有點問題。應該存在一些「邏輯」的、基於規則的需求，適合於非黑即白的情形（「除非是在某些不可思議的情況下，否則不要與你正在超過的那輛車相撞」）。

那麼正確的答案是什麼呢？下文將探討這些問題，這裡先給出一些結論：

• 監管機構堅信，驗證的方法要遵循人給出的要求，包括情景、覆蓋面定義、檢查等等，這些統統簡稱為「規則」。

• 另一方面，機器學習在IAS驗證中的作用將會越來越大。

• 如何將不可避免的、以規則為基礎的部分與不斷增長的機器學習部分結合起來將成為一個重要的問題，吸引了很多人去研究。

• 類似於「如何將機器學習與規則結合起來」這樣的問題存在於使用機器學習構建的系統這個領域中。

我的心裡一直存在著一個問題，機器學習和基於規則的驗證在哪些方面可以進行結合，以及如何結合。我至今尚未找到合適的答案。這值得研究人員和從業者的重視。

接下來的三章將討論為什麼我希望機器學習在動態驗證中能發揮重要的作用，為什麼總是會有一個不可避免的、不可約束的非機器學習部分，以及關於將兩者結合起來的一些想法。

最後一章將討論基於機器學習系統、可解釋的AI和他們中的規則。

為什麼機器學習會在IAS驗證中發揮越來越大的作用

請快速瀏覽一下我的這篇文章：《用一張圖片說明動態驗證》。這裡也有一張圖片，圖中註明了機器學習可以起到的作用：

圖中，黃色的提示說明了機器學習在IAS驗證中確實是非常有用的。

下面將對其中一些標註進行解釋（部分引用自這裡）：

監管機構（Generator）：

• 很多行為並不是完全可預測的，因此需要一種使用某種概率規劃來「執行」受限隨機抽象場景的機制，而機器學習在這方面表現優異。

• 低級別精細運動控制（「加速這輛車，使它幾乎貼著我們的自主車輛」）應該是機器學習比較擅長的領域。

• 正如我在這裡所提到的，生成式對抗網路（GANs）可能對於監管機構來說非常有用。甚至還有一個名為「創造性對抗網路」的變體，它會生成一個「新奇」的對象，這在驗證方面非常有前途。

監控器（Monitor）:

• 即使是監控（用於檢查和覆蓋收集）也可能需要某種機器學習。例如，在對測試軌道進行設置的時候，你可能需要一個基於機器學習的感測器融合模塊來告知驗證環境發生了什麼（基於測試軌道攝像機或感測器）

最大化器（Maximizer）:

• 有一篇非常完整的文章對這方面進行了介紹：使用機器學習進行覆蓋最大化。

順便說一句，機器學習對驗證越來越重要的一個原因是：AV以及IAS工程師已經在深入研究機器學習，他們很容易就能使用這個工具來實現某些功能。

為什麼我們仍然需要規則

為了弄清楚規則為什麼是必需的，讓我們來思考一個假想的全機器學習檢查器。這並不完全是一個愚蠢的想法，因為編寫IAS檢查器非常困難，正如我在這裡討論的：

有兩個相關但不同的問題，使得檢查自主車輛（和其他智能自治系統）相當的痛苦：

1. 幾乎每個規則（斷言）都有例外情況：自主車輛不應該開到人行道上（除非必須，例如為了避免撞到人）。 自主車輛不應超速（除非你周圍的其他車輛都特別得快）。自主車輛不應該撞人（除非先前隱藏起來的人突然跳到車前面）。

2. 實現自主車輛的組件或演算法從本質上來講通常是概率性的，因此不存在100％正確的情況。例如，為了避免事故，自主車輛可以（正確的）決定向左轉，將事故發生的概率減少到10％。然而，在10％的模擬運行中，很可能就會發生事故，這不應該認為是一個錯誤。

那麼如何把所有的規則都拋棄，而只創建一個基於機器學習的「總成本檢查器」呢？不僅僅是檢查器，而且規範也是基於機器學習的。

假設我們能夠創建這樣一個檢查器，然後將其提交給監管機構作為驗證自主車輛的唯一方法。我可以確定，監管者很可能會認為這非常的荒謬：

• 至少，他們希望看到詳細的報告，說明製造商在進行所有檢查的時候測試了所有場景下所有必需的參數。

• 對於製造商是如何查找「意料之外的bug」的，他們也想檢查一下這的詳細過程(見這篇文章）。

換句話說，雖然許多驗證機制是以機器學習為基礎，但本質上還是要遵循人類定義的環境模型、場景、覆蓋面和檢查（即規則）。對於「最佳」的驗證（和認證），你也許會希望儘可能的通過規則來實現，因為這種方式更易於檢查、理解、調試、創建邊界情形等等。但是，這麼做的話會非常的困難。而如果使用機器學習，則更為便捷。所以，我們要把這兩種方法結合起來使用。

將機器學習和規則相結合

我們必須將機器學習和規則相結合，但這並不容易。主要是因為機器學習的過程是使用示例進行訓練的過程，而不是編程的過程，所以並沒有一個簡單的方法來告訴它「絕對」的規則。大多數的機器學習都是近似地處理某件事，而不是處理「絕對」的事情。

考慮另一個需要結合機器學習和規則的領域：機器學習的安全。與驗證不同，這個領域是關於如何構建機器學習系統，以便讓系統也遵守安全規則。

我至少知道四種將機器學習和安全規則相結合的方法。圖2簡單描述了這些方法（綠色的表示機器學習）。詳細信息請參閱這篇文章中的「RL和安全性」：

正如我在那篇文章中所描述的，簡單地訓練機器學習系統來遵守規則並不一定有效。其中有一個原因是，如果訓練集中的邊界情況太多，就會影響正常情況的準確性。

我更傾向於採用多個交替的機器學習或規則層這個方式，但這個方法仍未明確下來。這個看似普通的問題（把機器學習與規則無縫地結合起來）現在變成了一個懸而未決的問題。我希望機器學習研究人員能深入地研究這個領域。

已經有人在研究讓機器學習處理更結構化的信息，比如關係和規則。例如最近有關DeepMind關係推理的論文。但這是從數據中學習關係，而不是從外部提供的關係或規則中學習。還有人試圖證明有關機器學習系統的邏輯斷言，我認為這雖然有希望，但希望並不大（請參見關於Reluplex的討論）。

順便說一句，還有一種在驗證項目中將機器學習和規則順序地結合起來的方法（在這種情況下，「如何結合」這個問題並不重要）。再次看一下「超車」這個場景：最初我們只用了非黑即白的規則，「除非是在某些不可思議的情況下，否則不要與你正在超過的那輛車相撞」，而其他一切都被認為是「灰色」。接著，我們獲取了很多隨機超車的結果，並使用機器學習來選取子場景、邊界區域和參數。然後，在大家的幫助下，我們為這些子場景寫了新的規則，從而減少了無規則這樣的「灰色區域」。

基於機器學習的系統、可解釋的AI和他們中的規則

考慮一下那些使用機器學習構建的系統：顯然，這樣的系統將變得越來越重要。事實上，上文提到的「機器學習系統無法很好地與規則結合在一起」這個事實可能會導致更大的問題：

• 很難讓機器學習系統按照規則來工作。例如，請參閱上文的「機器學習的安全」

• 很難根據規則驗證機器學習系統。請參閱我這篇文章：驗證基於機器學習的系統

• 很難理解為什麼機器學習系統會做事情。請在這裡參閱有關「可解釋的AI」的討論

最後一個問題（「可解釋的AI」）受到了很大地壓力，請參閱：如果無人駕駛車壞了，我們可能永遠不知道為什麼。但這三個確實是相關但相互獨立的問題。

隨著基於機器學習的系統變得越來越重要，這些問題必將使這些人忙碌起來：法律人士、公共政策制定者、倫理學家、軍事規劃者、機器學習人員、核查人員等等。

文章原標題《Where Machine Learning meets rule-based verification》，作者：Yoav Hollander，譯者：夏天，審校：主題曲。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！