讓機器學會創造新的概念：符號-概念關聯網路SCAN

選自DeepMind Blog

機器之心編譯

參與：李澤南、李亞洲

讓人工智慧像人類一樣理解世界一直是研究者們努力的方向。最近，DeepMind 在這條路上又向前邁進了一步，他們提出的符號-概念關聯網路（SCAN）第一次讓機器可以像人類接收視覺和語言信息那樣學習基礎概念，並通過單純的語言指令利用已學習到的概念重組，想像出全新的概念。值得一提的是，DeepMind 創始人 Demis Hassabis 的大名也出現在了該研究的作者名單中。

在 2500 年以前，美索不達米亞人用黏土、木材和蘆葦永遠改變了世界的面貌。隨著時間的發展，他們的算盤讓貿易和理財變得更加容易，技術的進步刺激了經濟的發展。

那一刻的靈感也從另一個角度閃耀著人類的力量：我們具有重組已有概念並想像全新事物的能力。發明者必須考慮他們需要解決的問題，他們對此可以建立的方式，以及他們可以收集的材料來創造新事物。黏土可以用作底板，木棍可以製成框架，而蘆葦可以用作計數器。每個組件都是已有的獨特事物，而它們的組合形成了革命性的新東西。

「組合性」理念是人類創造力、想像力和語言交流能力的核心。配備了少量熟悉的概念構建塊，我們就能夠快速創建大量新的概念構建塊。人類可以通過將概念置於從特定到更普遍的層次結構中，然後以全新的方式重新組合層次結構的不同部分，從而自然地做到這一點。

然而，這種對於人類而言輕而易舉的事，對於人工智慧來說是一個巨大的挑戰。

在 DeepMind 最近提交的論文《SCAN: Learning Abstract Hierarchical Compositional Visual Concepts》中，研究人員提出了一個新方式來解決這個問題。我們首先提出了一種全新的神經網路單元：符號-概念關聯網路（SCAN），它可以——第一次——像人類接收視覺和語言那樣學習基礎視覺概念，它可以通過語言指令想像出全新的概念。

SCAN 模型以和幾個月大的嬰兒一樣的方式通過視覺感受世界。在這個階段，人類嬰兒的眼睛還無法聚焦於任何超過手臂距離以外的事物，他們只能把精力用在觀察視線距離以內運動和旋轉的事物。為了模擬這個過程，研究人員將 SCAN 置於 DeepMind Lab 模擬 3D 環境中，它就像在嬰兒床里一樣無法移動，但可以通過轉頭來觀察場景內與背景顏色不同的三種物體——帽子、手提箱和冰棍。和人類嬰兒的視覺系統一樣，我們的模型可以學習視覺世界裡的基礎構成，以及如何使用視覺判斷「基元」來解釋觀察到的物體。例如，當看到一個蘋果時，模型可以學會如何用顏色、形狀、大小、位置或光照來形容它。

GIF/385K

SCAN 的學習以基本可解釋的視覺定義來表達看到的場景，如對象身份、顏色、旋轉、牆壁顏色和底色等。

一旦我們的模型可以通過基元來解釋視覺世界的事物，我們就進入了學習過程的命名階段。這相當於語言學習的過程，就像成年人開始為嬰兒看到的事物提供符號標籤。例如，在這個階段，家長可以在孩子面前指著蘋果說：「看，一個蘋果！」同樣，在 SCAN 的 DeepMind Lab 環境中，它也接受了基礎語言輸入的指導，紅色手提箱在黃色牆邊的圖像會被形容為「紅色手提箱，黃色牆」。SCAN 可以學習這些輸入的概念，並通過此前觀察到的視覺理解來形成新的概念。例如，蘋果的概念可以根據其顏色、形狀和大小來指定，而諸如位置和光照等其他視覺原語被正確地識別為與蘋果這個概念無關。

這個命名過程可以用於學習層次結構中任何地方的概念。同樣的過程也可以用於教育模型重組的概念，如「and」、「ignore」和「in common」，我們僅需通過少量的例子就可以教會模型如何正確地使用它們。例如，「and」的意義可以通過向 SCAN 展示一張「金色而好吃」的蘋果圖片，並配有指令：「golden delicious IS yellow AND apple」。

一旦 SCAN 通過符號指令學會大量概念以及操控這些概念的方式，它就能夠通過口頭指令結合類似的概念生成全新的概念，不需要任何圖像作為樣本。通過這樣的指令，SCAN 能夠想像大量的全新視覺概念，比如藍色的蘋果（blue AND apple）、或者不同種類的蘋果（granny smith IS golden delicious IGNORE yellow, AND green）。

GIF/686K

第一個 SCAN 通過語言指令貫穿概念層次，即從對應於「白色手提箱在有粉紅地板的黃色房間中」這一特定概念到「手提箱」這個一般性的概念，還有再返回到更特定的概念「綠色手提箱在有著粉紅色地板的黃色房間中」。SCAN 在每一步都需要想像對應的概念（如上圖左側所示）。最後，SCAN 獲得了新概念的意義-「woog」。即使沒有見過一個「wong」的案例，但 SCAN 仍然能成功地想像這一概念到底是怎麼樣的（一個綠色的物體在帶有粉紅色地板的黃色房間中）。

我們的方法不同於該領域以前的研究，因為它完全基於感測數據並且只從很少的圖片-單詞對中進行訓練。其他深度學習方法可能需要數千圖片樣本以學習一個概念，SCAN 從視覺基元和抽象概念中學習，其中抽象概念主要從無監督觀察值與少量標註了概念的圖片對（每個概念只需要 5 個標註數據）中得到。在經過訓練後，SCAN 就可以生成與特定圖像相對應的各種概念列表，並且即使它沒有經歷過那些概念，同樣可以想像與特定概念相對應的各種視覺樣本。

GIF/194K

左圖展示了 SCAN 想像的白色行李箱，右圖 SCAN 生成的分別對應粉色房間、黃色地板、有一青色帽子的圖像。

通過符號指令結合已有物體學習新概念的能力讓人類能夠推理宇宙、人文主義等抽象的概念，而我們的演算法要做到這樣的概念性躍進還有一段距離，這項研究是我們邁出的第一步：演算法能夠以無監督的方式學習，並思考人類用到的抽象概念。

論文：SCAN: Learning Abstract Hierarchical Compositional Visual Concepts

論文鏈接：https://arxiv.org/abs/1707.03389

自然世界是有無窮無盡的變化的，這種多樣性是從一個相對較小部分的合理屬性與法則中得到的，比如物理或化學定律。我們猜想生物智能系統能夠通過探索規律性，和把這些知識信息表徵為抽象概念，而在它們的多樣性環境中進行生存，規律性是通過利用非監督性經驗而從根本性法則中得到的。這些表徵擁有有用的複合性和階層式組織的屬性，可以使智慧體把有限的概念性組成部分重組成大量有用的全新概念。

本論文描述了學習視覺區域這種概念的新框架：SCAN（Symbol-Concept Association Network）。在訓練 SCAN 通過快速的符號關聯（symbol association）來提取解開的視覺基本實體中的抽象概念之前，我們首先使用之前公開的 beta-VAE（Higgins et al., 2017a）架構學習被解開的表徵（視覺世界隱藏結構）。我們的方法不需要符號與圖像之間的很多匹配，也不假設對符號表證的選擇。一但訓練完成，SCAN 能夠進行多模態的雙向推斷，從符號描述中生成一系列的圖像樣本，反之亦然。它也能夠通過符號指令和學習到的邏輯重組運算，對組成的視覺概念進行遍歷（traversal）與操控。這樣的操控使得 SCAN 能夠通過重組舊概念創造、學習全新的視覺概念。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！