DeepMind開源圖網路庫，一種結合圖和神經網路的新方法

選自GitHub

作者：pbattaglia

機器之心編譯

機器之心編輯部

今年 6 月份，Deepmind 發表了一篇論文，將圖與深度神經網路相結合，由此提出了一種新型圖網路。由於圖網路主要採用神經網路的方式對圖進行操作，因此它又可以稱為圖神經網路。本文介紹了 DeepMind 最近開源的圖網路庫，它可以用 TensorFlow 和 Sonnet 快速構建圖網路。

項目地址：https://github.com/deepmind/graph_nets

DeepMind 開源的這個項目主要是依據他們在 6 月份發表的論文《Relational inductive biases, deep learning, and graph networks》，他們在該論文中將深度學習與貝葉斯網路進行了融合，並提出了一種具有推理能力的概率圖模型。

圖網路即可以在社交網路或其它基於圖形數據上運行的一般深度學習架構，它是一種基於圖結構的廣義神經網路。圖網路一般是將底層圖形作為計算圖，並通過在整張圖上傳遞、轉換和聚合節點特徵信息，從而學習神經網路基元以生成單節點嵌入向量。生成的節點嵌入向量可作為任何可微預測層的輸入，並用於節點分類或預測節點之間的連接，完整的模型可以通過端到端的方式訓練。

目前圖網路在監督學習、半監督學習和無監督學習等領域都有探索，因為它不僅能利用圖來表示豐富的結構關係，同時還能利用神經網路強大的擬合能力。

一般圖網路將圖作為輸入，並返回一張圖以作為輸入。其中輸入的圖有 edge- (E )、node- (V ) 和 global-level (u) 屬性，輸入也有相同的結構，只不過會使用更新後的屬性。如下展示了輸入圖、對圖實現的計算及輸出圖，更詳細的內容請參考文末提供的原論文地址。

安裝

圖網路庫可以從 pip 安裝。此次安裝與 Linux/Mac OS X 和 Python 2.7 及 3.4+兼容。

若要安裝該庫，運行：

使用案例

如下代碼將創建簡單的圖網路模塊，並將其連接到數據。注意我們需要導入 Sonnet 庫，它允許定義一些前向傳播的計算模塊。我們在使用 sonnet 創建三個多層感知機，並分別作為邊、節點和全局模型的函數後，就能直接調用 GraphNetwork 方法創建整個圖網路。

Demo Jupyter notebooks

該庫包含一些 demo，展示了如何創建、操作及訓練圖網路以在最短路徑搜索任務、排序任務和物理預測任務中進行圖結構數據推理。每個 demo 使用相同的圖網路結構，該結構可以突顯該方法的複雜性。

在 Colab 運行

若要嘗試 demo 而不在本地安裝任何東西，你可以藉助 Colaboratory 後端並在瀏覽器（甚至在手機上）中運行 demo。讀者可查閱下面的 demo 鏈接，並按照 notebook 中的說明操作。

「shortest path demo」創建隨機圖，並訓練一個圖網路以在任何兩個節點的最短路徑上標記節點和邊。經過一個信息傳遞步驟序列（如下圖所示），模型可以改善其對最短路徑的預測。

「sort demo」創建了隨機數的幾個列表，並訓練一個圖網路來對列表進行排序。經過一個信息傳遞步驟序列，模型會對哪個元素（圖中的列）出現在另一個元素（行）之後做出準確的預測。

「physics demo」創建了一個隨機彈簧物理系統，並訓練一個圖網路來預測系統在下一個時間步的狀態。模型的下一步預測可以被反饋作為輸入，以構建未來軌跡。以下每個子圖展示了 50 步內的真實和預測的彈簧系統狀態。這和 Battaglia 等人（2016）的「interaction networks」中的模型和實驗相似。

本地運行

在你的本地計算機上運行 demo 要安裝必要的依賴，請運行：

試用 demo 請運行：

然後通過 Jupyter notebook 介面打開 demo。

論文: Relational inductive biases, deep learning, and graph networks

論文地址: https://arxiv.org/pdf/1806.01261.pdf

摘要：人工智慧最近經歷了一場復興，在視覺、語言、控制和決策等關鍵領域取得了重大進展。取得這些進展的部分原因是由於廉價的數據和計算資源，它們符合深度學習的天然優勢。然而，在不同壓力下發展起來的人類智力，其許多決定性特徵對於目前的方法而言仍是觸不可及的。特別是，超越經驗的泛化能力——人類智力從幼年開始發展的標誌——仍然是現代人工智慧面臨的巨大挑戰。

本論文包含部分新研究、部分回顧和部分統一結論。我們認為組合泛化是人工智慧實現與人類相似能力的首要任務，而結構化表示和計算是實現這一目標的關鍵。正如生物學把自然與人工培育相結合，我們摒棄「手動設計特徵」與「端到端」學習二選一的錯誤選擇，而是倡導一種利用它們互補優勢的方法。我們探索在深度學習架構中使用關係歸納偏置如何有助於學習實體、關係以及構成它們的規則。我們為具有強烈關係歸納偏置的 AI 工具包提出了一個新構造塊——圖網路（Graph Network），它泛化並擴展了各種對圖進行操作的神經網路方法，並為操作結構化知識和產生結構化行為提供了直接的介面。我們討論圖網路如何支持關係推理和組合泛化，為更複雜的、可解釋的和靈活的推理模式奠定基礎。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！