物體識別遇見知識圖譜

論文背景

在計算機視覺領域中，人們常常意圖通過圖像與視頻解釋這個世界，儘管在過去的十幾年裡，該領域取得了輝煌的成就，但歸根結底，相對於人的理解程度，機器仍有較大的差距要追趕，無論採用何種有效、精妙的深度學習演算法，它們都忽略了有關這個世界的背景知識，這是我們需要解釋現實世界中的圖像時所需要的。而這篇論文就是將知識圖譜引入物體識別中，取得更好的效果。該論文發表於人工智慧頂級會議IJCAI。

論文思路

如圖所示，我們使用現有的深度學習工具可以分別識別兩圖中的物體，即左圖中存在貓和餐桌，右圖中存在熊。從常識角度來說，人們知道貓時而坐在桌子上，但對於熊來說卻是不常見的。這個背景知識告訴我們，如果左圖同時出現貓和桌子是合理的，而右圖中若是同時出現熊和桌子則很有識別結果失誤的可能。

如此記錄背景知識的結構之一，即是採用知識圖譜。上圖給出了一個簡單的知識圖譜，它由頂點和邊組成，頂點的cat（貓）、bear（熊）、table（桌子），邊中的（sits on），即是我們上個例子中涉及到的背景知識。那麼通過將計算機視覺中的物體識別技術與知識圖譜結合，就可以將機器知識與人類知識結合，最終達到提升識別準確率的目的。

應用前景

本文的實驗部分使用了MSCOCO15以及PASCAL07數據集，文中列舉了幾個例子，包括在辦公室場景中由檢測到台式電腦進而發現了鍵盤，在海灘場景中由檢測到人進而發現了衝浪板。深度學習技術研究的蓬勃發展，使得計算機史上的許多難題得到了有效的處理，然而，深度學習由於其不可解釋的特性而被人們所詬病，甚至有相關研究工作表明，通過人工偽造明顯人類明顯識別是假的圖片，竟然可以讓深度學習識別為真的。因此本文提供了一個很好的研究思路，即通過結合人類知識，使得深度學習的結果更符合現實邏輯，以提高最終結果的準確率。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！