不用挨個數數，DNN也能「一眼看出」目標數量

機器之心整理

機器之心編輯部

在圖像分類中，目標的「數量感」也會自發地體現在深度神經網路中。

計算機能夠完成很多數字任務。人類在分攤餐廳賬單時都覺得很難算，但一台現代計算機能夠在短短一秒鐘內完成數百萬次計算。然而，人類卻擁有一種與生俱來的直觀的數量感，這幫助我們首先創建了計算機。

但不同於計算機，當看到四隻貓、四個蘋果和數字元號「4」時，人類不用計算，就能發現共同之處—抽象概念「4」。這顯示出了人類思維與機器的差別，也解釋了人類為什麼尚未利用自身所擁有的智慧來發展人工智慧。

那麼，機器是否也能擁有這種抽象的「數量感」？最近發表在Science Advances上的一篇論文似乎回答了這個問題，來自德國圖賓根大學的研究者發現，人工智慧已經可以自然形成與人類類似的數量感。

論文：Number detectors spontaneously emerge ina deep neural network designed for visual object recognition

論文鏈接：https://advances.sciencemag.org/content/5/5/eaav7903

計算機在計算時，人們必須明確指定自己想要計算什麼。人們需要分配一部分內存來維護計數器，因而可以先將它設置為零，之後將想要記錄的項目添加上去。這意味著計算機可以計算時間（電子鐘信號）、文字（如果存儲在計算機內存中）以及數字圖像中的目標。

計算數字圖像中的目標有一定難度，因為在計算這些目標之前人們必須告知計算機它們具體是什麼樣的。但是這些目標並不總是相同的--光照、位置和姿態的變化以及單個樣本之間的結構差異都會產生影響。所有用於檢測圖像中目標的有效計算方法，都是通過抽取圖像高級特徵，並創建目標的統計圖像來實現，這就是一種學習方法。

那麼處理識別類別或目標位置以外，人工神經網路還能學習到「數量感」嗎？在德國圖賓根大學的這項研究中，研究者將網路單元調諧為抽象數量，並對比真實神經元在「數量感」上的活動。研究者最終表明，在目標分類任務中，數量選擇性會自發地出現在深度神經網路中。

怎樣形成「數量感」

在這項新研究中，一個為了進行簡單視覺目標檢測而訓練的深度神經網路自然而然地形成了這種數量感。研究者發現，網路中的特定單元突然「調諧」為一個抽象的數字——就像大腦中可能做出回應的真實神經元一樣。網路意識到，含四個蘋果的圖像和含四隻貓的圖像類似，因為它們都包含「4」。

識別特定點數的人工神經元，它的輸出單元對數量有不同的反饋（AndreasNieder）

這一研究真正令人興奮的一點在於，它表明我們當前的學習原理是非常基本的。人類和動物思維的一些最高級方面與世界的結構以及我們對此的視覺體驗息息相關。

具體而言，研究者在這項研究中用到了一個分層卷積神經網路（HCNN），這是一類受生物啟發的模型，最近在計算機視覺應用中取得了巨大成功。和大腦類似，這些模型包括幾個前饋和視網膜拓撲結構的層，其中包含模擬不同種類視覺神經元的單個網路單元。該訓練程序自動確定每個單元中各個特徵的選擇性，以最大化網路在給定任務上的性能。

研究者構建了這樣一個網路，並在一個數量無關的視覺目標識別任務中對其進行訓練，以探索上述「數量感」是否會自然產生以及如何產生。

圖1：用於目標檢測的HCNN。（A）HCNN的簡化架構。（B）用其他節肢動物訓練的網路成功對狼蛛進行分類的示例。

研究者訓練了一個深度神經網路來對自然圖像中的目標進行分類。為了探索為自然圖像目標分類訓練的網路是否能夠自發地評估點分布中項目的數量，研究者觀察了不同的數量是否會在網路單元中產生不同的激活值。

實驗結果

研究者將336圖片傳入到網路中，並記錄最終層的反饋。通過雙向方差分析（ANOVA），且把數量和刺激設為因子，研究者可以檢測對物品數量有選擇性的網路單元（P

在最終層的37632個網路單元中，3601（9.6%）個是數字選擇性網路單元。如下圖2B所示，數量選擇單元的激活值表現出清晰的調諧模式（ tuning pattern），但實際上與真實神經元基本相同（圖2C）：每一個網路單元對展現的數值表現出了最大程度的響應，響應最大的就是優選數量表徵，而且隨著展現的數量偏離優選數量，這種響應會依次降低。

優選數量表徵的分布覆蓋了展現數量的整個範圍（1到30），更多的網路單元更喜歡小於最大數量的值（圖2D），真實神經元中也觀察到了類似的分布（圖2E）。

圖2：HCNN中出現的數量調諧單元。

如果數量選擇網路單元類似於大腦中的數量選擇神經元，則前者應顯示相同的調諧屬性。因此，研究者計算出數量選擇單元（具有相同優選數量）的平均激活值，並將它們規範化為0-1的激活範圍，以創建混合網路調諧曲線（圖3）。

圖3：數值選擇網路單元的調諧曲線。

圖4：數字選擇網路單元的調諧特性。（A）左：網路單元的平均調諧曲線，更傾向於以線性比例繪製每個數值。右：在對數尺度上繪製的相同調諧曲線。（B）將高斯函數與不同尺度的調諧曲線擬合，其平均擬合優度。（C）對於不同尺度的數量選擇網路單元，每條調諧曲線擬合高斯函數的標準差。

最後，與其他處理數字的網路模型相比，HCNN取得的主要進展在於它的架構和功能與視覺系統非常相似，如具有接受域和表現出側抑制的網路單元的分層結構，形成視覺特徵的拓撲組織圖。這些發現表明，數量感的確自發產生基於視覺系統的固有機制。

參考鏈接：https://www.sciencealert.com/an-ai-has-spontaneously-developed-a-human-like-sense-for-numbers

本文為機器之心整理，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！