如何同時處理龐大、稀有、開放類別的視覺識別？伯克利 AI 研究院提出了開放長尾識別方法

新聞 06-01

雷鋒網 AI 科技評論按：在計算機視覺領域，圖像分類其實是一個最基本的問題，然後一旦遇到極端長尾、開放式的數據集時，即便是最基本的圖像識別任務，也難以很好地實現。伯克利 AI 研究院基於對某段相關的經歷的思考提出了「開放長尾識別」（OLTR）方法，據介紹，該方法可同時處理龐大、稀有、開放類別的視覺識別，是目前視覺識別系統評價中更全面、更真實的一種檢驗標準，它可以被進一步擴展到檢測、分割和強化學習上。這一成果也在伯克利 AI 研究院上進行了發表，雷鋒網 AI 科技評論編譯如下。

現有的計算機視覺環境 VS 現實世界場景

有一天，一位生態學家來找我們。因為他用攝像機拍攝了很多野生動物的照片，希望運用現代計算機視覺技術，基於這些照片的資料庫自動辨識拍到了哪些動物。這聽起來是一個基本的圖像分類問題，所以我們當時很自信，覺得肯定沒問題。然而結果我們卻失敗了。那位生態學家提供的資料庫是極端長尾且開放式的。通常，只要無法得到足夠的訓練數據，我們就會問對方，有沒有可能提供更多的尾部類別數據，而忽略可能在測試數據中出現的一些開集類別。遺憾的是，要解決那位生態學家的問題，我們無法採用收集更多數據的做法。由於這些生態學家可能要花相當長的時間，才會在野外拍到他們計劃拍攝的珍稀動物。為了拍到一些瀕危動物，他們甚至必須等幾年才能拍到一張照片。如此同時，新的動物物種不斷出現，舊的物種同時正在消失。在這樣一個動態變化的系統之內，類別的總數永遠無法固定。而且，從動物保護的意義上說，識別新發現的稀有動物比識別數量還很多的動物更有價值。如果我們只能在數量眾多的類別中很好地識別動物，那我們的方法永遠都不會有什麼實用價值。我們嘗試了所有可能採用的方法，能想到的都試過了，比如數據增強、採樣技術、小樣本學習、不平衡分類，但沒有一種現有的方法可能同時處理龐大的類別、稀有的類別和開放的類別（如圖 1）。

圖1：現有的計算機視覺環境和現實世界的場景差距相當大。

自此以後，我們就一直在思考，現有的計算機視覺方法和現實世界的場景存在這麼大的差距，最主要的原因是什麼？不止是野生動物攝影數據存在這樣的問題，在現實生活中，這種問題一再出現，工業和學界都有。假如卷積神經網路可以在龐大的 ImageNet 圖像數據集中非常順利地將圖片分門別類，那為什麼在開放的世界中卻仍然無法解決圖片分類的問題？在視覺識別領域，幾乎所有的問題都有成功的解決之道，如小樣本學習和開集識別。可似乎沒有人把這些問題當作一個整體來看待。在現實世界的應用中，不論是頭部類別還是尾部類別，分類有時不止面臨單獨一種問題。因此，我們認為，這種理論和實踐的差距可能源於視覺識別設置自身。

開放長尾識別（Open Long-Tailed Recognition，OLTR）

在現有的視覺識別環境中，訓練數據和測試數據在封閉世界（比如 ImageNet 數據集）的設置下都是均衡的。但這種設置並沒有很好地模擬現實世界的場景。例如，生態學家永遠都無法收集到均衡的野生動物數據集，因為動物的分布是不均衡的。同樣地，從道路標示、時裝品牌、面孔、天氣環境，到街道環境等等，各種類型數據集的不均衡開放分布都會干擾人。為了如實地反映這些方面，我們開始正式研究源自自然數據集的「開放長尾識別」（OLTR）。一個實用的系統應該能夠在少數共性的類別和多個稀有類別之中分類，從極少數已知的例子之中總結歸納單獨一個類別的概念，基於某個過去從未見過的類別存在的一個例子，去了解這個類別的獨特性。我們將 OLTR 定義為，從長尾和開放的分散式數據中學習，並且基於一個平衡測試數據集評估分類的準確性，而這個測試數據集要包括在一個連續譜內的頭部、尾部和開集類別（如圖 2）。