經典回顧！Github 上打星超過 1 萬的可復現頂會論文項目

雷鋒網 AI 科技評論：Zaur Fataliyev 是在 LG 電子的一名機器學習工程師，為了方便大家對帶有復現代碼的經典頂會論文進行查詢，他在 GitHub 上將這些論文進行了統一打包：https://github.com/zziz/pwc，該名單將每周更新一次。

雷鋒網 AI 科技評論將當中用戶打星數超過 1w 的論文進行簡要編譯，以饗讀者。

2017 年

1）Bridging the Gap Between Value and Policy Based Reinforcement Learning

縮小价值與強化學習政策差距的方法

打星數：46593

收錄頂會：NIPS

論文鏈接：http://papers.nips.cc/paper/6870-bridging-the-gap-between-value-and-policy-based-reinforcement-learning.pdf

復現代碼：https://github.com/tensorflow/models

簡介：論文基於熵正則化下的 softmax 時間值一致性與策略最優性之間的關係，為價值和強化學習政策建立新的聯繫。具體而言，作者證明了對應任意動作序列的最優熵正則化策略概率的 softmax 一致動作值——在無視出處的基礎上。據此，論文提出了一種全新的強化學習演算法 - 路徑一致性學習（PCL），它可以最大限度減少從一致性與非策略性跡線中提取多步動作序列的一致性錯誤概念。作者研究了 PCL 在不同場景下的表現，且證明 PCL 可以被看作涵蓋了 actor-critic 以及 Q-learning algorithms 的優點。用於表示策略和相應 softmax 狀態值的模型深化了這種關係，從而消除了單獨評論的需求。實驗結果表明，PCL 的幾個基準測試結果明顯優於強大的 actor-critic 以及 Q-learning algorithms。

2）REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models

REBAR：針對離散潛變數模型的低方差、無偏梯度估計

打星數：46593

收錄頂會：NIPS

論文鏈接：http://papers.nips.cc/paper/6856-rebar-low-variance-unbiased-gradient-estimates-for-discrete-latent-variable-models.pdf

復現代碼：https://github.com/tensorflow/models

簡介：由於高方差梯度估計的存在，因此通過帶有離散潛變數的模型進行學習是非常具有挑戰性的。業內的做法一般是通過控制變數來減少 REINFORCE 估計的方差。近期的工作（Jang et al，2016; Maddi- son et al，2016）採用了不同的方法，其中包括引入持續鬆弛的離散變數，以產生低方差、但有偏差的梯度估計結果。論文通過一個新的控制變數將兩者結合起來，以產生低方差、且無偏差的梯度估計。最後，論文介紹了對連續鬆弛的修正方法，證明了鬆弛的緊密度是可以通過在線調整的，主要將其作為超參數進行去除。模型最終在幾個基準生成建模任務中獲得了先進的方差減少結果，可以更快地進行收斂並達到更好的最終對數似然結果。

3）Focal Loss for Dense Object Detection

針對密集物體檢測的焦點損失方案

打星數：18356

收錄頂會：ICCV

論文鏈接：http://openaccess.thecvf.com/content_iccv_2017/html/Lin_Focal_Loss_for_ICCV_2017_paper.html

復現代碼：https://github.com/facebookresearch/Detectron

簡介：這是迄今為止精度最高的基於 R-CNN 的兩步式檢測器，其分類器可應用於稀疏的候選對象位置集。與此相對的是，應用於常規、密集採樣的一步式探測器具在精度上已落後於兩步式探測器。論文對此作出了解釋——在訓練過程中遇到極端前景 - 背景類不平衡現象是其核心原因。作者建議通過重塑標準交叉熵損失來解決這種不平衡的問題，核心方法是降低分配給分類例子的損失權重。論文提及的「焦點損失」將訓練重點放在一組稀疏例子上，以防止否定因素在訓練期間影響探測器。為了評估損失的有效性，作者設計並訓練了一個被稱作 RetinaNet 的密集檢測器。最後的研究結果表明，當使用焦點損失進行訓練時，RetinaNet 能夠達到一步式探測器的速度，且在精度上超越所有的兩步式探測器。

2016 年

1）R-FCN: Object Detection via Region-based Fully Convolutional Networks

R-FCN：基於區域完全卷積網路的對象檢測

打星數：18356

收錄頂會：NIPS

論文鏈接：https://papers.nips.cc/paper/6465-r-fcn-object-detection-via-region-based-fully-convolutional-networks.pdf

復現代碼：https://github.com/facebookresearch/Detectron

簡介：論文提出基於區域的完全卷積網路，以實現準確、有效的物體檢測任務。與先前基於區域的檢測器（如快速/更快速的 R-CNN [7,19]）相比，該基於區域的檢測器是完全卷積的。為了達到這一目標，作者提出基於位置的敏感得分圖，以解決圖像分類中存在的平移不變性與對象檢測平移方差之間的兩難問題。該方法可以採用完全卷積的主要圖像分類器，例如最新的殘餘網路（ResNets）[10]，以用於進行物體探測。該方法在基於 101 層 ResNet 的 PASCAL VOC 數據集（例如，2007 年的 83.6％mAP）上展現出有競爭力的結果。需要強調的是，模型最終實現了以每張圖像 170 毫秒進行測試的時間速度，比快速 R-CNN 對要快上 2.5-20 倍。

2）Image Style Transfer Using Convolutional Neural Networks

基於卷積神經網路的圖像樣式轉換

打星數：16435

收錄頂會：CVPR

論文鏈接：http://openaccess.thecvf.com/content_cvpr_2016/html/Gatys_Image_Style_Transfer_CVPR_2016_paper.html

復現代碼：https://github.com/jcjohnson/neural-style

簡介：以不同樣式呈現圖像的語義內容是一項很困難的圖像處理任務。可以說，先前的方法最大的限制是缺乏明確表示語義信息的圖像表示，以允許將圖像內容與樣式進行分離。作者通過使用用於物體識別的卷積神經網路導出的圖像表示，使高級圖像的信息顯式化。論文介紹了一種藝術風格的神經演算法，該方法可以分離與重新組合圖像內容。該演算法允許我們產生高質量的新圖像，其任意照片內容與眾多知名藝術品外觀進行結合。論文結果為卷積神經網路學習的深度圖像表示提供了一種全新見解，並展示了它們對高級階段的圖像合成潛力。

2015 年

1）Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

更快的 R-CNN：通過區域提議網路實現實時目標檢測

打星數：18356

收錄頂會：NIPS

論文鏈接：https://papers.nips.cc/paper/5638-faster-r-cnn-towards-real-time-object-detection-with-region-proposal-networks.pdf

復現代碼：https://github.com/facebookresearch/Detectron

簡介：目前最先進的物體檢測網路有賴區域提議演算法來假設物體位置。類似 SPPnet [7] 和 Fast R-CNN [5] 這樣進步網路的出現，有效減少了網路檢測的運行時間，然而也使區域提議計算成為瓶頸。作者在本文中介紹了能與檢測網路共享全圖像卷積特徵的區域提議網路（RPN），從而實現幾乎無成本的區域提議檢測。RPN 是一個完全卷積的網路，可同時預測每個位置的對象邊界與對象分數。RPN 通過端到端的訓練以生成高質量的區域提議，被快速 R-CNN 用於檢測任務。通過簡單的交替優化，還可以訓練 RPN 和快速 R-CNN 以共享卷積特徵。對於非常深的 VGG-16 模型 [19]，該檢測系統在 GPU 上的幀速率為 5fps（包含所有步驟），同時在 PASCAL VOC 上實現了最先進的物體檢測精度（2007 年：73.2％mAP、2012 年：70.4％mAP），平均每張圖片使用了 300 個提案。

2）Fast R-CNN

打星數：18356

收錄頂會：ICCV

論文鏈接：http://openaccess.thecvf.com/content_iccv_2015/html/Girshick_Fast_R-CNN_ICCV_2015_paper.html

復現代碼：https://github.com/facebookresearch/Detectron

簡介：本文提出一種基於快速區域的卷積網路方法（Fast R-CNN）用於物體檢測。快速 R-CNN 建立在先前工作基礎上，通過使用深度卷積網路有效地對對象提議進行分類。與之前的工作相比，Fast R-CNN 採用了多項創新來提高訓練和測試速度，同時有效提高了檢測精度。快速 R-CNN 可以訓練出非常深的 VGG16 網路，不止比 R-CNN 快 9 倍，同時在測試時間上快了近 213 倍，且能在 PASCAL VOC 2012 上實現更高的 mAP。與 SPPnet 相比，Fast R-CNN 訓練出的 VGG16 要快上 3 倍，測試速度上要快上 10 倍，同時結果也更準確。

雷鋒網 AI 科技評論

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！