2019 到目前為止的深度學習研究進展匯總

本文為 AI 研習社編譯的技術博客，原標題 ：

Best Deep Learning Research of 2019 So Far

作者 | ODSC - Open Data Science

翻譯 | 敬愛的勇哥 編輯 | 醬番梨、鄧普斯?傑弗

原文鏈接：

https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38

在剛剛結束的2019年的第一季度里，深度學習技術在快速的向前發展。我經常會去查看相關研究人員的工作，以便了解這項技術的進展。這項工作讓我能夠了解到很多我不知道的事情，然後以此優化自己的工作時間安排。因此，儘管該領域每周會有成百上千篇論文，我也會要求自己每周至少閱讀一篇研究論文。

在本文中，將2019年以來已經發表的論文整理出來列在下面，這將幫你節省很大一部分時間。下文中的所有文章，在Github中都有相應的代碼。讓我們開始奇妙之旅！

1.使用PyTorch Geometric快速開始圖形表徵學習

本研究介紹了一個名為PyTorch Geometric的學習庫，它基於PyTorch構建，可以幫助我們直接使用圖形，點雲以及流形數據等不規則的數據結構。除了一般的圖形數據結構和處理方法外，它還包含了許多最近發表的關係學習和三維數據處理的方法。PyTorch Geometric通過使用稀疏GPU加速、提供專用的CUDA內核以及為不同大小的輸入樣本提供高效的小型批處理來實現高數據吞吐量。該文的代碼可以在GitHub找到。

https://arxiv.org/abs/1903.02428v2

相關文章：Most Influential Data Science Research Papers for 2018

2.Mask Scoring R-CNN

在實例分割任務中，大多數實例分割框架都使用實例分類置信度作為掩碼的質量分數。本文研究的這個問題，提出了一種包含網路塊的R-CNN掩碼評分方法來學習和預測實例掩碼的質量。掩碼評分策略對比掩碼質量和掩碼得分之間的不一致，在COCO AP評測指標上，優先考慮更準確的掩碼預測來改進實例分割的性能。代碼可以在GitHub上找到。

https://arxiv.org/abs/1903.00241v1

3.用更少的標註生成高保真圖像（High-Fidelity Image Generation with Fewer Labels)

深度生成模型正在成為現代機器學習的基礎。最近關於條件生成對抗網路(conditional generative adversarial networks，GANs)的研究表明，在自然圖像上學習複雜的高維分布是可行的。雖然最新的模型能夠在高解析度下生成高保真度、多樣化的自然圖像，但它們依賴於大量的標註數據。這篇論文展示了如何從最新的自我和半監督學習研究中獲得啟發，從而在無監督的圖像合成和條件設置方面都優於當前的最好效果(SOTA)。代碼可以在GitHub上找到。

https://arxiv.org/abs/1903.02271v1

4.GCNv2:實時SLAM的高效匹配預測 （GCNv2: Efficient Correspondence Prediction for Real-Time SLAM）

這篇文章提出了一種基於深度學習的關鍵字和描述符生成網路GCNv2，它基於為三維投影幾何而訓練的GCN而來。GCNv2設計了一個二進位描述符向量作為ORB特徵，以便在諸如ORB-slam等系統中方便的替換ORB。代碼可以在GitHub上找到。

https://arxiv.org/abs/1902.11046v1

相關文獻：Deep Learning for Text Classification

5.ALiPy:使用Python進行主動學習（ALiPy: Active Learning in Python）

有監督的機器學習方法通常需要大量帶標籤的數據來進行模型訓練。然而，在許多實際應用中，有大量的未標記數據，但標記數據卻有限，而且對它們進行標註的成本很高。主動學習(Active learning，AL)通過迭代地在標註器中通過查詢的方式選擇最合適的標籤，從而降低了標註成本。本文介紹了一個用於主動學習的Python庫ALiPy。代碼可以在GitHub上找到。

https://arxiv.org/abs/1901.03802v1

6.DeepFashion2:一個用於服裝圖像檢測、姿態估計、分割和重新識別的多用途標註（DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images）

通過帶有豐富標籤的數據集(如DeepFashion，其標籤包括服裝類別、標註點和消費者信息圖像對)，可以加強對時裝圖像的理解。然而，DeepFashion存在一些不可忽視的問題，比如每張圖片只有一件衣服，稀疏的標註點(只有4~8個)以及沒有每個像素的掩碼，這與現實場景有很大的差距。本文通過DeepFashion2來解決這些問題，填補了這一空白。DeepFashion2是一個通用的標籤庫，包括四個任務，包括服裝檢測，姿態估計，分割和檢索。代碼可以在GitHub上找到。

https://arxiv.org/abs/1901.07973v1

7.星際爭霸多端挑戰 （The StarCraft Multi-Agent Challenge）

近年來，深度多端強化學習(RL)已經成為一個非常活躍的研究領域。在這一領域，有一類特別的問題很有挑戰，就是部分可觀察的、可以合作的、多智能體的學習，在這種學習中，團隊必須學會只以他們各自的觀察為條件進而協調整體的行為。這是一個很有吸引力的研究方向，因為這類問題涉及大量的真實系統，而且比一般總和博奕問題更易於評估。然而，對於可協作的多端RL，目前還沒有可對比的基準。因此，這一領域的大多數論文都使用一次性的遊戲，很難衡量真正的進展。本文將星際爭霸多智能挑戰(SMAC)作為一個基準問題來填補這一空白。代碼可以在GitHub上找到。

https://arxiv.org/abs/1902.04043v2

8.Dropout是隨機增量規則(SDR)的一個特例:更快、更準確的深度學習(Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning)

多層神經網路在文本、語音和圖像處理等多種任務中取得了很好的效果。在分層模型中，非線性參數估計容易出現過擬合和錯誤設置的問題。對這些參數估計錯誤以及其他相關問題(局部極小值、共線性、特徵提取等)的一種解決方法稱為Dropout。Dropout會根據概率為p的伯努利隨機分布，在每次更新前隨機刪除部分隱藏層的單元，從而對網路產生隨機的「擾動」，並在每次更新時對其進行平均。本文指出，Dropout是發表於1990年的通用模型隨機增量規則(Stochastic Delta Rule，SDR)的一種特例。代碼可以在GitHub上找到。

https://arxiv.org/abs/1808.03578v2

9.Lingvo:一種用於序列模型的模塊化和可伸縮框架( Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling)

Lingvo是一個Tensorflow框架，為深度學習研究尤其是序列化模型提供了一個完整的解決方案，它由靈活且易於擴展的模塊化構建塊組成，實驗時可以集中配置且可高度定製。該框架支持分散式訓練和量化推理，包含大量實用組件、輔助函數和最新研究論文的實現。在過去的兩年里，Lingvo已經被數十名研究人員用在了20多篇論文里。本文概述了Lingvo的底層設計，並對框架各個部分進行了介紹，同時還對框架的高級特性提供了示例。代碼可以在GitHub上找到。

https://arxiv.org/abs/1902.08295v1

10.具有動態學習率邊界的自適應梯度方法(Adaptive Gradient Methods with Dynamic Bound of Learning Rate)

為了加快深度學習的訓練速度，人們提出了如AdaGrad, RMSProp和Adam等學習率自適應優化方法。雖然方法眾多，但與SGD相比，它們的泛化能力較差，甚至由於不穩定和極端的學習率而無法收斂。本文論證了極端的學習率會導致模型性能變差。基於Adam和AMSGrad分別提出了名為AdaBound和AMSBound的變種，它們利用學習率的動態邊界實現了從自適應方法到SGD的漸進平穩過渡，並給出了收斂性的理論證明。對各種常見的任務和模型進行了進一步的實驗，實驗結果表明，新的方法能夠消除自適應方法與SGD之間的泛化差距，同時在訓練初期保持較高的學習速度。代碼可以在GitHub上找到。 雷鋒網雷鋒網雷鋒網

https://openreview.net/forum?id=Bkg3g2R9FX

想要繼續查看該篇文章相關鏈接和參考文獻？

點擊【2019 到目前為止的深度學習研究進展匯總】即可訪問哦~

為了營造更好學習氛圍，AI研習社向你推薦「PyTorch的深度教程」

這是作者編寫的一系列深入的教程，可用於通過令人驚嘆的PyTorch庫自己實現很酷的深度學習模型。如果你剛開始接觸PyTorch，請先閱讀PyTorch的深度學習：60分鐘閃電戰和學習PyTorch的例子。在每個教程中，我們將通過從研究論文中實施模型來關注特定應用或感興趣的領域。比如文本分類（代碼已創建完成，教程正在進行）、機器翻譯物體檢測等。

教程鏈接：https://ai.yanxishe.com/page/tweet/22260

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！