開學綜合症有救了！17篇最新AI論文不容錯過

來源：PaperWeekly

本文多乾貨，建議收藏。

本文為大家準備了最新AI領域的論文。

@jingyihiter 推薦

#Text Generation

本文來自國防科大和微軟亞研院，文章提出 pre-training-based 的 encoder-decoder 框架，encoder 採用 BERT 將輸入序列表示為 context 向量，decoder 分為兩階段：

第一階段採用 transformer-based 解碼生成偽輸出序列；

第二階段對偽輸出序列進行 mask 送入 BERT 表示，將輸入序列與偽輸出序列聯合，解碼預測輸出序列。

文章首次將 BERT 應用於文本生成任務，在 CNN/Daily Mail 和 New York Times 數據集上達到 SOTA 的結果。

論文鏈接

https://www.paperweekly.site/papers/2855

@QAQ 推薦

#Language Model

本文介紹了來自 OpenAI 的新語言模型 GPT-2，其在文本生成任務上達到接近人類水平，可生成論文（並編造數據與引用使論證看上去合理）、續寫幻想故事。在多個數據集上碾壓當前結果。在未經專門訓練的情況下實現翻譯與閱讀理解。不足是會出現重複文本與世界建模失敗（如在水下發生火災）。

論文鏈接

https://www.paperweekly.site/papers/2822

源碼鏈接

https://github.com/openai/gpt-2

@rico93 推薦

#Attention Mechanism

本文來自康奈爾大學和 Facebook AI Research，論文提出的 lightweight convolution 模型相對於 Transformer 來說能達到一致的水平，但只需要更少的操作數量，運算速度比 Transformer 快 20%。

論文鏈接

https://www.paperweekly.site/papers/2801

源碼鏈接

https://github.com/pytorch/fairseq

@Ttssxuan 推薦

#Auto ML

本文來自 Google Brain，論文提出了 progressive dynamic hurdles (PDH) 神經網路架構搜索方法，此方法能夠動態的把資源分配到相對優秀的候選者，最終得到「Evolved Transformer」，其在幾個翻譯任務（WMT 2014 English-German, WMT 2014 English-French, WMT 2014 English-Czech, LM1B）相對原始 Transformer 有一致的提升，並且有更高的計算效率和更少的參數量。

論文鏈接

https://www.paperweekly.site/papers/2817

@paperweekly 推薦

#Dialog System

論文鏈接

https://www.paperweekly.site/papers/2845

@VanceChen 推薦

#Multimodal Sentiment Analysis

本文是 CMU 的 MultiComp Lab 發表在 AAAI 2019 上的工作。多模態情感分析是 NLP 的一個新的核心研究領域，研究從語言、視覺和聲學模態表達的說話人情緒。多模式學習的核心挑戰涉及可以處理和關聯這些模態信息的推斷聯合表示。然而，現有工作通過要求所有模態作為輸入來學習聯合表示，因此，學習的表示可能對測試時的雜訊或丟失模態敏感。

隨著機器翻譯中 Seq2Seq 模型的成功，有機會探索在測試時可能不需要所有輸入模態的聯合表示的新方法。論文提出了一種通過在模態之間進行轉換來學習魯棒聯合表示的方法。論文的方法基於 Key Insight，即從源到目標模態的轉換提供了僅使用源模態作為輸入來學習聯合表示的方法。

論文使用周期一致性損失來增加模態轉換，以確保聯合表示保留所有模態的最大信息。一旦翻譯模型使用配對的多模態數據進行訓練，我們只需要在測試時從源模態獲得最終情緒預測的數據。這確保了我們的模型在其他模態中不受擾動或缺失信息的影響。

我們使用耦合的翻譯預測目標訓練我們的模型，並在多模態情緒分析數據集上實現新的最新結果：CMU-MOSI，ICT-MMMO 和 YouTube。 另外的實驗表明，我們的模型學習越來越多的判別性聯合表示，具有更多的輸入模態，同時保持對丟失或擾動模態的魯棒性。

論文鏈接

https://www.paperweekly.site/papers/2789

源碼鏈接

https://github.com/hainow/MCTN

@paperweekly 推薦

#Object Detection

本文來自中國科學院大學和圖森未來。檢測任務中存在目標尺寸多樣化的問題，為了解決這一問題，湧現了很多包含 SSD、FPN、SNIP 等在內的經典演算法。基於感受野對不同尺度目標的檢測影響，作者提出了一個全新的三叉戟網路（TridentNet）。

為了使模型對不同尺寸目標的「表達能力」近似，作者借鑒了 SNIP 的特徵提取網路，採用了「scale-aware」的並行結構。為了加快模型的推理速度，作者採用了 dilated convolution 得到不同感受野的特徵圖，從而實現檢測不同尺度目標的目的，取代了 SNIP 中的特徵金字塔生成不同尺度目標的做法。

論文鏈接

https://www.paperweekly.site/papers/2833

@paperweekly 推薦

#Human Pose Estimation

本文來自曠視科技，奪得 COCO Keypoints 2018 比賽冠軍。本文旨在設計出一個好的 multi-stage 的人體姿態檢測方法，隨著網路 stage 數目增加，模型的預測能力能夠逐步提高的網路。而不會像 Hourglass 及其它網路一樣，增加 stage 數目並不會顯著提高模型的預測能力。作者採用了 top-down 的解決思路，將重心放在對單人關節點的檢測上。針對 multi-stage 演算法存在的問題，作者分別進行了不同的探索。

論文鏈接

https://www.paperweekly.site/papers/2834

@Phil 推薦

#Object Detection

本文來自香港中文大學、商湯科技、Amazon 和南洋理工，論文提出了一種新的 anchor 生成方法——Guided Anchoring，即通過圖像特徵來指導 anchor 的生成。 通過預測 anchor 的位置和形狀，來生成稀疏而且形狀任意的 anchor，並且設計了 Feature Adaption 模塊來修正特徵圖，使之與 anchor 形狀更加匹配。

論文鏈接

https://www.paperweekly.site/papers/2806

@afei 推薦

#Image Segmentation

本文提出了一種新的分割網路——BOWDA Net。基於此網路，作者在 MICCAI 2012 前列腺分割競賽中排行第一，結果為 state of the art。創新點有兩點：1）針對前列腺 MR 圖像邊界不清晰的問題，提出了邊界加權分割 loss，平滑了邊界；2）針對數據集小的問題，作者借鑒了遷移學習以及 GAN 的思想，解決了 source domain 和 target domain shift 的問題，值得閱讀。

論文鏈接

https://www.paperweekly.site/papers/2851

@paperweekly 推薦

#Image Inpainting

本文來自安大略理工大學，論文提出了一種全新圖像修復方法，能重構出圖像的精細細節。具體而言，作者提出了一種兩階段的對抗模型 EdgeConnect，該模型由一個邊生成器和一個圖像補全網路組成。邊生成器將圖像確實區域的邊生成，而後圖像補全網路以邊為先驗填補圖像。

論文鏈接

https://www.paperweekly.site/papers/2832

源碼鏈接

https://github.com/knazeri/edge-connect

@JasonZHM 推薦

#Image Compression

利用卷積自編碼器進行圖像壓縮需要同時優化壓縮率和重構圖像質量，但由於用於表徵壓縮率的編碼比特率不可微，因此不能直接反向傳播。現有研究普遍採用額外訓練熵估計器的方法解決這個問題。

該研究則引入了來自神經網路架構搜索領域的網路剪枝方法，提出了 CAE-ADMM 模型，直接對壓縮後的編碼進行剪枝，在保持編碼速度的情況下，SSIM 及 MS-SSIM 的表現均超越了使用熵估計器的現有模型和傳統編碼器（JPEG、JPEG 2000 等）。該研究同時對引入的剪枝方法在模型中的效果進行了檢驗。

論文鏈接

https://www.paperweekly.site/papers/2803

源碼鏈接

https://github.com/JasonZHM/CAE-ADMM

@zhangjun 推薦

#Bayesian Deep Learning

DNN 的不確定性量化是當前一大研究熱點，在小數據機器學習、自動駕駛、強化學習、貝葉斯優化、主動學習等領域應用廣泛。一種經典的方法是將模型參數視為隨機變數，用近似推斷的方法（比如：MCMC 類和 VI 類）紮實地求出每個參數的後驗分布，這種方法相對準確，但計算效率較差，尤其對於參數數以億計的複雜結構網路更加困難；另一種方法是朝著實用方向的，訓練還是基於傳統的 SGD Dropout，在測試時對參數後驗分布進行近似，使得模型在預測時可考慮到不確定性的影響。

本文屬於第二種思路，基於一種叫做 Stochastic Weight Averaging （SWA）的方法，即將 T 個 Epoch 中的參數作為統計數據，求平均作為參數後驗分布的均值，方差作為分布的方差（僅考慮後驗分布為高斯的情況，也是大多數方法的假設。）。思路比較簡單，相對傳統的貝葉斯推斷方法，計算效率非常高。這類方法中另一個典型代表是 Oxford 的 Yarin Gal 提出的 MC Dropout。

論文鏈接

https://www.paperweekly.site/papers/2815

源碼鏈接

https://github.com/wjmaddox/swa_gaussian

@paperweekly 推薦

#Recommender Systems

本文是明尼蘇達大學和京東發表於 WSDM 2018 的工作。當前大多數推薦系統更注重用戶和商品之間的宏觀交互（如用戶-商品評分矩陣），很少有人會結合用戶的微觀行為數據（如瀏覽商品的時長、對商品的閱讀和評論）進行推薦。

本文從微觀行為的角度對推薦系統進行改進，作者將用戶的固有數據視為用戶和商品之間的宏觀交互，並保留了宏觀交互的順序信息，同時，每個宏觀交互都包含一系列微觀行為。具體來說，論文提出了一個全新模型——RIB，它由輸入層、Embedding 層（解決數據稀疏和數據高維的問題）、RNN 層（建模時序信息）、Attention 層（捕捉各種微觀行為影響）和輸出層組成。

論文鏈接

https://www.paperweekly.site/papers/2549

@paperweekly 推薦

#Deformable Convolution

本文來自牛津大學，論文提出了一種分布偏移卷積 DSConv，可以輕鬆替換標準神經網路體系結構，並實現較低的存儲器使用和較高的計算速度。DSConv 將傳統的卷積內核分解為兩個組件：可變數化內核（VQK）和分布偏移。通過在 VQK 中僅存儲整數值來實現較低的存儲器使用和較高的速度，同時，通過應用基於內核和基於通道的分布偏移來保持與原始卷積相同的輸出。

作者在 ResNet50 和 34 以及 AlexNet 和 MobileNet 上對 ImageNet 數據集測試了 DSConv。通過將浮點運算替換為整數運算，本文方法在卷積內核中實現了高達 14x 的內存使用量減少，並將運算速度提高了 10 倍。

論文鏈接

https://www.paperweekly.site/papers/2835

@Rcypw 推薦

#Network Embedding

本文是 UIUC 和 HEC Montreal 發表於 WSDM 2018 的工作，論文開創性地將強化學習思想應用到星型異構網路節點表示學習當中 ，利用馬爾科夫鏈去獲取最優的節點之間邊的序列。作者將獎勵計算作為節點表示的外部任務的性能作為特徵，目標是採取一系列行動來最大化累積獎勵，基於長短記憶網路利用深度強化學習模型，完成網路表示學習。

論文鏈接

https://www.paperweekly.site/papers/2590

@Layumi 推薦

#Person Re-identification

現在行人重識別高準確率模型真的魯棒么？是不是像傳統分類問題一樣容易被攻擊呢？本文提出的方法，將目前行人重識別上較高的 baseline Recall@1=88.56%, mAP=70.28%（layumi/Person_reID_baseline_pytorch） 降到 Recall@1=0.68%, mAP=0.72%。

對抗樣本存在於很多任務中，但如何在不同任務中構造對抗樣本是一個問題。對於 reID 來說，攻擊的方式與正常的分類不同。因為 reID 在測試的時候的類別與訓練時類別不同，沒有相同的類別（也就是測試的人和訓練的人不是同一批，Open-set）。那麼在構造對抗樣本時，傳統的降低預測概率回傳梯度方法就受限。在實驗中也有相應結果。文章提出了一種新的方法來攻擊圖像檢索（reID 是圖像檢索的一個子問題）。

論文鏈接

https://www.paperweekly.site/papers/2799

編輯：王菁

校對：林亦霖

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！