華為、MIT韓松論文；DeepMind開源OpenSpiel；目標檢測演算法全面綜述
機器之心整理
參與：一鳴
本周重點的研究有華為莫斯科研究院和莫斯科國立大學提出的新型對抗樣本攻擊方法、MIT韓松等的新論文、DeepMind開源的OpenSpiel等。其他還有微眾銀行楊強等提出的內容推薦新模型、對BERT的反思、GAN在時尚領域的研究，以及目標檢測演算法綜述等。
目錄：
AdvHat: Real-world adversarial attack on ArcFace Face ID system
Revealing the Dark Secrets of BERT
Generating High-Resolution Fashion Model Images Wearing Custom Outfits
Once for All: Train One Network and Specialize it for Efficient Deployment
OpenSpiel: A Framework for Reinforcement Learning in Games
Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction
Deep Learning for Generic Object Detection: A Survey
論文 1：AdvHat: Real-world adversarial attack on ArcFace Face ID system
作者：Stepan Komko、Aleksandr Petiushko
論文鏈接：https://arxiv.org/pdf/1908.08705
摘要：在這篇論文中，研究者們提出了一種全新且易於復現的技術 AdvHat，可以在多種不同的拍攝條件下攻擊目前最強的公共 Face ID 系統。想要實現這種攻擊並不需要複雜的設備——只需在彩色印表機上列印特定的對抗樣本，並將其貼到你的帽子上，而對抗樣本的製作採用了全新的演算法，可在非平面的條件下保持有效。研究人員稱，這種方法已經成功地破解了目前最先進的 Face ID 模型 LResNet100E-IR、ArcFace@ms1m-refine-v2，其攻擊方式也可以遷移到其他 Face ID 模型上。
AI 人臉識別系統在正常情況下的分類效果，它識別出了特定的人：Person_1。
貼上紙條以後，即使沒有遮住臉，系統也會把 Person_1 識別成另外一些人「0000663」和「0000268」等。
變換角度、改變光照條件都不會改變錯誤的識別效果。加了貼紙後，可以看到 Person_1 的概率非常低。
圖 2：攻擊流程示意圖。
推薦：本文是華為莫斯科實驗室和莫斯科國立大學合作的項目，第一次實現了實時對抗樣本攻擊，而且多模型通用。
論文 2：Revealing the Dark Secrets of BERT
作者：Olga Kovaleva、Alexey Romanov、Anna Rogers、Anna Rumshisky
論文鏈接：https://arxiv.org/pdf/1908.08593.pdf
摘要：目前，基於 BERT 的架構在諸多自然語言處理任務中表現出了 SOTA 性能，但促成這類架構成功的具體機制卻很少有人知道。在當前的研究工作中，研究人員側重於自注意力的解讀，它是 BERT 基本的底層組件之一。在本文中，藉助於 GLUE 任務子集和一組感興趣的 handicrafted 特徵，研究者提出了一種方法論，並對單個 BERT 頭（BERT head）所編碼的信息進行定性和定量分析。分析結果顯示，一組受限的注意力機制會在不同的 head 之間重複出現，這表明總體模型出現過度參數化。雖然不同的 head 始終使用相同的注意力機制，但在不同任務中對性能的影響也不同。研究表明，與常規微調 BERT 模型相比，手動禁用某些 head 中的注意力可以提升性能。
禁用了一部分注意力頭之後模型在特定任務上的表現。圖表說明，在禁用了一部分注意力頭之後，模型效果（深紫色）反而比基線結果（橘色線）更好了。
推薦：本文是 EMNLP 2019 接收論文。利用對 BERT 結構的拆解過程研究注意力機制可解釋性，非常適合還不熟悉 BERT 的讀者從另一個角度審視預訓練大型語言模型的架構、各個模塊的功能和含義。
論文 3：Generating High-Resolution Fashion Model Images Wearing Custom Outfits
作者：Gokhan Yildirim、Nikolay Jetchev、Roland Vollgraf、Urs Bergmann、Zalando Research
論文鏈接：https://arxiv.org/pdf/1908.08847.pdf
摘要：買衣服時必須要考慮搭配。由於時尚物品組合方面的問題，可用圖像僅限於預先確定的一套服裝。在本文中，研究者通過生成身穿定製化服裝的模特在輸入身體姿態下的高解析度圖像，擴展了這些可視化圖像。實驗表明，研究者所用的方法不僅可以轉換兩套服裝的風格和姿態，而且可以創建逼真的人體姿態和服裝圖像。
根據給定的服裝圖像和模特姿勢生成特定造型的模型示意圖。
根據上中的顏色、上右的模特姿勢，在左下模特身上實現不同的穿衣和姿勢效果。
推薦：本文入選 ICCV 2019 藝術和設計 Workshop。雖然使用 GAN 進行圖像生成不是一件新鮮事，但是這是極少數的在時尚領域進行的應用。做演算法的讀者朋友可以參考，將演算法的研究成果和現實場景結合起來。
論文 4：Once for All: Train One Network and Specialize it for Efficient Deployment
作者：Han Cai、Chuang Gan、Song Han
論文鏈接：https://arxiv.org/pdf/1908.09791.pdf
摘要：將神經網路部署在各種硬體平台時，不同的部署場景需要匹配的網路架構，同時網路還要儘可能精簡。傳統的做法是手動設計、或者使用 AutoML 搜索網路架構，之後針對每個不同網路重新進行訓練。這樣的做法成本很高，也不具有擴展性。隨著需要部署的環境數量增加，這種做法的成本呈線性上升。本文提出了一種名為「一次構建、處處部署（Once for all：OFA）」的方法，可以高效設計神經網路架構，並同時處理多種部署情況。研究人員的方法摒棄了給每一種情況設計一個專門模型的做法，而是提出訓練一個網路，支持多種架構設定（網路深度、寬度、核大小和清晰度等）。給定部署場景後，網路可以搜索出一個特定的子網路。這個子網路是從原始網路中搜索出來的，而且不需要訓練。
圖 1：左圖：當訓練了一個網路後，根據部署條件的不同，從該網路中搜索出一個子網路。中圖：這樣的搜索方法的設計成本從 O(N) 降低到了 O(1)。右圖：相比其他網路，論文提出的方法能夠在降低延遲的情況下更好地提升效果。
圖 2：階段性縮減流程示意。
推薦：本文作者為 MIT 的韓松教授等，從搜索子圖的角度提出了 NAS 的替代方法。讀者朋友可以參考其中的思想。
論文 5：OpenSpiel: A Framework for Reinforcement Learning in Games
論文作者：Marc Lanctot, Edward Lockhart, Jean-Baptiste Lespiau 等
論文鏈接：https://arxiv.org/pdf/1908.09453v1.pdf
Open-spiel 支持的遊戲一覽
平台支持的演算法一覽
石頭剪刀布遊戲中的策略可視化。
推薦：本文是 DeepMind 為強化學習開發的多遊戲、多人博弈實驗平台。這樣一種強化學習平台目前是很少見的，強化學習領域的研究者可以參考使用方法，為自己的演算法進行部署。
論文 6：Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction
作者：Wenyi Xiao、Huan Zhao、Haojie Pan、Yangqiu Song、Vincent W. Zheng、Qiang Yang
論文鏈接：https://sci-hub.tw/https://doi.org/10.1145/3292500.3330965
摘要：本文現代社交媒體平台中的有效內容推薦應該既可以使創作者真正獲益，也能夠幫助消費者獲得切實感興趣的內容。本論文提出了一種用於內容推薦的社交探索注意力網路（SEAN）模型。SEAN 使用個性化內容推薦模型可以按照用戶個人興趣進行推薦。此外，該模型還可以運用個性化因素來處理用戶在社交網路上的高階朋友，以提高推薦結果的準確性和多樣性。研究者在廣受歡迎的分散內容分發平台——Steemit 上構建了兩個數據集，將 SEAN 與協同過濾方法和基於內容的推薦方法進行比較。實驗結果證明，SEAN 無論是在推薦平等的基尼係數和推薦性能的 F1 得分方面均十分有效。
SEAN 的架構。左側為社交探索模塊，為右側的系統探索用戶在社交網路中的高階朋友。將這些朋友與用戶學習到的興趣知識表示合併，分別建立了單詞級和句子級的用戶表示向量。右側是神經網路結構，使用 CNN 將單詞編碼到 GRU 層，隨後將句子編碼到文檔中。
推薦：本文是 KDD2019 大會接收的一篇論文，作者是微眾銀行的楊強等。論文提出的推薦演算法，有可能給現有的基於協同過濾的演算法帶來更好的性能提升。
論文 7：Deep Learning for Generic Object Detection: A Survey
作者：Li Liu、 Wanli Ouyang、Xiaogang Wang、Paul Fieguth、Jie Chen、Xinwang Liu、Matti Pietika ?inen
論文鏈接：https://arxiv.org/pdf/1809.02165v4.pdf
摘要：目標檢測是計算機視覺領域最根本和具有挑戰性的問題之一，旨在從自然圖像中的大量預定義類中定位出目標實例。深度學習技術已經成為直接從數據中學習特徵表徵的一種強大策略，並在通用目標檢測領域取得了重大突破。本文綜述了近來深度學習技術在通用目標檢測領域所帶來的進展，包含 300 多項研究貢獻，涉及該領域的諸多方面，如檢測框架、目標特徵表徵、目標建議生成、情境建模、訓練策略和評估指標。文章結尾則確定了未來有前途的研究方向。
推薦：目標檢測一直是 CV 領域的重點研究方向。本文全面綜述了目標檢測相關的演算法和進展，值得讀者閱讀參考。
TAG:機器之心 |