一文綜述所有用於推薦系統的深度學習方法

選自arXiv

機器之心編譯

參與：Smith、黃小天

在信息泛濫的時代，如何快速高效地萃取出有價值信息成為人們的當務之急，傳統的推薦系統由此應運而生；而在諸多領域碩果累累的深度學習也被應用於推薦系統，為後者注入新的動力。機器之心編譯的這篇論文，對深度學習在推薦系統中的應用現狀作了綜述性調研，以期進一步推動推薦系統研究的進展；對於發現的新問題，文中也給出了潛在的解決方案。

原文鏈接：https://arxiv.org/pdf/1707.07435.pdf

摘要：隨著線上信息的體量、複雜度和動態性的不斷增長，推薦系統已經成為了一種可以有效解決這種信息過載問題的關鍵性解決方案。近幾年，深度學習的革命性進步在語音識別、圖像分析和自然語言處理方面都受到了廣泛關注。與此同時，近期的一些研究也說明了深度學習在處理信息檢索和推薦任務中的有效性。由於其一流的性能表現和高質量的推薦結果，將深度學習應用於推薦系統已經獲得了動力。與傳統推薦模型相比，深度學習可以更好的理解用戶需求、項目特徵及其之間的歷史性互動。

本文旨在為近期推動推薦系統研究的基於深度學習的推薦方法提供一份綜述評論。同時提出一種基於深度學習推薦模型的分類體系（taxonomy），用於對那些被調查的文章進行分類。在分析回顧相關工作成果的基礎上我們發現了尚待解決的問題，潛在的解決方案也將被討論。

二維分類方法與定性分析：

圖 1：基於深度學習的推薦系統分類的二維體系，左側部分對神經網路模型進行了說明，右側部分則說明了整合模型。

圖 2：（a）使用的數據集；（b）使用的評測指標；（c）最有影響力的工作。

表 2：年引用次數超過 10 次的最具影響力論文。

應用領域：

表 3：特定應用領域的推薦模型。

1. 基於多層感知機（Multilayers Perception）的推薦系統

多層感知機是簡明且有效的模型。它廣泛應用於很多領域，尤其是工業界。多層前饋網路能夠讓任意的可測函數接近任意的期望精度。它也是很多高級模型的基礎。

圖 3：（a）神經協同過濾；（b）CCCFNet；（c）寬度&深度學習；（d）DeepFM。

2.基於自編碼器（Autoencoders）的推薦系統

將自編碼器應用於推薦系統一般有兩種常用方式：（1）使用自編碼器在瓶頸層（bottleneck layer）來學習低維度特徵表徵；或者（2）直接在重構層填充評分矩陣的空白處。

圖 4：（a）I-AutoRec；（b）CFN；（c）ACF；（d）CDAE。

表 4：5 個基於自編碼器的推薦模型之間的對比。

圖 5：（a）協同深度學習（左）與協同深度排序（右）的圖模型；（b）深度協同過濾框架。

3.基於卷積神經網路（CNN）的推薦系統

此種系統中的卷積神經網路大多是用於特徵提取（ feature extraction）的。

圖 6：（a）基於 Attention 的 CNN；（b）個性化 CNN 標籤推薦；（c）DeepCoNN；（d）ConvMF。

4.基於循環神經網路（RNN）的推薦系統

循環神經網路特別適用於處理推薦系統中的評級和序列特徵的時序動態。

圖 7：（a）藉助 RNN 的 Session 推薦；（b）藉助 RNN 的完善的 Session 推薦；（c）循環推薦網路；（d）用於標籤推薦的基於 Attention 的 RNN。

5.基於深度語義相似性模型（Deep Semantic Similarity Model）的推薦系統

深度語義相似性模型（DSSM）是一種廣泛應用於信息檢索領域的深度神經網路。它非常適用於排行榜（top-n）推薦。基礎型 DSSM 由 MLP 組成，更高級的神經層比如卷積層和最大池化（max-pooling ）層可以被很容易地添加進去。

圖 8：（a）基於深度語義相似性的個性化推薦；（b）多視角深度神經網路。

6. 基於受限玻爾茲曼機（Restricted Boltzmann machine）的推薦系統

圖 9：（a）RBM-CF；（b）帶有隱式反饋的條件性 RBM-CF；（c）基於用戶和基於項目的 RBM-CF 的組合；（d）混合 RBM-CF。

7.新興方法：NADE 和 GAN

NADE 提出了一種易於處理的方法，以對源數據的真實分布進行近似計算，並且可以在幾個試驗性數據集中產生最一流的推薦精度（與其它基於深度學習的推薦模型相比）。生成對抗網路（GAN）能夠將判別模型和生成模型相融合，並且充分利用二者的優點。

圖 10：（a）基於神經自回歸的推薦系統；（b）IRGAN。

8. 用於推薦系統的深度複合網路（Deep composite models）

圖 11：現有的深度複合模型。

圖 12：（a）CNN 和 RNN 的引用推薦；（b）比較性深度學習模型；（c）NRT；（d）帶有 CNN 的深度語義相似性模型（DSSM）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！