並行貝葉斯在線深度學習框架PBODL：預測廣告系統的點擊率

選自arXiv

機器之心編譯

參與：蔣思源

近日，騰訊發表了一篇介紹並行貝葉斯在線深度學習（PBODL）框架的論文，該論文表示這一框架已經用於騰訊廣告系統的點擊率預測，並獲得了穩定高效的性能。該論文還詳細推導展示了 PBODL 框架，並在實際試驗中證明了 PBODL 相對於其他在線模型具有更好的表現。機器之心簡要地介紹了該論文，具體的推導及試驗細節請查看原論文。

論文地址：https://arxiv.org/abs/1707.00802

摘要：我們的論文展示了一種並行貝葉斯在線深度學習框架（PBODL），該框架已經用於如今騰訊廣告系統的點擊率預測，並提供快速並準確的用戶偏好學習方法。我們首先使用了深度概率單位回歸模型（probit regression model）解釋了 PBODL 框架，該模型在假定高斯密度濾波模式下通過概率性反向傳播進行訓練。然後我們通過提升這一模型簇的特徵嵌入能力而擴展到各種貝葉斯在線學習模型中，如 Sparse-MLP、FM-MLP 和 FFM-MLP 等。最後，我們基於基礎計算設備和參數伺服器流實現了並行化訓練系統。在公共數據集和騰訊產業數據集的試驗表明，在我們框架下的模型要比其他一般在線學習模型（如 AdPredictor、FTRL-Proximal 和 MatchBox 等）表現更好。在騰訊廣告系統進行的在線 A/B 測試進一步表明我們的框架能更快更準確地學習而實現 CTR 和 CPM 提升。

1. 前言

1.1. 騰訊廣告系統

1.2. 相關研究

2. 並行貝葉斯在線深度學習框架（Parallel Bayesian Online Deep Learning Framework）

2.1 貝葉斯深度概率單位模型（Bayesian Deep Probit Model）

圖 1：貝葉斯深度概率單位模型

2.2. 嵌入運算層

2.2.1. DimensionAwareSum 層

2.2.3. FFM 層

2.3. 並行訓練（Parallel Training）

在高斯情況下，訓練工作站和參數伺服器流展示在演算法 1 和演算法 2 中。

上面的框架能解決現實世界中的大數據問題。我們已經將其應用到騰訊廣告系統中，並獲得了穩定的表現。

3. 試驗結果

3.1. 離線（Offline）

3.1.1. Avazu 數據集

3.1.2. Internal 數據集

該數據集有 40 類特徵共計 800M 樣本。試驗結果在表 2 中展示。我們發現在沒有進行特徵工程下，我們的模型要比其他在線模型表現更優。

3.2. 在線（Online）

4. 說明（Notes）

4.1. 負採樣（Negative Sampling）

4.2. Burning

4.3. Prior

4.4. 權重衰減（Weight Decay）

4.5. 強化（Reinforcement）

結論

我們展示了一種並行貝葉斯在線深度學習框架，其已在騰訊廣告系統中用來預測廣告點擊率。在這個框架中，我們介紹了幾種新穎的在線深度概率單位回歸（probit regression）模型，其在在線試驗中相對於其它已知的模型有更好的性能。我們接下來應該在此框架下尋找更多有價值的在線模型。另一方面，我們也會嘗試更多的貝葉斯優化方法以取得更好的性能和更穩定的效率。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！