Adobe提出新方法，可將隨機梯度下降用作近似貝葉斯推理

哥倫比亞大學和 Adobe 的三位研究者近日在 arXiv 上的一篇論文《用作近似貝葉斯推理的隨機梯度下降（Stochastic Gradient Descent as Approximate Bayesian Inference）》提出了一種可將隨機梯度下降用作近似貝葉斯推理的新方法。該論文共做出了 5 項貢獻。在 Reddit 上有人對此研究評論說：「隨機梯度下降總是比你想像的更強大。」機器之心對本論文進行了摘要介紹。

具有恆定的學習率的隨機梯度下降（constant SGD）可以模擬具有靜態分布的馬爾可夫鏈。基於這個觀點，我們得到了一些新結果。(1) 我們表明 constant SGD 可以被用作近似貝葉斯後驗推理演算法（approximate Bayesian posterior inference algorithm）。具體而言，我們表明可以如何調整 constant SGD 的調優參數來最好地匹配一個後驗的靜態分布，以最小化這兩個分布之間的 Kullback-Leibler 散度。(2) 我們表明 constant SGD 能產生一個新的變分 EM 演算法，該演算法可以在複雜的概率模型中對參數進行優化。(3) 我們還提出了用於採樣的帶有動量的 SGD（SGD with momentum），並且給出了相應地調整阻尼係數的方法。(4) 我們分析了 MCMC 演算法。對於 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring，我們量化了其由於有限學習率而導致的近似誤差。最後 (5)，我們使用這個隨機過程的觀點簡要地證明了為什麼 Polyak 平均是最優的。基於這一思想，我們提出了一種可擴展的近似 MCMC 演算法——平均隨機梯度採樣器（Averaged Stochastic Gradient Sampler）。

圖 1：後驗分布 f (θ) ∝ exp {?NL (θ)} （藍色）與 SGD 的迭代的靜態採樣分布 q(θ)（青色）或基於再參數化梯度的黑箱變分推理（BBVI：black box variational inference）。行：（上）線性回歸，（下）logistic 回歸，在第 6 節討論。列：（左）full-rank preconditioned constant SGD，（中）constant SGD，（右）BBVI。我們給出了在該後驗的最小和最大主成分上的投射。這幅圖還給出了在 Ornstein-Uhlenbeck 過程（Eq. 13）中該後驗的經驗協方差（ 3 標準差）（黑色）、樣本的協方差（黃色）和它們的預測（紅色）

圖 2：隨機梯度下降迭代的經驗協方差和預測協方差，其中預測基於 Eq.13。我們在葡萄酒質量數據集上使用了線性回歸，詳見 6.1 節。

演算法 1：迭代平均隨機梯度下降採樣器（IASG）

圖 3：在線性回歸上的迭代平均（iterate averaging），其中我們生成類似於模型生成的人造數據。(a) 給出了該 SGD 迭代的經驗協方差，而 (c) 給出了帶有最優的時間窗口選擇的平均迭代。其結果得到的協方差非常類似於 (b) 中的真實後驗協方差。這表明迭代平均有可能得到後驗採樣。

圖 4：IASG（頂行）、SGLD（中行）和 NUTS（底行）在線性回歸上的收斂速度比較。該圖分別給出了最小（黃色）和最大（藍色）的後驗邊界方差作為迭代的函數，其以通過數據的次數作為度量。誤差柱表示一個標準差。紅色實線表示 ground truth。左圖是以後驗最大值初始化的，而右圖是隨機初始化的。

圖 5：用不同的方法所估計的後驗協方差，參見圖 4。頂行是用後驗最大值對採樣器進行初始化所得到的結果。底行是隨機初始化的結果。對於 MAP 初始化，所有的採樣器都可以找到對後驗的一個良好估計。當隨機初始化時，IASG 的表現優於 NUTS 和 SGLD。