Meta Learning相關

在開展NMS項目的過程中，本來思考依據樣本可以得到一種訓練網路的新方法。該方法的大概思路是：

1 -> 監督學習在訓練一個分類或者回歸模型時，是由Loss驅動訓練整個網路，當loss和網路構造成的誤差曲面是一個是全局凸的時候，則可以用梯度下降的情況處理

2 -> 然後在之前深度學習的相關理論中，主要討論網路結構以及超參調試中的

3 -> NMS計劃研究的內容是，研究樣本構造的凸空間的特性，以及在構造樣本的方法上對凸空間的收斂性的影響，從而可以構造一種新的訓練方法

而使用樣本改進的訓練方法

1 -> PGGAN，該文章中使用遞進增加樣本的方式訓練GAN網路取得了很好的效果

2 -> Meta Learning, Meta Learning主要是將訓練分成了兩個階段，一個是內部的loop用於訓練底層分類器，一個loop感知並用於預測梯度問題，然後預測的梯度的方法有很多，有擴展memory的方法，也有使用網路去訓練來預測梯度(使用過往的模型經驗)

下圖為Meta-Learing的訓練模型

基於NMS的Training Method

首先NMS-Based leaning首先主要研究誤差曲面的構成，然後再研究誤差曲面的優化問題。

1 -> 現實中很多問題本身是不可以拿來優化的，或者用SGD這樣的方法是不可行的，感知樣本得到梯度情況是一個問題

2. NMS-based Learning的訓練手段目前還在思考中，當然目前看起來比Meta-learning會包含跟多的內容

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！