借鑒師生互動模式來訓練機器學習模型

在學校教學模式中，老師扮演著重要的角色。借鑒老師與學生的師生互動模式，香港科技大學在讀博士生張鵬博在他的論文 A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+ 中提出一種基於 LUPI 的 random vector functional-link 網路（RVFL+），RVFL + 不需要太多的計算硬體以及時間，優勢明顯。

在近期 AI 研習社的線上分享會上，張鵬博為我們詳細解讀了A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+這篇論文，介紹了 RVFL + 和 KRVFL+，以及它們的應用。

分享人：

張鵬博，香港科技大學博士在讀，於工程學院工業工程與物流管理系（即統計與運籌學系）從事機器學習的相關研究工作。他的研究興趣包括機器學習、深度學習、優化、智能系統。 在此之前，他於 2015 年在澳門大學提前獲得研究型碩士，並參與優秀畢業答辯，同時擔任多個期刊和會議的審稿人。

觀看完整回顧大概需要50分鐘

分享內容：

這次為大家帶來我最近的研究成果A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+，主要是分享我的思路，為什麼這麼做以及具體的應用情況。

我會先介紹這種新型的訓練方式 Learning using privileged information(LUPI) 與傳統的不同點。然後介紹之前的主要網路 RVLF 以及當前流行的隨機性演算法，之後會介紹新的兩種演算法 RVFL + 和 KRVFL+。我也給出了一些實驗來驗證這個方法的表現，還會為大家帶來一些未來的可能應用。

在學習中師生互動模式很重要，Learning using privileged information(LUPI) 是在機器學習中借鑒了這種模式，來訓練我們的機器學習模型。

LUPI 第一次提出是在 2009 年的一篇論文里用來訓練 SVM，與傳統學習模式的不同是在訓練階段，傳統的模式由 xi和 yi組成，xi是指訓練集中的 feature，yi是 label。新型訓練方式中訓練集中增加了一項，表示額外信息，類似於學習中老師給我們的信息一樣。

下面給出了 SVM 和 SVM + 這兩種方法的主形式，如果大家熟悉機器學習，那麼 SVM 的形式應該會很熟悉，SVM + 與 SVM 的不同是多引入了一個參數，如公式所示。

接下來給大家介紹 Random vector functional-link 網路，它是一種前饋單層的神經網路，於 1992 年提出，示意圖如下所示，只有一個隱含層。輸入層和輸出層直接相連可以有效防止網路過擬合。

為什麼 RVFL 網路很簡單，但是工作得很好？下圖中是一些解釋文獻。我們希望訓練數據中，同類之間角度小，不同的類之間角度大。RVFL 網路是用混合的模式來訓練所有網路。

在當今大數據的時代，對於計算的能力要求非常高，這種混合的訓練策略計算花費非常便宜，在未來也是研究的熱點。

簡單介紹幾個當前流行的隨機方法：前三個 Random projection、Random forests、Bagging 是十多年前提出來的，大家對於這三個並不陌生。我會主要介紹隨機神經網路，有興趣的同學可以看下我在最後列出的參考文獻。

接下來為大家介紹新的 RVFL + 方法，RVFL 網路可以寫成如下所示：

我們引進了 LUPI 這種新型的訓練方式來訓練我們的 RVFL 網路：

下一步構建拉格朗日方程，感興趣的同學可以在論文里看到如何詳細的得到輸出權重的整個過程。

接下來看一下 RVFL + 的偽碼，下面是詳細的輸入輸出。

我們不僅提出了 RVFL+，也提出了它的 kernel 版本——KRVFL+，這是為了更好的處理非線性問題。KRVFL + 相比於 RVFL + 有兩個主要的優勢，一是不需要考慮增強節點的個數，二是消除了 RVFL + 的不穩定性。

感興趣的同行可以在我的論文里看到 KRVFL + 的具體方程，在這裡就不具體列出來了，簡單給大家介紹一下 KRVFL + 的偽碼，如下所示，它與 RVFL + 比較相似。

現在分析 RVFL + 的一些統計特徵，主要是基於 Rademacher 複雜性。

現在看實驗，我們在 14 個數據集上評估了模型的效果，包括 1 個二項分類數據集，8 個多項分類數據集和 5 個回歸數據集，今天的講座里我給大家分享二項分類數據集的實驗。

看一下實驗結果，可以看到 KRVFL + 可以獲得 93.71% 的準確度，訓練時間只用了 0.005s，在所有模型裡面是最快的。RVFL + 雖然相比高斯 kernel 的準確度不高，但相比線性 kernel 還是有很明顯的優勢。RVFL + 不需要太多的計算硬體以及時間。

RVFL + 和 KRVFL + 有如下實際應用，後期大家可以進行相關探索。

在此提出感謝：

我的引用文獻如下：

論文地址：https://arxiv.org/abs/1708.08282

新人福利

關注 AI 研習社（okweiwu），回復1領取

【超過 1000G 神經網路 / AI / 大數據，教程，論文】

Kaggle 機器學習之模型融合（stacking）心得

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 機器學習 的精彩文章: