提高網路模型的泛化能力!深度學習之父Geoffrey Hinton的神經網路第九課
作為深度學習祖師,Geoffrey Hinton 的每一句每一言,都使學習者如奉綸音。濃縮其畢生所學的《Neutral Network for Machine Learning》,則是唯一一門 Hinton 老師系統講授的公開課。
自 2012 年開課,NNML 就一躍成為深度學習開發者的殿堂級慕課。時隔五年,仍然是內容最「干」、最值得學習的深度學習課程。
如果說吳恩達的《Machine Learning》是最佳入門課程,描述 NNML 則只需兩個字: 「必修」——對於有志於真正掌握深度學習的人而言。
它很難,但也因此沒有做任何「dumb down」——為照顧小白而犧牲「厚度」,把原本並不單純的原理硬以簡單的類比表述出來,是幾乎所有深度學習課程不得不做的妥協。
但這門課沒有。
本欄目將在AI研習社(公眾號:okweiwu)每周一、周三更新,敬請關注!
Lecure 9提高網路模型的泛化能力
內容簡介
這一節課介紹了如何在網路有過多能力處理過多容量的訓練數據集時,通過降低過擬合來提高網路模型的泛化能力。Hinton 介紹了幾種控制網路容量的方法,以及如何設置度量參數以及防止過擬合的四種方法。
往期課程目錄
1.1 為什麼要學習機器學習?
1.2 神經網路機制中的腦科學原理
1.3 簡單的神經元模型
1.4 ANN 的 MNIST 學習範例
1.5 機器學習演算法的三大類
2.1 神經網路架構介紹
2.2 神經網路架構介紹
2.3 感知器的幾何空間解析
2.4 感知器的原理透析
2.5 感知器的局限性
Lecture 3 線性 / 邏輯神經網路和反向傳播
Lecture 4 學習特徵向量
Lecture 5 用神經網路進行物體識別
Lecure 6 模型優化:如何加快學習!
Lecure 7 循環神經網路RNN(一)
Lecure 8 循環神經網路RNN(二)
※用RNN實現機器寫詩,機器寫作思路發展歷程你必須了解!
※最經典的SVM演算法在Spark上實現,這裡有一份詳盡的開發教程
※玩深度學習選哪塊英偉達 GPU?有性價比排名還不夠!
※如何用深度學習推薦電影?教你做自己的推薦系統!
※10行代碼,用大腦重量預測體重!矽谷AI網紅親身示範
TAG:唯物 |
※專訪MIT教授Tomaso Poggio:表達、優化與泛化——數學視角里的深度學習
※可視化線性修正網路:看Fisher-Rao範數與泛化之間的關係
※從泛化性到Mode Collapse:關於GAN的一些思考
※ImageNet分類器可以泛化到ImageNet上嗎?
※密歇根大學&谷歌提出TAL-Net:將Faster R-CNN泛化至視頻動作定位中
※模型的泛化能力僅和Hessian譜有關嗎?
※深度可逆網路i-RevNet:信息丟棄不是泛化的必要條件
※大幅減少訓練迭代次數,提高泛化能力:IBM提出「新版Dropout」
※NeurIPS 2018提前看:可視化神經網路泛化能力
※專註於計算機視覺與機器學習,泛化智能獲千萬級Pre-A輪融資
※康奈爾大學提出使用隨機加權平均訓練神經網路,提高網路泛化性能
※學界|資訊理論視角下的深度學習簡述,形式化的泛化誤差分析
※你的模型剛不剛?谷歌提出「剛度」概念,探索神經網路泛化新視角
※量化深度強化學習演算法的泛化能力
※如何理解和評價機器學習中的表達能力、訓練難度和泛化性能
※層旋轉:超強的深度網路泛化評價標準?
※資訊理論視角下的深度學習簡述,形式化的泛化誤差分析
※谷歌大腦提出對抗正則化方法,改善自編碼器的泛化和表徵學習能力
※邱振中 l 藝術的泛化——從書法看中國藝術的一個重要特徵
※谷歌大腦提出對抗正則化方法,顯著改善自編碼器的泛化和表徵學習能力