基於斯坦福CS231n課程的學習經驗與實戰技巧|分享總結

雷鋒網AI研習社按：斯坦福大學的CS231n主要介紹卷積神經網路相關的深度學習知識，課程從演算法的公式到實踐進行了全面的介紹。基於該課程的三場實戰分享直播課近期在AI研習社上線。

在雷鋒網的AI研習社直播課上，張智偉，李振，陳閩川三位老師分別為大家帶來了使用TensorFlow實現DQN實戰、深入講解圖像分類和網路優化以及AI視覺晶元共三場乾貨滿滿的直播。該課程結合CS231n課程同時將課程內容與應用領域連接起來，讓大家可以真正的學會如何應用深度學習。

以下是嘉賓分享內容：

本次分享的內容主要集中在CS231n第十四課——Deep Reinforcement Learning。首先回顧深度學習的幾大分支。

什麼是強化學習？強化學習是機器學習中的一個領域，強調如何基於環境而行動，以取得最大化的預期利益。強化學習有兩個主體，agent和environment，每個時間節點，agent會輸出一個action並傳送個環境，環境會產生下一個狀態以及產生一個獎勵並輸入agent，從而構成閉合的循環。

用數學來描述這個過程就是馬爾可夫決策過程（MDP），馬爾可夫決策過程(Markov Decision Process, MDP)也具有馬爾可夫性，與上面不同的是MDP考慮了動作，即系統下個狀態不僅和當前的狀態有關，也和當前採取的動作有關。MDP實際上是一個五元組，由五個元素組成。

什麼是Q-Learning？Q為動作效用函數（action-utility function），用於評價在特定狀態下採取某個動作的優劣，可以將之理解為智能體（Agent）的大腦。Q-Learning的核心是貝爾曼方程，它給我們的啟示是我們可以用下一時刻的最佳Q值函數表示當前的最佳Q值函數。這樣就可以迭代的求貝爾曼方程。

在深度學習的背景下，我們可以用神經網路擬合出最佳Q函數。有了神經網路該如何優化它的函數呢？還是要用到貝爾曼方程。

接下來給大家解讀一下DQN演算法，主要分為六個部分，對我們比較有用的包含在第二部分和第四部分。

這篇論文我總結了有三個亮點。一是replay memory，二是訓練網路與計算標籤的網路分離，三是網路結構。

介紹完三個亮點，我們再來看一下演算法流程。

講了論文，我們開始自己使用TensorFlow來實現一個神經網路。主要用的庫包括TensorFlow、numpy（數組）、pil（基礎圖像操作）、gym（openai開源的庫）、random。

最後把代碼鏈接發給大家，如有疑問可以看源碼：https://github.com/BigJerry/TooNaive/blob/master/DQN/DQN.py

首先還是普及一下深度學習的基本概念，然後再給大家介紹一下我今天分享的思路，並介紹一些我個人的關於應用的意見。

接下來給大家分享一下我個人對圖像分類的一些理解與思路。

首先是任務分析，任務分析主要包括任務的基本情況和數據的基本情況。

確定好任務之後是選擇合適的網路，這裡我建議大家可以選擇已經被驗證的比較好的網路，不要急著寫自己的網路。網路選完接著就是平台選擇，個人建議還是選一些比較容易入手，用的人比較多，資源又豐富的平台。

選定平台後就可以進行預訓練，準備資料庫。然後就是比較關鍵的內容即網路的訓練、測試與優化，這些內容我跟大家分享一下我個人的技巧。

上面介紹的網路優化中我還想分享一些其他的技巧。我們應優先解決影響最大的問題，即從錯誤樣本里抽取一定數量的樣本並進行分類，先解決最容易糾正的。我們還可以用表格記錄嘗試的的情況。

這些就是我今天全部的分享。

首先我介紹一下自己的學習經歷，我碩士畢業之後主要從事晶元的電子設計自動化的工作，主要負責晶元的物理設計，包括晶元的布局布線，還有晶元的自動化流程的開發。這些經歷對我進入AI行業有一定幫助。

之後我學習過一些斯坦福公開課比如CS231n，吳恩達的機器學習，以及Coursera的並行計算編程等。我自己也看了一些書，比如周志華的機器學習等。我這次主要想分享一些我轉行的經歷，以及我的一些觀點和視角。

首先我想從畢加索的畫說起。

畢加索作為二十世紀最傑出的畫家之一，他曾經說過一句話「我畫的不是事物的表象，而是不能用肉眼看出的本質」。介紹畢加索和CS231n有什麼關係呢？我覺得畢加索的畫風類似於深度學習的特徵提取。

他從事物的線條逐漸抽象不斷提取特徵十分類似卷積神經網路中圖像識別、圖像理解的過程。

接下來我想介紹一下分割遷移，我覺得學習應該以興趣為導向，我剛開始接觸深度學習的時候對風格遷移非常感興趣。圖片的風格遷移的例子如下。

風格遷移的思路是用深度學習學到的特徵中的統計信息（分布）描述圖像風格。在卷積網路中使用不同的層來提取不同的特徵。

自己動手試一下實現風格遷移可以更加感覺到學習的趣味。接下來，我介紹一下經典的神經網路的框架結構。主要包括LeNet、ResNet等。

下面我們主要介紹一下深度學習對晶元行業的影響，目前比較火熱的商業場景包括消費電子、安防監控、自動駕駛汽車和雲計算。現在比較大的的晶元公司如下。

最後我也希望國內在這波AI浪潮中可以出現世界級的晶元公司。在此引用一段谷歌研究員吳軍的話：「一百多年來，總有一些公司很幸運的、有意識或無意識的站在技術革命的浪尖之上。對於一個弄潮的年輕人來說，最幸運的，莫過於趕上一波大潮。」

雷鋒網認為目前AI發展正處於鼎盛時期，三位老師都從實踐的角度向大家展示了CS231n涉及的內容。希望我們的課程可以給大家一些啟發。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！