2019 最新實戰!給程序員的 7 節深度學習必修課,最好還會 Python!
整理 | 琥珀
出品 | AI科技大本營
從 2017 年開始,fast.ai 創始人、數據科學家 Jeremy Howard 以每年一迭代的方式更新「針對編程者的深度學習課程」(Practical Deep Learning For Coders)。這場免費的課程可以教大家如何搭建最前沿的模型、了解深度學習的基礎知識。直到今年已經是第三個年頭了。
1 月 24 日,fast.ai 上線 2019 版深度學習新課程。據介紹,該課程 100% 全新,包括以前從未涵蓋過的深度學習入門課程,甚至其中某些技術成果還尚未發表學術論文。
如以往一樣,Jeremy Howard 公開了本次課程將涵蓋的所有細節內容。他表示,本次課程共有七節,每節課大約 2 小時,當然,預計完成課後作業的時間將有 10 小時。
課程將涉及的應用案例
本次課程設計關鍵應用包括:
計算機視覺(例如按品種分類寵物照片)
圖像分類
圖像定位(分割和激活圖)
圖像關鍵點
NLP(如電影評論情緒分析)
語言建模
文檔分類
表格數據(如銷售預測)
分類數據
連續數據
協作過濾(如電影推薦)
課程涵蓋的基礎
課程鏈接傳送:https://course.fast.ai
目標人群:至少有一年的編程經驗,且最好是 Python,fast.ai 還提供了Python 相關的學習資源
第 1 課:圖像分類
該系列課程第一課,是訓練一個能以最高精準度識別寵物品種的圖像分類器。其中,遷移學習的使用時本次課程的基礎。我們將了解如何分析模型,以了解其失效模型,或許還能發現,模型出錯的地方與育種專家犯了相同的錯誤。
訓練和分析寵物品種分類器
我們將討論課程的整體方法,這與先理論再實際應用的方式不同,課程旨在先進行實際應用再深入研究。
我們還將討論如何在訓練神經網路時設置最重要的超參數:學習率(這主要基於 Leslie Smith 的 learning rate finder)。最後,還會介紹「標籤」的問題,並了解 fast.ai 所提供的功能,如可以輕鬆將標籤添加到圖像中。
第 2 課:數據清洗與構建;梯度下降法(SGD)
本節課程將學習如何使用自己的數據構建圖像分類模型,主要包括以下幾方面:
圖像收集
並行下載
創建驗證集
數據清洗,通過模型找到數據問題
如下圖所示,我們可以創建一個可區分泰迪熊和灰熊任務的模型。
將模型投入生產
課程後半部分,將完整訓練一個較為簡單的模型,同時創建一個梯度下降循環。(註:在此過程中,將學習到很多新的術語,所以請確保做好筆記,因為在整個課程中都會引用這個新術語。)
第3課:數據塊;多標籤分類;分割
本節課開始將主要研究一個有趣的數據集,叫做 「Planet』s Understanding the Amazon from Space」。為了將這些數據轉化為模型需要的形式,將使用 fast.ai 工具之一的數據塊 API。
Planet 數據集的一個重要特徵是,它是一個多標籤數據集。也就是說,每個Planet 圖像可包含多個標籤,而之前看過的數據集,每個圖像只有一個標籤。此外,可能還需要對多標籤數據集進行修改。
圖像分割模型的結果
接下來的圖像分割,是一個標記圖像中每個像素的過程,其中一個類別顯示該像素描繪的對象類型。將使用與早期圖像分類類似的技術,所以不需要太多調整。
本課程中還會使用到 CamVid 數據集,該模型誤差遠低於在學術文獻中找到的任何模型。
假設:如果你的因變數是連續值而不是類別怎麼辦?我們將重點回答這個問題,查看關鍵點數據集,並構建一個精準預測面部關鍵點的模型。
第 4 課:NLP;表格數據;協同過濾;嵌入(Embeddings)
使用 IMDb 電影評論數據集深入研究自然語言處理(NLP)。在這項任務中,目標是預測電影評論是積極的還是消極的,這稱為「情緒分析」。此前,在 fast.ai 2018 課程里提到的 ULMFit 演算法,對 NLP 的發展起著重要作用。紐約時報曾報道:「新系統開始瓦解自然語言的代碼。」ULMFiT 被認為是當今最準確的情緒分析演算法。
基本步驟如下:
(首選)創建(或下載預訓練的)語言模型,該模型在大型語料庫(如維基百科)上訓練。(「語言模型」指的是學習預測句子下一個單詞的任意一種模型。)
使用目標語料庫(案例為 IMDb 電影評論)微調該語言模型。
在微調語言模型中刪除編碼器,並用分類器進行替換。然後對微調該模型以完成最終分類任務(情緒分類)。
在學習 NLP 的過程中,我們將通過覆蓋表格數據(如電子表格和資料庫表格)以及協作過濾(推薦系統)來完成使用的編碼器深度學習的實際應用。
對於表格數據,我們還將看到如何使用分類變數和連續變數,以及如何使用 fast.ai. tabular 模塊來設置和訓練模型。
在課程中期,我們主要研究了如何在每個關鍵應用領域中構建和解釋模型,包括:計算機視覺、NLP、表格數據、協同過濾等。
在課程的後半部分,我們將了解這些模型如何真正起作用、如何從頭開始創建的過程,會涉及以下幾部分:
激活
參數
圖層(仿射和非線性)
損失函數
第 5 課:反向傳播;加速SGD;構建神經網路
本節課程中,將所有的訓練融合在一起,以便討論反向傳播時準確理解發生了什麼,並利用這些只是從頭構建一個簡單的神經網路。
在這個過程中,可以看到嵌入層的權重,以找出模型從分類變數的中學到了什麼。
儘管嵌入在 NLP 的單詞嵌入環境中最廣為人知,但它們對一般的分類變數也同樣重要,例如表格數據或協同過濾。它們甚至可以與非神經模型一起使用並取得巨大成功。
第 6 課:正規化;卷積;數據倫理
本節課主要討論一些改進訓練和避免過度擬合的技術:
Dopout:在訓練期間隨機刪除激活,使模型正規化
數據增強:在訓練期間修改模型輸入,以便有效增加數據大小
批量標準化:調整模型的參數化,使損失表面更加平滑
單個圖像的數據增強示例
接下來,我們將學習有關卷積的所有內容,卷積可被視為矩陣乘法的一種變體,也是現代計算機視覺模型的核心操作基礎。
我們將創建一個類激活圖。這是一個熱圖,顯示圖像的哪些部分在進行與測試時最重要。
卷積如何運作
最後,我們還將提到:數據倫理。同學們將了解到模型出錯的一些方法,尤其是反饋循環,其原因以及如何避免這些問題。我們還將研究數據偏差可能導致偏向演算法的方式,並討論數據科學家可以而且應該提出的問題,以確保他們的工作不會導致意外的負面結果。
美國司法系統中演算法偏差的例子
第 7 課:構建 ResNet、U-Net;生成對抗網路
在最後一講中,我們將研究現代架構中最重要的技術之一:跳躍連接(skip connection)。跳躍連接是 ResNet 最重要的應用,其主要在課程中用於圖像分類,同樣它還是很多前沿成果的基石。
我們還將研究 U-Net 架構,使用不同類型的跳躍連接極大改善了分段結果。
ResNet跳躍連接對損失表面的影響
然後,使用 U-Net 架構來訓練超解析度模型。這是一種可以提高低質量圖像解析度的模型,該模型不僅會提高解析度,還會刪除 jpeg 圖片上偽跡和文本水印。
為了使我們的模型產生高質量的結果,需要創建一個自定義損失函數,其中包含特徵損失(也稱為感知損失)以及 gram 損失。這些技術可用於許多其他類型的 圖像生成模型,例如圖像著色。
使用特徵損失和 gram 損失的超解析度結果
我們將了解到一種稱為生成性對抗性損失(用於生成性對抗性網路 GAN)的損失函數,可以在某些情況下以犧牲速度為代價來提高生成模型的質量。
例如,上文提到的還未發表的一些論文中所涉及的應用:
利用遷移學習,更快更可靠地訓練 GAN
將架構創新和損失函數方法以前所未有的方式進行結合
結果令人驚嘆,只需要幾個短短几小時便可進行訓練(與以前需要幾天的方法相比)。
一個循環神經網路
最後,我們還將學到如何從頭開始創建遞歸神經網路(RNN)。實際上,RNN 不僅是整套課程中 NLP 應用的基礎模型,還被證明是規則的多層神經網路的一個簡單重構。
課前須知:
1、Google Cloud 和微軟 Azure 作為贊助方,已將課程所需的全部功能集成到基於 GPU 的平台上,並且提供「一鍵式」平台服務,如 Crestle 和Gradient 服務。
2、完成第一堂課後,學生可以在自己的數據上訓練圖像分類模型。整個上半部分重點是實用技術,僅展示在實踐中用到的技術相關理論知識;課程的後半部分,將深入研究理論。直到最後一節課,將學習構建和訓練一個 Resnet 的神經網路,以求接近最佳準確性。
3、 課程使用 PyTorch 庫進行教學,可更輕鬆訪問推薦的深度學習模型最佳實踐,同時也可以直接使用所有底層的 PyTorch 功能。
4、學習內容同樣適用於 TensorFlow/keras、CNTK、MXnet 或者任何其他深度學習庫的任何任務。
5、電腦需要連接到安裝了 fast.ai 庫的雲 GPU 供應商服務,或設置一個適合自己的 GPU。同時,還需要了解運行深度學習訓練的 Jupyter Notebook 環境的基礎知識。
6、課程筆記本提供了新的互動式 GUI,用於使用模型查找和修復錯誤標記或錯誤收集的圖像。
7、(強烈)建議學院參加該課程的在線社區。
【完】
熱 文推 薦
※BAT 七年經驗,卻抵不過外企面試的兩道演算法題?
※不止操作系統,智能手機才更需要開源!
TAG:CSDN |