谷歌 Dropout 專利生效，AI 圈內人表示坐不住了

雷鋒網 AI 科技評論按：今天，谷歌的 Dropout 專利生效這一消息突然在圈內傳開，而生效日期就在 6 月 25 日，有效期 15 年。三年前，谷歌就給 Dropout 申請了專利，但因為此舉引發了業界眾多異議，最最後無疾而終。只是令人沒想到時隔三年，這一專利申請竟然生效了。雷鋒網 AI 科技評論將這一事件整理報道如下。

但凡是接觸過機器學習的人士，一定知道 Dropout。它是在進行深度學習、訓練神經網路時，普遍會用到的方法，也是調參的一種手段，可以有效防止過擬合。由 Hinton 在 2012 年的論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出。

而在隨後 Alex 和 Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》中，則用 Dropout 演算法來防止過擬合。論文中的 AlexNet 網路模型瞬間引爆神經網路應用熱潮，並贏得了 2012 年圖像識別大賽冠軍，使得 CNN 成為圖像分類上的核心演算法模型。

而 Dropout 在這裡面，就起到了訓練深度神經網路的一種 trick 供選擇這一重要作用。簡單來講：在前向傳播過程中，Dropout 讓某個神經元的激活值以一定的概率 p 停止工作，通過取各種網路的平均來提升模型的穩定性，從而有效的緩解過擬合現象，並在一定程度上達到正則化的效果。

而且對於機器學習來說，一旦模型過擬合，那麼該模型幾乎不能用。因此，這一方法在很早的時候，就被廣泛的運用在機器學習領域中。

Dropout 申請專利

在谷歌申請專利的介紹中，他們把 Dropout 稱為——《解決神經網路過擬合的系統與方法》。我們可以在 Google Patents （https://patents.google.com/patent/US9406017B2/en）上看到這項技術的專利詳情頁面。

通過摘要，我們大致可以了解到關於 Dropout 的這幾點：

• Dropout 是一個用來訓練神經網路的系統；

• 其中網路某些層上的特徵檢測器都連著一個開關；

• 在每個訓練場景下，這些開關會隨機關閉部分特徵檢測器；

• 而這些訓練場景下的權重會被歸一化，最終將神經網路應用在測試集上。

從圖中右上角，我們可以看到該技術發明者包括：Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva；而目前的專利權受讓人（Current Assignee）是谷歌。

綜上所述，當 Dropout 這一普遍且通用的方法成為了專利，雖然它非常簡單，但此舉就好比加法成為了個人專利，這勢必會為整個行業帶來大的擾動。

這一方法在將來的使用中，是否存在法律風險？谷歌會對該專利作出怎樣的限制？這些限制將給學術研究與合作帶來怎樣的結果？對於國內外的相關企業又有什麼影響？......這些問題不免引起大家的關注與思考。

消息發出後，reddit 上就針對這件事進行了熱烈的討論：

其中討論得最多的問題就是——以後我們是否還能夠自由使用 Dropout？

針對這一問題，有人認為谷歌不會強制執行專利許可，就像他們之前的「使用深度神經網路處理圖像」專利一樣，也沒有強制執行；

也有人持有相反的態度，並且將關注點落在了企業層面，認為這一專利申請，勢必會影響一大部分年輕的機器學習公司。因為谷歌可以對其專利代碼被使用，隨時提出訴訟，而對公司造成消極影響；

還有持辯證態度的群眾，他總結到這個事情的影響視個人情況而定。如果你是機器學習相關的公司負責人，這件事的就會對公司利益造成損害；如果你與谷歌有利益糾紛，走法律程序前三思，因為你很可能會被谷歌公司以專利侵權返告；但如果你是谷歌的專利律師，那恭喜，估計世界上也沒有能難到你的案件了！

知乎上，一位知友也發表了自己的看法——

還有網友表示我們不應該指責谷歌，應該指責專利制度；正如有句話所說「不要怪玩家，要怪就怪制定遊戲規則的人。」不過，在事情還沒有任何定論之前，我們也只能持觀望態度，畢竟專利設置之初，其本意是用來鼓勵和保護髮明創造的，從過去的一些專利申請來看，它確實也起到了相應的作用，也維護了很多發明者自身的利益。

當然，我們也希望如大部分樂觀網友所說，谷歌的行為只是單純為了維護自身利益；而 Dropout 專利申請生效事件，也不會為學術圈乃至整個行業帶來任何消極影響。

參考文獻：

《深度學習中 Dropout 原理解析》.Microstrong0305（小強）

https://blog.csdn.net/program_developer/article/details/80737724?utm_source=copy

雷鋒網 AI 科技評論

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！