機器學習的最新研究成果很少轉化成商業產品，是真的嗎？

雷鋒網 AI 科技評論按：我們都知道最新的科研成果和實際商業應用中使用的技術會有一定的距離。一面是高複雜度、特定（較簡單一致）的輸入和直接量化的性能指標，另一面是資源成本的限制、為各種各樣情況考慮預案，以及評價標準要變成更高階、更綜合性的用戶滿意度、營收等等。

所以實際上，即便整個計算機科學界、互聯網商業中大家一直對 AI 抱有熱情，我們能看到的使用了機器學習的商業化產品也並不多，高度集中在圖像處理、文本翻譯和語音識別幾類任務中，具體使用的演算法也往往並不是學術界內認為先進的演算法。

有網友觀察到了這樣的現象，在 Hacker News 的問答板塊提問道：「學術界一直在不停地做出新的科研進展，但是工業界好像並沒有選擇使用這些新鮮成果，包括膠囊網路或者自動網路搜索方面的成果。所以說前沿的科學技術研究和技術商業化之間就是註定有深深的鴻溝嗎？這些新研究出的模型都沒有什麼可能快速商業化、變成產品嗎？」

曾在斯坦福大學與 UC 伯克利大學學習計算機科學、在谷歌大腦團隊實習，如今身為全棧開發工程師 Denny Britz 給出了一些自己的想法：

1. 大多數科研成果帶來的提升比較有限，而新的技術要有能力帶來足夠大的提升才會被產業界吸收。99.9% 的科研論文提出的技術都是帶來優化指標（評價指標，比如準確率、ROC AUC、BLEU 分數等等）的小幅提升。然而表現提升的同時一般都伴隨著計算複雜度的提升、更高的訓練成本、更低的模型穩定性、代碼可維護性的挑戰等等。對於谷歌廣告詞搜索、谷歌翻譯之外的絕大多數企業的業務來說，只為了把某項優化指標的數字提升一點點就增加許多成本是根本划不來的。使用一個現成的、經過時間考驗的簡單、成熟、穩定的模型要好得多，訓練很快、維護簡單。即便它們的跑分會低 1%。

2. 學術研究一般都關心的是如何改進模型，那麼在研究中就不可以改變訓練/測試數據。對於科研來說這是理所當然的，畢竟在同樣的數據上跑出來的結果才有可比性。但是在真實世界中，你可以自由地收集更多的訓練數據、清理數據、選擇更有針對性的驗證和測試數據，等等。在大多數情況下，有更準確的、更多的數據、更乾淨的數據，都要比換一個更強的模型效果更好。而且處理數據的事情也更好做，更有跡可循。所以對於產業界來說，他們把精力花在數據上通常更合適。

3. 科研論文里使用的優化指標沒有什麼能直接遷移到真實世界的商業指標中的，而且同時有很多科研中的想法會過擬合到這些指標和/或數據集上。比如，研究機器翻譯的論文都會優化一個叫做「BLEU 分數」的指標，但是真實的翻譯應用中需要考慮的用戶滿意度和「用戶評分分數」。這可就是學術科研很難優化的了。類似地，商業產品並不能直接把「ImageNet 圖像分類準確率」拿出來賣，不僅模型在應用場景中面對的圖像會與 ImageNet 數據集不同，用戶滿意度也並不直接對等於識別準確率。科研論文會關心特定數據集上的特定指標（因為論文就是這樣評審的），但是一個模型在這個數據集上的這個指標表現好，不一定它在別的數據集、別的指標也有好的表現（即便數據集和指標可能是類似的）。實際上，即便是含有已知的錯誤的數據集也會在科研研究中一直用下去，因為不同的技術以前就是在這些數據集上比較的（雷鋒網 AI 科技評論有篇舊文解析過 ImageNet 中錯誤分類的圖像）。而商業應用里就不會發生這樣的事情。

對於這個問題，你認同提問者的觀察嗎？你對這樣的現象有別的見解嗎？歡迎留言與我們討論。

via news.ycombinator.com，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！