田淵棟教你讀paper的正確姿勢
作者:田淵棟
Facebook|人工智慧研究所
量子位 已獲授權編輯發布
轉載請聯繫原作者
作為入行數年的專業科研從業者,你每周看幾篇論文?
這是一個知乎上的問題。作為卡耐基梅隆大學機器人系的畢業生、Facebook人工智慧研究室(FAIR)的研究人員,田淵棟給出了下面這個回答。
盲目追求論文數量無意義,知道怎麼讀更重要。
背景:人工智慧,強化學習
追求數目沒有意義。讀文章一般兩個目的:
1. 看大家在做什麼,找方向。
這時候一般讀讀Abstract和Introduction,對領域有初步了解,知道它主要關於什麼,搞清一些概念的含義和聯繫。這時候不懂沒關係,多看幾篇文章就懂了。一般聰明的人這一步可以做得很快。
2. 搞清細節
找一個自己感興趣的方向精讀,把裡面的課題思路和推理細節搞明白,並且還要順藤摸瓜找到其它大量的相關文獻繼續讀下去。標準是在腦里能有對這個領域有清楚的脈絡,能做到獨立完成大部分推導和證明。
一個靠譜的檢查方法是給同組的人或者導師做個講座,看他們能聽懂不。很多時候自己以為懂了,其實和別人一說馬上就露出馬腳。同時討論也可以激發新思路,說不定就能找到下一篇文章的出發點。這一步往往會花費一個科研人員大量時間,也是業餘和職業科研的關鍵區別所在。
總之分配給每篇文章的時間天差地別。爛文幾秒鐘就可以放棄,而經典文章還需要每過一陣子回頭再去看一看想一想。至於如何評判文章質量,那就得要靠長年科研積累出來的品味了。
接下來的兩個階段就不是光看論文可以看出來的。
3. 寫代碼實現別人的工作,並且改進
每篇文章都會有意或者無意抬高自己貶低別人,都存在一些有意或者無意隱藏的細節,這些不親手做是看不到的。所以得要動手花時間去實現別人的方法,想方設法達到別人的效果,然後反過來再看看文章。
時間長了馬上就會學到故意隱藏的蛛絲馬跡,理解別人留白的道理。光看文章的話,這類經驗的積累要慢很多。一般說的「紙上談兵」就是指這一步沒做。
我在15年1月剛去Facebook AI Research的時候,在深度學習上還沒有實際操作經驗。交給我的第一件事情是復現VGG在ImageNet上的性能,那時還沒有BatchNorm,跑5個有2個能開始收斂的就不錯了,最後花了幾周搞定了。整個過程讓我學到不少經驗。
4. 總結經驗,融會貫通,找到並且遵循自己的方法論
重複3很多次之後,可能會覺得自己比較有經驗了。別人問起的時候也能侃侃而談,但說的往往是一些分散且孤立的經驗。並且你會發現自己很容易遺忘這些經驗,這個並不是因為記憶力不好,而是因為思路不系統。
這個就需要反覆思考反覆提煉,從而形成自己的方法論。有了方法論之後,心裡就有大方向而不會隨便亂試亂撞,效率就會高很多,並且能在一個科研方向上挖很深堅持很久,而不是哪個課題熱做哪個。在指導別人的時候也可以做到有的放矢。
在這個基礎上再看文獻,往往就會讀懂很多一開始讀不懂的東西。比如說為什麼作者要強調A而否認B,那是因為他相信A後面的哲學和方法論。
如果你發現自己提煉不了,或者本來知識就是凌亂的,那麼要麼就是(1)境界未到,要麼就是(2)領域還沒有成熟,目前的知識點只是零碎的拼湊。(1)要靠自己練,(2)則預示著大機遇,一個研究者牛不牛就看他是不是可以在別人都放棄的地方找到新的規律。
一般完成1是新聞及科普的水平,2到3是博士生低年級至高年級的水平,精通3到初入4是博後的水平,精通4則是研究員和教授的水準。
另外,從1到4並沒有特別固定的順序,可能你在某個領域是4,另一個領域還只是1或2的程度;或者你在4中獲得的經驗能反過來幫助1和2(這個很常見);或者一上來就可以跳過2做3,然後等3有了結果之後再去補2,等等。當然,一步跳到4那是民科的水平。
點擊展開全文
※可怕!斯坦福AI看臉即知性取向,國外媒體和網友都炸了
※還有什麼能擋住人工智慧的監視?戴上帽子蒙住臉,AI一樣能認出你
※Google正在北京組建AI團隊
※跨界時尚圈、代言奢侈品的斯坦福AI研究僧,是一個怎樣的小哥哥?
※谷歌與Verily發布新研究,可通過視網膜圖像用AI檢測心臟病
TAG:量子位 |