從未被引用過的論文還算好論文嗎？
原文以The science that』s never been cited為標題
發布在2017年12月13日的《自然》新聞專題上
原文作者：Richard Van Noorden
《自然》調查了有多少論文一次都未被引用過。
2017年1月，91歲的遺傳學家、諾貝爾獎獲得者奧利弗·史密斯（Oliver Smithies）去世。他生前為人處事謙遜有加，一個典型的例子就是他曾毫不避諱地講述了自己最大的一次失敗：1953年發表了一篇關於測量滲透壓的論文，但是按他原話所說，「可能從來沒有被引用過」。
Se?or Salme插圖
在2014年於德國林道舉行的一次會議上，他對現場的學生說：「從未有人引用過這篇論文，也從未有人使用過文中介紹的方法。」
事實上，這篇論文受到的關注比他想像的要多：在發表後的十年內，共有9篇文章引用了它。不過，他的錯誤可以理解。許多科學家都對無引用的論文抱有錯誤的印象，無論是其對學術的影響範圍還是深度，都存在錯誤的認知。
1990年《科學》發表了一篇具有爭議的文章，裡面包含的一項預估被反覆廣泛地提及，即超過一半以上的學術論文在發表後的5年內一直無人引用。從事學術文獻大尺度格局研究的華盛頓大學信息科學家Jevin West表示，這個問題確實讓科學家們頭疼。畢竟，被引次數被廣泛視為衡量學術影響力的標準之一：它不僅表明論文有人看過，而且證明論文對後來的研究有用。研究人員擔心，大量論文無人引用意味著存在一堆無用或不相關的研究。「我記不清有多少人在飯桌上問我：『多少文獻從來沒被引用過？』」West說。
加拿大蒙特利爾大學的信息科學家Vincent Larivière表示，事實上，無人引用並不一定意味著無用。更重要的是，無人引用的論文其實沒有那麼多。
為了更準確地展示這些被遺忘在角落裡的論文的真實情況，《自然》求諸數據，調查究竟有多少論文確實無人引用。當然，由於引用資料庫不完整，要知道確切情況是不可能的。不過，至少就Web of Science（科睿唯安擁有的一個大型資料庫）收錄的約12,000種核心期刊而言，零引用論文並沒有大家所認為的那麼普遍。
Web of Science的數據顯示，可能一直無人引用的科學論文佔總量比例不到10%。而真正的數值可能更低，因為大量被該資料庫記為無引用的論文其實已在別的地方被某個人引用過。
不過，這並不一定意味著低質量研究不足為慮：成千上萬的期刊沒有被Web of Science收錄，科學家們用無意義的論文濫竽充數裝點簡歷，依然是一個切實存在的憂患。
告訴你大量研究論文無人問津的報告層出不窮，如果你為此感到沮喪落寞，那麼再看一下相關新數據，或許能讓你稍感安慰。進一步地研究未被引用的論文後可以發現，雖然它們被忽略了，但是也自有其用處，而且也被人讀過。「缺少引用不應該被解讀為論文無用或無價值。」科睿唯安的資深分析師David Pendlebury說。
無引用之謎
無引用論文泛濫的觀點要追溯至《科學》發表的兩篇文章——一篇發表於1990年，另一篇於1991年。1990年的論文報告稱，在1981年至1985年發表的論文中，55%在發表後的5年內從未被引用過。但是這種分析具有誤導性，主要因為他們將信件、勘誤、會議摘要和其它編輯材料計入出版物之列，而這類文件一般都不會被引用。如果剔除它們，而只保留研究論文和綜述文章，則無引用論文比例便急劇下降。如果將時間範圍擴大至5年之外，則該比例還會進一步下降。
2008年，Larivière與同事重新研究了Web of Science的數據，表明不僅無引用論文比例低於預期，而且該比例已經連續幾十年呈下降趨勢。《自然》請Larivière和印第安納大學布盧明頓分校的Cassidy Sugimoto一起為我們做進一步的詳細解讀。
新的數字（統計研究論文和綜述文章）表明，就大部分學科而言，零引用論文比例在論文發表後5-10年內趨於平穩，具體比例因學科而異（見「未被引用的論文」）。在2006年發表的全部生物醫學論文中，只有4%至今無人引用；化學學科的這一數字為8%，物理學科接近11%。（剔除自引論文後，這些比例會上升；在某些學科中，可能上升一半）。工程技術領域的未被引用比例為24%，比自然科學領域高出很多。Larivière認為這可能是因為這類報告的技術性質，它們解決的是具體問題，沒有為他人提供可以之為基礎不斷推進的研究。
來源：V. LARIVIERE & C. SUGIMOTO/WEB OF SCIENCE
就全部文獻而言，即Web of Science收錄的1900年至2015年底覆蓋所有學科的3900萬篇研究論文，其中有21%左右從未被引用過。毫不意外，大部分未被引用的論文發表於不知名的期刊；而知名期刊發表的所有論文幾乎都獲得了引用。
不完備的測算
這些數據只能反映部分情況。而要填補所有文獻的空白是一件不可能的事。
事實上，只檢查一小部分論文都非常有難度。曾有一篇論文提出了一個聽來荒謬的觀點：約10%的諾獎得主論文沒有被引用過。2012年，為了辨明真偽，布拉格查理大學的生物學家Petr Heneberg決定統計一下13名諾獎得主收錄在Web of Science中的論文。基於Web of Science得出的初步結果是接近1.6%。之後，Heneberg又在Google Scholar上檢查一遍，發現在這些未被引用的論文中，許多其實已被Web of Science所收錄的其它論文引用，但是由於論文中的數據錄入錯誤或拼寫錯誤而被遺漏。另外，在未被Web of Science收錄的期刊和書籍中，也有額外引用。Heneberg搜索了差不多20個小時後，決定到此為止，這時他得到的結果比最初數值又減小5倍——最終數字只有0.3%。
這類缺陷可以解釋為什麼無法知道從未被引用過的論文的真實數字：像Heneberg那樣手動檢查所有文獻，耗時不可想像。在實際測算中，這些缺陷對於不同學科的影響程度也不一樣。根據Web of Science的收錄數據，2006年發表的人文學科論文，有65%至今未被引用過。許多人文科學文獻無引用是事實，這在一定程度上是因為與自然科學相比，人文科學的新研究較少依賴於前人的研究成果。儘管如此，Web of Science仍沒有準確反映人文科學領域的趨勢，因為它忽略了許多該領域的期刊和書籍。
在進行國別比較時，也存在同樣的問題。據Web of Science顯示，中國、印度和俄羅斯科學家所寫的論文比歐美科學家的更有可能被忽視。Larivière表示，Web of Science沒有跟蹤許多地方性語言期刊，如果將它們也納入在內，則國別差距會縮小。
儘管難以獲得絕對數字，但是Web of Science無引用論文比例切切實實地呈現出下降趨勢。他說互聯網使尋找和引用相關論文變得容易多了。（論文開放獲取模式可能也在其中發揮了作用。）不過，他也提醒不要過度解讀這個趨勢。他與同事在2009年發表的一項研究中指出，無引用論文比例下降的原因是科學家們發表的論文體量擴大了，裡面引用的參考文獻增多了。在荷蘭萊登大學從事文獻計量學研究的Ludo Waltman表示同意，「我不會將這些數字解讀為越來越多的科研論文對後續研究有用。」
Waltman表示，許多論文只是勉強逃脫無引用的境地：Waltman和Larivière開展的獨立測算表明，Web of Science中只有1-2次引用的論文數量多於零引用論文。他說：「我們知道許多引用都是浮於表面的。」紐約市立大學巴魯克學院公共事務學院的健康經濟學家Dahlia Remler表示，這或許也標誌著研究人員相互引用，「互幫互助」。「即使是高引論文也有可能是研究人員之間的一種把戲，這對任何人都沒好處。」
並非百無一用
部分研究人員可能仍傾向於認為無引用的論文沒有價值。畢竟，如果它們真有價值，哪怕只是一絲一毫的價值，怎麼會沒有人引用呢？
有一定道理，但這不是絕對的。路易斯安那州立大學的植物學家Michael MacRoberts表示，對研究人員產生影響的論文遠遠超過他們實際引用的論文。2010年，MacRoberts發文談論論文引用分析的不足，並在文中引用了他自己1995年發表的一篇關於在德克薩斯州發現垂穗石松的論文。這是這篇論文第一次，也是唯一一次被引用，但是文中的信息已被收錄進植物圖集和大型在線資料庫；使用這些資料庫的人依賴這篇論文以及成千上萬類似的其它植物學報告。他說：「這些所謂的無引用論文的信息雖然沒有被引用，但是卻以其他形式得到利用。」
無人引用的論文其實仍有人讀。2010年，紐約市健康與心理衛生局的研究人員發表了一篇論文，其中使用軟體分析了基於唾液的HIV檢測的不足。更早幾年的時候，相關檢測試劑盒在診所中被叫停（雖然後來恢復了使用）。這項研究的作者希望利用這些診所做一個案例研究，了解是否可以在出現問題的時候，使用軟體分析試劑盒的效果。
無人問津的論文
漫長的等待
研究人員都希望自己的論文終有一天可以獲得引用，Albert Peck的例子正好告訴我們，不管多麼渺茫，希望一直都在。Peck於1926年發表了一篇論文，裡面表徵了玻璃的一種缺陷，但是直到2014年才第一次被引用。20世紀50年代，製造商掌握了如何製造出沒有這種缺陷的光滑玻璃，這篇論文也就變得多餘。但是到了2014年，劍橋大學的材料研究人員Kevin Knowles在研究如何利用這種缺陷漫反射光時，使用谷歌搜索背景材料，發現了這篇論文。現在，他已經在四篇文章里引用了Peck的論文。他說：「我喜歡在論文中引用被埋沒的文章。」
錯過時機
2016年，里斯本大學的博士生Francisco Pina-Martins發表了一篇有關解讀基因序列數據的論文，他很肯定這篇論文永遠也不會被引用，因為裡面提到的技術（由生物技術公司454 Life Sciences製造）已經過時，被淘汰了。其實他早在2012年就將他的數據分析軟體上傳到GitHub代碼共享網站了——已獲得少數幾篇論文的引用。但是，論文用了4年時間才被發表出來，他說主要原因是文中所談的是一個罕見問題，同行評審當初並不理解。
死胡同
許多無人引用的論文背後都有一個悲傷的故事。2010年，神經系統科學家Adriano Ceccarelli在PLoS ONE上發表了一篇關於黏菌的基因調控的論文。但是他沒能申請到經費做後續研究，這篇論文也從未被引用過。他說：「研究有時候就是這樣——辛苦了很久最後卻發現進了死胡同。從經費角度看，我的研究想法沒有價值。我現在就是教教書，等著退休了。如果明天天降經費，我還是會非常積極地去做這項研究的。」
他們的論文發表在PLoS ONE上，至今無人引用。但是，其中一名共同作者、現就職於杜克大學全球健康研究所的Joe Egger表示，這篇論文已經被瀏覽了1500多次，被下載了近500次。他說：「這篇論文的目的是改善公共衛生實踐，並不是真的要撼動一個科學領域。」
不過還有一些論文可能因為它們終結了無結果的研究方向而一直無人引用，英國卡迪夫大學的化學家Niklaas Buurma稱。2003年，Buurma與同事發表了一篇論文談論「等容爭議」，即阻止溶劑在反應期間收縮或膨脹（一般在溫度發生變化時出現）是否有用。理論上，這個具有技術挑戰性的實驗可能會揭示溶劑如何影響化學反應速率。但是，Buurma的測試表明化學家們不會從這類實驗中獲得任何新信息。「我們就是要證明有些事情不值得做——我們做到了，」他說，「這篇論文完全無法被引用，但是它讓我引以為豪。」
回到Oliver Smithies的故事，他在林道會議上說，儘管他認為自己1953年的那篇論文無人引用，但是仍知道它自有其價值。他告訴在場的觀眾，論文背後的工作幫助他獲得了博士學位，讓他成為了一名成熟的科學家。從本質上來說，它代表了未來諾獎得主的一個蛻變階段。「我樂在其中，」他說，「我學會了如何去做優秀的研究。」Smithies確實至少有一篇論文無人引用：他在1976的一篇論文里表明，有一個特別的免疫系統基因位於人類的15號染色體上。論文共同作者、哈佛醫學院遺傳學家Raju Kucherlapati表示，即便如此，在某些方面，它也具有重要意義。他說那篇論文標誌著自己與Smithies實驗室長期合作的開始，他們有關小鼠遺傳學的研究最終讓Smithies獲得了2007年的諾貝爾生理學或醫學獎。「對我而言，」Kucherlapati說，「那篇論文的重要意義在於它讓我認識了Oliver。」
TAG:Nature自然科研 |