當前位置:
首頁 > 知識 > 學術雜誌的評價標準到底是什麼?

學術雜誌的評價標準到底是什麼?

1964年,加菲爾德的「科學情報研究所」首次出版SCI報告,此後逐年出版,延續至今,深刻地影響了全球學術生態。加菲爾德本人也從中獲得了驚人的財富。(資料圖/圖)

(本文首發於2017年6月22日《南方周末》,原標題為《反抗「影響因子」的時刻來臨了嗎?》)

如今世人但凡說到《自然》《科學》《柳葉刀》等雜誌,必譽之為「國際頂級科學期刊」。理由只有一條——就是它們的「影響因子」高。雖然《自然》雜誌多年來在「影響因子」遊戲中大獲其利,如今卻多次刊登文章,號召「反叛影響因子暴政」,這其中到底有什麼玄機?

2017年2月25日,筆者在上海「文匯講堂」作了題為《我們不能再跪拜影響因子了!》的學術報告,不料次日就傳來「影響因子之父」加菲爾德(Eugene Garfield,1925~2017)去世的消息。有朋友戲言老先生是被筆者的文章氣死的,這當然是玩笑話,有失恭敬。事實上,隨著對有關歷史事件及背景的研究逐漸深入,以及近來國際期刊江湖的風雲變幻,筆者對加菲爾德的「批判性欣賞」正與日俱增。

影響因子之一統江湖

本來,辦學術雜誌的目的,是幫助學者之間進行學術交流;辦普及雜誌的目的,是將科學家研究的新成果以相對通俗的形式介紹給更多讀者。這就是辦雜誌最原初的動機,也可以謂之「初心」吧。至於一本雜誌的優劣好壞,當然是看雜誌上刊登的文章本身水準高不高,讀者口碑好不好,這樣的標準,數百年來也已成天經地義。

但是這一切,從1975年開始,逐漸被顛覆了。近十年來,西方科學雜誌的江湖更是進入了全新時代,辦雜誌的「初心」,早已被許多雜誌徹底拋棄。

為什麼是1975年?因為這一年加菲爾德的私人商業公司「科學情報研究所」(Institute for Scientific Information,ISI)開始逐年出版「期刊引證報告」(Journal Citation Report,即JCR報告)。

出版這種報告,是為了發起一項名為「影響因子」(Impact Factor)的遊戲。

此前加菲爾德向世人兜售他的SCI(Science Citation Index)數據已經10年了。SCI收錄一定範圍的期刊(數量逐年增長,現今已達8856種),通過在期刊論文和論文參考文獻之間建立「引用索引」,可檢索學者的SCI論文發表數量和被引用次數。在理工領域,對學者學術水平的評判,現今主要取決於這類數據。

1964年,「科學情報研究所」(ISI)首次出版SCI報告,此後逐年出版,延續至今。ISI在1973、1978年相繼推出的「社會科學引用索引報告」(SSCI)和「藝術及人文科學引用索引報告」(A&HCI),完全套用了SCI的產品思路和模式。JCR報告則是SCI的衍生產品,它是基於對SCI(後來包括SSCI、A&HCI)「引用索引」數據進行整合處理後得到的結果,每年全球SCI期刊的「影響因子」排名就在該報告中。這個排名遂成為科學界評判期刊優劣的權威指標。

影響因子遊戲,徹底改變了世人對學術雜誌的評價標準——現在,一份雜誌的優劣,不再取決於它刊登的文章本身的水準,而是取決於它刊登的文章被別人引用的次數。

四十多年影響因子遊戲玩下來,許多雜誌已經主動或被迫忘記了「初心」——人們不再是為了交流學術或傳播知識而辦雜誌了,現在他們只是為了「影響因子」而辦雜誌,只是為了每年JCR報告中的那個排名而辦雜誌了。

四十多年後,影響因子遊戲早已風靡全球,加菲爾德本人則在世人的頂禮膜拜和一片讚譽聲中,在他的SCI數據和JCR報告以及其他信息產品所帶來的驚人財富中,悠然駕鶴西去了。在他身後留下的,卻是被影響因子遊戲極度惡化了的全球學術生態。


江湖遊戲之黑水深潭

筆者近年每談及影響因子,必稱之為「遊戲」,這不是故意要對它出語輕薄。要知道,發起任何「排名」遊戲,都是極富江湖色彩的行為(舊社會黃色小報發起「花榜」就是典型例證),而影響因子遊戲,當時就是一個無名之輩發起的對全球科學期刊的排名遊戲,這是何等的視野和氣度?當真是「兒撫一世豪傑」!

還在加菲爾德正式發起影響因子遊戲的前夜,他的多年老友、著名科學社會學家默頓在1973年出版的經典論著《科學社會學》中,就犀利而又極富先見之明地表達了對這個已經預熱數年的遊戲的擔憂:

自從科學引證索引(SCI)發明以來,引證研究已獲得了如此迅速的發展,以至於有失控的危險。在對其經常的無批判的應用中,人們忽視了許多方法論問題。此外,SCI的存在和日益增加的大量引證分析(甚至用於幫助決定科學家的任命和擢升這類事情),有可能導致……它們作為研究質量的衡量標準將受到損害或完全失去效力。

默頓擔憂的情形如今早已全部變成現實,SCI和影響因子已經本末倒置,從輔助評判手段變成了學者極力追求的目標。

至於這個遊戲本身在規則方面的一些問題,學界從它發起之初就一直質疑不斷。這裡我們只需注意兩個最主要的操弄影響因子的手法,以見此江湖遊戲黑水深潭之一斑即可。這兩個手法,筆者在《上海交通大學學報》2016年第2期、2017年第4期的論文中,分別做了剖析,可以簡單歸納如下:

第一個手法,是利用影響因子計算公式——這個公式幾經修改別有玄機——中所暗藏的方便之門。這個公式的最終形式是:

國內許多人士,甚至包括專業人士,普遍忽略了這個公式中,分子中的「源刊文本」是指期刊上的所有文章,而分母中的「引用項」僅指學術文本。所以只要將期刊「兩棲化」,即刊登大量大眾文本吸引更多讀者,同時大幅減少學術文本,這樣影響因子計算公式中的分母就會很小,影響因子值就會很大。

第二個手法比較簡單,就是辦綜述期刊,或在期刊上盡量多刊登綜述文章。因為人們很早就發現,綜述(review)文章天然具有高引用優勢。

放眼當今全球影響因子遊戲的頂級玩家,排名前20的期刊,一半主打第一個手法,著名的《自然》《科學》《柳葉刀》都是如此;另一半則主打第二個手法,例如在2017年6月新鮮出爐的最新一輪影響因子排名中,前20家期刊中就有9家是綜述期刊。這兩種手法堪稱平分秋色。

影響因子的江湖遊戲,在白手起家的英雄「幫主」加菲爾德主持下,很快進入有序而穩定的階段。大家努力爭取讓自己的雜誌進入SCI,爭取讓自己的影響因子排名往上升,而影響因子的頂級玩家們則長期盤踞在前20名的虎皮交椅上。

全球8856種SCI期刊的影響因子排名當然是金字塔型的,對大批期刊來說,能將影響因子搞到2或3,就要彈冠相慶了;上一輪排名中,有一家中國的英文期刊影響因子達到了14.8,那在國內就牛得不行了。而盤踞在虎皮交椅上的頂級玩家,影響因子值都在30以上,比如最新一輪的排名中,《自然》是40.1、《科學》是37.2、《柳葉刀》是47.8,而那份長踞榜首的「頂級神刊」《臨床醫師癌症雜誌》,這次更創造了影響因子遊戲史無前例的新高度——187!

群雄並起之三大叛軍

這樣一個格局長期穩定,又能「有序競爭」的江湖,本來似乎也還不算太黑暗。幫主加菲爾德則成了「把情報王國建立在腳註上的大富翁」,非但坐享滾滾財源,還有「科學計量學家」的學術名聲,以及科學界圈子中人的頂禮膜拜。

然而,近幾年江湖上風雲突變,竟已隱隱有群雄並起之勢,企圖挑戰影響因子一統江湖的反叛者層出不窮,各方勢力已經提出了十來種宣稱可以並且應該用以取代影響因子的指標,其中有三路叛軍聲勢尤為浩大。

第一路是Altmetric,最初是幾個網路草莽搞起來的,現在由國際科學出版巨頭麥克米倫(Macmillan)資助,數年之間已經迅速坐大,居然連《自然》雜誌及其旗下子刊都已「提供自2012年以來的基於論文的指標和Altmetric數據」。他們主張,影響因子只考慮SCI期刊的引用,忽視了文章的「社會影響」,所以Altmetric將統計引用的範圍大大擴展,包括了新聞、博客、論壇、推特、谷歌、Facebook,甚至包括新浪微博。

第二路是CiteScore,這是另一國際科學出版巨頭愛思唯爾(Elsevier)推出的明目張胆向影響因子挑戰的指標。2017年6月2日正式開始發布「年度期刊引用分數榜」——完全相當於加菲爾德的JCR報告。所不同的是如下幾點:一、JCR報告目前只涵蓋8856種期刊,而CiteScore涵蓋了22618種。二、影響因子計算的引用時間區間是兩年,CiteScore改為三年。三、CiteScore將影響因子計算公式中的分母改為期刊所有文章的篇數。

第三點改動影響巨大,在6月2日發布的第一份CiteScore榜中,操弄筆者在本文上一小節中所說第一種手法的頂級玩家紛紛鎩羽:《自然》降到了第67名,《科學》降為第54名;愛思唯爾自己旗下的《柳葉刀》是操弄第一種手法的老手,在影響因子排名中常年高踞前五,在這份CiteScore榜中竟然下降為第315名。

然而,雖然現在CiteScore被一些媒體吹噓成「影響因子的重量級對手」,其實它對計算公式分母所作的改動,根本不是什麼創新,而只是加菲爾德四十多年前的唾餘——他早期的影響因子計算公式分母就是如此。

第三路是Nature Index(NI),彷彿富家公子翩然臨世,是《自然》自己傾情推介的新指標。NI選定了全球68份權威期刊,統計全球大學和科研機構在該68份期刊上發表論文的篇數,一篇文章計為1分,有合作者則人均分享,計入各自所屬單位。

《自然》認為該指標簡捷易行,客觀公正。但明眼人很快會追問:這68份期刊名單是怎麼產生的?對不起,《自然》只告訴大家,這是他們從全球2800位科學家的問卷中選出來的,甄選標準則無可奉告,不過這68份期刊中《自然》及其子刊就佔了11份。

全球2800位科學家又是怎麼來的呢?《自然》告訴大家,是他們發放10萬份問卷後收到的2800份有效答卷。從這個數據中筆者讀到的是:全球97.2%科學家都沒有搭理《自然》企圖自立標準的遊戲請求,那NI還有多少代表性呢?

順便說一句,目前這些叛軍產品都是免費的,而加菲爾德的SCI和JCR報告可都是要錢的!什麼叫「一統江湖」?唯有他能夠坐地收錢,這就是一統江湖。

為何現在才群起反叛?

四十多年來,對影響因子一統江湖心懷不滿或嫉妒眼紅的人久已有之,但除了學術探討之外,幾乎沒有人在行動上挑戰加菲爾德的事業。為什麼直到近來老幫主垂暮之年,才有人躍躍欲試直至揭竿而起?加菲爾德今年2月26日剛剛仙逝,屍骨未寒,愛思唯爾就在6月2日推出「影響因子的重量級對手」CiteScore榜單,這種時間上的巧合也耐人尋味。

加菲爾德當年白手起家,一生勤奮高產,對他傾力打造的各類商業信息產品,進行學術推廣和相關寫作不遺餘力。從1950年代至2012年,加菲爾德在各類期刊上發表相關文章四百餘篇,其中不少發表在《自然》《科學》這類知名高端期刊上。1986年他自己創辦《科學家》雜誌,至2002年歇筆,他又在該刊共發表評論文章141篇。

更為驚人的是,他自1962年起開始在ISI的出版物上撰寫專欄文章。開頭幾年還是不定期發表,從1969年起每周發表一篇,此後再未間斷,一直持續至1993年,總計發表專欄文章1122篇。ISI出版社將加菲爾德的專欄文章結集出版,有皇皇15卷之多,每卷邀請一位學界名人作序,陣容極度豪華,主要由科學家和科學史學者組成,除三位諾獎獲得者,還有「避孕藥之父」傑拉西(C. Djerassi)這樣的科學界重量級人物,以及普賴斯(D. J. de S. Price)、默頓(R. K. Merton)、霍爾頓(G. Holton)等科學史界名流。

這一方面凸顯加菲爾德交遊廣泛,另一方面也通過這種方式給世人一種印象:ISI的信息產品得到了科學界乃至學術界很大程度的認同。事實上,加菲爾德與科學史界的一些知名人物長期過從甚密,名頭最大的三位就是普賴斯、默頓和貝爾納(J. D. Bernal)。加菲爾德還熱衷於參加學術研討會,產生的效果可謂一舉兩得,既可提升自身學術形象,又能將學術期刊和會議當成ISI產品的推廣平台。

想想看,如此「神一樣的存在」,是能隨便挑戰的嗎?所以加菲爾德老幫主一統江湖四十餘年,非偶然也。但是,他終究也要衰老的。


《自然》與影響因子曾經的蜜月

在這場對影響因子一統江湖的反叛中,有些在影響因子遊戲中獲利的雜誌,出來力挺影響因子,這當然是正常的反應。但《自然》雜誌的反應卻出人意表。要知道,《自然》雜誌從影響因子遊戲中得到的恩惠,可不是一星半點!

四十多年前,《自然》雜誌「慧眼識珠」,與加菲爾德展開了一段迄今尚未被人關注的合作。這段合作是如此的心照不宣配合默契,不啻一曲流暢動聽的四手聯彈。

加利菲爾德與《自然》《科學》兩家期刊的共謀合作,最明顯的莫過於他多次修改影響因子的計算公式。

1955年,加菲爾德最初將影響因子定義為「一篇文章的被引用次數」。

1963年,加菲爾德將影響因子定義修改為「期刊文章的平均被引用次數」。

1972年,加菲爾德將某年度的影響因子定義再次修改為「期刊前兩年所有文章的所有引用除以期刊前兩年發表的所有文章篇數」——分母恰好就是愛思唯爾剛剛推出的CiteScore所用的定義,但是這樣的定義對於《自然》《科學》《柳葉刀》《美國醫學會雜誌》等刊物都非常不利,它們的影響因子排名全都落在40名之後。

1975年,在首次發布的JCR報告中,加菲爾德再次修改影響因子定義,形成了現今仍在使用的計算公式(見上文)。

這次的定義修改使得《自然》《科學》《柳葉刀》和《美國醫學會雜誌》等雜誌的影響因子排名全部大幅上升,其中《美國醫學會雜誌》驚人地提升了100位。

1995年,影響因子定義再次微調,分母中的「引用項」進一步縮小,只包括「原創研究論文」和「綜述評論」。

《自然》《科學》當然也「投桃報李」,它們提供版面作為發布平台,積極為影響因子遊戲造勢:1955年,「影響因子」首次作為專門術語出現在《科學》上;1972年,《科學》刊登了最初的年度期刊影響因子報告;1976年,《自然》刊登了JCR報告的縮減版——考慮到JCR報告1975年才首次出版,這幾乎等於在幫它進行市場預熱和產品推廣了。當時這兩份期刊上,沒有出現任何對影響因子質疑或商榷的文章。

如今世人但凡說到《自然》《科學》《柳葉刀》等雜誌,必頂禮膜拜,譽之為「國際頂級科學期刊」。但理由何在呢?幾乎只有一條——就是它們的影響因子高。因為它們多年來一直在影響因子遊戲中高踞前20名甚至前10名之內,比如在最新一輪全球8856種SCI期刊的影響因子排名中,《柳葉刀》踞第5,《自然》踞第10。

可以毫不誇張地說,沒有影響因子遊戲,就沒有《自然》雜誌的今天。


《自然》為何加入反叛陣營?

然而,《自然》雜誌儘管多年來在影響因子遊戲中大獲其利,長期盤踞影響因子排名前10的虎皮交椅,成為世人眼中的「國際頂級科學期刊」,如今卻悍然加入反叛影響因子一統江湖的陣營。

在輿論上,它多次刊登文章,號召「反抗影響因子暴政」——回想一下它當年多次刊登加菲爾德提倡影響因子文章的光景,簡直恍如隔世!

在行動上,它不僅向別的叛軍投懷送抱,在自己雜誌上提供文章的Altmetric指標,而且自組叛軍直接加入叛亂,乘機推出自己的NI指標。

2017年4月27日,也就是加菲爾德去世後兩個月,《自然》雜誌簽署了《舊金山宣言》(San Francisco Declaration on Research Assessment,DORA)。該宣言「建議科研資助機構、研究機構等有關各方,在資助、任命和晉陞的考量中,停止使用基於期刊的指標,如期刊影響因子,評估要基於研究本身的價值而不是發表該研究的期刊。」《自然》雜誌現任主編坎貝爾稱:「我希望我們的行動能給這些管理者傳遞一個明確的信息。他們有必要改變規則,以更加精細和適當的標準來評估科學家,……在『高影響力』的期刊發表論文就給獎金的做法應當停止了。」

簽署該宣言的還包括《自然》旗下的大批期刊。

《自然》是一家非常奇特的刊物,它一方面是「國際頂級科學期刊」,通常認為只有頂尖人物才可以在上面發文章;但另一方面,它又是依賴科學界芸芸眾生的頂禮膜拜,才能夠維持廣泛關注和知名度。

而在影響因子的一統江湖中,科學界如何分層?大體上,少數上層人物,發高影響因子刊物很容易;廣大中下層芸芸眾生,則是「影響因子暴政」的受害者。屁股決定腦袋,那對影響因子的一統江湖,必然是上層安享其利,下層聞亂則喜。

所以《自然》現今的策略屬於兩頭下注,是江湖梟雄常用的策略。它鼓吹叛亂,可以迎合芸芸眾生,而只要影響因子還一統江湖,它就依舊高踞神壇;萬一叛亂成功,那它即使未能如願分一杯羹,至少也是叛亂的鼓吹者和參與者,「首義」之功仍不可沒。

最後,筆者冷眼旁觀,稍可告慰加菲爾德的是:也許反抗「影響因子暴政」的時刻是來臨了,但是推翻影響因子的時刻還未來臨。更重要的是,如果推翻影響因子之後,只是由三大叛軍中某一家取而代之,那只是以暴易暴;如果最終形成幾家平分秋色之局,那更是群魔亂舞,都只會使這個江湖更加混亂無序,銅臭熏天。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 南方周末 的精彩文章:

共享單車「清場」開始?首家企業倒閉之後,又在醞釀巨變…
「有狀元學生,沒有狀元先生」 ——史家趙儷生誕辰一百周年
第八屆中歐企業家峰會在倫敦舉行
特朗普收緊部分奧巴馬時期美對古巴政策,古巴發聲明回應
「南粵星火路」 「紅色小上海」的光榮與夢想

TAG:南方周末 |

您可能感興趣

學術評獎標準應該是什麼?看看菲爾茲獎的歷史八卦
爐石傳說:終極賴皮還是大法師精控?學術剽竊偷到什麼最值?
「學術」真是為藝術貼金的嗎?當代書法到底應該尚什麼?
為什麼當前的學術評價各方都不滿意?
學術好伴侶,怎麼成了「問題知網」?
學術命名是否有一套國際標準?
我們是在搞學術,還是被學術搞?
學術不是錦標賽
楊振寧究竟有什麼學術成就?對其又該如何進行評價?
「目標始終如一」 ——我的學術道路回顧
手稿時代終結了嗎?學術研究價值受到關注
區塊鏈與數學的關係是什麼?頂級學術大咖一次性給你講清楚
「破五唯」,清華髮布完善學術評價標準
這一年值得一讀再讀的學術圈好文,就在這裡
你不能不知道:優秀的學術成果都是這麼寫出來的!
風水學術是怎樣煉成的
認定學術不端,到底誰說了算
引用量、影響因子,這些指標正在拖累學術研究
我是這樣的學術期刊
娛樂圈當然不都是學術造假的明星!細數一下好萊塢那些真正的學霸