1214
需用时 02:25
论文评议:糟粕与精华都被拒之门外了吗?

狼医生/译)明明是相当具有里程碑意义的研究论文,在投稿时却惨遭专业期刊的拒绝,不少科学家都曾有过这样的经历。而现在,有研究者对期刊论文评议进行了更加量化的评估。他们追踪了10年前向医学期刊《内科学年鉴》(Annals of Internal Medicine)、英国医学期刊(British Medical Journal)和柳叶刀(The Lancet)投稿的超过1000篇论文的命运,以此来分析论文评审者做出的决定是否正确。

在这项研究中,研究者们采用了论文发表后的引用次数作为质量评价的参数。研究者发现,这三个顶级医学期刊在“去除糟粕”方面表现很好,他们接收的文章普遍质量较高。但是,他们挑选“精华”的眼光似乎却不太准——不少日后的“引用冠军”都曾被他们拒之门外。这项研究结果发表在今年12月22日的《美国国家科学院院刊》(PNAS)上。

“最令人吃惊的是,被引用次数最多的前14篇论文都曾经被拒稿,有些甚至被拒绝过两次。”研究的领导者、加拿大多伦多大学社会学家凯尔•赛勒(Kyle Siler)表示。

赛勒团队的研究资料来自一个由加利福尼亚大学建立的论文手稿及评议报告数据库,这个数据库此前也被用在关于同行评议的研究当中。研究者发现,在1008篇投稿论文中,仅有62篇最终发表在了上述3个期刊上。在被拒稿的论文中,757篇最终发表在了其他期刊上,另外的189篇论文有的进行了彻底的修改,有的则无迹可寻。

研究者对论文评议者的态度进行了打分,结果发现,有着更高评分的文章发表后的引用量往往也较高。“总体来说,‘守门员’们的工作做得还是很不错的。” 赛勒说。

研究团队同时发现,这三个期刊所拒绝的投稿中,有772篇都是直接被编辑拒绝的,也就是说它们根本没有得到同行评议的送审机会。在15篇此后被引用最多的论文中,有12篇都曾遭遇这样的命运。“这就带来了一个问题:期刊编辑们是不是害怕这种‘非常规’的创新研究?” 赛勒指出。他认为,考虑到进行同行评议的时间和资源限制,这些顶尖期刊的编辑可能会倾向于“规避风险”,选择接收更加中规中矩的研究论文。

米歇尔•拉蒙特(Michèle Lamont)是哈佛大学的社会学家,她也是《教授们如何思考》(How Professors Think)一书的作者。她对研究者的上述观点表达了认同。她指出:“现在的市场显示出某种平淡乏味的发展趋势,虽然编辑们大多数时候都充分了解哪些论文应该拿给评审人进行评议,但他们有时对真正具有创造性的工作却缺乏敏锐的嗅觉。”

菲奥娜•戈德利(Fiona Godlee)是《英国医学期刊》(BMJ)的主编,她认为这些看似阻拦了“精华”的拒稿并不一定是编辑的错误。她表示,如果一篇报告了非常有意义的生物技术的论文投到BMJ来,它可能很快就会被编辑拒掉,这是因为它的内容与该期刊关注临床医学的特性不符。“这种决策的重点是论文是否与读者特征相符,” 戈德利说,“而且我并不认为我们应该一味追逐高引用数。”

赛勒也承认,只采用引用多少来评价论文质量会存在一些问题。近期由《自然》进行的一项统计就发现,世界上引用最多的科学论文都是一些关于实验方法的技术性论文(例如RNA提取的方法),而不是那些最重要的突破性发现。

来自蒙特利尔大学的丹尼尔•法内利(Daniele Fanelli)建议,可以用一些替代方案评价论文的质量。例如,可以对这些论文重新进行第二轮的同行评议,或是看看它们的结果有没有被其他人重复出来,或者它们有没有成功地应用到临床上。“不过,这也会是一项浩大的工程。”他遗憾地表示。

目前来看,同行评议肯定还会是非常有用的论文评审方式。 “许多人认为这个系统存在很多缺陷,”拉蒙特表示,“它是不完美的,但却是目前我们能采用的最好的方式。”(编辑:窗敲雨)

题图来自:Nature

The End

发布于2014-12-25, 本文版权属于果壳网(guokr.com),禁止转载。如有需要,请联系果壳

举报这篇文章

Mark Peplow

科学记者

pic