果壳有意思
  • 注册
  • 下载客户端
  • 手机扫码下载
    全新果壳APP
4320
需用时 08:38
要么出版,要么滚蛋:一纸论文背后的腐败

(文/David Colquhoun)同行评议决定了你的工作成果是否能在学术期刊上发表。但这道程序已不再那么有效了,主要原因是经历发表流程的论文实在是太多了(据统计,2006年约有130万篇文章发表于23750份期刊),而能够胜任的人手实在不够。投入到审阅论文中的大量(且无偿)的努力所造成的深远影响,是维护了期刊的阶级地位。如今,不论多么差劲的论文都可以在声称通过了同行评议的期刊上发表。

这一惨淡现状要归咎于那些兴起所谓“不发表就淘汰”风气的人,也就是投资者和学院高层。大学公关部门鼓励夸大其词,“写”出800多篇论文会被看作值得吹嘘而非可耻之事,困窘的作者也只能随波逐流。

不久之前,帝国理工学院医学系被告知,他们今年在出版方面的“产量”指标是“每年发表三篇论文,其中一篇要发表于影响因子不小于5的权威期刊”。这类指示造成的结果是降低了科学研究质量并挫伤了这种不当管理下牺牲者的信心。

唯一能从这种巨大的发表压力中获利的就是出版业。几乎每天都有新的期刊创办。我的电邮收件箱里堆满了各种奇葩期刊发来的约稿信。这些人来者不拒。美国国家医学图书馆索引了39家讨论替代医学的期刊。它们都“通过了同行评议”,但是几乎没发表过什么值得一读的文章。对论述顺势疗法(homeopathy,替代医学的一种,其理论基础是“如某物质能够导致健康人产生某些症状,那么该物质就能治愈具这些症状的疾病”)的期刊进行的同行评议估计也都是由其他魔法信徒完成的。若非如此,这种期刊早该绝迹了。

从一篇针灸疗法论文说起

在同行评议中出岔子的不止是冒牌医学杂志。《英国全科医学杂志》在2011年6月发表了一篇文章:《针灸疗法对频繁就诊疑难杂症患者的疗效研究:随机对照试验(CACTUS研究)》(CACTUS 是 Classical Acupuncture for Treating Unexplained Symptoms)。文中涉及了大量数字,但结果是一目了然的。只要看看他们的图表就能明白。


针灸研究论文中的一张图:“52周以来的结果数据(实验组在第0-26周接受针灸疗法,对照组在第26-52周接受针灸疗法)”。图片来源:《英国全科医学杂志》

显而易见的是,在所有测量结果中,针灸疗法充其量只起到了微乎其微且反复无常的疗效。其结果诚然颇为有趣,因为它表明针灸疗法甚至不具有可察觉的安慰剂效应。但这并不是作者的观点。他们得出的结论是:“在常规疗养中附加的12个疗程五行针灸法提高了患者的健康状况,且效果维持了12个月。”

一支由埃克塞特大学半岛医学与牙科学院的夏洛特·佩特森(Charlotte Paterson)领导的团队,究竟怎么会做出这样的推论?这么说吧,也许这些人刚好信奉针灸疗法,而替代医学的拥趸忽视证据也是常事,哪怕是他们自己的证据。但真正的问题在于,这类结论是如何能在一份受全科医师广泛阅读的权威杂志上得到发表的。更糟糕的是,该杂志发布了一篇通告,其中引用了该刊编辑、医学博士、皇家内科医学院成员、皇家全科医学院成员、医学科学院院士罗杰·琼斯(Roger Jones)教授的一段话:“尽管已有无数的报道反映了针灸疗法在一系列医学问题中的优势,却很少有人进行过妥善组织的随机对照试验。夏洛特·佩特森的工作在很大程度上实证了我们可以利用针灸疗法帮助病人免受疑难杂症之苦。”

小报对这篇通讯的主题大肆宣扬。举例来说,每日邮报这样报道“据称,数百万受‘疑难杂症’困扰的患者将从国民保健署资助的针灸疗法中获益”。但博客圈对此表达了强烈的不满,同时推特上也出现了关于就医选择的评论。在这个全民记者的时代,任何错误都会很快被发现。

两个月后,该刊刊登了10封指出这篇论文问题的信件。这些问题实在过于明显,你本指望杂志社会为同行评议流程中的失误以及那篇误导公众的通告道歉。谁都可能犯错,可是读者连一份公开道歉或者是勘误声明都没有见到。

发表与评议,孰先孰后?

那么,究竟该对科学出版业如何是好呢?出版方提供的服务仅仅是组织评议和印刷刊物,而他们要为此收取高额的费用,乔治·蒙彼特恰当地把这种敲诈行径称为“纯粹的食利资本主义(rentier capitalism,该术语用来形容通过寄生性垄断某种资产以获取巨大利益,同时又对社会毫无贡献的行为)”。

另一个选择是:在网络上自行发表你的论文,并且开放评论。这种先发表后审核的方式可以减少大量成本,并且结果可供所有人免费阅读。同时这还会摧毁几家高端的杂志社的统治地位。谁都想在《自然》上发表文章,因为这被看作晋升与吸引资金的保障。自然出版集团凭借创办十几家标题带“自然”二字的期刊获得了滚滚财源。

这种自行发表并且先发表后评议的模式只有一个问题。2006年,《自然》杂志曾做过这类尝试,但反响冷淡。该项目约请的多数人都不愿参与,更重要的是,大多受邀进行评论的人也都婉言谢绝了。这很可能是由科学界强烈的竞争本能造成的。后辈不大敢批评前辈,老一辈也一样不敢批评同侪,以防轮到受到批评的人审批自己的下一批拨款。尽管如此,我揣摩这一模式必将得到推行,而且可以采取一些举措来改善这些问题。

首先,有必要允许匿名评论。目前的大多数评议者都是匿名工作的,那么为何不在网上也这么做呢?其次,导致如今的体制无法运作的大批量论文应当被遏止。我建议科学家们应限制自己平均每年只发表两篇原创文章。同时也应该限制他们每次只能掌握一项科研经费。不管是谁觉得自己的工作需求大于这个标准,都必须接受详细的审查。众所周知的是,小型研究团队往往比大型团队更有效率,因此这也应该成为规范。

发表流程中的论文数大大减少后,评议者、财委会、晋升委员会便能够阅读这些论文,而不仅仅是记个数。国会同行评议问题特别委员会在一篇报道中这样作结:“因此,我们对把期刊影响因子作为衡量单篇文章质量标准的行为表示担忧。尽管我们已经得到科研投资方的保证,不会将此作为衡量研究项目或单篇文章的标准,但科研机构的代表表示,在高影响力期刊上的发表情况仍然是在对个人事业进展方面进行评估时的重要因素。”

这些政客比不少学者和科研投资人更了解情况。在我所供职的大学,晋升申请表上仍然写着“申请者不妨提供影响因子、引用率或其他合适的文献信息”。大多申请者会把这理解成一道指令。

这些建议都依赖于研究能够正当诚实地进行,但彻头彻尾的欺诈也的确会发生。在安德鲁·韦克菲尔德欺诈案中(Andrew Wakefield,英国前外科医师、医学研究员,他在1998年一篇发表于《柳叶刀》杂志的论文中指出麻腮风三联疫苗与自闭症和肠道疾病有相关性,后被指涉嫌学术造假,吊销行医执照),他把自闭症和麻腮风三联疫苗扯上了关系,结果导致儿童死于麻疹,而我们要多多感激将此骗局曝光的记者——布莱恩·迪尔(Brian Deer)。

最近,迪尔声援了下议院科学与技术特别委员会的一项提案:应委派官方监管者以监督科学工作。我不认为这方法能奏效。难道监管员要重复实验,甚至是检查原始数据以确保一切正常吗?更有可能的是,监管员将堕落成又一个尸位素餐的政府专员,最后落得和(高等教育)质量保障署一样,弊大于利。要想提高诚信,就该废止官方对欺诈的鼓励。

总而言之,问题不是来自并不常见的公然欺诈。问题产生于在你本来无话可说时,官方施加的出版压力。

无端质疑,无稽之谈

下面这段文字是CACTUS研究团队代表给出的回应,驳斥了科洪提出的质问,也能看出他们坚信同行评议这一流程可以帮助改进论文质量。

(文/Charlotte Paterson)科洪教授把我们CACTUS试验的公开论文当作“同行评议中的失败”范例。他的论点,“文中涉及了大量数字,但结果是一目了然的。只要看看他们的图表就能明白”与这类随机试验的分析方式并不一致。在论文内的表格中,我们列出了研究中的所有数据以及标准统计学检验的结果。正是这些检验结果决定了这两组(一组在前26周接受了针灸疗法,另一组没有)之间的差异是否具有统计学意义,换句话说,这种差异是否仅仅是偶然发生的。

在我们的研究中,基本观察指标——一份叫做MYMOP的问卷,用来衡量个人健康状况的变化——以及健康问卷都显示出有利于针灸疗法的显著统计学差异。因此我们得出结论:在常规疗养中附加的12个疗程五行针灸法提高了患者的健康状况。


夏洛特·佩特森及其团队研究指出,在常规疗养中附加的五行针灸法可以提高患者的健康状况。图片来源:David Cheskin/PA

科洪在文章中再现的曲线图,是供偏好以这种方式阅读研究成果的读者参考的。然而,这些图只有在结合标题阅读时才有意义:“52周以来的结果数据(实验组在第0-26周接受针灸疗法,对照组在第26-52周接受针灸疗法)”。有了这条(被科洪忽略的)信息,读者可以就下半年各组发生的情况得出自己的结论。这结果诚然吸引人,但并不是我们的统计结论的出发点,也绝不可能是任何试验的出发点。

我们在论文中讨论了研究的强项和缺陷,其中包括一点,即平均看来针灸的益处相对较小,但这已经能够驳斥科洪毫无根据地指控我们“信奉针灸疗法”。这完全不符合事实。至于同行评议,我们的答复是,这一流程使我们能够改进论文质量,而至于杂志来函中的辩论,您可以自行参考八月份的《英国全科医学杂志》,其中都有刊登。

不幸的是,患者与公众的声音在这场辩论中严重缺席,尽管那一期的杂志中还刊登了我们报道一项研究结果的论文,其中有该研究的部分参与者接受了采访。研究的这一方向额外提供了患者体验的详细信息,其调查结果能够证实试验结果,并提供可能的解释以及新的洞见。举例来说,除了感知到一系列正面效果之外,一些参与者还会在会诊和自我保健过程中表现出更积极的作用。

我们认为同行评议十分有帮助,我们还相信,利用随机试验的统计学结论,结合对患者视点的定性分析,能够给医生和患者提供坚实有用的信息,从而在诊疗过程中做出正确的判断。

先发表后评议,可怕的未来图景

以下则是《英国全科医学杂志》编辑罗杰·琼斯给出的回应,回应中阐明了论文发表前后流程中的一些细节问题,同时表达了对科洪所提倡的先发表后评议模式的担忧。这篇回应也让读者得以从另一个角度看待这一“孰先孰后”的问题。

大卫·科洪对我刊同行评议及编辑工作的批评基于单单一张从重要科研论文中截取出来的图表,而文中的数据资料分明展现了一个不尽相同的情况,这也显得他的分析主观片面,结论似是而非。

佩特森和她的同事的文章在两个不同的场合下接受了两位统计学专家的审核,又由我亲自校阅。《英国全科医学杂志》采用透明的同行评议系统,即作者和校者互相知晓对方的身份。这篇文章起初被拒,并同意如果作者能够处理原稿中的大量方法问题和部分表达问题,便可以重新提交。

其中一个被指出的问题是缺乏“注意力控制(attention control)”即模拟与病人进行对话的时间,尽管这一随机对照试验(RCT)显然更偏重实际功效而非解释说明。经审核,重新递交的论文有很大提高,然而一位校审者仍对试验中干涉的效果规模表示担心。我决定发表这篇论文,因为该文章报道了一项设计优良,组织有度的随机对照试验,而且是在一个不容易操作的领域:被试是患有不明症状的患者,而传统医学在这方面略显捉襟见肘。在同一试验里,还伴有对患者体验的定性评估,同时我们还登载了香港学界同僚的一篇关于针灸疗法的社论。

本文发表后,接踵而至的是来自科洪的一连串令人不快的个人辩护式电邮和博客评论,我随即在几周后的杂志编委会会议上提及了此事。编委会赞许了同行评议的工作,并认为没有理由撤回本文。委员会担心本刊报道这一结论的方式过于乐观,对此我要担负全部责任。在之后的一期中,本刊刊登了我们收到的所有讨论这篇论文的信件,一份我就编委会会议做出的声明,还有来自作者的回应。随后我们采取了罕见的举措,为没有订阅本刊的读者提供了该论文及所有相关信函的免费阅读权限。

且不论这一事件是否代表了同行评议的一次失败——而我认为并没有——此事不能作为反对同行评议原则的论据。然而,科洪的回应却象征了先发表后评议模式的一次败笔。在我看来,他的敌意更多是来自于对这项研究主题刻骨的憎恶,而不是对其进行调查研究的科学方法的关注。我感到他虚张声势的表达风格毫无说服力且有失体面,而如果这就是先发表后评议模式的一副未来图景,愿主保佑我们。

(本文作者是伦敦大学学院的药学教授)

相关的果壳网小组


信息来源:《卫报》,Publish-or-perish: Peer review and the corruption of science
文章题图:Shutterstock 友情提供

The End

发布于2013-08-29, 本文版权属于果壳网(guokr.com),禁止转载。如有需要,请联系果壳

我的评论

盖子

果壳阅读译者

pic