前沿 心理

再做一次做不出:100项心理学成果,超过六成不可再现

可再现性 信度和效度 心理学是科学吗 社会心理学 认知心理学 情感心理学咨询 婚姻心理学专家 心理学考试 心理学入门 心理学书籍 读心术 瞬

诶斯达 发表于  2015-08-30 10:23

当你在果壳上读到一项有趣的心理学研究,你会不会想:“这个研究再做一次,能得到相同的结果吗?”

如果这个念头闪过你的脑海,恭喜你!你和许多科学家思忖着相同的问题——科研结果的可再现性(reproducibility)。可再现性是科学的核心特征。它意味着,当我们分析某个研究产生的数据,或是用与原研究同样的方法收集新数据时,这些数据能通向与原研究相同的结果。

然而,“尽管可再现性如此重要,我们对科学研究总体上的可再现性如何却知之甚少。”弗吉尼亚大学心理学教授布莱恩·诺赛克(Brian Nosek)说,“越来越多人担心科研成果的可再现性会比期待中或理想状况更低。”

早在十年前,斯坦福大学医学院的约翰·尤安尼迪斯(John Ioannidis)教授就发表了一篇名为《为何大部分已发表的研究发现都不真实》(Why Most Published Research Findings Are False)的报告。他估测,按当前期刊出版和数据分析的趋势,很有可能导致一半以上的科学研究成果与事实不符,进而难以被再现。

尤安尼迪斯不是一个人在战斗——十年后,在诺赛克参与创建的“开放科学中心”(Center for Open Science),一群研究者试图大规模探索发表在主流心理学期刊上的结果的可再现性。

100项研究,可再现的结果不足一半

在这个名为“可再现性项目:心理学篇”(Reproducibility Project: Psychology)的大课题中,来自五大洲的超过270位研究者试图再现在3份顶级心理学期刊上发表的100项研究发现。研究结果[1]发表在最新一期的《科学》(Science)上。

在2008年发表在各本《心理科学》《人格与社会心理学》及《实验心理学杂志:学习、记忆与认知》上的488篇论文中,可再现性项目研究组选择了111项适合重复的研究进行验证,最终有100项重复工作及时完成,被汇总到论文中。

研究者定出了衡量可再现性的五条标准,而根据这些标准判断,能再现的研究不足一半

对比原研究(Original Studies)和再现研究(Replications) 中的P值(P values,图A)和效应量(Effect Sizes,图B)的密度图。图片来源:研究论文

100项原研究中,97%的研究得出了显著的效应——获得了小于或等于0.05的P值。然而,再现研究中仅有36%得出了同等的效应。此外,与原研究的结果相比,再现实验所得出的效应量出现了明显减小。83%的再现效应都小于原研究估计的效应。

作为迄今为止最大规模的再现项目之一,这一研究在心理学界至于整个科学界都引起了关注。这看上去并不乐观的结果说明了什么?

结论值得反思,定论言之尚早

谈到这篇论文时,《科学》杂志的主编玛西娅·麦克纳特(Marcia McNutt)博士表示这样的项目能帮助学界更好地理解怎样的研究更可能被再现。“例如,这项研究的一个重要结论在于,如果原研究的结果越显著,这些结果就越可能能被再现。”她说,“这告诉论文作者和期刊编辑,他们对待那些处于边缘显著状态的结果要尤为谨慎,因为这意味着它们没那么可能被重现。”

“需要强调的是,这一多少有些令人失望的结果并不直接对原理论的正误盖棺定论,这一点非常重要。”《科学》的高级编辑吉尔伯特·钦(Gilbert Chin)博士强调,“研究结果表明的是,我们不应该过分确信支持某种假说的原始实验数据。”

诺塞克指出,有三个原因可能解释一些原研究的结果为什么无法被再现。“其一是原研究所得的效应是假阳性结果,这个效应本就不真实,被观测到纯属偶然。其二则可能是我们的再现研究得到了假阴性结果,而没有捕捉到真实的效应。”诺塞克说,“又或者,原研究和再现研究的估测都是准确的,可两者的研究方法在关键部分有了差别。”简而言之,无法再现原研究发现并不意味着原研究是错误的。同理,即便结果被成功再现,也不能证明原研究的假设肯定是正确的。

好烦好含糊,能不能给出一个定论?

现在还不能。

人们总渴望“说一是一说二是二”,科学家也不例外。但科学的特性决定了这不现实。“我们也很希望从每个研究每个项目每篇报告中获得确定无疑的答案,但科学提供的并不是确定性,至少不能马上提供。”诺塞克解释说,“科学是一个不断减少不确定性的过程。”

每年,科学界进行的各种研究超过150万个,这个数目还在不断增加。“每个研究都有一定的证据,为形成某个结论提供了些许信息。但真正的结论,让你能确信某个东西是正确还是错误的那个结论,依赖于许多研究的证据积累。”诺塞克告诉我们,“所以,一般读者应该从中学会的关键点在于,没有任何一个研究能给出最终定论。”

可再现性项目只是开始

维克森林大学的助理教授E·J·玛思坎普(E.J.Masicampo)也许能很好地理解这种关系。他在可再现性项目中有两层身份:既负责重复同行的一项研究,他自己发表的研究也是那100项研究之一,被其他同行重复。

据玛思坎普介绍,在设计研究时,再现队伍首先与原作者取得联系,以保证再现研究忠于原研究。在收集数据前,原作者和第三方审查者会对研究设计再进行评价。“我和同事所重复的那个研究,我每个学期都会向本科生讲授。”他表示,这个项目为重复那些吸引他很久的研究提供了好玩的机会,他也相信自己的研究在透明与合作的框架下得到了质量极高的处理。“这个项目的一大裨益在于为如何大规模地进行高质量的重复实验提供了一个范本。”玛思坎普说。

跟不断被发表的众多心理学结果相比,这100个再现研究就像一桶水里的区区一滴。但有了这样的尝试,研究者希望,这个项目能作为探索科研成果可再现性的第一步,激发更多的研究去关注心理学乃至其他科学领域研究的可再现性问题,同时也促进研究结果的发表标准进一步提高。

用吉尔伯特·钦的话说,科学不总是一条笔直的航线——我们并不能一帆风顺地从理论港途经实验湾,驶到理解站。我们必须不断质疑、不断评估理论和实验,才可能向真正理解不断迫近。

(编辑:Calo)

参考文献:

  1. Open Science Collaboration, Estimating the reproducibility of psychological science. Science Vol. 349 no. 6251 DOI: 10.1126/science.aac4716

文章题图:twitter.com

 
 
 
 
 
 
 

拓展阅读

心理学研究的结论能不能被重复?

热门评论

  • 2015-08-30 11:49 性感的小脚脖

    可复制性低就正符合心理学的预设了。

    人的心理以时间、地点、情境等为转移。

    这一刻的“你”已经不是上一刻的“你”了。

    [32] 评论
  • 2015-08-30 14:55 果尼玛

    我觉得投稿的同时应该提供所有原始数据,以增加学术造假难度,这点在国内尤其重要。

    [15] 评论
  • 2015-08-30 12:09 天降龙虾
    引用文章内容:科学是一个不断减少不确定性的过程。

    量子:所以,你一观测,俺的态就坍缩,不是因为观测,而是因为科学啊。。

    [9] 评论

显示所有评论

全部评论(54)
  • 1楼
    2015-08-30 11:49 性感的小脚脖

    可复制性低就正符合心理学的预设了。

    人的心理以时间、地点、情境等为转移。

    这一刻的“你”已经不是上一刻的“你”了。

    [32] 评论
  • 2楼
    2015-08-30 11:51 Nautiloidea

    喜闻乐见

    [0] 评论
  • 3楼
    2015-08-30 11:54 Javik-W

    那些再现不了的该怎么证明呢?

    [0] 评论
  • 4楼
    2015-08-30 12:09 天降龙虾
    引用文章内容:科学是一个不断减少不确定性的过程。

    量子:所以,你一观测,俺的态就坍缩,不是因为观测,而是因为科学啊。。

    [9] 评论
  • 5楼
    2015-08-30 12:16 chenwei 材料工程博士生

    “诺塞克指出,有三个原因可能解释一些原研究的结果为什么无法被再现。“其一是原研究所得的效应是假阳性结果,这个效应本就不真实,被观测到纯属偶然。其二则可能是我们的再现研究得到了假阴性结果,而没有捕捉到真实的效应。”诺塞克说,“又或者,原研究和再现研究的估测都是准确的,可两者的研究方法在关键部分有了差别。”简而言之,无法再现原研究发现并不意味着原研究是错误的。同理,即便结果被成功再现,也不能证明原研究的假设肯定是正确的。”

    [2] 评论
  • 6楼
    2015-08-30 14:41 安东尼的时光机 决策神经科学博士生,经济学讲师

    很有价值的尝试

    [0] 评论
  • 7楼
    2015-08-30 14:55 果尼玛

    我觉得投稿的同时应该提供所有原始数据,以增加学术造假难度,这点在国内尤其重要。

    [15] 评论
  • 8楼
    2015-08-30 15:51 女仆长的PAD
    引用@果尼玛 的话:我觉得投稿的同时应该提供所有原始数据,以增加学术造假难度,这点在国内尤其重要。

    心理学作为一种表征科学实在是有太大的随机性,哪怕是数据不进行造假,也很难再现


    [3] 评论
  • 9楼
    2015-08-30 15:56 hcp4715 社会认知神经科学控

    这个文章是翻译的吗?读起来一股翻译腔。

    [2] 评论
  • 10楼
    2015-08-30 16:16 遁墙失败年糕炭
    引用@Sharken 的话:可复制性低就正符合心理学的预设了。人的心理以时间、地点、情境等为转移。这一刻的“你”已经不是上一刻的“你”了。

    什么时候心理学预言特定的一个人在一定情况下的反应了→ →

    [2] 评论
  • 11楼
    2015-08-30 16:52 怀剑
    引用@Sharken 的话:可复制性低就正符合心理学的预设了。人的心理以时间、地点、情境等为转移。这一刻的“你”已经不是上一刻的“你”了。

    我读书少你不要骗我→_→

    [0] 评论
  • 12楼
    2015-08-30 17:01 道义永存

    有时候一个细节就可能会导致重复实验的变化。再者人类社会是不断变化发展的。。

    [1] 评论
  • 13楼
    2015-08-30 18:53 chenwei 材料工程博士生

    [MOOC硬广]

    Solid Science: Research Methods
    严谨科学:研究方法

    这门课程将揭示研究所遵从的科学原理,并讨论方法论和统计学是如何帮助我们保证研究的可靠性的。我们将解释基本的要素,并结合实际情况来向你展示如果滥用方法论和统计学,会有多么糟糕的错误等着我们。我们还将教会你如何在已发表的期刊文献中(虽然有些事后诸葛亮)辨识出那些可疑的研究。


    明天开课!

    [3] 评论
  • 14楼
    2015-08-30 19:21 性感的小脚脖
    引用@遁墙失败年糕炭 的话:什么时候心理学预言特定的一个人在一定情况下的反应了→ →

    额,我的意思是,我们能复制实验,但是不能复试进行实验的场景。

    [0] 评论
  • 15楼
    2015-08-30 20:11 yareyare

    还以为超过六成表现不出显著效应……白高兴一场→_→

    [0] 评论
  • 16楼
    2015-08-30 20:16 sharexll

    我认为关于心理学方面的研究从试验方法到结果与试验过程的联系都带有非常主观的因素,不可复制是必然的。

    [0] 评论
  • 17楼
    2015-08-30 20:32 梧桐清声 生理学博士

    我觉得还好了,比较一下生物学和医学论文:

    国际著名期刊《Nature》在2012年3月份刊发了一份由C. Glenn Begley和Lee M. Ellis撰写的评论,在文章中,他们提及Amgen公司对发表于各类期刊的53篇原始论文(影响因子大于20的为21篇,影响因子在5-19之间的为32篇)的数据进行重复(注意:The Amgen scientists approached the papers' original authors to discuss findings and sometimes borrowed materials to repeat the experiments.资料来源:http://www.nature.com/nature/journal/v485/n7396/full/485041e.html)发现,只有11% (仅6篇)的结果得以重复 (详细请见http://www.nature.com/nature/journal/v483/n7391/full/483531a.html)。

    [3] 评论
  • 18楼
    2015-08-30 20:40 恒星天

    既然“不可再现”的概率这么大,那么“证明”的意义就不那么重要了,这个心理学研究的结果让我对学了这么多年的自然科学(主要是物理、化学)和数学产生了些许疑虑~

    [0] 评论
  • 19楼
    2015-08-30 23:02 负离子.吹风机

    所以心理学不是科学[doger笑]

    [2] 评论
  • 20楼
    2015-08-30 23:11 LovelyLover

    难道多年后这个研究也会被证实有误?

    来自 果壳网
    [1] 评论
  • 21楼
    2015-08-30 23:38 女仆长的PAD
    引用@梧桐清声 的话:我觉得还好了,比较一下生物学和医学论文:国际著名期刊《Nature》在2012年3月份刊发了一份由C. Glenn Begley和Lee M. Ellis撰写的评论,在文章中,他们提及Amgen公司对...

    嗯,我是数学理论方面的,经过我的证实,我这里引用的文章基本都可以再现

    果然还是搞理论的靠谱啊

    [0] 评论
  • 22楼
    2015-08-31 00:10 梧桐清声 生理学博士
    引用@负离子.吹风机 的话:所以心理学不是科学[doger笑]

    要这么说,那医学和生物学更不是科学了?


    [0] 评论
  • 23楼
    2015-08-31 06:40 未风

    看来还是物理学最靠谱 再现性低的早被后人艹翻了

    [0] 评论
  • 24楼
    2015-08-31 08:42 恋树懒

    心理学有他的特殊性。他并不是象生理学的可现性。有它的特殊性,各个流派的偏重点也不同。比如一位讲社会心理学的教授,说佛洛依德主义,结论主观,唯心。但是也没有否定他在心理疏导实践的作用。我们现在引入生理学的一些研究方法,但是他毕竟是两种学科。就像中医有中医的方法,西医有西医的方法。又有结合的方法。

    [0] 评论
  • 25楼
    2015-08-31 10:02 小孑孓

    作为一个讨厌弗洛伊德,反感心理学的,看到这篇文章真爽

    [0] 评论
  • 26楼
    2015-08-31 10:26 大头米少

    “全部都唔係真心嘅!”

    ——《喜剧之王》

    [0] 评论
  • 27楼
    2015-08-31 11:33 天降龙虾
    引用@小孑孓 的话:作为一个讨厌弗洛伊德,反感心理学的,看到这篇文章真爽

    弗洛伊德跟现代心理学差距挺大的,你的观念该更新了。

    [1] 评论
  • 28楼
    2015-08-31 12:01 生命激流

    “不是不能再现,是系统太复杂了,很难弄出跟当时那个一模一样的环境…测试写的是一千次再现一次。”

    跟我们改bug一样啊哈哈,虽然我们的代码绝对是满满的逻辑,逻辑堆多了就不定怎么回事了。

    [0] 评论
  • 29楼
    2015-08-31 12:43 pater

    我有个猜想:

    会不会是因为心理学本身是一门实验结果波动性很大的学科,而顶级心理学期刊对论文的筛选使得只有那些由于假阳性而获得了显著结果的实验论文才能刊登。

    比如,有10个小组进行了同样的实验,1个观测到了显著的现象,9个没有。获得显著现象的小组认为实验很成功投给了顶级期刊,另外9个小组自知论文没有什么亮点所以投了一般的期刊。而这样一来,顶级期刊就成了假阳性的实验论文聚集地了。

    [4] 评论
  • 30楼
    2015-08-31 14:07 深海锰结核

    我很好奇这项研究的可再现性是怎么样的。

    [1] 评论

显示所有评论

你的评论

登录 发表评论

诶斯达
诶斯达 心理学专业

更多科研事,扫码早知道

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 家长监控 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:18612934101    网上有害信息举报专区    儿童色情信息举报专区