我的顾虑要狭隘得多:我希望防止某些任意的第三方被赋予权力“评分”研究人员对他们坚持原始设计的程度,然后能够公开报告该分数,而不是简单地让读者在这方面做出自己的决定。我的顾虑有三点。
的受试者数量,这算违反预先设计的注册表吗?如果最初的受试者群体不愿意参加计划中的金钱激励,并且必须增加激励,或者必须改变受试者群体,该怎么办?如果预先注册要求使用一个统计模型来分析数据,但作者最终意识到另一个模型更合适,该怎么办?如果以 1-4 级注册的调查问题被改为 1-5 级,该怎么办?如果其中任何一个,会使注册表的忠实应用无效?它们全部一起吗?似乎唯一真正客观的评估合规性的方法就是采取全有或全无的方法:要么你完全按照你说的去做,要么你没有遵循注册表。当然,那么我们将“p 值钓鱼”归为同一类别,与应用更好的统计模型或更改调查问题的措辞。
这让我想到了第二点,即担心给忠实遵守登记册的人打分可能会导致人们进行次优研究——并扼杀创造力——因为他们担心这会让他们失去“A”级登记册忠实度。举一个例子,我们这些使用调查实验的人长期以来一直被教导要预先测试问题,因为有时我们坐在办公桌前时的一些想法在实践中不起作用。因此,如果有人注册了一种特定的引发情绪反应的技术,然后进行了预测试并发现他们的技术不起作用,我们真的希望研究人员使用次优设计来保持他们对注册设计的忠诚吗?或者考虑一个学生,他计划在国外进行一项基于某些姓氏传达种族身份的想法的实 发薪日数据 地实验。如果学生到达现场并发现这个假设是错误的,会发生什么?学生是否应该坚持糟糕的研究设计,以保持在 JEPS 的“登记册忠实”部分发表文章的能力?此外,研究有时会断断续续地进行。如果我作为一名研究生能够获得资金在 A 国进行实验,但后来作为一名教职员工能够获得资金在 B 国和 C 国重复这些实验,那么我是否应该担心将 A 国的结果纳入比较分析,因为我最初的注册是针对单个国家的研究?总的来说,我认为我们必须谨慎地假设,在提交注册设计时,我们可以弄清楚一项研究的所有内容,一旦我们开始实施一项实验,我们就没有什么可以学习如何改进研究了——或者没有新的问题可以用以前收集的数据来探索。
此时,一个公平的批评是,上一段中的观点可以被视为对登记处的普遍控诉。在这里,我们更倾向于简单地讨论一个观点,但我认为,要求人们记录他们最初的计划和让他们有机会用自己的语言(如果他们愿意的话)解释他们的研究项目是如何发展的,而不是必须处理可能以任何形式出现的公开“评分”,这两者是有区别的。在我看来,前者是进行透明研究的一部分,而后者(无论意图多么好)可能会在研究过程中做出调整或遵循新的有趣研究路线方面令人麻木。
这让我想到了最后一个担忧,即非终身教职人员最终会在这方面感受到最大的压力。对于终身教职人员来说,一份没有标注注册合规性星号的出版物可能不会成为太大的问题——尽管我甚至不确定这一点——但我很容易想象初级教职人员会