同行评议偏倚

关于同行评议中的偏见的论坛讨论

2021年10月

在最近的一次调查中，我们要求COPE成员就他们想讨论的多样性、公平性和包容性话题进行投票，同行评议中的偏见被投票为最感兴趣的话题，因此我们将在COPE论坛上讨论它。而这个重要的主题与COPE核心实践:同行评审过程在美国，它的影响更为广泛。编辑和同行审稿人的显性和隐性偏见，或有意识和无意识的偏见，可能会影响哪些稿件被审查或最终被接受发表。正如COPE成员剑桥大学出版社在他们的报告中解释的那样给同行评审人员的信息“审稿人必须对提交的每一份手稿给予公正的考虑。他们应该根据每个作者的优点来判断，而不考虑其种族、宗教、国籍、性别、资历或所属机构。……从论文或提案中寻找证据是避免偏见的关键。”

回到顶部

同行评议调查中的多样性和包容性

多样性和包容性举措似乎是帮助减少同行评审中的偏见的关键。作为2018年同行评议周的一部分，COPE进行了一次调查了解更多关于社区如何看待这个主题的信息。最近，我们想知道在过去的几年里，人们的态度、政策和/或做法是否以及如何发生了变化。为此，COPE在2021年同行评议周期间主要复制了调查结果，以下是回应的重点。

公众谘询委员会就新版本的匿名调查接获267份回应。两个版本的受访者总体情况相似，在2021年，60%的受访者是期刊编辑，18%为出版商工作。因此，对几个问题的答复几乎与前一次调查完全相同，这也许不足为奇;这些问题包括多样性和包容性在同行评审中的重要性，多样性和包容性适用于谁，以及同行评审多样性的定义。

然而，对于出版物/组织的多样性程度的问题，欧洲委员会收到了显著的答复。从2018年到2021年，受访者报告称，提供内部培训以促进同行评议多样性和包容性的期刊/出版商增加了9%，而认为自己的期刊/出版商在同行评议中达到了理想的多样性水平的受访者减少了7%。对这个问题的两个新的回复选项也获得了显著的回应，69%的期刊/出版商积极致力于增加同行评议人员的多样性，29%的受访者称他们的期刊/出版商在同行评议人员中实现了理想的多样性水平。

下文详细介绍了在同行评审中被视为重要的多样性方面的其他重大变化。在2021年的调查中，对这个问题的15个新的回答选项中，有两个也得到了显著的回应，67%的受访者表示职业水平很重要，63%的受访者表示地理多样性很重要。

• 专业领域/专业的重要性下降了27%(从2018年的88%下降到2021年的64%)。
• 性别/性别认同的重要性增加了14%(从2018年的77%增至2021年的88%)。

也值得强调一些收到的自由文本回复。在过去3年里，他们的编辑政策/实践或组织在多样性、公平性和包容性方面发生了什么变化，对此的回答从“什么都没有”到“无意识的偏见培训”不等。最后，几个答复者提供了一般性意见，包括:

• “必须在不损害过程完整性的前提下促进和实现多样性。”
• “在一个全球化和多样化的世界里，多样性(原文如此)是必不可少的。”
• “同行评审的关键是对提交的作品进行公正客观的评价。”
• “只有知识和资格才重要”
• “我们可能永远不会有一个完全具有代表性的审查小组，但至少我们可以理解他们的偏见。”

这些调查结果表明，在过去3年里，在对同行评审的多样性和包容性的态度、政策和实践方面发生了全面积极的变化。不出所料，出版物和组织还有更多的工作要做。当然，有意义和持久的变革需要时间，我们要感谢那些不仅参与了本次调查，而且为使同行评审过程对每个人更加多样化、公平和包容作出贡献的人。

回到顶部

供论坛讨论的问题

为了消除同行评议中的偏见，我们希望您能在COPE论坛期间分享一些您正在采取的减少偏见的实际步骤。

• 你们的出版物/组织如何试图管理同行评议中偏见的影响?
• 你的出版物/组织如何邀请更多样化的编辑和同行评审员?
• 您的出版物/组织是否要求同行评审人员不仅要确保引用的参考文献正确，而且要确保参考文献反映了不同作者的观点?

回到顶部

对同行评议和快速投票的偏见

在论坛开始时，我们向论坛成员提出了两个快速投票问题:

来自论坛的评论，2021年10月

注:评论并不意味着正式的COPE建议或共识。

• 期刊经常说，他们的编辑委员会的代表比例接近或匹配他们的学科或社会的代表比例。但是，与其把它作为一个基准，也许期刊可以在这一领域领先，特别是如果社会或学科不像它应该的那样多样化。
• 评估期刊多样性的困难之一，是根据审稿人或发表的论文，期刊并不总是知道其审稿人或作者的特点。评估地域多样性可能很容易，但除非适当捕获信息，否则很难识别评论者的性别或种族。
• 数据将告诉我们，我们是否在改进，多样性是否在增加，我们的流程是否在改进，变得更加包容。但是，除非人们愿意分享他们的特征，否则我们无法获得这些信息。然而，关于期刊如何收集和存储这些信息有很多问题。
• 重要的是结果;我们是否有证据表明同行评议中的偏见正在减少?
• 在COPE虚拟研讨会上，Holly J Falk-Krzesinski是会议的发言人之一多样性、公平和包容他指出，在收集数据时，参与者在审稿人的输入表格上提供了自己的性别，但如果被问及其他问题，提供的信息越来越少。霍利还指出了在不同地区和文化中定义类别所面临的挑战。
• 对于大多数期刊来说，它们的审稿人和编辑委员会还有提高多样性的空间。作为代表人数不足群体的盟友，编辑和出版商应该承担多少责任?有帮助的是，编辑和出版商在这一领域发挥领导作用，直到这些代表性不足的群体有了自己的声音。
• 获取多样性数据是一项挑战。在增加审稿人的多样性方面，一些人正在从ScholarOne获取审稿人的数据。问正确的问题以获得正确的数据类型是很重要的，并且需要非常小心使用的术语。此外，期刊不能强制审稿人提供这些信息。机密性和GDPR问题使得获取这些数据变得困难，没有它们，就很难衡量多样性的任何改善。
• 提高审稿人多样性的一个方法是建立一个多样化的编辑委员会。如果编辑委员会尽可能多样化，这将对获得更广泛和更多样化的评审员池产生有益的影响。
• 其中一个挑战是，我们没有数据，但我们不因此采取行动吗?很明显，围绕研究和学术出版存在系统性问题，给那些来自历史上被边缘化群体的人制造了障碍。我们需要数据，我们需要知道我们现在在哪里，这样我们才能知道我们如何改进，尽管获取数据是一个挑战。在没有数据的情况下，我们什么都不做吗?令人鼓舞的是，许多期刊和出版商正试图改变和挑战他们自己无意识的偏见，通过委托和编辑委员会鼓励更广泛的参与。COPE提供了一些建议多元化的编委．
• 这是一个真正的机会来改变我们基础设施中的假设。例如，在ScholarOne中，为用户收集的字段是什么?例如，在与土著社区共同进行的研究中，评审员可能是没有学术背景的社区成员。然而，如果它不是一个机构，ScholarOne不能记录这种类型的从属关系。那么，我们如何收集这些数据呢?随着对科学的社区利益的日益强调，关于这种多样性来源的数据也需要收集，期刊需要提供如何做到这一点的指导。
• 人们是如何收集他们学科中具有代表性的数据的?在一些国家，有关于高等教育机构和研究学科的数据，一些出版商和期刊也试图查看这些数据。
• COPE能帮助编辑消除无意识偏见吗?委员会不久将出版一份关于DEI的讨论文件，并将在适当时候编写进一步的材料。
• 偏见和多样性是什么意思?我们应该更多地考虑代表吗?对于正在被审查的单个论文，我们是否为该论文找到了正确的审稿人组合?我们使用的是这个领域的专家吗?例如，如果有一个大部分是非裔美国人的患者群体，我们是否使用非裔美国人评审员?
• 即使你拥有广泛的评论者，他们也可能存在无意识的偏见。例如，在种族和性别方面，广泛的评论家仍然可能对某一作者抱有学术偏见。

回到顶部

你的评论

任何人(成员和非成员)都可以对这个讨论发表评论。

评论经过审核，并经批准后添加到下面。