全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1201 29
2022-04-24
英文标题:
《Double blind vs. open review: an evolutionary game logit-simulating the
  behavior of authors and reviewers》
---
作者:
Mantas Radzvilas, Francesco De Pretis, William Peden, Daniele Tortoli
  and Barbara Osimani
---
最新提交年份:
2020
---
分类信息:

一级分类:Economics        经济学
二级分类:Theoretical Economics        理论经济学
分类描述:Includes theoretical contributions to Contract Theory, Decision Theory, Game Theory, General Equilibrium, Growth, Learning and Evolution, Macroeconomics, Market and Mechanism Design, and Social Choice.
包括对契约理论、决策理论、博弈论、一般均衡、增长、学习与进化、宏观经济学、市场与机制设计、社会选择的理论贡献。
--

---
英文摘要:
  Despite the tremendous successes of science in providing knowledge and technologies, the Replication Crisis has highlighted that scientific institutions have much room for improvement. Peer-review is one target of criticism and suggested reforms. However, despite numerous controversies peer review systems, plus the obvious complexity of the incentives affecting the decisions of authors and reviewers, there is very little systematic and strategic analysis of peer-review systems. In this paper, we begin to address this feature of the peer-review literature by applying the tools of game theory. We use simulations to develop an evolutionary model based around a game played by authors and reviewers, before exploring some of its tendencies. In particular, we examine the relative impact of double-blind peer-review and open review on incentivising reviewer effort under a variety of parameters. We also compare (a) the impact of one review system versus another with (b) other alterations, such as higher costs of reviewing. We find that is no reliable difference between peer-review systems in our model. Furthermore, under some conditions, higher payoffs for good reviewing can lead to less (rather than more) author effort under open review. Finally, compared to the other parameters that we vary, it is the exogenous utility of author effort that makes an important and reliable difference in our model, which raises the possibility that peer-review might not be an important target for institutional reforms.
---
PDF下载:
-->
English_Paper.pdf
大小:(799.66 KB)

 马上下载

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-4-24 10:17:07
双盲vs.开放评论:一个进化博弈逻辑图,模拟作家和评论家曼塔斯·拉兹维拉斯、弗朗西斯科·德·普雷蒂斯的行为*, William Peden、Daniele Tortoli和Barbara Osimani2020年11月摘要尽管科学在提供知识和技术方面取得了巨大成功,但复制危机突显出科学机构仍有很大的改进空间。同行评议是批评和改革建议的目标之一。然而,尽管同行评议制度存在诸多争议,加上影响作者和评论者决定的激励因素明显复杂,但对同行评议制度的系统性和战略性分析却很少。在本文中,我们开始运用博弈论的工具来解决同行评议文献的这一特点。我们使用模拟来开发一个基于作者和评论者玩的游戏的进化模型,然后探索它的一些趋势。特别是,我们在各种参数下考察了双盲同行评议和开放评议对激励评议者的相对影响。我们还比较了(a)一种审查制度与另一种审查制度的影响(b)其他变更,例如审查成本较高。我们发现,在我们的模型中,同行评审系统之间没有可靠的差异。此外,在某些情况下,在openreview下,更高的GoodReview报酬可能会导致更少(而不是更多)的作者工作。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-24 10:17:14
最后,与我们改变的其他参数相比,作者的独特效用在我们的模型中产生了重要且可靠的差异,这增加了同行评议可能不是机构改革的重要目标的可能性。双盲同行评议;公开审查;进化博弈论;基于Agent的建模;模拟应用程序危机。分类MSC 91A22;杰尔C73。*通讯作者:弗朗西斯科。depretis@unimore.it.请不要在未经允许的情况下引用wi。1简介复制危机刺激了科学界大量的方法论和制度反思。这场危机的核心很简单:社会心理学和医学等领域的研究复制速度远远低于预期[Open Science Collaboration,2015]。我们都希望一些研究不会重复,因为不准确的数据是不可避免的问题,即使采用随机抽样,也会出现不具代表性的样本。相反,人们担心的是,某些领域的不可重复研究率只能由研究人员的不当行为来解释。有大量文献试图诊断出哪里出了问题,例如[Ioannidis,20052012,Simons,2014,Fanelli,2018,Fidler and Wilcox,2018]。对复制危机也有许多应对措施。一些人主张改革统计方法和概念[Gelman,2015年,Wasserstein and Lazar,2016年,Mayo,2018年,特拉莫,2018年]。其他组织,如AllTrials运动和开放科学中心提出了更高的透明度。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-24 10:17:20
另一种方法是改变科学家工作的更广泛的机构环境。改革提案的一个普遍问题是,如果有动机进行不良科学研究,就可能存在一种潜在的方法论退化趋势,从而绕过针对特定实践的改革[Smaldino和McElreath,2016]。改变制度环境可以增加良好科学实践的激励,从而为复制危机提供更稳定、更有力的改善。每一位科学家都知道,他们的动机很大一部分可以概括为“要么出版,要么灭亡”。出版记录是招聘决定、批准、会议邀请以及科学家在其学术领域的总体声誉的关键因素。然而,在做出这些决定时,通常不可能阅读并系统地评估一位科学家的全部研究成果。因此,科学家们有一个动机,如果他们能够发表低于标准的工作,尽管这种动机不能被其他考虑抵消。一个平衡点是peer-r-eview。因此,同行评议是一种考虑改革的自然制度结构,以减少复制危机背后的不良做法。一些人认为,同行评议制度是净负面因素,应该予以巩固[Heesen and Bright,2019]。更典型的是,特定同行评议制度的倡导者认为,他们的方法可以改善作者和评论者的激励,从而产生更好的研究实践。有许多不同类型的对等视图系统,它们在多个维度上有所不同。差异的一个主要方面是致盲程序。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-24 10:17:27
例如:(1)笔盲:作者的身份对审稿人和编辑都是隐藏的;评论者的身份对作者来说是隐藏的。(2) 双盲:作者和审稿人的身份彼此隐藏。https://www.alltrials.net/https://cos.io/https://blogs.canterbury.ac.nz/surejournal/(3) 单盲:评论者的身份对作者是隐藏的,但反之亦然。(4) 公开评论:没有隐藏身份。在本文中,我们主要关注双盲同行评议和开放评议。两种制度的倡导者都提出了各种支持他们的论点。一些人认为,双盲导致(a)更少的偏见[Ferber和Teiman,1980年,Budden等人,2008年,Lot Fi和Mahian,2014年,Ga rvalov,2015年,Darling,2014年,Bernard,2018年]和(b)更好的评论者行为[Wendler和Miller,2013年]。其他人对(a)的论点提出质疑[Fis h,1989年,考克斯等人,1993年,阿姆斯特朗,1997年,Engqvist and Frommen,2008年,韦布等人,2008年,Largent and Snodgrass,2016年],其他人则认为双盲妨碍了审稿人在识别感兴趣的冲突和重复研究中的重要作用[Pitkin,1995年]。同时,关于(b),公开审查的倡导者还声称,这种制度会导致更好的审查行为[Turner,2003,Comer和Schwartz,2014],并使审查者能够因良好的审查行为获得好评[Chubin等人,1990年,Godlee,2002年,艾森哈特,2002年,Raelin,2008年,Wendler和Miller,2013年]。关于这两种制度的正反两面,也有一种尚处于萌芽阶段但尚不发达的经验主义文献,没有明确的证据支持这种疗法。在这场辩论中,实证研究面临的一个挑战是,期刊和学科可能存在相关差异。例如,在一个其他科学家的研究议程众所周知的小领域,匿名不太可能有效。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-4-24 10:17:33
另一个挑战是,经验规律没有对基础激励的扎实分析,因为政策损坏的基础不可靠,因为如果激励系统产生变化,规则可能会消失(卢卡斯,197 6)。然而,研究不同同行评议制度的主要动机正是决定是否改变期刊的同行评议政策,从而改变科学家的观念。我们的研究有助于解决在经审查的出版物中模拟潜在激励的问题。关于同行评议制度和出版物市场的非正式辩论总体上表明,有许多激励因素促使作者和评论者朝着不同的方向发展。我们需要系统的建模,以便形式化这些实体的结构,评估它们的动态,并系统地思考它们。这方面的研究很少;有关例外情况,请参见[Taylor and Yildirim,2011]。我们的目标不是提供一个支持双盲或开放式审查的明确论据,而是开发和探索一个博弈论模型,以帮助后续的辩论。期刊也可能对结果视而不见,以减少偏向于统计显著结果[Newcombe,1987年,Glymour和Kawachi,2005年]。然而,见[Rogers,2002]。一个问题是,编辑可以通过其他方式实现这些目标[Peters和Ceci,1982年,Cox等人,1993年]。见肌萎缩侧索硬化症ohttps://retractionwatch.com/.For一项关于双盲与单盲综述的广泛调查,见[Snodgrass,2006]。2方法在本节中,我们描述了我们的模型及其基本游戏。我们的overallaim是一个简单的激励作者和评论者的探索性模型,它允许比较双盲评审和开放评审对鼓励作者工作的影响。我们关注作者的贡献,而不是研究的质量,因为对于如何量化后者或如何将其与作者的决定联系起来,我们没有达成共识,而将前者建模为直接受作者控制的单一参数是合理的。我们对作者和评论人的选择进行建模。简单地说,我们假设编辑总是遵循审稿人的建议,就像他们在现实世界中的绝大多数决策中所做的那样。我们还假设期刊提交的内容由一名审稿人审核。这种假设是不现实的,但它不符合作者主要关心的内容,即评论者接受或拒绝的意见的分类;既然我们的终极利益是作者的责任,这个假设似乎并不妨碍我们的主要目标。我们的模型为作者发表策略生成了进化环境。我们的解释如下:(1)将作者和评论者的特定互动模式化的基本博弈;(2)研究作者和评论者策略在不同环境下如何随时间演化的模型
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群