医生级别的平均值和标准差由医生级别的观察次数加权。为了调查这一点，我们将医生分为两组，高于和低于中间水平的医生平均细菌率。表1报告了这两组阳性检测结果中医生水平的细菌种类份额的描述性统计，其中我们通过观察次数来衡量医生水平的平均值和标准偏差。细菌的大小和结构相似性的微小差异表明，医生没有根据护理点测试的信息信号系统地选择要测试的患者。同样，医生对特定患者或人群中抗生素耐药性的普遍程度可能会有所不同。这些知识也可能影响使用实验室诊断的决定。表1显示，低产量和高产量医生之间的耐药率差异很小。几乎所有细菌和抗生素分子之间的平衡提供了证据，表明我们无法观察到的护理点信息并不是选择接受实验室检测的患者的强大驱动力。5.2估计我们使用随机森林预测M（xi）中涵盖的处方决定、dit、疾病实现、yit和患者类型τi的观察数据，通过模拟最大似然估计模型。我们对αj=1进行标准化，因为只确定了βj/αji的比率。单次观察的模拟概率贡献遵循lij（dij | j，yi，m（xi））=公共关系g（ξij，ηij |βj，σξj，σηij）>0 | j，yi，m（xi）如果dij=1Prg（ξij，ηij |βj，σξj，σηij）<0，| j，yi，m（xi）如果dij=0。（11） 式中，Θ={βj，σξj，σηj}和ξij和ηij是在观测到的yi的条件下，利用方程（2）、（3）和（4）中的分布假设进行模拟的。

附录C解释了方程式11中模拟概率的程序。将Ijas定义为一组咨询physican j的患者，结果的联合风险dj={dij}i∈j（dj | j，yj，m（xj））=Yi∈IjLij（dij|Θj，yi，m（xi））。（12） 其中yj={yi}i∈ij和m（xj）={m（xi）}i∈Ij。医师技能和偏好现在可以从^Θj=arg minΘjXi恢复医师j∈Ijlog Lij（dij|Θj，yi，m（xi））。（13） 对每一位医生的^Θj进行估计，可以恢复非参数的医生异质分布。为了估计参数，我们使用Hess、Train和Polak（2006）提出的1000个修改的拉丁超立方体采样图，以及附录D中提供的具有分析梯度的拟牛顿法，最大化模拟似然。使用Nelder-Mead方法或模拟退火，一种全局优化算法，产生几乎相同的结果。5.3估计结果表2报告了^Θj的均值和标准偏差。患者类型（σξj）和临床诊断信息（σηj）的噪声参数均值较大，分别为6.38和2.18。有趣的是，平均σξjis明显大于σηj，这意味着医生更多地依赖于临床诊断信息，而不是从观察患者类型中获得的信息。这一结果表明，以机器学习预测风险的形式提供患者类型信息，可以提高医务人员预测感染细菌原因的能力。患者类型和临床诊断信息在决策中的使用程度在不同的诊所之间存在显著差异，反映在σξjan和σηj估计值的标准偏差中。偏好参数估计值的平均值为0.56，以0<βj<αj的假设为界，以0和1为界，表明平均保守。

平均医师衡量了因一张抗生素处方而增加抗生素耐药性的社会成本，该处方略高于治愈一名患者的健康效益的一半。0.13的标准偏差反映了医生在解决这种权衡效应方面的实质性异质性。表2：参数估计值的分布（SD）型信号噪声σξj6。38（3.59）诊断信号噪声，σηj2。18（1.40）Payoff函数参数，βj0。56（0.13）注：本表报告了194个医师诊所参数估计分布的平均值和标准偏差。该模型针对每个诊所分别进行估算。附录E中的图7至图9显示了参数估计的分布。为了匿名，我们显示了热图，不报告少于五家诊所所在区域的数值。临床诊断技能参数σηjis的分布集中在1到3之间的区域。噪声参数σξj测量医生利用患者类型信息的程度，在1和7之间更分散。σηJ浓度越高，表明即使存在显著的异质性，大多数医生也会利用临床诊断信息。σξjon平均值的大量估计表明，提供机器学习预测可以显著改善医生信息。特别是，我们发现相关数量的医生具有非常大的σξ估计值。在图7中，估计σξj>6的医生占所有医生的40%。该组似乎没有使用患者类型信息编码的不可观测数据。因此，将预测m（xi）中的系统信息与这些医生使用的有价值的临床诊断信息相结合，可能会显著改善决策。图8和图9没有显示估计的支付权重和bothnoise参数之间的系统关系。

附录F中的图10至图12显示了医生级参数估计的95%置信区间，通过医生级的自举计算得出。通过对估计值进行排序，我们发现技能参数估计值的方差随着估计值的大小而增加。σηj的估计值在较低的值和从下到下的整个过程中具有严格的置信区间。在附录G图13所示的模拟中，我们展示了相关参数范围，即随着σξ的增大，参数的变化对医生决策的影响非常小。这也解释了置信区间的下界比上界更严格地遵循参数估计的观察结果。Payoff函数参数估计的置信区间在整个范围内是一致的。我们还调查了模型对数据的拟合程度。附录H中的图14显示了观察到的平均、过量和不足处方率的分布及其基于参数估计的模拟对策。模拟的分布与观测数据非常相似。5.4观察到的异质性为了调查初级保健诊所异质性的潜在来源，我们将参数估计值与观察到的临床特征相关联。我们将个别医生的特征汇总到初级保健诊所层面，因为处方是针对诊所的。由于数据限制，我们能够合并194家诊所中117家的特征。线性回归表3中临床特征参数估计的结果显示了几种有趣的模式。对于医生在观测值Xi，αSigz j中编码的信息的使用中的噪声估计，协变量席的所有区间都覆盖零。

通过对系数的检查，女性医生的患病率较低，且更倾向于要求对尿液样本进行实验室诊断，这可能反映了治疗尿路感染患者的更广泛经验。拥有更多医生的初级保健诊所与较低的噪声估计值相关。临床诊断信息的噪声参数^σηj与诊所要求每位患者进行的实验室检查数量呈负相关。这种相关性的置信区间不包括零。测试强度较高的诊所在决定进行额外的临床测试或更好地从测试诊断中提取信息方面可能具有更高的技能。临床诊断信息中的噪音与诊所医生的平均年龄呈正相关，根据可确定的3个参数估计值和医生特征，线性回归型信号噪声临床信号噪声偏好SN=117^σξj^σηj^βj每位医生的患者数为0.02[-1.67,1.72]-0.28[-0.66,0.11]0.02[-0.05,0.09]每位患者的实验室测试数为-0.67[-1.90,0.55]-0.52[-0.94，-0.11]-0.02[-0.06,0.03]平均医生人数为-0.44,0.98[-1.07][-0.31,0.45]-0.03[-0.08,0.03]医生的平均年龄-0.03[-4.09,4.02]2.30[0.50,4.10]0.09[-0.08,0.27]女性医生的比例-0.15[-1.03,0.72]-0.001[-0.31,0.31]0.003[-0.03,0.04]R0。02 0.12 0.03注：本表给出了三个线性回归的系数，其中结果为表2中总结的医师选择模型的三个参数估计值，相关系数为临床层面的医师特征。平均值用于多医生诊所。括号中报告了异方差稳健95%置信区间。间隔不包括零。有几种说法支持这种相关性。

例如，老年物理学家可能更依赖于他们的临床经验和对复发患者的个人知识，而不是昂贵的诊断测试。或者，他们可能不太可能购买新的诊断设备，也不太可能依赖他们习惯的现有工具。偏好参数估计值βj的结果更难解释，因为只有权重βjan和αjis之间的比率是确定的。平均而言，年龄较大的医生所在的诊所似乎对抗生素抗药性外部性的权重大于减轻患者疾病成本的权重，而这一比例与每位患者的实验室检查次数以及作为医生人数衡量的临床规模呈负相关。6反事实政策评估我们通过比较诱导决策结果δ与观察医生处方δ来评估反事实政策。总体处方变化定义如下：δ、 过度处方的变化，即给没有细菌感染的患者开的抗生素处方，如δy和正确治疗的细菌性UTI患者数量的变化δy.表4显示了三种反事实干预的政策结果。对于我们不能否认机器学习预测是无偏的临床子集，我们在附录I的表6中报告了几乎相同的结果。对于这些人来说，选择不可观测数据进行测试的可能性最小。表4反事实政策结果1。提供基于ML的τi2。操纵支付3。

再分布σξj=0βj=min（βj+κ，1）δy！=0总体处方，δ百分比-25.4[-26.1，-23.1]-25.4[-26.4，-24.5]-10.0[-11.4，-9.5]Nδ=16334例治疗细菌病例，δy的百分比为-13.1[-14.6，-10.6]-20.4[-22.2，-18.7]0[0,0]Nδy=9957过度处方，δy的百分比-44.5[-45.3，-41.3]-33.1[-35.0，-31.4]-25.2[-28.8，-24.6]Nδy=6377报酬的变化，Wj（δj）的百分比20.15.8 12.1注：此表报告了194家诊所的现状变化百分比。观察到的绝对数在左栏中报告。在反事实二中，我们设置κ=0.12以获得相同的结果δ与反事实中的一样。为医生提供每名患者的τI型机器学习预测，并通过设置σξj=0假设医生在无噪声的情况下使用它。在这种反事实的情况下，临床诊断技能和Payoff函数参数是固定的。我们发现，总体处方减少了25.4%（4140张处方），过度处方减少了44.5%（2839张处方）。有趣的是，经过治疗的细菌感染数量也减少了13.1%（1302种处方）。因此，关于患者类型的改进和更精确的信息显示出医生的平均保守程度。在初级保健中抗生素处方的情况下，过度处方是首要问题，因为抗生素治疗的效果无法逆转，而延迟处方的决定可以在获得完整的检测结果后尽快纠正。在反事实二中，我们操纵医生的支付功能，但保持医生关于患者类型和临床诊断的技能不变。

特别是，我们将Payoff参数betaj增加一个常数κ，这样，处方的总体减少相当于通过向医生提供机器学习预测而实现的反事实减少。更准确地说，我们将反事实支付参数定义为βj=min（βj+κ，1），其中设置κ=0.12可使处方的总体减少25.4%。这种干预可以被解释为一种推动或抗生素税，它改变了增加抗生素耐药性的社会成本和个别患者放弃抗生素治疗的疾病成本的相对权重。尽管处方的总体减少量与反事实的减少量相同，但与第一次反事实的44.5%相比，过度处方的减少量显著减少了33.1%（2110张处方）。值得注意的是，在不改善诊断信息的情况下操纵支付功能权重会导致不良影响，如治疗细菌感染大幅减少20.4%（2207张处方）。这些结果说明了在结构模型中分离预测和决策步骤的有效性。试图根据社会目标激励行为的干预措施的效果可以独立于旨在纯粹改善诊断信息的干预措施来考虑。这与Cowgill和Stevenson（2020）研究的情况形成对比，在这种情况下，算法输出不仅用于传达预测，还用于传达社会目标。他们认为，这种操纵可能导致人类专家拒绝使用预测。

我们考虑的框架允许干预，其中两个目标，提供机器学习预测专家和激励社会行为，可以实施和评估作为补充。在反事实三中，我们评估了一个处方规则，该规则与之前评估机器学习预测的文献中使用的程序相对应（Bayati等人2014年；Chal fin等人2016年；Kleinberg等人2018年；Ribers和Ullrich 2019年；Yelin等人2019年；Hastings、Howison和Inman 2020年）。该规则基于这样一种假设，即人类的自由裁量权可以被推翻，或者决策者完全遵守基于预测的处方规则。在这项政策中，对预测风险较低的患者的处方会推迟到检测结果出来。所有具有高预测风险的患者在检测结果到达之前都会收到处方。由于Payoff函数参数βjis在这一系列文献中通常是未知的，因此可以方便地将重点放在一个角落解决方案上，该解决方案可以最大限度地减少抗生素的使用，同时强制执行δy=0。这保证了所有人的社会规划者的福利都会增加∈ [0, 1]. 这项反事实政策将总体处方减少了10.0%（1634张处方），将过度处方减少了25.2%（1607张处方），而根据结构，细菌感染的处方数量变化为零。

我们注意到，与反事实的结果相比，医生将机器学习预测提供的患者类型信息合并在一起，结果存在显著差异。表4还报告了方程式（7）中每种政策的医生薪酬的平均变化，定义为∏j（δj）=Δj（δj）- πj（δj）∏j- 其中∏j=-^βjPi∈当且仅当医生给细菌感染患者开处方且∏j（δj）=Pi时，ijyi是实现的第一个最佳结果∈Ijπ（dij，yi；^βj）是医生对dij决策集的贡献∈ δj.对于提供患者类型信息的反事实政策，支付收益最大，而对于操纵抗生素耐药性外部性支付权重的政策，支付收益最小。这一结果是意料之中的，因为增加处方成本的权重类似于减税效用。限制医生自由裁量权的再分配政策带来的收益介于两者之间。基于反事实策略1和2的结果为机器学习预测带来的潜在收益提供了更现实的事前评估，因为它们不依赖于医生完全遵守基于预测的决策规则的假设。完全取代人类决策者通常是不可取或不现实的，因此很难根据这样的假设从结果中得出结论。支付收益的差异反映出再分配政策的实施可能会与医生和患者的偏好相冲突。最后，从社会规划师的角度出发，我们评估福利效应，以提供一系列反事实政策，不仅基于报告的结果计数，还基于支付效应带来的社会偏好收益。

我们计算了三种反事实政策对潜在社会规划者偏好参数βS连续统的福利影响∈ [0,1]asW（δ，βS）=∏（δ，βS）- π（δ，βS）∏- 其中∏=-β-SPi∈IYI是全组患者的第一个最佳综合结果，I意识到当且仅当给细菌感染患者开处方且∏（δ，βS）=Pi时∈Iπ（dij（I），yi；βS）是决策集dij（i）的聚合支付函数∈ δ.图5显示W（δ，βS）超过βS的完全支持，表明最佳政策取决于社会规划者对抗生素耐药性外部性的权重。第三个反事实是基于这样一个约束，即不能减少对细菌感染的处方，这保证了总是能获得积极的回报。如果偏好未知，这一点尤为重要。然而，在已知偏好的情况下，给予医生充分自由裁量权并利用其专业知识的反事实主导了角落解决方案。这是直观的，因为如果社会充分重视外部性，那么即使减少某些细菌感染的处方也值得，以换取减少过度处方。与反事实3相比，反事实1和2获得更高收益的偏好参数正好低于医生估计的平均水平βjof 0.56。因此，如果社会规划师的权重β至少与普通医生的βj一样大，那么为医生提供更好的诊断信息将带来最高的社会效益。图5：社会规划师偏好βs的反事实福利效应∈ [0,1]。7结论我们展示了当人类持有决策相关信息时，如何评估机器学习预测所支持的策略。

通常很难确定这些信息是否是机器学习预测的补充，或者是否可以被机器学习预测取代。如果这些信息或获取这些信息所需的技能难以衡量，且决策者之间存在差异，那么事先评估机器学习预测的附加值是一项挑战。现场试验可能旨在提供可靠的评估，但由于道德、法律或实际原因，往往难以实施。因此，重要的是开发基于模型的工具来评估潜在的实现。有希望的评估可能有助于说服利益相关者，现场试验值得实施。我们考虑的分析，抗生素处方怀疑尿路感染，类似于许多情况下，初级保健提供，但专家决策问题更普遍。虽然我们考虑和利用一些初级护理设置的特质，我们的分析提供了一个更普遍适用的框架，以评估机器学习在数据丰富的环境。我们的分析是否以及如何有助于替代设置取决于对目标结果的衡量，以及在决策者层面上允许无偏见预测的数据可用性。我们提供的证据支持这样一种假设，即结合观察整套结果的能力，可观察到的患者信息足够丰富，可以在我们的环境中识别技能和报酬。不偏不倚不仅会受到预测质量不足的威胁，还会受到决策影响测量结果时潜在选择问题的威胁。在这种情况下，可选择的识别策略，例如基于Kleinberg等人提出的随机分配假设。

（2018）和Chan、Gentzkow和Yu（2020）是除了高质量的机器学习预测之外所必需的。针对抗生素处方的进一步研究仍有几个重要途径。有必要尝试编码更多的临床信息，例如电子健康记录中的信息，例如报告的症状和临床诊断结果，以进一步改进机器学习预测。我们也省略了抗生素描述的一个重要方面，即分子的选择。对细菌种类和分子特异性耐药性的预测在多大程度上可以进一步指导处方选择，这仍然是未来研究的一个悬而未决的问题。需要进一步研究，以更好地了解专家对引入预测工具的潜在行为反应。这些研究的结果可以提供关于如何以最佳方式传达机器学习预测、在多大程度上解释预测结果以及对决策者获取信息和专业知识的激励的潜在影响的见解。虽然我们考虑一个特殊类型的医疗诊断和治疗问题，我们的结果表明使用机器学习预测在许多相关的医疗保健情况下的潜力。数据可用性和预测算法的质量在医疗保健以外的领域都在快速提高。然而，这类技术被更广泛地采用和有效利用的速度将取决于它所能补充的人类专业知识的种类和质量。

如果我们的发现更具启发性，那么人类专家远未被取代。相反，人力资本投资可能是帮助实现改善福利和技术进步承诺的关键之一。附录附录A医生异质性表5医生的决定作为预测因素和临床特征来源： AUC包括线性回归系数治疗决定作为预测因子，每名医生的临床独特患者数量0.007[-0.015,0.028]每名独特患者的实验室结果数量0.007[-0.005,0.018]医生的平均人数-0.002[-0.017,0.014]医生的平均年龄-0.023[-0.074,0.027]女性医生的比例0.007[-0.002,0.015]R0。05注：括号内为异方差稳健95%置信区间。附录B关于患者类型和疾病状态的信号潜伏性疾病i ijjijj图6：感染细菌的示例患者的νi分布和信号ξij和ηij（νi>\'）。附录C患者i和医生j的模拟选择概率模拟程序（以下抑制指数i和j）：1。给定m（x）和y，画出模拟的疾病实现νr~ N（m（x），1 | y=[νr>\'ν]）。和信号ξr~ N（m（x），σξ）ηr~ N（νr，ση）表示医师参数σξ和ση。计算预期收益：EUrd=E{π| d，ξr，ηr}=-αPr{y=1|ξr，ηr}1.- Φν - urσr如果d=0-β如果d=1，其中α和β是医生参数，以及方程式6中所述的ξr、ηr、σξ、ση和ση的urandσ稀有函数。注意，α或β必须归一化。我们设定α=1.3。计算模拟选择概率^P=RRXr=1[EUr>EUr]和^P=RRXr=1[EUr]≥EUr]产生σξ、ση和β的阶跃函数，在最大似然估计中很难在数值上最小化。因此，我们使用平滑参数λ=0.01的Logit SmoothDaccept拒绝模拟器计算选择概率。

我们将实用程序插入逻辑公式：Sr=eEUr/λeEUr/λ+eEUr/λ=1+eλ（1-Φ(ν-urσr）-β） andSr=eEUr/λeEUr/λ+eEUr/λ=1+eλ（Φ（？）-urσr）-1+β).4. 重复步骤1-3 R次，使R取1到R.5的值。我们通过对模拟进行平均得到模拟选择概率：^P=RRXr=1和^P=1-^P=RRXr=1（1）- Sr）=RRXr=1SrAppendix D分析梯度目标函数可以写成（σξj，σηj，βj|ξij，ηij，dij）=Xi∈Ijlog（Lij（dj|j，yj，m（xi））=xi∈Ijdijlog（^Pij1）+（1）-dij）日志（1）-^Pij1）单一数据点的LLH函数导数，为了简单起见，删除索引ij，如下所示：嗯β=迪普^Pβ+1.- d1-^P-^Pβ!=迪普-1.- d1-^P^Pβ=迪普-1.- d1-^PRRXr=1Sr（1- （高级）λ（欧元）- 欧元）β=迪普-1.- d1-^PRRXr=1Sr（1- （高级）λ(Φ-urσr- 1 + β)β=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λ和嗯σξ=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λΦ-urσrσξ=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λφ-urσr，0，1-urσrσξ与-urσrσξ= -σηηNσησξ+ηNσησξ- σησξτ+σηξN- σξN- 2σξτ + σξν - 2σξτ+σξν+ξNσησξ+ ση+ σξ+ 2σξ+ 1和嗯ση=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λφ-urσr，0，1-urσrση与-urσrση=ηNσησξ+ηNση- σησξN- σησξτ + 2σησξν - σησξN- σητ+2σηⅤ+σξⅤ+2σξⅤ+νσηqσξ+1ση+ σξ+ 1附录E参数估计σξ          ση图7：∑ξ和∑η的医师水平估计热图。为了确保匿名，该图显示的热图仅涵盖五名或五名以上医生的区域。β          ση图8:b和ση的医师水平估计热图。

为了确保匿名，该图显示的热图仅涵盖五名或五名以上医生的区域。β          σξ图9:b和σξ的医师水平估计热图。为了确保匿名，该图显示的热图仅涵盖五名或五名以上医生的区域。附录F∑ξ参数估计的方差图10：医生级估计和∑ξ的自举95%置信区间。为了确保匿名性，使用带宽0.2.0 2 4 6 8 10对∑η进行平滑处理。图11：医生级别的估计和∑η的自举95%置信区间。为了确保匿名性，该图形以0.2.的带宽平滑。。2.4.6.8β的估计值图12：医生级别的估计值和β的自举95%置信区间。为了确保匿名性，该图形以0.2的带宽平滑。附录G∑ξ0 1 2 3 4 5 6 7 8 9 100510152025Pct决策相关性的模拟。随着1的增加而改变的决策图13：由于σξ的变化而模拟的选择变化，以每步sizeone的百分比表示。附录H模型                        图14：减少样本的观察和模拟时刻Pendix I反事实表6反事实政策结果，无偏预测不能被拒绝的医生样本1。提供基于ML的τi2。操纵支付3。

再分布σξj=0βj=min（βj+κ，1）δy！=0总体处方，δ的百分比为-25.5[-26.3，-22.6]-25.5[-26.2，-24.2]-9.92[-11.2，-9.4]Nδ=13484个治疗过的细菌病例，δy的百分比为-13.4[-14.7，-10.5]-20.6[-21.9，-18.7]0[0,0]Nδy=81990，δy百分比-44.2[-45.3，-40.4]-33.0[-34.3，-30.5]-24.9[-28.6，-24.2]Nδy=5285薪酬变化，Wj（δj）百分比19.0 4.4 12.3注：该表报告了160家诊所的现状变化百分比。观察到的绝对数在左栏中报告。在反事实二中，我们设置κ=0.12以获得相同的结果δ与反事实中的一样。参考文献[1]Abaluck、Jason、Leila Agha、Chris Kabrhel、Ali Raja和Arjun Venkatesh（2016），“医疗检测生产率的决定因素：护理强度和分配”，《美国经济评论》，106（12），3730-3764。[2] Agrawal、Ajay、Joshua Gans和Avi Goldfarb（2018），《预测机器：艺术情报的简单经济学》，哈佛商业出版社。[3] Andini、Monica、Emanuele Ciania、Guido de Blasio、Alessio D’Ignazio和Viola Salvestrini（2018），“机器学习的目标：意大利退税计划的应用”，《经济行为与组织杂志》，156，86-102。〔4〕Athey，苏珊（2018），“机器学习对经济学的影响”，在Atdic社会智力经济学中：一个议程。Ajay K. Agrawal，Joshua Gans，和AVI GaldFrb，芝加哥大学出版社。[5] 巴亚蒂、莫森、马克·布拉弗曼、迈克尔·吉拉姆、凯伦·M。

Mack、George Ruiz、Mark S.Smith和Eric Horvitz（2014），“减少心衰再入院率的数据驱动决策：一般方法和案例研究”，公共科学图书馆，9（10），e109264。[6] Bennett，Daniel，车伦鸿和蔡玲·劳德代尔（2015），“台湾的医疗保健竞争和抗生素使用”，工业经济杂志，63（2），371-393。[7] Cassidy，Rachel和Charles F.Manski（2019），“不确定性下的结核病诊断和治疗”，《美国国家科学院院刊》，116（46），22990-22997。[8] CDC（2013年），《美国的抗生素耐药性威胁》，https://www.cdc.gov/drugresistance/threat-report-2013/pdf/ar-threats-2013-508.pdf，于2019年4月2日访问。[9] Chal fin、Aaron、Oren Danieli、Andrew Hillis、Zubin Jelveh、Michael Luca、Jens Ludwig和Sendhil Mullainathan（2016），“机器学习的生产力和人力资本选择”，《美国经济评论》，106（5），124-127。[10] Chan，David C.，Matthew Gentzkow和Chuan Yu（2019），《诊断技能变异的选择：来自放射科医生的证据》，NBER工作文件第26467号。[11] Cowgill，Bo和Megan T.Stevenson（2020），“算法社会工程”，AEA论文与论文集，110。[12] 柯里、珍妮特、林万川和孟娟娟（2014），“解决中国抗生素滥用问题：一项实验性审计研究”，《发展经济学杂志》，110，39-51。[13] Currie，Janet和W.Bentley MacLeod（2017），“诊断专业知识：人力资本、决策和医生绩效”，《劳动经济学杂志》，35（1），1-43。[14] 达文波特、迈克尔、凯瑟琳·E·马赫、琳达·M·戴里基·肖特利夫、尼亚兹·巴纳伊、蔡惠旺和约瑟夫·C。

廖（2017），“尿路感染诊断技术的新发展”，《自然评论泌尿学》，第14（5），296页。[15] 丹麦卫生和药物管理局（2013年），《丹麦医生和其他人抗生素处方指南》，2013年11月，哥本哈根。[16] 丹麦卫生部（2017年），针对抗生素til mennesker的国家处理计划。Tremalbare mal，用于2020年布鲁杰-弗雷姆国防部抗生素研发。[17] Das、Jishnu、Alaka Holla、Aakash Mohpal和Karthik Muralidharan（2016），“医疗服务提供的质量和责任：来自印度初级保健的审计研究证据”，《美国经济评论》，106（12），3765-3799。[18] Flores Mireles，Ana L.，Jennifer N.Walker，Michael Caparon和Scott J.Hultgren（2015），《尿路感染：流行病学，感染机制和治疗选择》，《自然评论微生物学》，13269-284。[19] Foxman，Betsy（2002），“尿路感染的流行病学：发病率、发病率和经济成本”，美国医学杂志，113（1），补充。1, 5-13.[20] Friedman，Jerome H.，Trevor Hastie和Robert Tibshirani（2000），“加性逻辑回归：促进的统计观点（包括作者的讨论和反驳），《统计年鉴》，28（2），337-407。[21]Friedman，Jerome H.（2001），“贪婪函数近似：梯度提升机”，《统计学年鉴》，29（5），1189-1232。[22]哈尔斯沃斯、迈克尔、蒂姆·查德伯恩、安娜·萨利斯、迈克尔·桑德斯、丹尼尔·贝里、菲利克斯·格雷夫斯、劳拉·克莱门茨和莎莉·C。

Davies（2016），“向全科抗生素高处方者提供社会规范反馈：一项实用的全国随机对照试验”，《柳叶刀》，387（10029），1743-1752。[23]黑斯蒂、特雷弗、罗伯特·蒂布什拉尼和杰罗姆·弗里德曼（2009），《统计学习的要素：数据挖掘、推理和预测》，第二版，纽约：斯普林格。[24]黑斯廷斯，J.S.，M.豪森，S.E.英曼（2020），“在给药前预测高风险阿片类药物处方”，《美国国家科学院院刊》，117（4），1917-23。[25]Hess，Stephane，Kenneth E.Train和John W.Polak（2006），“关于使用改进的拉丁超立方体抽样（MLHS）方法估计车辆选择的混合Logit模型，”交通研究B部分：方法学，40（2），147-163。[26]Ho Off rage，Ulrich，Samuel Lindsey，Ralph Hertwig和Gerd Gigerenzer（2000），“传播统计信息”，科学，290（5500），2261-2262。[27]Kang，Jun Seok，Polina Kuznetsova，Michael Luca和Yejin Choi（2013），“哪里不吃？通过使用在线评论预测卫生检查来改善公共政策”，在2013年自然语言处理经验方法会议上发表，1443-1448。[28]Kleinberg、Jon、Jens Ludwig、Sendhil Mullainathan和Ziad Obermeyer（2015），《预测政策问题》，美国经济评论，105（5），491-495。[29]Kleinberg、Jon、Himabindu Lakkaraju、Jure Leskovec、Jens Ludwig和Sendhil Mullainathan（2018），“人类决策和机器预测”，经济学季刊，133（1），237-293。[30]Kwon，Illoong和Daesung Jun（2015），“抗生素使用中的信息披露和同侪效应”，《健康经济学杂志》，第42期，第1-16页。[31]Laxminarayan、Ramanan、Adriano Duse、Chand Wattal、Anita K.M.Zaidi、Heiman F.L.Wertheim、Nithima Sumpradit、Erika Vlieghe、Gabriel Levy Hara、Ian M。

古尔德、赫尔曼戈森、克里斯蒂娜·格雷科、安东尼·D·苏、玛丽亚姆·比格利、格伦·汤姆森、威尔·伍德豪斯、伊娃·奥姆巴卡、阿图罗·奎日佩·佩拉尔塔、法拉·纳兹·卡马尔、法蒂玛·米尔、萨姆·卡里乌基、祖尔·菲卡尔·布塔、安东尼·科茨、理查德·伯格斯特罗姆、杰拉德·D·赖特、埃里克·D·布朗、安多托·卡尔斯（2013），《柳叶刀传染病委员会》（the Lancet Infectivousdiseases Commission，1-42）。[32]Llor，Carl和Lars Bjerrum（2014），“抗生素耐药性：与抗生素使用相关的风险和减少问题的措施”，药物安全的治疗进展，5（6），229-241。[33]Mullainathan、Sendhil和Ziad Obermeyer（2019），《低价值医疗保健的机器学习方法：浪费测试、错过心脏病发作和错误预测》，NBER第26168号工作文件。[34]Pallin，Daniel J.，Clare Ronan，Kamaneh Montazeri，Katherine Wai，Allen Gold，SiddharthParmar和Jeremiah D.Schour（2014），“成人急性护理中的尿液分析：检测和解释结果中的陷阱”，开放论坛传染病，1（1），Of019。[35]Moller Pedersen，Kjeld，John Sahl Andersen和Jens Sondergaard（2012），“丹麦的全科医学和初级卫生保健”，美国家庭医学委员会杂志，25（补充1），S34-S38。[36]医生，Michael和Hannes Ullrich（2019），“对抗抗生素耐药性：机器学习能改善处方吗？”DIW讨论论文第1803号。[37]医生，Michael和Hannes Ullrich（2020），“对抗抗生素耐药性：机器学习能否改善处方？”mimeo。[38]世界卫生组织（2014年），《抗生素耐药性：全球监测报告》，瑞士日内瓦。[39]叶林，I.，O.斯奈泽，G.诺维奇，R.卡茨，O.塔尔，M.帕里扎德，G.乔迪克，G.科伦，V.沙列夫和R.基肖尼（2019），“个人临床病史预测尿路感染的抗生素耐药性”，《自然医学》，25（7），1143-1152。