本节超越了对分类绩效的纯粹测量，首先从更定性的角度阐述了表示预警模型不确定性的价值。根据第3.3节，我们提供置信区间（CI）作为危机概率及其阈值的不确定性估计。在计算聚合时，我们还捕获了由于方法之间的模型输出不一致而导致的样本概率方差的增加，以及重新采样引起的变化。在图2中，我们展示了英国和瑞典2004年第一季度至2014年第一季度一种单独方法（KNN）的危机概率和阈值折线图，其中管状环线代表CIs。未发现与阈值（即高于或低于阈值）存在统计显著差异的概率观测值用圆圈表示。这代表着不确定性，因此需要进一步审查，而不是机械地将其划分为脆弱的奥特兰基尔时期。

因此，这种解释可能表明观察值的脆弱性低于阈值，反之亦然。2000年2002年2004年2008年2010年2012年20140.0 0.2 0.4 0.6 0.8 1.0联合概率和阈值，方法：KNN●●●●●●概率ci不显著概率阈值cicrispre-crisis2003 2005 2007 2009 2011 20130.0 0.2 0.4 0.6 0.8 1.0瑞典概率和阈值，方法：KNN●●●概率ci不显著概率阈值cicrispre-crisis图2：英国KNN和瑞典KNN的概率和阈值及其CI图2中的左图显示了2002年已经出现的第一个升高信号（但没有超过阈值），然后在危机前时期，升高概率的较大变化，这会导致与阈值之间的细微差异，从而表明潜在的脆弱性。这将比不考虑不确定性的情况下提前四个季度表明脆弱性。另一方面，图2中的右图显示，瑞典在APAST危机期后的两个观察值升高，但低于阈值。在正确的背景下，再加上专家的判断，这很可能与繁荣-萧条类型的失衡无关，而是与危机后的价值提升有关。作为展示将不确定性纳入模型有用性的下一步，我们进行了一次早期警告练习，其中我们忽略了概率Pm和pando分别与阈值τmn和τan在统计上没有显著差异的观察结果。由于草书练习需要更大的数据，这会给我们留下小样本，我们只进行交叉验证的方法赛马，并将其与表9中的练习进行比较。

在这种情况下，交叉验证练习的功能，以及测试忽视不重要的观察对早期预警绩效的影响。在表11中，我们没有关注具体的方法排名，而是将新的绩效评估结果与表9中的完整结果进行了比较。我们可以观察到，除了信号提取（不管怎样，它的有用性很低）之外，所有方法在去除不重要的观测值时都能产生更好的性能。虽然这是直观的，因为下降的观察值是临界情况，结果主要作为我们的模型输出不确定性度量的通用证据，以及考虑统计显著性相对于阈值的有用性。不考虑投票，因为没有直接的方法得出二元多数票的统计意义。表11：交叉验证估计的稳健且显著的赛马。RankMethod Precision Recall Precision RecallacuracYFP rate FN rateUa（μ）S.E.Ur（μ）S.E.AUC S.E.1 ELM 54 0 233 0 1.00 1.00 1.00 1.00 1.00 0 00 0 0.00 100 100%0.003 1.000 0.0002支持向量机72 0 650 0 1.00 1.00 1.00 1.00 0 0 0 0 0 0 0 0 0 0 0 0 0 0.00 0 0 0 0.00 0 0.00 0.00 0 0.00 0.00 0 0 0.00 0.00 0.00 0.00 100%0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100%0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.001.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1 00 0.99 0.98 0.02 0.04 0.060.001 92%0.011 0.996 0.0009 QDA 60 7 1023 6 0.89 0.91 0.99 0.99 0.01 0.09 0.04 0.000 88%0.008 0.986 0.00110分类。

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 9 9 9 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 0.00714 LDA 64 90 899 12 0.42 0.84 0.990.91 0.90 0.09 0.16 0.03 0.000 55%0.006 0.942 0.00215信号提取。0 23 987 77 0.02 0.01 0.93 0.98 0.91 0.02 1.00 0.00 0.000-7%0.008 0.690 0.000负面注释：该表报告了所有方法在500次重复交叉验证中的样本外性能，最佳阈值为0.8，预测期为5-12个季度。该表根据相对有用性对方法进行排序。该表还在列中报告了评估模型总体性能的以下指标：TP=真阳性，FP=假阳性，TN=真阴性，FN=假阴性，精确阳性=TP/（TP+FP），召回阳性=TP/（TP+FN），精确阴性=TN/（TN+FN），召回阴性=TN/（TN+FP），准确度=（TP+TN）/（TP+TN+FP+FN），绝对和相对有用性Ua和Ur（见公式1-3），AUC=ROC曲线下的面积（TP率到FP率），OT=最佳阈值，以及S.E.=标准误差。有关这些措施的更多详细信息，请参见第2.2节。TPFPTNFN5呈阳性。结论本文介绍了稳健预警模型的第一步。由于预警模型通常是在与其他方法隔离的情况下建立的，因此该练习对于评估各种方法的相对性能具有高度相关性。我们对传统的统计方法和最新的机器学习方法进行了交叉验证和递归赛马。

这提供了关于最佳方法的信息，以及预警方法的总体排名。赛马的价值源于它的稳健性和客观性。此外，我们还测试了四种结构化方法，用于聚合已建立的预警模型的信息产品。两种结构化方法涉及选择最佳方法（样本内）用于样本外使用，并依赖所有方法的多数票。然后，转向使用多种建模技术的更标准的集成方法，我们将模型输出组合成所有方法的算术平均值和性能加权平均值。最后，我们提供了在预警练习中估计模型不确定性的方法。解决模型性能不确定性并提供可靠方法排名的一种方法是对模型性能进行均值比较测试。此外，我们还可以测试模型输出和阈值之间的差异是否在统计学上显著不同，并表明在信号传递练习中考虑这一点会产生附加值。本文提出的所有方法都已在欧洲环境中得到应用，尤其是在使用一系列广泛的指标预测仍在持续的金融危机时。一般来说，我们的结果表明，传统的统计方法优于更先进的机器学习方法，如k近邻和神经网络，尤其是通过集成学习的模型聚合方法。本文的价值和意义是多方面的。首先，我们提供了一种进行稳健客观的赛马的方法，以及在欧洲的应用。

与之前的工作相比，这提供了模型性能的第一个客观比较，因为我们确保在评估时每个方法都有类似的设置，包括数据、预测范围、危机后偏差、损失函数、决策者的偏好和整体实施。稳健性源于使用重采样来评估性能，这不仅保证了数据微小变化的稳定结果，也保证了非确定性建模技术的稳定结果。在控制非线性函数逼近器对数据进行拟合的递归实时练习中，我们仍然发现最近的机器学习方法优于传统的统计方法。除了表明机器学习方法在这些类型的练习中具有潜力之外，这还表明了使用适当的重采样技术的重要性，例如考虑时间依赖性。其次，考虑到不同可用方法的数量，为了收集不同类型漏洞的信息，有必要使用多种建模技术。这可能涉及同时并行使用多个模型或某种类型的聚合。除了在性能和鲁棒性方面的改进，这可能是有价值的，因为最近的一些机器学习技术通常被认为在功能上不透明，不易解释。例如，如果一组模型的多数投票表明存在漏洞，那么针对一种单独建模方法的偏好就不那么重要了。因此，由于集成模型在赛马中表现良好，并且减少了模型性能的可变性，因此，聚合模型输出的结构化方法应该成为稳健预警工具箱的一部分。

第三，尽管早期预警分析的技术和数据正在进步，性能也在进步，但理解模型中的不确定性至关重要。一个关键主题是确保突破阈值不仅仅是因为采样错误。同样，我们应该关注低于临界值但接近临界值的观察结果，尤其是当差异不显著时。对于未来，我们希望以一种更加结构化和用户友好的方式实施大量系统性风险度量方法，包括本文介绍的方法。尤其是，广泛的测量技术需要一个通用平台来建模SystemRick和可视化信息产品，以及与模型参数和可视化界面交互的方法。例如，这可能涉及使用VisRisk平台提供的可视化和交互技术进行可视化系统风险分析[72]，以及更先进的数据和降维技术[73,75]。结合这些类型的接口，我们希望这篇论文能促进广泛的方法和它们的分类的同时使用，并在解释结果时考虑不确定性。参考文献[1]L.Alessi和C.Detken。高成本资产价格繁荣/萧条周期的准实时预警指标：全球流动性的作用。《欧洲政治经济学杂志》，27（3）：520–533，2011年。[2] L.Alessi和C.Detken。识别过度信贷增长和杠杆。欧洲央行第17232014号工作文件。[3] L.阿莱西、A.安图内斯、J.巴贝基、S.巴尔图森、M.贝恩、D.邦菲姆、O.布什、C.德特肯、J.弗罗斯特、R.吉马拉斯、T.哈夫拉内克、M.乔伊、K.考科、J.马特朱、N.蒙泰罗、B.纽多弗、T.佩尔顿、P.罗德里格斯、M.鲁森阿克、W.舒德尔、M.西格蒙德、H.斯特雷梅尔、K.斯米德科娃、R.范·蒂尔堡、B.瓦西塞克和D。

齐格拉伊娃。比较不同的预警系统：宏观审慎研究网络成员之间的赛马比赛结果。欧洲央行，mimeo，2014年。[4] E.I.奥特曼。财务比率、判别分析和企业破产预测。《金融杂志》，23（4）：589-6091968年。[5] N.S.奥特曼。介绍核和最近邻非参数回归。《美国统计学家》，46（3）：175-1851992。[6] S.阿洛和A.塞利斯。模型选择交叉验证程序的调查。统计调查，4:40-792010。[7] J.巴贝基、T.哈夫拉内克、J.马特朱、M.拉斯纳克、K.斯米德科娃和B.瓦西塞克。银行、债务和货币危机：发达国家的早期预警指标。欧洲央行2012年第1485号工作文件。[8] R.巴雷尔、P.E.戴维斯、D.卡里姆和I。。利亚兹。经合组织国家的银行监管、房地产价格和银行危机早期预警系统。《银行与金融杂志》，34（9）：2255-22642010。[9] W·H·海狸。财务比率是失败的预测因素。《会计研究杂志》，1966年4:71-111。[10] A.伯格和C.帕蒂略。预测货币危机——指标方法和替代方法。《国际货币与金融杂志》，18（4）：561-5861999。[11] A.伯格、E.博伦斯泰因和C.帕蒂略。评估早期预警系统：它们在实践中如何运作？国际货币基金组织统计文件，52（3），2005年。[12] 鲍里奥和德雷曼。评估银行危机的风险——重温。国际清算银行季度审查（2009年3月）。[13] 布莱曼。装袋预测因子。机器学习，24（2）：123-1401996。[14] 布莱曼。模型选择中的不稳定性和稳定性试探法。《统计年鉴》，24:2350–2383，1996年。[15] 布莱曼。随机森林。机器学习，45（1）：5-322001。[16] 布莱曼和斯佩克特。回归中的子模型选择和评估：x-随机案例。

《国际统计评论》，60:291-31992。[17] L.布雷曼、J.H.弗里德曼、R.A.奥尔申和C.J.斯通。分类和回归树。沃兹沃斯，加利福尼亚州贝尔蒙特，1984年。[18] 布西埃先生和弗拉茨彻先生。建立新的金融危机预警系统。《国际货币和金融杂志》，25（6）：953-9732006。[19] 卡普里奥和克林格贝尔。系统性和边缘性金融危机。银行危机数据库，世界银行，华盛顿特区，2003年1月。[20] 还有卡普里·A·卡普里诺。附录：银行危机数据库”，发表于。P.Honohan和L.Laeven，《系统性金融危机》编辑，第307-340页。剑桥：剑桥大学出版社，2005年。[21]M.Chamon、P.Manasse和A.Prati。我们能预测下一次资本账户危机吗？国际货币基金组织统计文件，54:270–305，2007年。[22]C.-K.朱和J.S.马伦。比较两个具有相关错误的带宽选择器。《统计学年鉴》，19（4）：1906-19181991。[23]C.Cortes和V.Vapnik。支持向量网络。机器学习，20（3）：273-2971995。[24]Y.S.Demyanyk和I.Hasan。金融危机与银行倒闭：预测方法综述。欧米茄，38（5）：315-3242010。[25]M.Drehmann、C.Borio和K.Tsatsaronis。锚定反周期资本缓冲：信贷总量的作用。《国际中央银行杂志》，7（4）：189–240，2011年。[26]R.Duttagupta和P.Cashin。剖析发展中国家和新兴市场国家的银行危机。《国际货币与金融杂志》，30（2）：354–376，2011年。[27]B.埃夫隆。Bootstrap方法：再看一看jackknife。《统计年鉴》，7（1）：1979年1月1日至26日。[28]B.埃夫隆。标准误差的非参数估计：刀切法、自举法和其他方法。生物医学杂志，68:589-5991981。[29]B.埃夫隆。Jackknife引导后的标准错误和影响函数。

《皇家统计杂志》（B辑），54:83–1271992。[30]B.Efron和R.Tibshirani。标准误差、置信区间和其他统计准确性度量的自举方法。统计科学，1（1）：1-351986。[31]B.Efron和R.Tibshirani。引导的介绍。佛罗里达州博卡拉顿：查普曼和霍尔/华润，1993年。[32]B.艾肯格林和A.K.罗斯。风向改变时保持漂浮：外部因素和新兴市场银行危机。NBER工作文件，第63701998号。[33]M.El Shagi、T.Knedlik和G.von Schweinitz。预测金融危机：信号方法的（统计）意义。《国际货币与金融杂志》，35:76–103，2013年。[34]M.Fioramanti。使用人工神经网络预测主权债务危机：一种比较方法。《金融稳定杂志》，4（2）：149-164，2008年。[35]R.A.费舍尔。实验设计。奥利弗和博伊德，伦敦，第三版，1935年。[36]R.A.费舍尔。在分类学问题中使用多种度量。优生学年鉴，7（2）：179-1881936。[37]R.弗兰克和A.施密德。预测从东亚到俄罗斯和巴西的货币危机传染：一种人工神经网络方法。IMCB第2号工作文件，2003年。[38]C.弗兰克和W.克莱恩。偿债能力的衡量：判别分析的应用。《国际经济学杂志》，1（3）：327-344，1971年。[39]J.A.弗兰克尔和A.K.罗斯。新兴市场的货币崩溃：一种经验治疗。《国际经济学杂志》，41（3-3）：351-3661996。[40]上午-M.富尔提斯和E.卡洛蒂周。主权债务危机预警系统：异质性的作用。计算统计与数据分析，5:1420–14412006。[41]T.黑斯蒂、R.蒂布什拉尼和J.弗里德曼。统计学习的要素：数据挖掘、推理和预测。斯普林格，2011年。[42]T.Ho。

随机决策森林。《第三届国际文献分析与识别会议记录》，第278-282页，1995年。[43]M.Holopainen和P.Sarlin。CrisisModeler：探索危机预测的工具。2015年，在EEE金融工程与经济计算智能研讨会论文集上发表。[44]K.霍尼克、M.斯丁奇科姆和H.怀特。多层前馈网络是通用的逼近器。神经网络，2:359–3661989。[45]B.霍恩坎农。用于评估公共政策的面板数据模型的引导。蒙特利尔大学博士论文，2011年。[46]黄国斌、朱智彦和萧振光。极限学习机：理论与应用。神经计算，70:489–501，2006。[47]C.Hurlin、S.Laurent、R.Quaedvlieg和S.Smeekes。风险度量推断。工作文件，HAL Id:halshs-008772792013。[48]国际货币基金组织。发达经济体的金融压力指数。2010年《世界经济展望》。[49]G.卡明斯基。各种各样的货币危机。NBER工作论文，第10193号，国家经济研究局。，2003年[50]G.卡明斯基和C.莱因哈特。双重危机：银行业和国际收支问题的原因。联邦储备委员会讨论文件，第544号，1996年。[51]G.卡明斯基、S.利佐多和C.莱因哈特。货币危机的主要指标。国际货币基金组织统计文件，45（1）：1-481998。[52]G.卡佩塔尼奥斯。具有多个横截面单元的面板数据集的引导过程。计量经济学杂志，11:377-3952008。[53]C.金德尔伯格和R.阿利伯。疯狂、恐慌和崩溃：金融危机史，第六卷。纽约：帕尔格雷夫·麦克米伦。，2011年[54]T.Knedlik和G.von Schweinitz。宏观经济失衡是欧洲债务危机的指标。《共同市场研究杂志》，50（5）：726-7452012。[55]H.R.K–unsch。

用于一般静止观测的折刀和引导。《统计学年鉴》，第1217-124119989页。[56]R.科哈维。交叉验证和bootstrap的研究，用于精度估计和模型选择。《国际艺术情报联合会议纪要》，第2卷，第1137-1143页，美国加利福尼亚州旧金山，1995年。摩根·考夫曼出版公司[57]R·科哈维、B·贝克尔和D·索默菲尔德。改进简单贝叶斯。1997年欧洲机器学习会议记录。[58]L.昆切瓦和C.惠特克。衡量古典音乐的多样性。机器学习，51:181–207，2003年。[59]L.拉平和F.瓦伦西亚。银行危机数据库：更新。国际货币基金组织经济评论，2013年。[60]P.Lain\'a、J.Nyholm和P.Sarlin。系统性银行危机的主要指标：芬兰在欧盟国家的一个小组中。《金融经济学评论》，2015年。[61]J.H.Lang、T.Peltonen和P.Sarlin。预警建模框架。欧洲央行工作文件系列，即将出版，2015年。[62]M.Lo Duca和T.A.Peltonen。评估系统性风险和预测系统性事件。《银行和金融杂志》，37（7）：2183-21952013。[63]A.纳格和A.米特拉。神经网络和货币危机预警指标。印度储备银行临时文件20（2），183–222，1999年。[64]T.A.佩尔顿。新兴市场货币危机是可预测的吗？测试。欧洲央行第5712006号工作文件。[65]M.H.昆努耶。时间序列中相关性的近似检验。《皇家统计学会期刊》（B辑），1949年11:68–84。[66]J.拉姆泽和L.福斯特。比率分析的演示。伊利诺伊州乌尔巴纳伊利诺伊大学商业研究局，公告40，1931年。[67]C.M.莱因哈特和K.S.罗戈夫。这一次截然不同：八个世纪的金融愚蠢。普林斯顿大学出版社，普林斯顿，2009年。[68]B.里普利。

神经网络和分类的相关方法。英国皇家统计学会杂志，56:409–456, 1994.[69]J.Sachs、A.Tornell和A.Velasco。新兴市场的金融危机：1995年的教训。布鲁金斯经济活动论文，第1期，第147-218页，1996年。[70]W.萨尔。神经网络和统计模型。第十九届SAS用户集团国际年会论文集，第1538-1550页。，北卡罗来纳州卡里：SAS研究所，1994年。[71]P.萨林。关于全球金融危机的生物启发性预测。神经计算与应用，24（3-4）：663-673，2013。[72]P萨林。宏观审慎监管、风险沟通和可视化。伦敦经济学院，系统风险中心，专题论文4，2013年。[73]P.萨林。利用自组织财务稳定性图。Arti FicialIntelligence的工程应用，即将出版，2013年。[74]P.萨林。政策制定者的损失函数和预警系统的评估。《经济学快报》，119（1）：2013年1-7月。[75]P.萨林。分解全球金融危机：自组织时间图。《模式识别字母》，34:1701–17092013。[76]P.Sarlin和D.Marghescu。货币危机的神经基因预测。《会计、财务和管理中的智能系统》，18（4）：145–160，2011年。[77]P.萨林和T.佩尔顿。绘制财务稳定状态图。国际金融市场、机构与货币杂志，26:46–762013。[78]R.E.夏皮雷。弱学习能力的力量。机器学习，5（2）：197-227，1990年。[79]A.Schimmelpfennig、N.Roubini和P.Manasse。预测主权债务危机。国际货币基金组织工作文件03/221，国际货币基金组织。，2003年[80]R.施密特。债务重组的早期预警。《银行与金融杂志》，8（2）：357-370，1984年。[81]邵俊杰。通过交叉验证选择线性模型。

《美国统计协会杂志》，88（422）：486–494，1993年。[82]斯通先生。支持和反对交叉验证的渐近性。Biometrika，64:29-351977。[83]R.J.塔弗勒和B.阿巴西。国家风险：预测发展中国家偿债问题的模型。皇家统计学会杂志。A辑（概述），147（4）：541-5681984。[84]R.Tibshirani。通过套索进行回归收缩和选择。《皇家统计学会期刊》（B辑），58（1）：267-2881996。[85]G.Vanwinckelen和H.Blockeel。通过重复交叉验证估计模型精度。英国广播公司。De Baets，B.Manderick，M.Rademaker和W.Waegeman主编，《第21届比利时机器学习会议记录》，第39-44页，根特，2012年。[86]W.N.Venables和B.D.Ripley。《现代应用统计学》第四版。斯普林格。，2002年[87]D.H.沃尔伯特。叠加泛化。神经网络，5:241–25921992。[88]张。通过多重交叉验证进行模型选择。《统计年鉴》，21:299–313，1993年。附录A。

稳健性测试和附加结果表A.1：信号提取的交叉验证结果。方法准确率召回准确率再校准准确率FN比率UA（μ）Ur（μ）AUC债务与服务比率15 39 1020 78 0.28 0.16 0.93 0.96 0.90 0.04 0.84 0.00 6%0.51通货膨胀率39 133 926 54 0.23 0.42 0.95 0.87 0.84 0.13 0.58 0.00 6%0.50政府债务与GDP之比12 35 1024 81 0.26 0.13 0.93 0.97 0.90 0.03 0.00 4%0.51信贷增长15 49 1010.23 0.160.50房价与收入之比0.1059 93 NA 0.00 0.92 0.00 1.00 0.00 0%0.52经常项目与GDP之比0.1059 93 NA 0.00 0.92 1.00 0.92 0.00 1.00 0.00 0%0.50贷款与收入之比0.1059 93 NA 0.00 0.92 1.00 0.00 0.00 0.00 0%0.51国内生产总值信贷0 0 0 0 0 1059 93 NA 0.00 0.00 0.92 1.00 0.00 0.00 0.92 0.00 0.00 0.00 0.00 0.00 0%0.00国内生产总值增长0.00 1059 93 NA 0.00债券收益率0.001059 93 NA 0.00 0.92 1.00 0.92 0.00 1.00 0.00%0.49房价增长1147 1012 82 0.19 0.12 0.93 0.96 0.89 0.04 0.88 0.00-1%0.50房价差距26109 950 67 0.19 0.28 0.93 0.90 0.85 0.10 0.72 0.00-1%0.51股价增长642 1017 0.13 0.07 0.92 0.96 0.89 0.04 0.94 0.00-5%0.518 GDP差距0.53 0.49 0.53 0.0.0 0 0 0.79注释：表0报告交叉验证了信号提取的样本外性能，最佳阈值为0.8，预测范围为5-12个季度。

该表还在列中报告了评估模型总体性能的以下指标：TP=真阳性，FP=假阳性，TN=真阴性，FN=假阴性，精确阳性=TP/（TP+FP），召回阳性=TP/（TP+FN），精确阴性=TN/（TN+FN），召回阴性=TN/（TN+FP），准确度=（TP+TN）/（TP+TN+FP+FN），绝对和相对有效性Ua和Ur（见公式1-3），AUC=ROC曲线下的面积（TP率与FP率）。

有关这些措施的更多详细信息，请参见第2.2节。TPFPTNFn阳性阴性表A.2：u=0.9193的信号提取交叉验证结果。方法准确率召回准确率再校准准确率FN率Ua（μ）Ur（μ）AUC股价增长83360699100.190.890.990.660.680.340.110.0455%0.78信贷与GDP之差72306753210.190.770.970.710.720.290.230.0449%35%0.70房价差57292767360.160.610.960.720.280.390.0334%0.66通货膨胀7348457520.130.790.970.540.560.460.220.0233%0.76政府债务对国内生产总值5528772380.160.590.950.730.720.270.410.0232%0.71房价增长66 484 575 27 0.12 0.71 0.96 0.54 0.56 0.46 0.29 0.02 25%0.65经常项目对国内生产总值的贡献90 799 260 3 0.10 0.97 0.99 0.25 0.30 0.75 0.03 0.02 21%0.64房价对收入的贡献81 844 215 12 0.09 0.87 0.95 0.20 0.26 0.80 0.13 0.01%0.54对国内生产总值的贡献47 557 502 46 0.08 0.51 0.92 0.48 0.53 0.50 0.00-2 0.50 0.00贷款对收入的贡献0.890.80%0.00-5%0.76注：该表报告了交叉验证的样本外信号提取性能，最佳阈值的首选项为0.9193（1-Pr（C=1））。预测期为5-12个季度。

该表还在列中报告了评估模型总体性能的以下指标：TP=真阳性，FP=假阳性，TN=真阴性，FN=假阴性，精确阳性=TP/（TP+FP），召回阳性=TP/（TP+FN），精确阴性=TN/（TN+FN），召回阴性=TN/（TN+FP），准确度=（TP+TN）/（TP+TN+FP+FN），绝对和相对有效性Ua和Ur（见公式1-3），AUC=ROC曲线下的面积（TP率与FP率）。有关这些措施的更多详细信息，请参见第2.2节。TPFPTNFNPositivesNegativesTable A.3：递归实时估计与丢弃窗口的赛马。方法精密度召回精密度再校准准确率FN率Ur（μ）AUCKNN 72 5 239 14 0.94 0.84 0.95 0.98 0.94 0.02 0.16 0.11 75%0.979神经网络74 21 223 12 0.78 0.86 0.95 0.91 0.90 0.09 0.14 0.11 72%0.969SVM 74 23 221 12 0.76 0.86 0.95 0.90 0.95 0.91 0.89 0.09 0.11%0.11 71%0.952 ELM 75 33 211 10 0.69 0.87 0.90 0.90 0.90 0.90.90.90 0.90 0.90 0.90 0.90 0.90 0.90 0.90.90 90.90.90.90 0.90 0.90 0.90 90.90.90.90.90.90.90.90.90.90.90.90%QDA 0.90 90 90 90 90 900 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.02.12%0.850Classific。树23 12 232 63 0.66 0.27 0.79 0.95 0.77 0.05 0.73-0.01-8%0.417信号提取。16 94 150 70 0.15 0.19 0.68 0.62 0.50 0.39 0.81-0.08-53%0.620注：该表报告了给定最佳阈值的所有方法的递归样本外性能排名，首选项为0.8，预测范围为5-12个季度，每个季度都取消了一个窗口。

该表还在列中报告了评估模型总体性能的以下指标：TP=真阳性，FP=假阳性，TN=真阴性，FN=假阴性，精确阳性=TP/（TP+FP），召回阳性=TP/（TP+FN），精确阴性=TN/（TN+FN），召回阴性=TN/（TN+FP），准确度=（TP+TN）/（TP+TN+FP+FN），绝对和相对有效性Ua和Ur（见公式1-3），AUC=ROC曲线下的面积（TP率与FP率）。有关这些措施的更多详细信息，请参见第2.2节。TPFPTNFNPositivesNegativesTable A.4：删除窗口的递归估计的聚合结果。方法估计精度召回精度再校准精度FP率FN率Ur（μ）AUC非加权递归84 35 209 2 0.71 0.98 0.99 0.86 0.89 0.14 0.02 0.12 82%0.953加权递归83 38 206 3 0.69 0.97 0.99 0.84 0.88 0.16 0.04 0.12 80%0.970最佳递归68 24 220 18 0.74 0.79 0.92 0.90 0.87 0.10 0.21 0.09 61%0.846投票递归55 238 31 0.90 0.64 0.89 0.890.36 0.07 47%0.933注意事项：该表报告了给定最佳阈值的集合的递归样本外性能，偏好为0.8，预测范围为5-12个季度，每个季度都会取消一个窗口。第一列对应其相对于个别方法的排名（表4和表5）。该表还在列中报告了评估模型总体性能的以下指标：TP=真阳性，FP=假阳性，TN=真阴性，FN=假阴性，精确阳性=TP/（TP+FP），召回阳性=TP/（TP+FN），精确阴性=TN/（TN+FN），召回阴性=TN/（TN+FP），准确度=（TP+TN）/（TP+TN+FP+FN），绝对和相对有效性Ua和Ur（见公式1-3），AUC=ROC曲线下的面积（TP率与FP率）。

有关这些措施的更多详细信息，请参见第2.2节。TPFPTNFn阳性阴性表A.5：交叉验证有用性比较的意义。KNN SVMNeural networkELM加权投票是非加权随机森林中的佼佼者。treeNaive Bayeslogit LASSOLDASignal提取物。KNN X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X。树X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X信号提取。X X X X X X X X注释：该表报告了各种方法相对有用性比较的统计意义。“X”标记表示不同方法之间的统计显著差异，这些方法按相对有用性升序排序。根据每种方法各自的经验重采样分布估计t临界值。表A.6：递归有用性比较的意义。加权非加权最佳神经网络。treeLogitRandom forestELM SVM LDANaive Bayesignal extract。加权X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X。树X X XLogit X X X X随机森林X X XELM X X X X XSVM X X X X X X XLDA X X X X X X朴素贝叶斯X X X X X信号提取。X X X X X X X X注释：该表报告了各种方法相对有用性比较的统计意义。“X”标记表示不同方法之间的统计显著差异，这些方法按相对有用性升序排序。

根据每种方法各自的经验重采样分布估计t临界值。表A.7：交叉验证AUC比较的重要性。SVMRandom forestNeural Network加权最佳非加权DELM KNN QDANaive BayesVotingLogit LASSOLogit LDA分类。树骨提取物。SVM X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X XX X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X。树X X X X X X X X X X X信号提取。X X X X X X注释：该表报告了不同方法AUC比较的统计意义。“X”标记表示不同方法之间的统计显著差异，并且这些方法按AUC升序排序。根据每种方法各自的经验重采样分布估计t临界值。表A.8：递归AUC比较的意义。加权非加权KNN QDANeural Network最佳物流BayesLogit Lasorandom forestLDAClassific。treeVoting支持向量机用于信号提取。加权X X X X X X X X X X X X X X X X X X X X X X X X X KNN X X X X X X X X X X X X X X QDA X神经网络X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X。树X X投票X X XSVM X X XELM X X X X X X信号提取。X X X X X X注释：该表报告了不同方法AUC比较的统计意义。“X”标记表示不同方法之间的统计显著差异，并且这些方法按AUC升序排序。

根据每种方法各自的经验重采样分布估计t临界值。从危机发生到收入季度的房价-12-10-8.-6.-4.-2 0 2 4 6 8-20-15-10-5.5发生危机时向GDPQuarters开立的往来账户-12-10-8.-6.-4.-2 0 2 4 6 80 5 10 15 20 25因危机发生而欠GDP担保人的政府债务-12-10-8.-6.-4.-2 0 2 4 6 80 1000 2000 3000 4000债务与服务比率危机发生时的担保人-12-10-8.-6.-4.-2 0 2 4 6 80 500 1500 2500 3500因危机发生而向收入阶层发放的贷款-12-10-8.-6.-4.-2 0 2 4 6 8-10-5.0.5.10危机发生时向GDPQuarters发放的信贷-12-10-8.-6.-4.-2 0 2 4 6 8-10-5 0 5 10 15债券收益率与危机发生率之差-12-10-8.-6.-4.-2 0 2 4 6 8-20-危机发生后10个季度GDP增长-12-10-8.-6.-4.-2 0 2 4 6 8-20-10 10 20 30 40危机发生后的信贷增长季度-12-10-8.-6.-4.-2 0 2 4 6 8-20 0 40 60从危机发生到通货膨胀季度-12-10-8.-6.-4.-2 0 2 4 6 8-30-20-10 10 20 30危机发生后的房价增长季度-12-10-8.-6.-4.-2 0 2 4 6 8-20 20 40 60 80 100股票价格增长季度距危机发生-12-10-8.-6.-4.-2 0 2 4 6 80 50 100 150来自危机发生的国内生产总值贷项-12-10-8.-6.-4.-2 0 2 4 6 8-50 50 100 150 200危机发生后的房价差距-12-10-8.-6.-4.-2 0 2 4 6 8-20 0 40图A.1:t中各指标的曲线图- 每个国家的危机发生率为12到t+8。

Allenties的平均值被描绘成一条粗线。具体灵敏度0。0.2 0.4 0.6 0.8 1.01.0 0.8 0.6 0.4 0.2 0.0 Sigexldaqdalogitlassonate Bayes Kntreesrandom ForestnnelsVMs Specificity Sensitivity 0。0.2 0.4 0.6 0.8 1.01.0 0.8 0.6 0.4 0.2 0.0加权非-加权最佳投票图A.2：所有方法的交叉验证样本外ROC曲线图和聚合特异性灵敏度0。0.2 0.4 0.6 0.8 1.01.0 0.8 0.6 0.4 0.2 0.0 Sigexldaqdalogitlassonate Bayes Kntreesrandom ForestnnelsVMs Specificity Sensitivity 0。0.2 0.4 0.6 0.8 1.01.0 0.8 0.6 0.4 0.2 0.0加权非-加权最佳投票图A.3：所有方法和集合的递归样本外ROC曲线图