设计并进行实验；S、 W.和N.B.起草了手册；S、 推导了分析证明。J、 Z.监督这项工作。所有作者都讨论了结果，并为最终手稿作出了贡献。致谢我们感谢新加坡麻省理工学院研究与技术联盟（SMART）对这项研究的部分资助。我们感谢孙锐在验证数学证明方面的帮助。参考文献【1】Mahdieh Allahviranloo和Will Recker。“使用支持向量或具有多个cl资产的机器进行日常活动模式识别”。《运输研究B部分：方法论》58（2013），第16-43页。[2] Martin Ant hony和Peter L Bartlett。神经网络学习：理论基础。剑桥大学出版社，2009年。[3] David Baehrens等人，“如何解释个人分类决策”。摘自：《机器学习研究杂志》第11期。Jun（2010），第1803-1831页。[4] 彼得·巴特利特、迈克尔·乔丹和乔恩·麦考利e、 “凸性、分类和r i skbounds”。摘自：《美国统计协会杂志》101.473（2006），第138-156页。[5] Peter L Bartlett和Shahar Mendelson。“Rademacher和Gaussian复合iti es：风险边界和结构结果”。摘自：《机器学习研究杂志》第3期。11月（2002），第463-482页。[6] Peter L Bartlett等人，“分段线性神经网络的近紧VC维和伪维界”。In:arXiv预印本arXiv:1703.02930（2017）。[7] Moshe E Ben Akiva和Steven R Ler man。离散选择分析：理论及其在旅游需求中的应用。第9卷。麻省理工学院出版社，1985年。[8] Yoshua Bengio、Aaron Courville和Pascal Vincent。“表征学习：回顾与新观点”。摘自：IEEE模式分析和机器智能交易35.8（2013），第1798–1828页。[9] 伊夫·本茨和德怀特·梅伦卡。“brandchoic e建模的神经网络和多项式logit：混合方法”。

《预测杂志》19.3（2000），第177-200页。[10] Bimitris Bertsimas等人，《可解释性的代价》。In:Arxiv预印本（2019年）。[11] 克里斯托弗·M·毕晓普。模式识别和机器学习。2006年德国的sp r。[12] Olivier Bousquet，圣fd公司fdphane Boucheron和Gfd公司fdbor卢戈西。“统计学习理论导论”。In：机器学习高级讲座。《德国联邦法规》中的Spr，2004年，第169-207页。[13] 利奥·布雷曼。“统计建模：两种文化（有作者的评论和反驳）”。摘自：统计科学16.3（2001），第199–231页。[14] Giulio Erb e rt o Cantarella和Stefano de Luca。“用于运输模式选择分析的多层前馈网络：分析和与随机效用模型的比较”。摘自：交通研究C部分：新兴技术13.2（2005），第121-155页。[15] Hilmi Berk Celikoglu。“径向基函数和广义回归神经网络在出行模式选择建模的非线性效用函数中的应用”。《数学和计算机建模》44.7（2006），第640–658.20页【16】Robert Cervero和Kara Kockelman。“旅游需求和3Ds：密度、多样性和设计”。《交通研究》D部分：交通与环境2.3（1997），pp。199–219.[17] Long Chen g等人，“将随机森林方法应用于模型出行模式选择行为”。《旅游行为与社会》14（2019），第1-10页。[18] Jonathan D Cohen等人，《测量时间偏好》。国家电子商务研究局技术代表，2016年。[19] 乔治·西本科。“S形函数的辅助位置近似”。In：Mathematicsof control，signals and systems 2.4（1989），第303–314页。[20] 胡安·德迪奥斯·奥尔图扎和路易斯·G·威尔·姆森。建模运输。约翰·威利父子出版社，2011年。[21]董春娇等。

“一种创新的交通事故评估和预测方法，以适应未观察到的异质性”。In：交通研究第B部分：方法学118（2018），第407–428页。【22】最后一集Doshi Velez和Been K i m.“迈向可解释机器学习的严谨科学”。于：（2017年）。【23】曼努埃尔·费恩fd公司fd nd ez-D el gad o等人，“我们是否需要数百个分类工具来解决现实世界的分类问题？”。摘自：《机器学习研究杂志》15.1（2014），第3133-3181页。[24]Edward L Glaeser等人，《大数据与大城市：城市生活改善措施的承诺与限制》。摘自：经济调查56.1（2018），第114-137页。【25】诺亚·戈洛维奇、亚历山大·拉克林和奥哈德·沙米尔。“神经网络的大小独立样本复杂性”。In:arXiv预印本arXiv:1712.06541（2017）。【26】伊恩·古德费罗等人，《深度学习》。第1卷。M IT p re ss剑桥，2016年。朱利安·哈格诺和马可·赫尔比奇。“模拟出行模式选择的机器学习分类的比较研究”。In：专家系统与应用78（2017），第273-282页。[28]Kaiming He等人，“图像识别的深度残差学习”。摘自：IEEEconference on computer vis i on a and pattern recognition。2016年，第770-778页。[29]He Kaiming等人，“深入研究矫正器：在ima基因分类上超越人类水平的表现”。IEEE计算机视觉国际会议论文集。2015年，第1026-1034页。[30]David A Hensher和Tu T Ton。“人工神经网络和嵌套logit模型对通勤模式的预测潜力比较”。In：运输研究第E部分：物流和运输评论36.3（2000），第155–172.21页【31】Georey Hinton、Oriol Vinyals和Je 院长

“在网络中提取知识”。In:arXiv预印本arXiv:1503.02531（2015）。[32]库尔特·霍尼克。“多层前馈网络的性能评估”。摘自：Neuralnetworks 4.2（1991），第251-257页。[33]Kurt Hornik、Maxwell Stinchc omb e和Halbert W hi t e。“多层前馈网络是通用逼近器”。《神经网络2.5》（1989），第359-366页。【34】马修·G·卡拉夫提斯和埃莱尼·I·弗拉霍吉安尼。“交通研究中的统计方法与神经网络：Di不同之处、相似之处和一些见解”。《运输研究》C部分：新兴技术19.3（2011），第387-399页。[35]Diederik P Kingma和Jimmy Ba。“Adam：随机优化的方法”。In:arXiv预印本arXiv:1412.6980（2014）。【36】Sotiris B Kotsiantis、I Zahar ak I s和P Pintelas。“监督机器学习：分类技术回顾”。《新兴艺术智能在计算机工程中的应用》160（2007），p。3–24.Alex Krizhevsky、Ilya Sutskever和Geo雷伊·辛顿。“带深度卷积神经网络的Imagenet分类”。神经信息处理系统的进展。2012年，第1097-1105页。[38]Yann LeCun、Yoshua Bengio和Geo雷伊·辛顿。“深度学习”。《自然》521.7553（2015），第436-444页。[39]Michel Ledoux和Michel Talagrand。Banach空间中的概率：等周和过程。Springer Science Business Media，2013年。【40】廖千里和托马索·波乔。什么时候手工制作不是诅咒？技术。代表2018年。[41]扎卡里·C·利普顿。“模型可解释性神话”。In:arXiv预印本arX iv:1606。034 90(2016).丹尼尔·麦克法登。“行为定性选择的条件logit分析”。年：（1974年）。【43】Gregoire Montavon、Wojciech Samek、d Klaus Rober t Muller。“解释和理解深层神经网络的方法”。

In：数字信号处理73（2018），第1-15页。[44]米哈伊尔·莫佐林、J-C·蒂尔和E·林恩·尤里。“使用多层感知器神经网络进行出行分布预测：关键评估”。《运输研究B部分：方法学34.1》（2000），第53-73页。Sendhil Mullainathan和Jann Spiess。“机器学习：应用计量经济学方法”。《经济展望杂志》31.2（2017），第87-106页。【46】Behnam Neysh ab ur、Ryota Tomioka和Nathan S re br o.“神经网络中基于规范的容量控制”。参加：学习理论会议。2015年，第1376–1401页。[47]Hichem Omrani。“通过机器学习预测个人的旅行模式”。《交通研究学报》第10期（2015），第840–849.22页【48】Miguel Paredes等人，“汽车所有权需求预测的机器学习或离散选择模型？”参加：智能交通系统模型与技术（MT-ITS），2017年第五届IEEE国际会议。IEEE，2017，pp。780–785.[49]托马索·波乔（Tomaso Poggio）等人，“理论IIIb：深层网络中的泛化”。In:arXiv预印本XIV:1806.11379（2018）。[50]托马索·波乔（Tomaso Poggio）等人，《深度学习理论iii：非过度匹配之谜》。Tech.rep.Tech-NIC报告，技术报告，CBMM备忘录07320018。[51]托马索·波吉奥（Tomaso Poggio）等人，“深度而非浅层网络为什么以及何时可以避免维度的粗略：综述”。摘自：《国际自动化与计算杂志》14.5（2017），第503–519页。【52】尼古拉斯·G·波尔森和瓦迪姆·O·索科洛夫。“短期流动预测的深度学习”。摘自：交通研究C部分：新兴技术79（2017），第1-17页。【53】PV Subba Rao等人，“通过访问模式选择的行为分析对人工神经网络的另一种洞察”。《计算机、环境和城市系统》22.5（1998），pp。

485–496.【54】马尔科·图里奥·里贝罗、萨米尔·辛格和卡洛斯·古斯特林。“我为什么要相信你？：解释任何分类的前提条件”。第22届ACM SIGKDD知识发现和数据挖掘国际会议记录。ACM，2016年，第1135-1144页。大卫·罗尔尼克和马克斯·特马克。“深层网络表达自然功能的能力”。In:arXiv预印本arXiv:1705.05502（2017）。【56】安德鲁·斯莱文·罗斯和终曲多西·韦雷斯。“通过调整深层神经网络的输入梯度，提高其对抗性鲁棒性和可解释性”。第三十二届AAAI艺术情报会议。2018年【57】爱德华多·桑塔格。“神经网络的VC维”。摘自：NATO ASI Series F Computerand Systems Sciences 168（1998），pp。69–96.[58]Daniel Soudry等人，“se par ab le数据梯度下降的隐含偏差”。摘自：《机器学习研究杂志》19.1（2018），第2822-2878页。[59]Christian Szegedy等人，“神经网络的有趣特性”。In:arXiv预印本arXiv:1312.6199（2014）。【60】梁唐、陈凤雄、张磊。“动态行为过程中旅行模式切换建模的决策树方法”。《交通规划与技术》38.8（2015），第833-850页。[61]Kenneth火车。“aut o OWNE rs hi p和模式选择的结构化logit模型”。参见：TheReview of Economic Studies 47.2（1980），第357-370页。[62]Kenneth E Train。离散选择方法与仿真。剑桥大学出版社，2009.23[63]Vladimir Vapnik。统计学习理论的本质。Spr i n ger science and businessmedia，2013年。【64】弗拉基米尔·诺莫维奇·瓦普尼克。“统计学习理论概述”。摘自：IEEE神经网络交易10.5（1999），第988–999页。[65]Ulrike Von Luxburg和Bernhard Schfd公司fdlkopf。“静态学习理论：模型、概念和结果”。

《逻辑史手册》。第10卷。Elsevier，2011年，第651-706页。[66]马丁·J·温赖特。高维统计：非渐近观点。第48卷。剑桥大学出版社，2019年。[67]Yuankai Wu等人，“基于混合深度学习的流量预测方法及其理解”。摘自：交通研究C部分：新兴技术90（2018），第166-180页。【68】谢琦、路金阳和艾米丽·帕卡尼。“基于数据挖掘的工作-旅行模式选择建模：决策树和n eu ral网络”。《运输研究记录：运输研究委员会杂志》1854（2003），第50-61页。克里斯托弗·泽格拉斯。“建筑环境与机动车所有权和使用：智利圣地亚哥的证据”。《城市研究》47.8（2010），1793-1817页。[70]Bolei Zhou等人，“物体检测器出现在深场景c nns中”。In:arXiv预印本arXiv:1412.6856（2014）。24附录I：BNL作为DNNSuppose个人的一个特例，在两个备选方案0和1之间进行选择，其效用规格为：Ui0=Vi0+i0；Ui1=Vi1+i1，其中V为确定性效用，且 是随机效用项。选择建模假设个体寻求效用最大化，因此当 遵循极值分布EV（0，1）。P（yi=1 | xi，w）=1+e-（Vi1-Vi0）P（yi=0 | xi，w）=1+e+（Vi1-Vi0）（22）假设与备选方案0和1相关的属性为xi0和xi1，具有线性规格的确定性效用函数为Vi0（xi0）=hw，Xi0iV1（xi1）=hw，xi1i（23）。通过基于先验知识使用一些转换φ（x）（二次或对数），该规格可能更复杂。因此，实际公用设施规格通常可以表示为Vi0（xi0）=hw，φ（xi0）iVi1（xi1）=hw，φ（xi1）i（24）。该规格与DNN中的规格非常接近，即：Vi0（xi0）=hw，（gm-1.

o g级o g） （xi0）iVi1（xi1）=hw，（gm-1.o g级o g） （xi1）i（25），其中gj（x）=ReLU（hWj，xi）。比较方程式23、24和25，不难看出DNN规范比前两个规范更一般。证明这一点的一种更正式的方法是使用McFadden（1974）[42]的结果，该结果证明Softmax激活函数隐含着随机效用最大化，随机效用项遵循Gumbeldistribution。通过改变等式25的符号，Φ（xi，w）=Vi1（xi1）- Vi0（xi0）=（gmo ... o g级o g） （xi）（26）其中gmis w-wand XI包括所有输入信息。那么等式26意味着in-DNN的选择概率为：σ（Φ（xi，w））=1+e-Φ（xi，w）（27），与式1相同。附录二。A： 命题2的证明估计误差可以分解为：ES[L（^f）- L（f*F） ]=ES[升（华氏度）-^L（^f）+^L（^f）-^L（f*F） +^L（F*F）- L（f*F） ]（28）≤ ES[升（华氏度）-^L（^f）]（29）≤ ES[支持]∈F | L（F）-^L（f）|]（30）自（1）^L（f）以来，第一个不等式成立-^L（f*F）≤ 0由于定义了^f和（2）ES[^L（f*F）-L（f*F） ]=0，根据大数定律；第二个不等式成立，因为^f只是f中的一个函数（对于本研究中的Fin）。通过使用一种称为对称化的技术，上述等式30的右侧可以进一步上界。形式上，假设还生成了另一组{xi}N，遵循与{xi}N相同的分布。

网络支持∈FL（f）-^L（f）i=EShsupf∈FEx，y[l（y，f（x））]-NNXi=1l（yi，f（xi））i（31）=EShsupf∈FNNXi=1Exl（y，f（xi））-NNXi=1l（yi，f（xi））一（32）≤ ES，Shsupf∈FNNXi=1l（y，f（xi））-NNXi=1l（yi，f（xi））i（33）=ES，Shsupf∈FNNXi=1i（l（y，f（xi））- l（易，f（xi））一（34）≤ ES，Shsupf∈FNNXi=1il（y，f（xi）+NNXi=1il（易，f（xi）i（35）≤ 2ES^Rn（lo F | S）（36）第一行使用L和^L的定义；第二行使用对称化技术，用另一个sampleNPNi=1Exl（y，f（xi））的平均值代替Ex，yi；第三行使用E sup≥ sup E和uses Sto表示新样本{x}N；第四行添加了拉德马赫随机变量由于S和S的对称性；第五行使用factsup | A+B |≤ sup | A |+sup | B |；最后一行是对Rademacher复杂性的定义。附录二。B： 命题3定义8的证明。斜坡损失函数定义为φ（s）=（1 s≤ 01- s/γ0<s<γ0 s≥ γ（37）相关误差函数isLφ=E[φ（s）]（38）定义9。γ-边际损失函数定义为{yΦ（x）≤ γ} （39）相关误差函数isLγ=E[{yΦ（x）≤ γ} ]（40）Lφ是L0/1的替代损失函数的一个示例。这是一个替代损失，因为Lφ被设计为（1）上界L0/1，并且（2）是L-Lipschitz，因此可以应用收缩不等式。Lφ的Lipschitz常数为1／γ。

通过设计，将三个误差函数关联起来：L0/1≤ Lφ≤ Lγ（41）因此，由预测误差L0/1测得的估计误差可以是上界[L0/1（^f）-^Lγ（^f）]≤ ES[Lφ（^f）-^Lφ（^f）]（42）方程42的右侧可以通过使用命题2和constructioninequality得到上界。ES[Lφ（^f）-^Lφ（^f）]≤ ESsupf公司∈F | Lφ（F）-^Lφ（f）|（43）=ESsupf∈F | E[φ（F）]-NNXi=1φ（f（xi））|（44）=ES，supf公司∈FNNXi=1|iφ（f（xi））|（45）≤γ×ES，supf公司∈FNNXi=1|如果（xi）|（46）=γES，^Rn（F | S）（47）由于sup运算符，第一个不等式成立；第二行使用匝道成本函数的定义；第三行使用命题2；第四行使用了收缩不等式[39]；最后一行使用了经验Rademacher复杂性的定义。使用公式42，它表示[L0/1（^f）-^Lγ（^f）]≤γES，因此，L0/1（^F）可以由经验γ-裕度损失加上Rademacher复杂度来上界。^Lγ（^f）可以根据经验计算，因此L0/1（^f）存在一个有效的上界。然而，尚未解决的问题是，DNN是否会自动找到类似于SVM的最大裕度，从而使L0/1（^f）有很好的界。这仍然是一个正在进行的研究领域[49、50、58]。附录二。C： 命题4定义10的证明。均方误差（MSE）定义为LMSE（s）=Ex，y[（y- s（x））]（49）相应的经验均方误差定义为^Lmse（s）=NNXi=1（yi- s（xi））（50）引理4.1。解释的估计误差等于均方误差。ES[Lmse（^s）- Lmse（s）*F） ）]=ES[Le（^s）- Le（s）*F） ）]（51）引理的证明4.1。

因为y是以概率s作为伯努利随机变量采样的*（x） ，E[y | x]=s*（x） 。ES，x，y[（^s（x）- y） ]=ES，x，y（（^s（x）- s*（x） +秒*（十）- y） ）（52）=ES，x，y[（（^s（x））- s*（x） ）+2（^s（x）- s*（x） ）（s*（十）- y） +（s*（十）- y） ）]（53）=ES，x，y[（^s（x）- s*（x） ）]+Ex，y[（s*（十）- y） ）]+2ES，x，y[（^s（x）- s*（x） ）（s*（十）- y） ]（54）=ES，x，y[（^s（x）- s*（x） ）]+Ex，y[（s*（十）- y） ）]+2倍ES，y[（^s（x）- s*（x） ）（s*（十）- y） | x]（55）=ES，x，y[（^s（x）- s*（x） ）]+Ex，y[（s*（十）- y） ）]+2倍ES[（^s（x）- s*（x） ）| x]Ey[（s*（十）- y） | x]（56）=ES，x，y[（^s（x）- s*（x） ）]+Ex，y[（s*（十）- y） ）]（57）第四等式使用迭代期望定律；第五个使用条件独立性⊥ y | x；激光一次使用E[y | x]=s*（x） 。通过非常相似的过程，我们可以显示x，y[（y- s*F（x））]=Ex，y[（y- s*（x） +秒*（十）- s*F（x））]（58）=Ex，y[（y- s*（x） ）]+Ex，y[（s*（十）- s*F（x））]+2Ex，y[（y- s*（x） ）（s*（十）- s*F（x））]（59）=Ex，y[（y- s*（x） ）]+Ex，y[（s*（十）- s*F（x））]+2倍（s）*（十）- s*F（x））Ey[y- s*（x） | x]（60）=Ex，y[（y- s*（x） ）]+Ex，y[（s*（十）- s*F（x））]（61）组合上述两个方程式impliesEx，y[（s*（十）- y） ）]=ES，x，y[（^s（x）- y） ]- ES，x，y[（^s（x）- s*（x） ）]（62）=Ex，y[（y- s*F（x））]- Ex，y[（s*（十）- s*F（x））]（63）通过更改符号，它意味着[Lmse（^s）- Lmse（s）*F） ）]=ES[Le（^s）- Le（s）*F） （64）命题4的证明。引理4.1表明，函数估计的估计误差与均方误差的估计误差相同。因此，我们将使用命题2提供MSE的上界。形式上，ES[Lmse（^s）- Lmse（s）*F） ）]≤ 2ES[^Rn（lo F（S）]（65）≤ 4ES[^Rn（F | S）]（66）第一个不等式使用命题2；第二种方法使用收缩不等式，这里的平方损失在[0，1]之间有界，并且它的Lipschitz常数最多为2。附录二。D： 命题5的证明证明是一个逐层迭代的过程。

假设对于DNN的层j，映射为fj={f:x→dj-1Xt=1wtσ（ft（x））；英尺∈ Fj公司-1，| | w||≤ M（j）}那么fjc的Rademacher复杂性可以用Fj的Rademacher复杂性来表示-1、N^Rn（Fj | S）=Esupfj公司∈Fj公司NXi=1if（xi）（67）=Esupfj公司∈Fj公司NXi=1idj公司-1Xt=1wtσ（ft（xi））（68）=Esup | | w||≤米（j）英尺∈Fj公司-1.dj-1Xt=1wtNXi=1iσ（ft（xi））（69）=2Esup | | w||≤米（j）英尺∈Fj公司-1dj-1Xt=1wtNXi=1iσ（ft（xi））（70）=2M（j）Esupft公司∈Fj公司-1最大NXi=1iσ（ft（xi））（71）=2M（j）Esupft公司∈Fj公司-1.NXi=1iσ（ft（xi））(72)≤ 2M（j）Esupft公司∈Fj公司-1.NXi=1ift（xi）(73)≤ 2M（j）N^Rn（Fj-1 | S）（74），这意味着DNN的迭代公式：^Rn（Fj | S）=2M（j）^Rn（Fj-1 | S）（75）剩下的问题是关于层0的Rademacher复杂性，这是一个线性变换F={x→ hw，xi：w∈ Bd}带归一化输入X.^Rn（F | S）≤rlog dN（76）结合上述方程，可以证明DNN的Rademacher复杂性为：Rn（F | S）。√对数d×QDj=12M（j）√N（77）注意，这里Rademacher复杂性有2Dfactor。通过更复杂的技术，可以证明更精确的上界为^Rn（F | S）。√对数d×（p2对数（d）+1）QDj=1MF（j）√N（78）这一结果可在Golowich等人（2017）[25]中找到，但略有不同。我们在这里提出的证明的关键步骤可以在Bartlett和Mendelson（2002）[5]中找到。其他相关工作见【2】和【46】。附录二。E、 命题6的证明由于VC维仅用作基准，我们将演示一个简单的证明，即二进制输出的估计误差上界为O（qv log（N+1）N）。使用温赖特（2019）引理4.14【66】^Rn（lo F | S）≤ 4rv对数（N+1）N（79）注意，对数（N+1）比v和N小得多。

这个上限也可以简化（rvN）（80），这类似于检查参数数量和观测数量之间比率的传统智慧，因为v与广义线性模型中的参数数量相同。对于DNN，可在[6]中找到最紧密的VC尺寸，即v=O（T D log（T）），其中T表示系数的总数，D表示DNN的深度。该O（pvN）也可以是（a）选择概率曲线（50 Var）（b）选择概率曲线（50 Var）（c）选择概率曲线（50 Var）（图6）。场景1-3。从左至右：样本量100、1000、10000、100000、1000000用于^s（x）案例。但我们不会在这里讨论细节。读者可以参考[64、63、65、66]了解详情。附录三：实验的进一步结果图6包含了大约50个变量的结果