全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1116 42
2022-06-11
英文标题:
《Deep Neural Networks for Choice Analysis: A Statistical Learning Theory
  Perspective》
---
作者:
Shenhao Wang, Qingyi Wang, Nate Bailey, Jinhua Zhao
---
最新提交年份:
2019
---
英文摘要:
  While researchers increasingly use deep neural networks (DNN) to analyze individual choices, overfitting and interpretability issues remain as obstacles in theory and practice. By using statistical learning theory, this study presents a framework to examine the tradeoff between estimation and approximation errors, and between prediction and interpretation losses. It operationalizes the DNN interpretability in the choice analysis by formulating the metrics of interpretation loss as the difference between true and estimated choice probability functions. This study also uses the statistical learning theory to upper bound the estimation error of both prediction and interpretation losses in DNN, shedding light on why DNN does not have the overfitting issue. Three scenarios are then simulated to compare DNN to binary logit model (BNL). We found that DNN outperforms BNL in terms of both prediction and interpretation for most of the scenarios, and larger sample size unleashes the predictive power of DNN but not BNL. DNN is also used to analyze the choice of trip purposes and travel modes based on the National Household Travel Survey 2017 (NHTS2017) dataset. These experiments indicate that DNN can be used for choice analysis beyond the current practice of demand forecasting because it has the inherent utility interpretation, the flexibility of accommodating various information formats, and the power of automatically learning utility specification. DNN is both more predictive and interpretable than BNL unless the modelers have complete knowledge about the choice task, and the sample size is small. Overall, statistical learning theory can be a foundation for future studies in the non-asymptotic data regime or using high-dimensional statistical models in choice analysis, and the experiments show the feasibility and effectiveness of DNN for its wide applications to policy and behavioral analysis.
---
中文摘要:
虽然研究人员越来越多地使用深层神经网络(DNN)来分析个人选择,但过度拟合和可解释性问题仍然是理论和实践中的障碍。通过使用统计学习理论,本研究提出了一个框架,以检查估计和近似误差之间的权衡,以及预测和解释损失之间的权衡。它通过将解释损失的度量公式化为真实选择概率函数和估计选择概率函数之间的差异,从而在选择分析中实现DNN的可解释性。本研究还利用统计学习理论对DNN中预测和解释损失的估计误差上界,揭示了DNN不存在过拟合问题的原因。然后对三种情况进行模拟,以比较DNN和二进制logit模型(BNL)。我们发现,对于大多数情景,DNN在预测和解释方面都优于BNL,并且更大的样本量释放了DNN的预测能力,而不是BNL。DNN还用于根据2017年全国家庭旅游调查(NHTS2017)数据集分析出行目的和出行方式的选择。这些实验表明,DNN可以用于当前需求预测实践之外的选择分析,因为它具有固有的效用解释、适应各种信息格式的灵活性以及自动学习效用规范的能力。DNN比BNL更具预测性和可解释性,除非建模人员对选择任务有完整的了解,并且样本量较小。总的来说,统计学习理论可以为未来在非渐近数据领域的研究或在选择分析中使用高维统计模型奠定基础,实验表明DNN在政策和行为分析中的广泛应用是可行和有效的。
---
分类信息:

一级分类:Economics        经济学
二级分类:General Economics        一般经济学
分类描述:General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类:Quantitative Finance        数量金融学
二级分类:Economics        经济学
分类描述:q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学,包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-11 00:36:40
深度神经网络用于选择分析:非统计学习理论视角Shenhao Wangqiyi WangNate BaileyJinhua Zhao麻省理工学院Ugust 2019摘要尽管研究人员越来越多地使用深度神经网络(DNN)来分析个人选择,但过度拟合和可解释性问题仍然是理论和实践中的障碍。通过使用统计学习理论,本研究提出了一个框架来检验估计与近似误差之间以及预测与解释损失之间的权衡。它通过制定解释损失的度量,即真实选择概率函数和估计选择概率函数之间的差异,来操作选择分析中的DNN解释性。基于DNN的选择模型的解释依赖于函数估计和自动效用规范,与依赖于参数估计和手工能力规范的传统选择模型的解释相反。本研究还利用统计学习理论对DNN中预测和解释损失的估计误差进行了上界,从而揭示了为什么DNN不存在过度拟合问题。然后对三种场景进行模拟,以比较DNNto二进制logit模型(BNL)。我们发现,DNN在大多数场景的预测和解释方面都优于BNL,并且更大的样本量释放了DNN的预测能力,而不是BNL。DNN还用于根据2017年全国家庭旅游调查(NHTS2017)数据集分析出行目的和出行方式的选择。这些实验表明,DNN可以用于当前需求预测实践之外的选择分析,因为它具有固有的效用解释、适应各种信息格式的灵活性以及自动学习效用规范的能力。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 00:36:44
DNNis比BNL更具预测性和可解释性,除非建模人员对选择任务有完整的了解,并且样本量较小(<10)。总的来说,统计学习理论可以为未来在非渐近数据领域的研究或在选择分析中使用高维统计模型奠定基础,实验表明DNN在政策和行为分析中广泛应用的可行性和有效性。关键词:深层神经网络、选择建模、统计学习理论、可解释性1。简介选择建模是一个丰富的理论领域,广泛应用于整个交通研究以及许多其他领域[61、7、62]。虽然传统的离散选择模型已用于decades,但由于这些模型在许多领域的高性能,研究人员最近对使用机器学习分类器进行选择分析越来越感兴趣【34、48、27】。传统的离散选择模型依赖于研究人员使用领域知识来过滤各种模型规格,并找到最符合观测数据的模型。机器学习分类器可以改进这种方法,因为它们具有自动探索和非凡的近似能力。通过使用灵活的模型族假设,许多机器学习方法的逼近能力远远高于离散选择模型,离散选择模型通常被限制为具有手工特征的线性参数形式(如二次或对数形式)。在所有机器学习分类器中,深层神经网络(DNN)由于以下几个因素而特别强大。它具有很高的近似能力【33、32、19】,可以灵活地容纳各种类型的信息【37、38】,如实验研究所示,它具有很高的预测能力【23、34】,并已应用于许多领域【38、26、24】。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 00:36:47
然而,有两个尚未解决的问题阻碍了DNN在许多运输选择分析环境中的适用性:相对较小数据集中的模型过度设置,以及缺乏可解释性。将DNN应用于运输选择分析研究的第一个问题是其对该领域通常可用的小型数据集的超拟合模型的潜力。一个过度拟合的模型精确地描述了培训数据,但样本外性能较差。经典统计理论表明,Vapnik-Chervonenkis(VC)维度(模型复杂性的度量)必须相对于样本量小,以避免过度拟合[64,63]。然而,使用DNN的场景通常处于非渐近区域,其中经典渐近假设不成立【66】。虽然越来越多的交通研究使用DNN来预测出行选择,即使是在小数据集上也具有很高的准确性【34、27、14、21、44、52、67】,但这一理论问题仍然没有解决,并且在使用DNN进行选择分析时,对于哪些情况可能导致过度匹配问题,没有实用指南。DNN在运输选择应用中的第二个问题是其缺乏可解释性。预测是所有建模的一个典型重点,无论是通过离散选择模型还是机器学习分类器进行,但许多交通应用也需要解释。可解释性对研究人员很重要,他们试图了解模式份额、弹性、边际替代率和社会福利的发现,以及公众,其中可解释性被发现有助于建立信任[41],并向用户解释结果[22]。DNN通常被定义为“黑箱”模型,在所有机器学习分类中,它被列为可解释性较低的模型【36、41、70】。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 00:36:50
以前大多数使用DNN进行交通选择建模的研究都只局限于使用DNN预测模式选择、活动选择、汽车拥有量或其他个人选择[30、68、14、15、47、27]。只有少数运输研究涉及到DNN在choicemodeling中的可解释性,但没有提供明确的指标来衡量可解释性的质量【53,9,27】。DNN模型的可解释性,尤其是与离散选择模型相比,将是决定这些方法是否可以扩展到需求预测之外的交通环境的关键因素,并对我们理解个人决策行为具有实际意义。本文试图通过建立一个由两个维度组成的统计学习理论框架来解决这两个问题。第一个维度是估计和近似误差的分解。我们证明,选择模型中使用的DNN架构的估计误差不是很大,解决了第一个过度匹配问题。证明了DNN中参数的大小比非渐近估计误差上界中参数的个数更重要。第二个维度涉及预测和解释损失。特别是,我们通过制定衡量解释损失的指标来证实解释的概念,作为预测损失的对应物。在我们的公式中,解释损失是通过真实选择概率函数和估计选择概率函数之间的差异来衡量的,因为所有有价值的经济信息都可以从该函数中得到。DNN中的模型可解释性依赖于基于自动学习效用规范的全选择概率函数。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 00:36:53
这与传统的选择模型形成鲜明对比,传统的选择模型是通过为效用函数选择的各个参数来解释的。通过这种解释损失的新概念,我们可以从预测和解释损失两个方面对模型进行评估,使我们能够评估和展示DNN作为选择分析研究的强大预测和解释工具的潜力。为了阐明这一理论框架,我们通过四个实验将DNN与具有代表性的离散选择建模方法二进制logit模型(BNL)进行了比较。其中三个实验使用合成数据并结合蒙特卡罗模拟,说明了在不同样本大小和输入维度下,预测误差和估计误差之间以及解释和预测损失之间的权衡。最后一个实验使用了2017年全国家庭旅行调查(NHTS 2017)的数据,以阐明这一新理论框架的实际相关性,使我们能够为未来DNN在选择建模研究中的应用提供实际建议。在所有这些实验中,选择BNL与DNNBE进行比较,因为BNL比其他DCM(如嵌套和混合logit模型)更类似于DNN。虽然BNL只是DCM的一个成员,但本文的发现也可以扩展到本文中未用于比较的DCM。本研究首次引入了基于DNN的选择分析的统计学习理论的统一框架。该框架完善了非渐近数据体系,并为高维数据的选择建模奠定了基础,而经典统计工具无法充分分析高维数据。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群