全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1554 44
2022-06-14
英文标题:
《Conditional Density Estimation with Neural Networks: Best Practices and
  Benchmarks》
---
作者:
Jonas Rothfuss, Fabio Ferreira, Simon Walther, Maxim Ulrich
---
最新提交年份:
2019
---
英文摘要:
  Given a set of empirical observations, conditional density estimation aims to capture the statistical relationship between a conditional variable $\\mathbf{x}$ and a dependent variable $\\mathbf{y}$ by modeling their conditional probability $p(\\mathbf{y}|\\mathbf{x})$. The paper develops best practices for conditional density estimation for finance applications with neural networks, grounded on mathematical insights and empirical evaluations. In particular, we introduce a noise regularization and data normalization scheme, alleviating problems with over-fitting, initialization and hyper-parameter sensitivity of such estimators. We compare our proposed methodology with popular semi- and non-parametric density estimators, underpin its effectiveness in various benchmarks on simulated and Euro Stoxx 50 data and show its superior performance. Our methodology allows to obtain high-quality estimators for statistical expectations of higher moments, quantiles and non-linear return transformations, with very little assumptions about the return dynamic.
---
中文摘要:
给定一组经验观测值,条件密度估计旨在通过建模条件概率$p(\\mathbf{y}| \\mathbf{x})$)来获取条件变量$\\mathbf{y}$和因变量$\\mathbf{y}$之间的统计关系。本文基于数学见解和经验评估,为神经网络在金融应用中的条件密度估计开发了最佳实践。特别是,我们引入了一种噪声正则化和数据归一化方案,缓解了此类估计器的过度拟合、初始化和超参数敏感性问题。我们将我们提出的方法与流行的半参数和非参数密度估值器进行了比较,在模拟和欧洲斯托克50指数数据的各种基准测试中证明了其有效性,并显示了其优越的性能。我们的方法可以获得高阶矩、分位数和非线性回报变换的统计期望的高质量估计量,而回报动态的假设很少。
---
分类信息:

一级分类:Statistics        统计学
二级分类:Machine Learning        机器学习
分类描述:Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文(监督,无监督,半监督学习,图形模型,强化学习,强盗,高维推理等)与统计或理论基础
--
一级分类:Computer Science        计算机科学
二级分类:Machine Learning        机器学习
分类描述:Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文(有监督的,无监督的,强化学习,强盗问题,等等),包括健壮性,解释性,公平性和方法论。对于机器学习方法的应用,CS.LG也是一个合适的主要类别。
--
一级分类:Quantitative Finance        数量金融学
二级分类:Computational Finance        计算金融学
分类描述:Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法,包括蒙特卡罗,偏微分方程,格子和其他数值方法,并应用于金融建模
--
一级分类:Quantitative Finance        数量金融学
二级分类:Statistical Finance        统计金融
分类描述:Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-14 06:02:38
神经网络条件密度估计:最佳实践和基准Jonas Rothfuss*+. 法比奥·费雷拉*+Simon Walther+Maxim Ulrich+Abstract给出了一组经验观察结果,条件密度估计旨在通过对条件概率p(y | x)建模来获取条件变量x和因变量y之间的统计关系。本文基于数学见解和经验评估,为神经网络的金融应用开发了条件密度估计的最佳实践。特别是,我们引入了噪声正则化和数据归一化方案,缓解了此类估计器的过拟合、初始化和超参数敏感性问题。我们将我们提出的方法与流行的半参数和非参数密度估计器进行了比较,在模拟和欧洲斯托克50指数数据的各种基准测试中证明了其有效性,并展示了其优越的性能。我们的方法可以获得高阶矩、分位数和非线性回报变换的统计期望的高质量估计量,而回报动态的估计量很少。*表示同等贡献+作者是德国卡尔斯鲁厄技术研究所(KIT)计算风险和资产管理研究小组的成员。参考jonas。rothfuss@gmail.comI.引言计量经济学和金融学中的一系列问题都与描述解释变量x向量和因变量或感兴趣向量yof之间的统计关系有关。虽然回归分析旨在描述条件平均值E[y | x],但风险和资产管理中的许多问题需要深入了解与平均值的偏差及其相关的可能性。通过对条件概率密度p(y | x)的建模,可以完全描述y对x的随机依赖性。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 06:02:41
从一组经验观测{(xn,yn)}Nn=1推断这样的密度函数通常称为条件密度估计(CDE)。我们建议使用神经网络来估计条件密度。特别地,我们讨论了神经网络控制高斯混合参数的两个模型。即Bishop(1994)的混合密度网络(MDN)和Ambrogioni等人(2017)的核混合网络(KMN)。当选择的表达能力足够强时,这样的模型可以近似于二进制条件密度。然而,当与最大似然估计相结合时,这种灵活性可能会导致训练数据之外的过度拟合和较差的泛化。针对这个问题,我们开发了一种用于条件密度估计的噪声正则化方法。通过在训练过程中对数据加入小的随机扰动,条件密度估计变得平滑,并具有更好的泛化能力。事实上,我们从数学上推导出,在训练期间添加噪声等于惩罚条件对数概率的二阶导数。从图形上看,惩罚惩罚了非常弯曲甚至尖峰的密度估值器,以支持更平滑的变量。我们的实验结果证明了噪声正则化对于获得良好的样本外性能的有效性和重要性。此外,我们还关注因培训数据的不同值范围而产生的进一步实际问题。在这种情况下,我们引入了一种简单的数据规范化方案,该方案在规范化数据上建立条件密度模型,并在训练后转换密度估计,从而与原始数据分布相对应。归一化方案使得基于神经网络的密度估计器的超参数和初始化对不同的值范围不敏感。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 06:02:45
我们的实证评估表明,这提高了培训结果的一致性,并显著提高了估计员的绩效。为了将我们提出的方法与成熟的CDE方法进行比较,我们报告了一项关于模拟密度和EuroStoxx 50收益率的综合基准研究。当使用噪声正则化时,MDN和KMN都能够优于以前的标准半参数和非参数条件密度估计。此外,研究结果表明,即使在小样本情况下,基于神经网络的条件密度估计器也可以与已建立的条件核密度估计器同等或优于后者。我们的研究补充了计量经济学文献,其中讨论了两种主要的SCDE方法。大多数金融研究假设条件分布遵循标准参数族(如高斯),该族通过(部分)线性模型捕获分布参数对x的依赖性。广泛使用的ARMA-GARCH时间序列模型(Engle,1982;Nelson和Cao,1992)及其许多扩展(Glosten等人,1993;Hansen等人,1994;Sentana,1995)属于这一类。然而,许多此类模型中的固有假设后来在经验上遭到了反驳(Harvey和Siddique,1999;Jondeau和Rockinger,2003)。这类模型的另一个例子是线性因子模型(Fama和French,1993;Carhart,1997;Famaand French,2015)。在这里,Jagannathan和Wang(1996)、Lewellen和Nagel(2006)或Gormsen和Jensen(2017)记录的这些因素模型的Beta时间变化的证据也对所述线性关系的实际存在提出了质疑。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 06:02:48
总的来说,建模限制在多大程度上与生成经验数据的实际机制相一致,以及它们在多大程度上偏向于推理,这是不明确的。另一项主要研究从非参数角度探讨CDE,以数据点为中心,用核函数估计条件密度(Hyndman等人,1996;Li和Racine,2007)。虽然核方法很少对函数关系和密度形状进行假设,但它们通常会受到尾部区域泛化能力差和维数较高时数据解析性差的影响。相比之下,基于高容量函数逼近器(如神经网络)的CDE在计量经济学和金融界很少受到关注。然而,他们将参数模型的全局代数化能力与关于条件密度的限制性假设结合起来。为了结合这两个优点,本文研究了神经网络在条件密度估计中的应用。总体而言,本文为构建高容量条件密度模型建立了良好的框架。由于提出了噪声正则化和数据归一化方案,我们能够克服基于神经网络的目标器的常见问题,并使该方法易于使用。条件密度估计器可以通过开源python包获得。二、背景A。密度估计集X是一个随机变量,其概率密度函数(PDF)p(X)在域X上定义。在研究现实世界中的现象时,可观察变量X的分布通常是未知的。然而,可以观察到实现xn~ x中的p(x)。给定此类观测值的集合D={x,…,xn},我们的目标是找到真实密度函数p的良好估计值^p(x)。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-14 06:02:51
通常,拟合分布的优度^p由估计的^p和真实密度函数p之间的统计差异来衡量。在密度估计文献中(Bishop,2006;Li和Racine,2007;Shalizi,2011),最常见的标准是综合均方误差(IMSE)和Kullback-Leibler差异。在最一般的形式中,密度估计的目的是在域X上所有可能的PDF中找到最佳的^p,同时只给出有限数量的观测值。即使在简单的情况下X=R,这也需要使用有限的am来估计许多分布参数ounthttps://github.com/freelunchtheorem/Conditional数据密度估计,这在实践中是不可行的。因此,有必要限制可能的PDF的空间,或者在密度估计中嵌入其他假设。这类假设描述了参数和非参数密度估计子领域之间的区别。A、 1。参数密度估计在参数估计中,假设PDF^p属于参数族F={^pθ(·)|θ∈其中密度函数由有限维参数θ描述∈ Θ. F的一个经典例子是一元正态分布族{N(·|u,σ)|(u,σ)∈ R×R+}。估计θ的标准方法是最大似然估计,其中θ*数据D的可能性最大化:θ*= arg maxθNYn=1^pθ(xn)=arg maxθNXn=1log^pθ(xn)(1)在实践中,优化问题被重新表述为最大化对数概率之和,这相当于最小化经验数据分布pD(x)=NPNn=1δ(| | x)之间的Kullback-Leibler散度- xn | |)(即。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群