全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1106 29
2022-05-08
英文标题:
《Bayesian optimisation for fast approximate inference in state-space
  models with intractable likelihoods》
---
作者:
Johan Dahlin, Mattias Villani and Thomas B. Sch\\\"on
---
最新提交年份:
2017
---
英文摘要:
  We consider the problem of approximate Bayesian parameter inference in non-linear state-space models with intractable likelihoods. Sequential Monte Carlo with approximate Bayesian computations (SMC-ABC) is one approach to approximate the likelihood in this type of models. However, such approximations can be noisy and computationally costly which hinders efficient implementations using standard methods based on optimisation and Monte Carlo methods. We propose a computationally efficient novel method based on the combination of Gaussian process optimisation and SMC-ABC to create a Laplace approximation of the intractable posterior. We exemplify the proposed algorithm for inference in stochastic volatility models with both synthetic and real-world data as well as for estimating the Value-at-Risk for two portfolios using a copula model. We document speed-ups of between one and two orders of magnitude compared to state-of-the-art algorithms for posterior inference.
---
中文摘要:
我们考虑具有难处理似然性的非线性状态空间模型中的近似贝叶斯参数推断问题。序贯蒙特卡罗近似贝叶斯计算(SMC-ABC)是一种在这类模型中近似概率的方法。然而,这种近似可能会有噪声,计算成本高,这阻碍了使用基于优化和蒙特卡罗方法的标准方法的有效实现。我们提出了一种基于高斯过程优化和SMC-ABC相结合的计算效率高的新方法,以创建难以处理的后验概率的拉普拉斯近似。我们举例说明了在随机波动率模型中使用合成数据和真实数据进行推理的算法,以及使用copula模型估计两个投资组合的风险价值的算法。与最先进的后验推理算法相比,我们记录了一到两个数量级的速度提升。
---
分类信息:

一级分类:Statistics        统计学
二级分类:Computation        计算
分类描述:Algorithms, Simulation, Visualization
算法、模拟、可视化
--
一级分类:Quantitative Finance        数量金融学
二级分类:Risk Management        风险管理
分类描述:Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--
一级分类:Statistics        统计学
二级分类:Machine Learning        机器学习
分类描述:Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文(监督,无监督,半监督学习,图形模型,强化学习,强盗,高维推理等)与统计或理论基础
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-5-8 10:14:58
具有难处理概率的快速近似推理instate空间模型的贝叶斯优化Johan Dahlin、Mattias Villani和Thomas B.Sch¨on*2017年6月14日摘要我们研究了具有难处理概率的非线性状态空间模型中的近似贝叶斯参数推断问题。序贯蒙特卡罗近似贝叶斯计算(smc abc)是一种在这类模型中近似概率的方法。然而,这种近似可能会有噪声,计算成本高,这阻碍了使用基于优化和蒙特卡罗的标准方法的高效实现。我们提出了一种基于高斯过程优化和smc abc相结合的计算效率改进方法,以创建难以处理的后验概率的一个近似值。我们举例说明了在随机波动率模型中使用合成数据和真实数据进行推理的算法,以及使用copula模型估计两个投资组合的风险价值的算法。我们记录了与最先进的后验推理算法相比,速度提高了一到两个数量级。关键词:α稳定分布,近似贝叶斯计算,贝叶斯推理,高斯过程优化,序贯蒙特卡罗*给通讯作者的电子邮件:liu@johandahlin.com.JD和MV在林克平大学计算机与信息科学系工作。TS在瑞典乌普萨拉大学信息技术系工作。这项工作主要是在JD在林克平大学电气工程系自动控制部工作期间进行的。1简介时间序列数据的动力学建模是许多科学领域的重要组成部分,包括统计学[Durbin and Koopman,2012]、计量经济学[McNeil et al.,2010]和工程学[Ljung,1999]。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-5-8 10:15:02
一个流行的动态模型是状态空间模型(ssm),它可以用X表示~ μθ(x),xt | xt-1.~ fθ(xt | xt)-1) ,yt | xt~ gθ(yt | xt),(1)式中θ∈ Θ  表示未知的静态参数。给,xt∈ 十、 Rnx和yt∈ Y Rnyde记录了潜伏期和时间t的观察结果∈ 分别为{0,1,…,T}。通过分别使用已知的概率密度u、fθ和gtheta,对初始状态、状态动力学和观测值的分布进行建模。在本文中,我们感兴趣的是使用贝叶斯方法估计ssms中的未知参数θ。这相当于计算p(θ| y1:T)=p(θ)pθ(y1:T)ZΘp(θ)pθ(y1:T)dθ给出的参数后验分布,(2)其中p(θ)和pθ(y1:T),p(y,y,…,yT |θ)分别表示参数的先验分布和似然。对于ssm,我们无法以闭合形式计算后验概率,因为似然Pθ(y1:T)取决于未知的潜态x0:T。幸运的是,通过所谓的序贯蒙特卡罗(smc;Doucet and Johansen,2011)或粒子滤波算法,可以获得似然的无偏估计。然而,对于一些感兴趣的模型,由于gθ(yt | xt)是一个解析的封闭形式表达式,是递归定义的,或者计算上不允许计算,因此不可能使用smc。我们将这类模型称为具有难以解决的可能性的SSM。一个例子是,将α稳定分布[Nolan,2003]用作(1)中的gθ,以模拟观测中的重尾噪声。斯托亚诺夫等人最近提倡这种建模方式。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-5-8 10:15:05
[2010]等,以捕捉金融指数和股票价格的行为,通常表现出所谓的跳跃。获得难以解决的可能性有偏估计的一种方法是将近似贝叶斯计算(abc;Marin等人,2012)与smc结合使用[Jasra等人,2012]。然后可以使用标准推理算法估计参数θ。然而,smc abc获得的估计值通常会受到较大方差的影响,且计算成本较高。这通常会导致完整推理算法的长期运行时间(天),这在实际应用中是禁止的。在本文中,我们提出了一种计算效率高的算法,用于具有难处理似然性的SSM中的贝叶斯推理。提出的算法称为gsa,是高斯过程优化(gpo;Brochu等人,2010)和smc abc的组合。gsa的目的是构造一个近似(2)的拉普拉斯近似。该算法的有效性源于gpo对后验评估的要求非常低,并且与其他优化算法相比,该算法对噪声的鲁棒性更强。这主要是因为gpo通过构造一个代理函数来运行,该函数模拟(2)与Wood[2010]的相似性。由此产生的替代物是平滑的,且计算成本低,因此可以使用标准优化方法来提取模拟真实后验曲线的替代物拉普拉斯近似值。本文的主要贡献是介绍、发展和数值研究gsa算法。我们将提出的算法与粒子Metropolis Hastings(pmh;Andrieu等人,2010年,Dahlin and Sch¨on,2015年)和spsa[Spall,1998年,Ehrlich等人,2015年]进行了比较,以便在ssms中使用合成和真实数据进行推断。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-5-8 10:15:08
在贝叶斯推理中,pmh被视为后验近似的黄金标准,而spsa被认为是一种高效且可扩展的无梯度优化算法。数值比较表明,gsa可以:(i)提供良好的后验近似,(ii)与pmh相比,将计算时间减少一到两个数量级,(iii)对abc近似和估计中的噪声具有良好的鲁棒性。此外,我们还演示了如何使用所提出的算法来估计金融投资组合的风险。Dahlin和Lindsten[2014]、Gutmannand Corander[2016]和Meeds and Welling[2014]等介绍了与该算法相关的工作。在前两项工作中,作者分别使用gpo获得最大似然估计和map估计。在目前的工作中,我们希望近似整个后验值,而不仅仅是最大化似然值或后验值的参数。此外,与Meeds和Welling[2014]相比,替代函数的不确定性被用来确定下一个对数后验采样点。我们继续第2节,其中概述了所提出的算法及其组件。第3节和第4节讨论了这些组件的细节,第5节介绍了生成的算法。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-5-8 10:15:12
我们在第6节中对本文进行了广泛的数值评估,在第7.2节中进行了一些评论和未来的工作。我们的目标是找到参数后验(2)bp(θ| y1:T)=N的拉普拉斯近似θ;bθ映射,h-对数p(θ| y1:T)θ=bθ映射|{z},J(bθ映射)i-1., (3) -0.1 0.1 0.2 0.3 0.4 0.5 0.6-44600-44580-44560-44540 mLog后验估计Slog后验估计密度估计-44640-44600-44560-44560-44560-44560-0.000 0.010 0.020 0.030-3-2-10123-44600-44580-44560-44540-44520理论量样本量图1(16)的对数后验(左)样本量相对于u。分布(中心)和qq图(右)的1000个对数后验估计值为(16)。紫色线表示最佳高斯衰减。其中N(θ;u,∑)表示均值为u且协方差矩阵为∑的高斯分布。这里,J(bθMAP)表示在后验模式下评估的对数后验的海森估计,bθMAP=argmaxθ∈Θlog p(θ| y1:T),(4)其中y1:T表示记录的观测值。这可以被视为后验概率模型周围的高斯近似,受伯恩斯坦-冯-米塞斯定理的激励,该定理指出,当T→ ∞. 请注意,即使这是一个渐进结果,它也可以使用帕诺夫和斯波科尼[2015]讨论的有限数量的样本提供合理的近似值。在构造拉普拉斯近似时,我们遇到两个主要问题:(i)在(4)中的优化问题很难有效地解决,(ii)J(bθ映射)通常很难以良好的精度进行估计。第一个问题是由于后验概率的高方差和计算成本。图1的左半部分给出了这个问题的一个例子。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群