使用阻尼BFGS更新构建Metropolis Hastings提案

14238

收藏 2022-06-02

英文标题：
《Constructing Metropolis-Hastings proposals using damped BFGS updates》
---
作者：
Johan Dahlin, Adrian Wills, Brett Ninness
---
最新提交年份：
2018
---
英文摘要：
The computation of Bayesian estimates of system parameters and functions of them on the basis of observed system performance data is a common problem within system identification. This is a previously studied issue where stochastic simulation approaches have been examined using the popular Metropolis--Hastings (MH) algorithm. This prior study has identified a recognised difficulty of tuning the {proposal distribution so that the MH method provides realisations with sufficient mixing to deliver efficient convergence. This paper proposes and empirically examines a method of tuning the proposal using ideas borrowed from the numerical optimisation literature around efficient computation of Hessians so that gradient and curvature information of the target posterior can be incorporated in the proposal.
---
中文摘要：
基于观测到的系统性能数据计算系统参数及其功能的贝叶斯估计是系统辨识中的一个常见问题。这是之前研究的一个问题，其中使用流行的Metropolis-Hastings（MH）算法对随机模拟方法进行了研究。之前的这项研究发现了调整{建议分布，因此MH方法提供了充分混合的实现，以提供有效的收敛。本文提出并实证检验了一种方法，使用从数值优化文献中借用的有关Hessians有效计算的思想来调整建议，以便将目标后验的梯度和曲率信息纳入提议
---
分类信息：

一级分类：Statistics 统计学
二级分类：Computation 计算
分类描述：Algorithms, Simulation, Visualization
算法、模拟、可视化
--
一级分类：Quantitative Finance 数量金融学
二级分类：Computational Finance 计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--

---
PDF下载：
-->

Constructing_Metropolis-Hastings_proposals_using_damped_BFGS_updates.pdf
大小:(630.2 KB)

马上下载

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

mingdashike22

2022-6-2 20:46:23

使用阻尼BFGS构建大都会黑斯廷斯提案更新Johan Dahlin、Adrian Wills和Brett Ninness*2018年5月9日摘要基于观测到的系统性能数据计算系统参数及其功能的贝叶斯估计是系统识别中的常见问题。这是一个先前研究过的问题，其中使用流行的Metropolis-Hastings（MH）算法对随机模拟方法进行了研究。之前的这项研究已经确定了一个公认的调整提案分布的困难，因此MH方法提供了高效混合的实现，以实现高效的收敛。本文提出并实证检验了一种调整方案的方法，该方法使用了从数值优化文献中借用的关于黑森人高效计算的思想，以便将目标后方的梯度和曲率信息纳入方案中。关键词：贝叶斯参数推理、状态空间模型、拟牛顿、BFGS。*给作者的电子邮件地址：firstname。lastname@newcastle.edu.au.JD和AW就读于澳大利亚纽卡斯尔大学工程学院。BN在澳大利亚纽卡斯特大学工程与建筑环境学院工作。这项工作得到了澳大利亚研究委员会发现项目DP140104350.1简介的支持。状态空间模型（SSM）在许多科学学科中普遍存在，包括系统识别【Ljung，1999】和金融【Durbin和Koopman，2012】。SSMs中的一个常见问题是参数θ的估计∈ Rnθ给出了一些观测数据y1:T={y，···，yT}。在本文中，我们考虑用x表示的ssm的这个问题~ uθ（x），xt+1 | xt~ fθ（xt+1 | xt），yt | xt~ gθ（yt | xt），（1），其中|θ、fθ和gθ表示由θ参数化的已知密度。这里，xt∈ RNX和yt∈ rNude记录时间t时系统的状态和观测值。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-2 20:46:26

请注意，此参数化（1）包括大多数非线性和非高斯SSM以及输入ut∈ rnuca可以作为fθ和gθ的参数添加。估算（1）中θ的一种常用方法是采用隐含的一步预测分布pθ（yt | yt-1）形成似然π（θ）=pθ（y1:T）=pθ（y）TYt=2pθ（yt | y1:T-1），（2）的观测数据。然后，通过似然的最大化参数给出θ的估计，即bθML=arg maxθpθ（y1:T），（3），这是众所周知的最大似然（ML）估计【Ljung，1999】。实际上，pθ（yt | yt-1）可用于大多数SSM，但可使用粒子方法进行无偏估计【Doucet和Johansen，2011年】，这些方法可用于基于梯度的优化【Poyiadjis等人，2011年】和期望-最大化算法【Sch¨on等人，2011年】中，以近似解决（3）中的非对流可处理问题。在本文中，我们采用另一种方法，通过使用贝叶斯范式来估计θ【Peterka，1981，Robert，2007】。这相当于计算后验概率（θ| y1:T）∝ pθ（y1:T）p（θ），（4），其中p（θ）是θ的先验分布，可用于编码有关参数的先验用户信息。然而，这种后验概率很难计算，因为无法以闭合形式计算可能性（2）。相反，我们利用一种随机模拟方法来解决这个难题，它构造了一个随机数生成器，使得θk~ π(θ). （5）这是统计文献中广泛应用的方法，在过去十年中，它在应用中的使用呈爆炸式增长。构建合适的随机数生成器的标准方法是采用（粒子）Metropolis-Hastings（MH；Robert and Casella，2004，Andrieu et al.，2010），这是一种非常通用的算法，用于计算π（θ）的实现，前提是可以逐点计算。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-2 20:46:29

不幸的是，实现合理的收敛需要仔细调整算法，这本质上需要利用未知后验值的信息。这一困难在文献中得到了很好的认可，通常通过采用自适应方法【Andrieu和Thoms，2008】和几何信息的加入【Girolami和Calderhead，2011】来缓解。后一种方法需要计算对数后验的Hessian值，即使对于适用标准Kalman方法的线性高斯SSM，也很难直接计算。当使用粒子方法【Doucet和Johansen，2011】来估计潜在状态和可能性时，问题就更糟了。这是经验观察的结果，即使用粒子方法获得的Hessian估计值通常是有噪声的，甚至使用大量粒子也不准确。然而，有时即使使用少量粒子，梯度估计也很精确。因此，研究利用噪声梯度信息估计黑森值的问题很有意义。本文的贡献是探索使用阻尼Brodyen–Fletcher–Goldfarb–Shanno（BFGS）更新，仅使用梯度信息近似由Hessian编码的局部曲率。Ths是解决光滑数值优化问题的一种广泛使用的方法【Nocedal和Wright，2006年】。有关在MH内使用BFGS的相关工作包括Zhang和Sutton【2011年】，作者将这一想法应用于回归问题。Dahlin等人【2015b】将这项工作扩展到一类具有难处理可能性的SSM。本文的主要创新之处在于使用阻尼BFGS更新，以确保即使采用粒子方法，Hessian也是正半有限的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 20:46:33

最后，与早期在MH内使用BFG的尝试相比，所提出的方法提供了优异的性能。因此，我们获得了良好的MH性能，无需繁琐的用户调整，这是迈向自动贝叶斯推理方法的一步。2后验抽样存在一套所谓的马尔可夫链蒙特卡罗（MCMC；Robert和Casella，2004）方法，用于构建马尔可夫链，生成具有用户指定不变分布π（θ）的实现{θk}。由于在温和的假设下，马尔可夫链的实现具有收敛于链的变分分布的分布，因此这提供了一种构建具有任意目标分布π的随机数生成器（5）的方法。然后可以使用这些样本来近似后验值。给出后验点估计，如条件平均值bθCM=Eθy1:T=可以得到Zθπ（θ）dθ，（6）。这些都是有趣的，因为它们具有最小均方误差特性，并且不依赖于作为ML估计的渐近结果（3）。此外，通过计算（边缘）后验密度（θi | y1:T）=Zπ（θ）dθ，可以获得估计参数向量的每个元素i的误差界-i、（7）式中θ-IDE注意到没有第i个元素的向量θ。不幸的是，（6）和（7）都需要对多维积分进行评估，这在计算上可能具有挑战性，尤其是当nθ=dim{θ}增长时。这导致任何任意（可测量）函数的期望值Д：Rnθ→ 由π[Д]=E[Д（θ）]=ZД（θ）π（θ）dθ给出的R，可以使用随机数生成器中的样本用bπK[Д]=KKXk=1Д（θK），（8）来近似。此外，我们还发现，估计量服从强大数定律，并且是一致的，即bπK[Д]a.s。-→ π[Д]，K→ ∞.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-2 20:46:37

（9）选择Д（θ）=θ，然后给出条件平均值估计（6）的近似值，选择Д（θ）作为适当的指示函数，然后给出π（θ）的近似值作为样本直方图。MH算法可以说是实现算法1 Metropolis Hastings（MH）输入：K>0，θ和q的最广泛使用的MCMC技术之一。输出：{θ，…，θK}。1：计算π（θ）。2：对于k=1至k do3：样品θ~ q（θ|θk-1）使用（10）。4：使用卡尔曼或粒子方法计算π（θ）。5： [0，1]上的ωkuniformly样本。6：如果ωk≤ min{1，α（θ，θk-1） }由（11）给出。然后7：接受θ，即θk← θ.8： else9：拒绝θ，即θk← θk-1.10：结束if11：结束（5）。它通过采用任意建议马尔可夫链q（θk |θk）进行操作-1）并通过随机接受来自该基链的实现来调节它。接受概率取决于目标π（θ）。在理论上（但不是在实践中），可以非常自由地选择提案分布，但在大多数情况下，使用高斯提案，qθ|θk-1.= Nθ; uθk-1., Σθk-1., （10）其中θ表示候选参数，u和∑分别表示均值和协方差函数。通过（10）生成候选参数后，接受概率为α（θ，θk-1) = 1 ∧π（θ）π（θk-1） q（θk-1 |θ）q（θ|θk-1），（11）其中∧ b=最小值（a，b）。我们设置θk← θ如果候选参数被接受，θk← θk-1如果弹出。注意，我们只需要能够逐点计算π（θ）就可以实现算法1中所述的MH。一个关键点是，收敛速度（9）取决于实现{Д（θk）}的相关性。不相关程度越高，收敛速度越快，因此对于给定的有限个实现数K，近似值（8）越好。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

可人4

2022-6-2 20:46:41

这在MCMC文献中得到了很好的理解，其中随机近似（8）中的方差与积分自相关f=1+2成正比∞Xk=2corr{Д（θ），Д（θk）}，（12），也称为效率因子（IF）。反过来，实现的相关性{Д（θk）}关键取决于方案q（θ|θk）的选择-1).从Girolami和Calderhead【2011】的工作中可以看出，通过在提案（10）中加入关于后验概率的梯度和曲率信息，可以极大地改善混合（即自相关）。当后验面非各向同性时，这一点尤为重要，即某些参数对后验面值的影响程度大于其他参数。这种影响也会影响参数空间，这使得曲率的局部信息对于增加混合非常重要。3 Hessian估计一个重要的进一步问题是，如引言所述，当MH内采用粒子方法时，很难以有效的方式获得一般SSM的曲率信息。对数后验梯度很容易使用Fisher恒等式进行有效估计【Capp\'e等人，2005年】，G（θ）= 对数pθ（y1:T）= Eθhlog pθ（x1:T，y1:T）y1:Ti，（13），其中可以使用卡尔曼或粒子平滑器来计算或近似期望值。Louis’identity[Capp'e等人，2005年]可以以类似的方式用于估计对数后验的负hessian。不幸的是，由此产生的估计器通常会受到较大噪声敏感性的影响，这会导致正不确定性的频繁损失。这是有问题的，因为hessian的倒数经常作为协方差包含在提案（10）中。另一种方法是通过试运行计算Hessian估计值。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-2 20:46:45

这将产生一个所谓的预处理矩阵，可用于缩放提案。然而，Girolami和Calderhead【2011年】、Nemeth等人【2016年】和Dahlin等人【2015a】等的数值研究结果表明，这种与参数无关的方法在混合方面是次优的。3.1阻尼有限内存BFG为了解决这些问题，我们建议利用优化文献中的知识，其中曲率信息通常是根据梯度信息估计的。这是非常成功的拟牛顿算法中使用的方法，该算法允许优化非线性函数。同样，与后验的Hessian估计相比，使用粒子方法获得的梯度估计通常是准确的，并且计算成本相对较低。在经典数学优化中，开发了一类所谓的拟牛顿方法【Nocedal and Wright，2006】，将曲率信息纳入搜索方向计算中，以加速收敛。这些方法的细节可以在标准参考文献中很容易找到，如Nocedal和Wright【2006】，但本质上，这些方法利用梯度和迭代信息来形成Hessian或其逆的估计。最著名的拟牛顿方法之一是BFGS方法，该方法对当前的Hessian估计Hl进行秩2更新，通过递归Hl+1=（I）形成更好的估计Hl+1- ρlslz>l）Hl（I- ρlzls>l）+ρlzlz>l，（14）ρl=（z>lsl）-1，sl=θl- θl-1，zl=G（θl）- G（θl-1).可以观察到，如果所有迭代的ρl>0，Hessian估计将保持正定义。在优化中，通过满足Wolfe条件的a线搜索算法可以保证将该条件设置为ρlca，参见【Nocedal和Wright，2006年，第8章】。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 20:46:49

不幸的是，在MH设置中，这无法实施，因为这将导致马尔可夫链收敛到单个点。为了改善这个问题，我们在这里采用了所谓的阻尼BFGS方法，其中Zli被rlviarl=βlzl+（1- βl）Hlsl，βl=1，如果s>lzl≥ 0.2s>lHlsl（0.8s>lHlsl）/（s>lHlsl- s> lzl），如果s>lzl<0.2s>lHlsl，Hl+1=（I- ρlslr>l）Hl（I- ρlrls>l）+ρlrlr>l。除阻尼项外，我们还采用有限内存【Nocedal和Wright，2006，第9章】实现阻尼BFGS方法，以便计算负载保持适度。4拟牛顿提案要构建一个好的MH提案，将在输入（10）的均值和协方差函数中使用梯度信息以及BFGS的Hessian估计。对数后验曲线的二阶泰勒展开（Dahlin et al.，2015a）得出的一个典型选择是u（θ）=θ+H-1（θ）G（θ），∑（θ）=H-1（θ），（15）式中 > 0表示用户指定的步长。因此，我们可以将该建议视为后验值的局部高斯近似，这应该允许从中进行有效采样。激励（15）的另一种方式是将其视为黎曼流形上的随机游动，参见Girolami和CalderheadAlgorithm 2拟牛顿命题：ψk，M，{θi，G（θi）}ki=k-Mandδ>0。输出：θ。1：从ψk中提取\'M唯一元素，并按升序（相对于对数目标）对其排序，以获得\'ψk，M.2：如果\'M≥ 2然后3：初始化Hessian估计值H.4：对于l=1到'M do5：根据'ψk，M中的lth对计算sland zl。6：执行更新（14）以获得Hl。7：结束8：Set∑QN（ψk，M）=-H'M（θ）。9： else10：设置∑QN（ψk，M）=δIp。11：结束if12：从（16）中取样以获得θ。详情参见【2011年】。将BFGS算法用于估计Hessian需要我们对toMH进行一些更改。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-2 20:46:52

主要问题是，算法中来自M次迭代的信息被用于构建提案分布。在MH的标准版本中，由于马尔可夫特性，建议中只允许使用上一次迭代的信息。为了解决这个问题，我们需要将马尔可夫链从一阶链扩展到anM阶链。这允许MH保留其有效性，如Zhang和Sutton【2011】以及Dahlin等人【2015b】所述。算法1的主要算法变化是在步骤4中使用平滑器和算法2计算梯度和Hessian。此外，MH中的建议步骤由Q中的抽样代替θ|ψk，M= Nθ; uQNθk-M, Σ-1QNψk，M, （16） uQN（θk-M） =θk-M级+Σ-1QN（ψk，M）G（θk-M）。使用算法2中的过程，ψk，M，{θi，G（θi）}ki=k-M、最后，我们将算法1中的步骤9更改为θk← θk-M当候选参数因提案现在集中在θk上而被拒绝时-M、 5数值说明我们提供了三个数值说明，以了解所提出的算法，并将其与文献中的其他备选方案进行比较。附录A总结了实现细节，可以按照第6节所述下载源代码。时间标签。规则。如果Iter符合Cor.max。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 20:46:55

Samp。pMH0-0.12-89±62 0.62 55pMH1-0.37-113±53 1.14 130dBFGS-0.76-24±7 2.16 53iBFGS FLIP 0.52 0.95 42±17 1.83 77iBFGS reg 0.45 0.95 34±15 1.77 61iBFGS hyb 0.60 0.95 40±17 1.84 76eBFGS hyb 0.62 1.00 34±19 1.89 64pMH0-0.04-745±177 0.3 211pMH1-0.25-275±0.3 1031 DBFGS-0.32-39±29 0.3 14iBFGS hyb 0.33 0.93 79±43 0.3 27表1：性能统计由于平均值超过25，蒙特卡罗法适用于MH的不同提案。5.1具有合成数据的LGSS模型我们首先考虑线性高斯状态空间（LGSS）模型，因为可以使用卡尔曼平滑器精确解决状态推断问题。这使我们能够使用精确递归计算对数后验概率及其梯度，这将指示各种MH方案的最佳性能。模型由xt+1 | xt给出~ Nxt+1；u+φ（xt- u），σv, （17a）yt | xt~ Nyt；xt，0.5, （17b）θ={u，φ，σv}和u∈ R、 φ∈ (-1，1）和σv∈ R+。使用参数{0.2、0.5、1.0}，从模型中模拟了一个由T=500个观测值组成的合成数据集。我们使用25个蒙特卡罗模拟，使用相同的数据计算IF（12），并估计不同方案的计算时间。表1总结了这些模拟的中值结果，其中包括接受率、修正的Hessian估计分数、IF的最大值和每次迭代所需的时间以及从后验获得一个有效样本所需的时间。对于IF，我们还提供IQR（25%和75%分位数之间的距离）。BFGS类型建议书的基准是MH0和MH1的预处理版本，分别表示为pMH0和pMH1。在pMH1中，我们设置H-1（θ）=P，其中P表示使用导频运行计算的后验协方差的估计值。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-2 20:46:58

在pMH0中，我们使用与pmh1相同的方法，但也设置G（θ）=0。使用三种不同的BFGS方案：（d）amped，（i）忽略曲率条件和（e）加强φ后验估计值0.40 0.50 0.60 0.700 2 4 6 8 10 120 50 100 150 2000.40 0.50 0.60 0.70迭代φ0 100 300 5000.0 0 0.2 0.4 0.6 0.8 1.0迭代φ后验估计值0.40 0.50 0.70 0 2 4 8 10 120 50 100 150 2000.40 0.50 0.60 0.70迭代φ0 100 300 5000.0 0 0 0 0 0 0 0.2 0.4 0.6 0.8 1.0迭代φ后验估计值0.40 0.50 0.60 0.7002 4 6 8 10 120 50 100 150 2000.40 0.50 0.60 0.70φ0 100 300 5000.0 0.2 0.4 0.6 0.8 1.0φ的迭代图1：使用pMH0（顶部）、pMH1（中部）和dBFGS（底部）对φ进行后验估计（左侧）、迹线图（中部）和ACF估计（右侧）。左侧和中间图中的虚线表示估计的后验平均值。右图中的虚线表示95%的置信区间。如果左图中的灰色线表示先验分布。曲率条件。对于后两种情况，Hessian估计值通常为负值，因此需要进行一些修正。我们采用附录B中概述的三种不同方法：（FLIP）Ping负特征值，（reg）标定估计值和（hyb）rid方法。每个有效样本的时间（以毫秒为单位）显示在表中最右边的列中。我们注意到，所提出的基于阻尼BFGS的曲率信息局部逼近方法性能最好。从后部产生一个样本需要53毫秒。这比pMH0小，pMH0将是此设置中的标准方法。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-2 20:47:01

此外，我们注意到，其他BFGS类型方案需要对Hessian进行大量修正，这是不可取的，这可能会引入数值不稳定性。图1显示了模拟研究中特定情况下的后验估计、马尔可夫链跟踪及其相应的ACF。我们注意到，与pMH0（上部）和pMH1（中部）相比，BFGS基方案（下部）的混合效果更好。此外，由于马尔可夫链中的M步依赖性，BFGS方案的ACF表现出与其他两个方案相当不同的行为。通过比较后验估计，我们得出结论，所提出的方法能够以正确的参数和合理的方差为中心生成良好的估计。5.2重新审视LGSS模型我们重复相同的实验，如Dahlin等人【2015a】所述，将卡尔曼滤波器和平滑器替换为粒子滤波器和固定滞后粒子平滑器。同样，表1总结了所有计时的结果，现在以秒表示。在这种情况下，pMH0和pMH1的表现更差，因为对数后验值及其梯度的估计值不一致。然而，所提出的方法表现良好，并在14秒后生成一个有效样本。与其他方法相比，这是一个大幅度的减少，尤其是与Zhangand Sutton【2011】和Dahlin等人【2015b】提出的拟牛顿方法相比，至少增加了两倍。因此，所提出的方法优于设计方案的标准方法和当前最先进的拟牛顿方案。5.3 SV模型和比特币价格数据为了证明所提方法的实际应用，我们考虑了估计2015年11月7日至2017年11月7日期间比特币价格波动性的问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 20:47:05

图2的上半部分显示了对数回报（两天之间比特币价格的百分比变化）为绿点。请注意，日志返回的平均值为零，但方差随时间而变化。We-15-10-5 0 5 10 15时间观测11月15日5月16日11月16日5月17日11-4-2 0 2 4 6时间日志波动性Nov 15 5月16日11月16日5月17日17μ后验估计0.5 1.5 2.50.0 0.5 1.0 1.5 1.5 2.0φ后验估计0.85 0.950 5 10 15 20 25σ后验估计0.3 0.5 0.70 2 4 6 8ρ后验估计-0.3 0.0.30 1 2 4 5 6 7图2：顶部：比特币的日志收益率（绿色）及其估计值95%使用模型和对数波动率估计的置信区间（橙色）。底部是dBFGS获得的u（pruple）、φ（magents）、σv（绿色）和ρ（黄色）的后验估计值。虚线和灰线分别表示估计的后验平均值和先验分布。目的是通过模型捕捉波动性的这种变化（因为这种变化是已知的xt+1年xt公司~ Nxt+1年;u+φ（xt- u),σvρρexp（xt）,这就是所谓的带有杠杆作用的随机波动率（SV）模型。此处，未知潜在参数与LGSS模型中的相关ρ相同∈ (-1，1），即θ={u，φ，σv，ρ}。AIM是在给定数据的情况下估计对数波动率，这可以通过对参数的后验估计进行边缘化来实现，参见Andrieu等人【2010】或Dahlin和Sch¨on【2017】。图2的中间图给出了对数volaility（潜在状态）的结果估计。请注意，比特币价格随时间而变化，当比特币价格波动且每日变化较大时，其变化幅度较大。此外，对数波动率过程的平均值相当大，这意味着对数波动率通常很大（与股票价格相比）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-2 20:47:08

相关性ρ很可能非常接近于零。这与-0.8，这是股票的典型值，这意味着股票价格的大幅下跌会增加波动性（因为投资者出售资产）。这些信息在许多金融应用中非常有用，例如比特币期货定价，以及计算银行和金融机构向监管机构提交的各种风险度量。6结论数值例子表明，所提出的方法优于许多现有方法，可以为MH创建良好的建议。此外，我们想再次强调，提议的方法基本上不需要试运行，这是所有预处理方法所必需的。此外，阻尼BFGS方法始终提供了Hessian的正有限估计，因此不需要潜在的数值不稳定Hessian校正。此外，梯度信息对于大维参数空间中的估计至关重要，这在SSM和传递函数模型中很常见。所有这些好处都有可能使MH被广泛用于识别动力系统。在本文的范围内，有许多有趣的未来工作途径。SR1更新【Nocedal和Wright，2006年，第6.2章】是BFGS的一种替代方案，已知BFGS在许多情况下可提供更准确的黑森估计值。此外，来自优化的信赖域方法可能有助于MH解决数值稳定性问题。最后，对于参数空间较大的模型，需要进行更广泛的数值计算。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-2 20:47:11

在这种情况下，需要替代或更好的粒子平滑算法来获得合理的梯度估计。本文使用的源代码和数据可从GitHub获得https://github.com/compops/qnmh-sysid2018/并通过Docker（参见README.md）。参考C。Andrieu和J.Thoms。关于自适应MCMC的教程。《统计与计算》，18（4）：343–3732008。C、 Andrieu、A.Doucet和R.Holenstein。粒子马尔可夫链蒙特卡罗方法。皇家统计学会杂志：B辑（统计方法），72（3）：269–3422010。O、 Capp\'e、e.Moulines和T.Ryd\'en。隐马尔可夫模型中的推理。Springer Verlag，2005年。J、 Dahlin和T.B Sch¨on。开始使用粒子Metropolis Hastings进行非线性动力学模型中的推理。《统计软件杂志》，2017年。正在印刷。J、 Dahlin、F.Lindsten和T.B.Schon。粒子Metropolis Hastings使用梯度和Hessianinformation。《统计与计算》，25（1）：81–922015a。J、 Dahlin、F.Lindsten和T.B.Schon。准牛顿粒子Metropolis Hastings。第17届IFAC系统识别（SYSID）研讨会论文集，第981-986页，中国北京，2015年10月b。A、 Doucet和A.Johansen。粒子过滤与平滑教程：十五年后。InD.Crisan和B.Rozovsky，《牛津非线性滤波手册》编辑。牛津大学出版社，2011年。A、 Doucet、M.K.Pitt、G.Deligiannidis和R.Kohn。使用无偏似然估计时，马尔可夫链蒙特卡罗的有效实现。Biometrika，102（2）：295–3132015。J、 Durbin和S.J.Koopman。利用状态空间方法进行时间序列分析。牛津大学出版社，第2版，2012年。M、 Girolami和B.Calderhead。Riemann流形Langevin和Hamilton蒙特卡罗方法。皇家统计学会杂志：B辑（统计方法），73（2）：1–372011年。五十、永。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 20:47:14

系统识别：用户理论。普伦蒂斯·霍尔，1999年。C、 Nemeth、C.Sherlock和P.Fearnhead。粒子Metropolis调整的Langevin算法。Biometrika，103（3）：701–7172016。J、 Nocedal和S.Wright。数值优化。Springer Verlag，2006年第2版。五、彼得卡。贝叶斯系统识别。Automatica，17（1）：41–531981年。G、 Poyiadjis、A.Doucet和S.S.Singh。状态空间模型中分数和观测信息矩阵的粒子近似及其在参数估计中的应用。Biometrika，98（1）：65–802011。C、罗伯特。贝叶斯选择。Springer Verlag，2007年。C、罗伯特和卡塞拉。蒙特卡罗统计方法。Springer Verlag，第2版，2004年。G、罗伯茨和罗森塔尔。朗之万离散近似的最佳缩放。皇家统计学会杂志：B辑（统计方法），60（1）：255–2681998。T、 B.Schon、A.Wills和B.Ninness。非线性状态空间模型的系统识别。Automatica，47（1）：39–492011年。Y、张和C.A.萨顿。马尔可夫链蒙特卡罗的拟牛顿方法。2011年12月，西班牙格拉纳达，2011年神经信息处理系统会议记录。A实施细节在第5.1节和第5.2节中，我们使用带有RTS平滑器的标准卡尔曼滤波器来计算对数后验概率及其梯度。此外，使用N=1000个粒子的自举粒子滤波器和具有滞后10的固定滞后平滑器，有关算法描述，请参见Dahlin等人[2015a]。使用Doucet等人【2015年】的结果选择粒子数。为了简单起见，我们在真实参数中初始化所有MH算法，并将其运行K=10000次迭代，然后丢弃前3000次asburn in。MH0和MH1的预处理矩阵是通过多次试运行来计算的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 20:47:18

步长是使用现有的拇指规则选择的【Roberts和Rosenthal，1998年】作为= 1.37和= 使用Kalman方法和= 1.48和= 0.47当使用粒子方法时【Nemethet等人，2016年】。对于qMH方法，我们使用内存长度M=20，并使用随机游走建议，用于具有步长的第一个M次迭代 = 所有三个参数均为0.01。步长= 0.5用于初始M次迭代后的所有qMH算法。对LGSS模型进行重新参数化，以使马尔可夫链中的所有参数不受约束（能够假定任何实值），由φ=tanh（(R)φ），σv=exp（(R)σv）给出，其中θ={u，(R)φ，(R)σv}是马尔可夫链的新状态。变量的这种变化将aJacobian术语引入了接受概率，参见Dahlin和Sch¨on【2017年，第6.3.2节】。最后，我们使用以下先验密度u~ N（0，1），φ~ T不适用(-1,1）（0.5,1），σv~ G（2，2），其中T N（a，b）（·）表示[a，b]上的截断高斯分布，G（a，b）表示平均a/b的Gammadistribution。在第5.3节中，我们使用了与LGSS模型相同的设置，但将N增加到1500。此外，我们将先验值（p（u）保持不变）略微更改为φ~ T不适用(-1,1）（0.95，0.05），σv~ G（2，10），ρ~ T不适用(-1,1）（0,1），更好地反映了现实数据中通常存在的参数值。相关性ρ以与φ相同的方式重新参数化。比特币数据计算为yt=100[对数（st）-日志（st-1），其中St表示从https://www.quandl.com/BITSTAMP/USD.BHessian校正第一种方法通过∑？QN公司ψk，M= ∑QNψk，M- 2λminIp，λmindenoting为最小（负）特征值。这使所有特征值都变为正。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-2 20:47:21

第二种方法计算特征值∑？QN公司ψk，M= Q∧| Q-其中Q和∧|分别表示特征向量矩阵和∑QN（ψk，M）特征值绝对值的对角矩阵。第三种方法是Dahlin等人[2015a]的混合方法。其中，估计值被后验协方差∑的全局近似值代替？QN公司ψk，M= Σ-1emp，其中∑emp表示使用老化阶段后半部分计算的后验协方差的样本估计。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群