全部版块 我的主页
论坛 经济学人 二区 外文文献专区
671 9
2022-06-11
英文标题:
《How should you discount your backtest PnL?》
---
作者:
Adam Rej, Philip Seager and Jean-Philippe Bouchaud
---
最新提交年份:
2019
---
英文摘要:
  In-sample overfitting is a drawback of any backtest-based investment strategy. It is thus of paramount importance to have an understanding of why and how the in-sample overfitting occurs. In this article we propose a simple framework that allows one to model and quantify in-sample PnL overfitting. This allows us to compute the factor appropriate for discounting PnLs of in-sample investment strategies.
---
中文摘要:
样本中的过度拟合是任何基于回溯测试的投资策略的缺点。因此,了解样本内过度拟合发生的原因和方式至关重要。在本文中,我们提出了一个简单的框架,允许对样本PnL过度拟合进行建模和量化。这允许我们计算适用于贴现样本内投资策略PNL的因子。
---
分类信息:

一级分类:Quantitative Finance        数量金融学
二级分类:Statistical Finance        统计金融
分类描述:Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-11 14:51:33
您应该如何折扣您的回溯测试PnL?Adam Rej,Philip Seager&Jean-Philippe BouchaudCapital Fund Management,23 rue de l\'Université,75007巴黎样本过度拟合是任何基于回溯测试的投资策略的缺点。因此,了解样本内过度拟合发生的原因和方式至关重要。在本文中,我们提出了一个简单的框架,允许oneto建模和量化样本PnL过度拟合。这使我们能够计算适用于贴现样本投资策略中PNL的因子。简介数据驱动的系统投资策略目前被资产管理公司广泛采用。投资研究团队筛选历史市场数据,希望发现可以货币化的重复模式。这种投资方法很有吸引力,因为基于规则的决策过程可以使用统计方法进行评估。此外,它还允许克服常见的投资偏见,例如损失厌恶。使用回溯测试评估的任何策略,无论是自主性的还是系统性的,都有被过度匹配的风险(参见[1-3])。换句话说,它的部分表现(或极端情况下的整体表现)是由于市场力量的良好协调。当然,这种意外的表现在未来是不可指望的。在随机过程的语言中,有利或不利的市场条件只代表纯粹的噪音。因此,以其表面值获得有利的噪声实现是过度拟合的一个重要来源。然而,还有另一个同样重要的促成因素。如果研究团队有理由相信他们的策略是合理的,但后验损益没有达到他们的预期,那么他们很可能不会轻易放弃。相反,该策略将被分解为基本的构建块,并将仔细研究其中的每一个。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 14:51:36
研究团队将对这些构建块提出“改进”,一个或多个系列的改进将产生可接受的回测性能。这个过程真的改善了策略吗?在大多数情况下,答案是否定的。性能提高仅仅来自于“改进”原始策略的噪声实现。即使改进是真实的,也没有办法知道。谨慎的做法是,假设基本情况没有改善。在下一节中,我们将具体化和量化上述论点。我们的设置和主要结果假设研究人员已经确定了有效的投资策略。假设此策略与任何其他已知策略不相关,则我们将此策略视为隔离策略。我们将在有限的时间间隔(0,T)内,通过漂移布朗运动Dpnl=udt+σdW(1)对策略的(对数-)PnL进行建模。我们用年来测量T。策略的真实夏普比SRt=uσremainsunbownst给研究人员[4]。她所能做的最好的事情是计算估计的夏普比SR。众所周知,夏普比的估计会有相当大的误差,因为无法将(1)中的漂移项与噪声的实现分离开来。只有通过增加回溯测试的长度T,才能提高估计的质量。然而,在实践中,对于许多资产类型,回溯测试仅限于(最多)几十年的日常数据。由于对于SR=0.5的P&Lone,需要43年的回溯测试数据,才能99.9%确定性能与噪声显著不同,因此应该清楚的是,对较低夏普比率策略的统计评估充满了风险。一些读者可能会打趣地说,从一开始就看这些没有吸引力的策略是没有意义的。然而,回想一下,我们在这里孤立地考虑投资策略。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 14:51:39
在实践中,资产管理人将评估现有战略的剩余绩效。剩余夏普比率约为0.3-0.5在CTA领域很常见。在部署新战略之前,投资委员会将检查其若干特征,如风险回报率、再平衡频率、回测中的最大提取、与其他战略的相关性等。新战略应增加投资组合的多元化和预期回报。对于与现有港口策略不相关的策略,这些要求将转化为设定夏普比率阈值,即手头的策略需要清除的夏普比率阈值。然而,让我们强调一下,研究人员无法区分这个过程和它的最终实现。这是过度匹配的固有来源之一,因为她只会推销策略,例如Sr>Θ。(2) 因此,我们将假设,如果战略(1)的实现清除了阈值,它将“按原样”提交给投资委员会。如果绩效低于要求,研究人员将尝试改进策略。这些“调整”通常包括对策略的轻微修改,如用相似的过滤器替换过滤器、更改一些参数、删除某些资产类型等。研究人员通常有一个合理的叙述来证明这些。当然,只保留能够改善样本内性能的修改。在这里,我们假设每一次这样的修改都会恶化样本外的性能。换句话说,你无法击败(1)。这可能看起来很悲观,但平均而言,我们认为这与现实并不完全相反。无论如何,这种保守的假设提供了一个明确的基本情况。我们现在转向建模“战略改进”。让我们将(1)得出的损益除以N个相等区间。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 14:51:42
实现的夏普比率是其子节SSR=NNXi=1SRi的平均夏普。(3) 在离散(日常)过程的情况下,只要域不太小,这个公式就是非常好的近似值。使用有限数量的数据点计算的夏普比率近似为正态分布[5]SRi∈ N(SRt,σSR(N)),(4),其中σSR(N)=NT1+SRt,每日≡ NσSR,总重量。同样,只要每个切片中有足够数量的数据点,这种近似值就成立。观察到,进入上述公式的是SRT的每日版本,因此对于所有实际目的,第二项可以忽略不计。请注意,分解(3)可以,但不必遵循时间顺序。因此,例如,在N=5的情况下,每个片段可能代表一周中给定日期的表现。我们使用索引来标记切片,但这种标记并不意味着任何排序。我们假设,对策略的每一次修改(“调整”)都会转化为在大量选择的f×N截面子集上的预测符号,另见【6】。参数0≤ f≤ 1从本质上反映了研究人员的超凡能力。我们在图1中说明了这个过程。对于原始损益的给定实现和N个桶的给定投资,我们称之为修改后的策略,其夏普比率超过原始实现。如果过度匹配策略集为非空,则始终存在一个“最大”过度匹配轨迹,该轨迹可最大化(样本中)夏普比率。“非最大”过拟合轨迹集包括高于原始损益且低于上述最大过拟合(MO)轨迹的轨迹。当然,大量修改后的轨迹实际上将如图1所示:这里,原始损益分为10个部分,f=0.3。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-11 14:51:44
第I段、第VIII段和第X段中的最大过盈轨迹由弯曲符号表示。不同子段上的非最大轨迹弯曲符号。比原始损益表更差。研究人员将丢弃这些损益表。修改策略的夏普比率,SRmis givenbySRm=-NfNXi=1SRi+NNXi=fN+1SRi。(5) 由于我们假设研究人员仅在其原始实现表现不佳时寻求改进策略,因此感兴趣的数量是对应于top的概率密度(SRm<x | SR<Θ)=Zx-∞ρ(y)dy。(6) 使用分解(5)计算ρ(y)很简单。我们在附录中介绍了它。在我们使用ρ(y)之前,我们想对框架的参数f和N有一些直观的了解。从(5)可以看出,修改后的损益将为(1-2f)与原始策略相关。参数f表示研究人员准备偏离原始损益的程度。我们预计,通常情况下,研究人员不希望“改进”策略与原始提案的相关性小于80%,这将转化为fmax=0.1的上限。下面我们将f作为模型的参数。另一方面,参数N没有简单直观的解释。因此,对于高斯回归,密度ρ(y)不依赖于N,这是一个非常受欢迎的消息。读者可能会认为n是一个允许设置SCAF的参数,但一旦构建完成,就不再需要它了。我们假设,如果策略的最初实现没有达到阈值,研究团队将继续改进,并在SR>Θ时停止。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群