[原创，转载请注明]

原文：https://www.linkedin.com/feed/update/urn:li:activity:6826236703422988288

在交易策略的调试中，狭义的回测指的是通过对某一历史区间的模拟运行，得到一个假设结果：如果这个策略在过去的某个时间区间运行，会得到怎样的结果。

这样的回测提供的信息是有限的，它提供了一个完整性检测，即在某种市场场景下，策略的收益，成本，仓位，换手率等等性能的评估。即使回测系统设计得非常完整，研究人员非常专业，因为选择的偏差和过度拟合的原因，仍然不可避免地落入误区。Luo Yin和他的小组在文章 ‘Seven sins of quantitative investing’ 中提到7点：

-- 回测使用的股票池可能不完整，在运行策略回测的时刻，历史上的有些股票可能已经退市
-- 使用的信息有可能是超前的，比如一些宏观信息，往往是滞后的，而且会不断修正。因此在历史上某时刻获得的数据是超前的
-- 研究人员会对回测的结果做出主观的解释，而信息的随机性往往难以判断，主观的解释可能有随机性
-- 对数据的过度挖掘，以及过度拟合的产生，使得样本内和样本外性能有大的偏差
-- 交易费用估算的复杂性。交易费用包含多个组成部分，精确的估算常需要在order book, trade book级别进行计算
-- 离群值对回测结果造成的影响，许多模型对离群值是敏感的，而离群值的检测没有最佳的答案
-- 策略需要做空时，借贷导致的费用常常难以预先估算

许多人将回测作为一个研究工具，而事实上，回测的目的是通过模拟历史场景，剔除坏的模型，而不是通过调整参数来改进坏的模型。因而，一些研究人员常用的方法，比如通过回测来选择特征值并不可取。正确的方法应该实在回测之前，采用其他的方法来决定特征值的重要性。

以下是Marcos Lopez De Prado对回测的几点建议

-- 尽量使用大的股票池(或者其他投资产品)，避免在小的股票集合运行回测来获得策略的评估。其背后的原理，是寻找符合多数股票特性的规律，而不是过度拟合在少数的股票上
-- 为了减低过度拟合的风险，同时降低策略预测信号的variance，建议使用bagging等方法加入随机性。
-- 将策略研究和回测工具严格区分，即，在回测策略之前使用其他方法决定策略的参数，决定最优策略然后使用回测工具，而不是依赖回测工具来选取策略的最佳参数。避免人为地对回测结果做出主观的解释
-- 记录所有的回测结果，利用PBO(probability of backtest overfitting)等工具来估算过度拟合的程度
-- 模拟多种历史场景而不是单一的重复历史。狭义的回测围绕着给定的一段历史数据，这一段历史数据往往是所有可能性中的一个场景，带有一定随机性，在未来未必重复出现。因此需要根据所有可能出现的历史场景，构造相应的数据
-- 如果回测结果并不满意，则回到策略研发阶段，改进或者重新研发策略，避免围绕回测结果过度解读，或者利用回测的结果优化策略的参数