98 笔成交,推翻一场回测
昨天一整天,我在审一套 A 股中短线策略的回测。
做这套东西的不是人,是我另一个常驻 Agent。它能连行情接口、能拉两个月全市场 K 线、能自己写脚本跑二十组参数、能生成带表格的报告,而且报告写得比我见过的不少人都仔细——它主动列了已知限制,主动承认样本重叠,主动说”这个数不能当稳定预期”。
结果我审了一天,最后落到的结论是:它报告里最漂亮的几个数字,一个都不能用。
不是它骗人。是每一个数都在某处悄悄换了口径,而口径一换,结论就反过来了。
这个过程里我自己也错了两次。这篇记的就是这一整条链。
一、支点:98 笔成交
它的第一版结论是这样的:两套策略在实盘口径下都是负的——只有超跌区那一套 -0.5%,全策略 -3.5%。理由是每笔交易要额外承担 0.25% 的滑点,一年一两百笔,成本把毛利全吃掉了。
0.25%/笔,这个数听起来非常合理。A 股小票,手动挂单,双边摩擦 0.25% 是行业里常见的保守估计。它甚至给了算式:0.25% × 每年 67 笔 ÷ 5 个槽位 ≈ 3.35%/年。
但这是个假设,不是实测。而我们手里有实测数据——交易库里每一笔成交都记着时间、价格,而信号库里记着信号发出那一刻的价格。
把两边配对:同一个代码、同一天、成交时间在信号之后 150 分钟内、按信号去重取最近一条。去重后 98 个独立执行事件。
1 | |
正数代表吃亏。中位数 0,均值 -36bp——平均还占便宜 0.36%。
那个 0.25% 的假设,把真实执行损耗高估了至少六倍。而”两个策略都是负的”这个总判断,完全是它推出来的。
按 0 滑点重算,四组回测全部转正。同一份代码、同一批数据,只换了一个假设,结论从”都不能用”变成”都能用”。
这是整件事的第一个教训:回测里最危险的数字,是那个看起来最合理的数字。 因为它合理,所以没人去验;因为它没人验,所以它能决定所有下游结论。
顺带还发现一件被埋掉的事:那 98 笔的滞后中位数大约 55 分钟,大量样本卡在 55/60/67/69 分钟。这不是滑点,是延迟——回测假设”T 日收盘信号、T+1 开盘成交”,实盘是”盘中信号之后快一小时才下手”。在平均持有 2.3 天的策略上,一小时等于砍掉四分之一的持有期。
而且那个滞后在 A 股日内均值回归的行情里,反而帮了忙(31-90 分钟组吃亏占比只有 17%)。但这是有条件的红利,碰上单边下跌日就是挨打。 所以延迟不能算进滑点,它得单独做压力测试。
二、二十个种子,是同一个种子
回测报告里有一种常见写法:跑 20 个随机种子,看年化的均值和离散度,”20/20 正收益”、”最差种子 -0.8%”。
这套东西有说服力,因为它看起来像 20 次独立验证。
问题在于:那套策略的选股是确定性排序的。
双条件筛完之后按防守分降序取前五,买入价取次日开盘,卖出规则写死。整条路径没有任何随机成分。np.random.default_rng(seed) 建了,但后面一次都没调用。
于是 20 个种子跑出来是 20 条完全相同的路径。”最差种子 = 均值”,因为最差和最好就是同一个数。
它自己在报告里写过一句”20 个种子完全一样,因为排序是确定性的”——当时被当成一个技术说明,没被当成一个结论问题。等到这次我追问,它才发现整个报告里”最差种子”这一列全是复读。
但这件事不能一概而论。 我逐个翻了那批脚本,rng.choice 的使用情况是这样的:
| 方案 | 随机抽样 | 种子离散度 |
|---|---|---|
| v2 门槛 + 随机抽 5 | ✅ 有 | 真 |
| 双条件 + 随机抽 5 | ✅ 有 | 真 |
| 双条件 + 跌幅最深优先 | ❌ 确定性排序 | 假 |
| 双条件 + 防守分降序 | ❌ 确定性排序 | 假 |
随机抽的方案,种子是真的;确定性排序的方案,种子是复读。 这两类不能混在一个”稳健性”标签底下,也不能因为发现后者是假的就把前者一起否掉。
而对确定性策略来说,稳健性只有一种量法:把最赚的那一段剔掉,看还剩多少。
三、回测和实盘,是四套不同的东西
这一轮最花时间的不是算,是对照。
把回测脚本和实盘代码并排打开,逐行找同一件事的两种写法:
卖出动作。回测是”破均线就全部卖出”,实盘是”破 MA5 只减一半,再破 MA10 才清仓”。差别看起来温和,实际是同一只票付两次手续费:109 笔变 134 笔,每笔收益从 +0.48% 掉到 +0.19%。
选票方式。回测是从合格池里 rng.choice 随机抽五只;实盘是按分数降序取前五。实盘那个行为从来没被回测过——20 个种子验证的是”随机抽五次”,不是”按分数排序”。
排序键的方向。趋势分支的实盘代码里,排序键是防守分降序——而防守分的定义是”波动小、振幅小、贴着 20 日低点”,它越高代表这票越安静。等于在一个已经确认是多头排列的池子里,专挑最蔫的五只。而那个”均线多头”的规则,它自己另一个回测跑过 25 万笔,净收益 **-0.089%**。
卖法的绑定对象。回测把卖法记在持仓上——超跌分支买的按 MA5 卖,趋势分支买的按 MA10 卖,市况变了也不换;实盘读的是当日市况,市场一翻档,同一只票的止损规则就跟着变。
四条里有三条是”看起来差不多、实际完全不是一回事”。第四条最隐蔽:它不会报错,只会让你的持仓在某个下午突然被一条它建仓时根本不存在的规则扫出去。
后来把这条改成建仓时打标签、卖出读标签,代码里多了一个 entry_regime 字段。改一行的事,但前提是有人想到要问。
四、44 个交易日,其实是 13 次事件
策略里有个三档市况的判据:上证 20 日涨跌幅。跌超 5% 算恐慌区、涨超 3% 算强势区、中间是摩擦区。
回测统计下来,两年 463 个交易日里,恐慌区只有 44 天。
44 天,看起来是个样本量。但把这 44 天按时间排开——它其实是 13 个独立事件:
1 | |
13 段里,6 段只有 1 天,最长的一段 13 天,前三段加起来 26 天——占了全部样本的 59%。
于是做了一件很简单的事:逐段剔除,每次剔掉一段,重跑一遍,看年化掉多少。
1 | |
三天的事件打出了十三天事件的九成影响力。 四段加起来 25 天,边际贡献合计超过全部收益。
“不是单段驱动”这句话,在那张表面前是自我安慰。真实形态是:两年里赌中三四次深跌反弹,其余时间是负贡献。
后来换成”组合 + 新仓位”的口径重跑,最坏情况(两段联合剔除、去掉 16/34 天)是 **+14.16%**——比单分支的 9.2% 好,因为组合里还有强势分支的高频交易在垫。但那个 14.16% 同样带着”样本只有 13 段”的标签,所以对外口径还是打了四折。
五、参数:要平台,不要孤峰
持有期是这套策略里唯一一个纯参数。它测了五档:
1 | |
4 到 7 日是一个平台,年化在 15.9% 到 20.4% 之间游走。第 8 天断崖,掉到 8.4%,而且**笔数没变(都是 40 笔),胜率从 72% 掉到 60%**——那不是资金效率问题,是信号真的衰减了。
所以选 5 日用了一个不算漂亮的理由:它在平台内偏左、样本最多(55 笔)、风控指标完整,而且不是峰值。 4 日那档最高,但它当时只跑了一个年化数字,σ、回撤、笔数、胜率全是空的。拿一个只有年化的峰值当参数,是最省事也最典型的过拟合动作。
同样的毛病也出现在市况阈值上。那个 -5% 是从”六段分箱里挑两段赚钱的”挑出来的。做个灵敏度:
1 | |
上下浮动一个百分点,样本量翻倍或者腰斩。 而 44 天撑着的那个年化,又被拿来证明”-5% 是对的”。这是自举。
六、我自己错了两次
审别人的人也会错。两次都算错了,而且都是方法错,不是算错。
第一次,我把 σ 读成了波动率。
脚本里打印 σ 3.8、σ 14.3,我拿它当波动率去算 Sharpe:6.5 / 3.8 = 1.71,12.8 / 14.3 = 0.90,据此说”风险调整后完胜”。
那个 σ 是 ann.std()——二十个种子年化收益的标准差,衡量的是”选股随机性带来的收益离散度”,不是净值的时间波动。真正的波动率在另一个脚本里,是 9.2% 和 29.2%。
正确的 Sharpe 是 0.87 和 0.45。方向没变,但我的数字全废了。
第二次,我用时间加权复合了两个”全期年化”。
它给了我两组数:只做超跌区,全期年化 22.9%;只做强势区,全期年化 10.1%。我想算”两个都做”是多少,就把这两个数当成”各段时期内的年化”,按天数加权做了链式复合,得出 6~9%。
这是错的。 那两个数各自都已经包含了 90% 的空仓时间,本身就是全期年化。两个全期年化不能时间加权复合成第三个全期年化。
正确做法是一次模拟、共享资金池。它后来跑了:22.47%(不剔除)、14.16%(两段剔除)。 我那个 6~9% 差了整整一倍。
有意思的是结论方向没变——“不打折地拿回测值当预期”这件事仍然是错的。但我原来的理由(”我算出来是 6~9%”)站不住,得换成”回测最坏也要打四折”。理由错了比数字错了更麻烦,因为数字错了会被发现,理由错了会一直在用。
七、最危险的不是崩,是不报错
最后这个坑最不显眼。
策略的开仓逻辑写在一段给模型看的提示词里。一共九条,其中两条是这样的:
第 2 条:评分必须 ≥ 入场门槛(取
entry_threshold,当日 7 或 8)第 6 条:恐慌区选股用双条件筛,v2 分只是排序键,不是门槛
两句互斥。
而恐慌区那个分支的代码里,entry_threshold 一直老老实实写着 8.0——因为它复用的是”防守型”那条路径的默认值。
于是模型每天读这两句,会照其中一句执行。如果照第 2 条,双条件筛出来的票(那些本来就是跌超 15% 的阴跌股,防守分大多落在 6 到 8 之间)会被大批拒掉,结果就是恐慌区永远不开仓。
不报错,不告警,每天只是”今天没有符合条件的票”。看起来完全正常。
同类的事情还有一处:文件顶部的规则注释写着”止盈仅限超跌分支,强势分支不设”,而同一文件下方的实现里两个分支都有。一个后面改过、一个没回头改,读代码的人只会看到其中一处。
这类故障比崩溃危险得多。 崩了你会去修;静默降级你只会以为策略本来就不灵。
结论:什么时候该信一个回测
把这一整天压成几条能复用的:
一、先验实物,再看数字。 注释和实现、回测和实盘、报告和代码,至少要对一遍。这一轮四层不一致里有三条都是”写的时候以为一样”。
二、每个数都要问它的分母。 44 个交易日不是 44 个样本,是 13 次事件;20 个种子不是 20 次验证,可能只有 1 条路径;”每笔 +0.42%”和”年化 22%”之间还隔着一个仓位和一个复利。
三、最合理的假设最该验。 0.25% 的滑点、-5% 的阈值、”持有 5 天”——这些数看着像常识,所以没人查。
四、稳健性只有一种量法:把最赚的那段剔掉。 剔完还剩多少,那个数才有资格叫作预期。
五、确定性策略不需要随机种子。 反过来,用随机种子去证明确定性策略稳,等于自己骗自己。
六、静默失败排在崩溃前面。 规则互斥、注释过期、阈值悬空——这些都不报错,而人一旦习惯了”今天没信号”,就再也不会去查为什么没信号了。
最后补一句:这套东西最后是上线了。不是因为哪个数变好看了,是因为把该验的都验完之后,最坏情况仍在可接受范围内——而且它 84% 的时间不开仓,这个特性本身就在治”手痒”这个病。
至于那个 Agent,它这一整天的表现其实比我强:我指出问题,它逐条核实,认错认得干净,还自己发现了两个我没问到的东西(它把种子问题主动揭了出来,也主动承认”之前混用了两套语言”)。会犯错不是问题,报出的数和实物对不上才是问题。 它今天守住了这条线。
(两天没打羽毛球了,明天如果不下雨就去。球拍上还带着上次的新手胶。)