为什么现在要做这次选型审计
讨论pc28预测加拿大时，最常见的分歧不是“准不准”，而是“该用手动复盘还是自动回测”。两者都能产出结论，但成本结构、可复现性和纠偏方式完全不同。与其争论哪种更好，不如先定一套共同标准，再让两种做法在同一张清单上接受审计。
这份审计清单的用途很具体：对照你当前的做法逐项打勾，找出缺口，再按整改顺序补齐。它不评判谁更聪明，只回答一个问题——在你的场景里，哪种方式的缺口更容易被补上。
审计范围：两种做法各自覆盖什么
先把范围划清，否则对比会变成各说各话。手动复盘通常指人工读记录、记结论、靠笔记交接；自动回测指用脚本或工具重跑历史区间、输出可重复的结果。两者的差异不在“有没有工具”，而在责任落在谁身上。
- 手动复盘：结论依赖记录者的判断，过程靠文档留痕。
- 自动回测：结论依赖参数与数据源，过程靠代码与日志留痕。
- 共同项：都需要明确输入数据、判定规则和结论出口。
- 共同项：都需要一个能回滚的版本记录，否则无法比较前后差异。
清单组一：数据与可复现性
这一组决定结论能不能被第二个人复现。逐项核对，任何一项答“否”都要先补，再谈其他。
- 输入数据的来源、时间范围和口径是否写清楚，换人也能找到同一份数据？
- 判定规则是否写成文字或代码，而不是只存在于某个人脑子里？
- 同一段区间重跑一次，结论是否一致？手动复盘可让另一人按记录独立走一遍。
- 参数或规则改动是否留有版本记录，能指出“哪次改动导致结论变化”？
- 异常区间（数据缺失、时间跳变）是否有单独标注，而不是被顺手抹平？
手动复盘在这一组的短板通常是留痕不全；自动回测的短板通常是参数被改过却没有记录。两者对比，差异不在能力，而在留痕方式。
清单组二：执行成本与协作交接
成本要按“一次完整复盘”来算，而不是按单步操作算。交接则看结论能否被别人接手继续用。
- 完成一次完整复盘需要多少人工小时，是否稳定可预期？
- 结论以什么形式交付：文档、表格还是可重跑的脚本？接手人是否需要原作者在场？
- 规则变更时，是改一处还是改多处？改动是否会牵动其他结论？
- 新人上手需要多久，是否有可照着走的步骤清单？
手动复盘在样本少、规则还在摸索时更灵活，改一处即可；自动回测在区间多、需要反复重跑时更省人力，但前期搭建成本更高。这是典型的取舍，而不是优劣。
清单组三：回滚与纠偏能力
纠偏能力决定出错后能否快速退回上一个可用状态。审计时重点看“能不能退回去”，而不是“会不会出错”。
- 发现结论有误时，能否退回上一版规则并重跑？
- 回滚后是否保留原结论，便于对比差异原因？
- 是否有明确的停止条件，触发后暂停使用而不是继续沿用？
- 纠偏记录是否进入下一次审计的输入，而不是事后被遗忘？
自动回测的回滚通常更快，但前提是版本管理到位；手动复盘的回滚靠文档，速度慢但门槛低。两者都需要一个共同的停止条件，否则回滚只是形式。
危险信号与整改顺序
以下信号出现任意两条，说明当前选型已经偏离可用状态，应先整改再扩展。
- 结论无法由第二个人独立复现。
- 规则只存在于口头或临时笔记中。
- 改动没有版本记录，无法定位变化来源。
- 交接必须依赖原作者在场。
- 没有停止条件，出错后仍在沿用旧结论。
整改顺序建议按依赖关系推进：先补数据口径与规则留痕，再补版本记录，然后明确停止条件，最后才考虑是否把手动流程迁移到自动回测。反过来做，往往是把缺口一起自动化。 pc28预测加拿大实用指南
回到选型本身：样本少、规则仍在调整、协作人数少时，手动复盘的缺口更容易补；区间多、需要反复重跑、交接频繁时，自动回测的收益更明显。用这份清单逐项核对，比争论哪种方式更“先进”更有用。