把验收做到「人只拍板」:三层验收方案(上) | 杨元超的世界

这篇写给谁

约 12 分钟读完;需要你会写一点 JavaScript、跑过测试;不知道「无头浏览器」是什么也能跟——用到时会解释。

环境:Node.js 18 以上;浏览器自动化用 Playwright(1.x,全局安装即可)驱动本机 Chrome。下面所有命令都在项目根目录执行。

如果你做的是带实时循环的东西(游戏、可视化、动画、地图),大概都遇到过同一个尴尬:端到端(E2E:从界面入口一路跑到结果的全链路测试)自动化测试全绿,发布前你还是得自己打开页面点一遍。这篇讲的是怎么把这件事推到最后只剩「人拍板、人不动手」。读完你能带走一张分层判据表和四条人工介入上限。

下面这张表按角色说明你能带走什么、从哪一节读起:

读者 带走什么 拿它做什么 从哪节开始读
做实时应用的前端 三层分工表与每层判据 照「三层怎么分工」一节给自己的项目分层 3
做游戏 / 仿真的客户端 「无头代打」的形态与前提 照「为什么无头代打是枢纽」一节判断自己能不能不上浏览器 4
维护自动化流水线的人 「人只拍板」四条量化边界 抄「人只拍板的边界」一节当验收上限 5
技术负责人 三条路线的评分与取舍依据 用「先做哪一步」一节的表决定先做哪一步 6

不适合谁:想找现成测试框架配置的人——这篇讲分工与判据,不讲某个库怎么配。

环境准备

后面用到时只需要两样东西:Node.js 18 以上(脚本都跑在 Node 里),以及一个能驱动本机 Chrome 的浏览器自动化库。装一次即可:

# 浏览器自动化(本项目用 Playwright 1.x 驱动本机 Chrome)
# 只需要装一次,之后复用本机 Chrome
npm install -D playwright

先跑一个最小骨架,确认三层能串起来。下面的 tier1Logic 等是占位函数,换成你自己的测试入口即可:

// 三层验收的最小骨架:每层返回 true / false,任一层失败即停
async function accept(change) {
  if (!await tier1Logic(change))    return { ok: false, tier: 1 }  // 逻辑与接口
  if (!await tier2Headless(change)) return { ok: false, tier: 2 }  // 无头代打
  if (!await tier3Render(change))   return { ok: false, tier: 3 }  // 渲染抽检

  // 三层都过,才进入「人拍板」
  return { ok: true, needHuman: true }
}

跑完会看到每层停在哪;三层都过时返回 needHuman: true,提醒你只做最后的拍板,不再进对局操作。

全文概要

一句话:一次「跑完还是不敢发」的验收,问题通常不在测试数量,而在两件事——判据太弱(页面变了但断言没变红)和跑得太贵(只能抽样,抽不到就等于没验)。

下面这张表是全文的骨架,四节分别解决其中一块:

节 要解决的问题 给出的东西
2 为什么「全绿」没有信息量 一次真实运行的量化画像
3 三层怎么分工 层 / 验什么 / 成本 / 失败信号 对照表
4 为什么「无头代打」是枢纽 成本与可信度的因果链、三个可行形态
5 「人只拍板」的边界在哪 能自动 / 不能自动的清单 + 四条约定
6 先做哪一步 三条路线评分与排序依据
7 怎么判断方案真的成立 每层一条通过 / 不通过判据

为什么「端到端测试全绿」等于没验

先交代三个词,后面会反复用到。

把过去一段时间里所有自动运行记录汇总,得到下面这张画像表:

指标 实测值 怎么量的
历史运行次数 414 次(含元数据) 每次跑完写一份元数据,汇总目录
失败率 46.1%(191 / 414) 元数据里的通过 / 失败字段直接统计
单次中位耗时 58 秒 同上,取结束时间减开始时间
九成运行短于 148 秒 同上,把耗时排序取第 90 百分位
最慢一次 689 秒 同上,取最大值
通过的那 223 次里,盲等占总耗时 32.7%(104.4 / 319.0 分钟) 按块耗时求和,只统计通过的运行

这张表最扎眼的是最后一行:在已经通过的运行里,三分之一的墙钟时间花在「什么都不做、只是等」。也就是说,测试通过不代表它验了什么——它可能只是等够了时间,然后跑了一段不痛不痒的断言。

第二扎眼的是失败率 46.1%。一个一半时候在红的东西,团队会自然学会「红了先重跑一遍」;重跑好了就当没事。这时候测试已经不是判据,是噪音。

把这两个现象拆开,就是两个独立的病根:

  1. 结果不可信:断言太弱。有一段脚本只打印状态、不做比较,页面明明错了也照样绿。
  2. 成本太高:单次几分钟,全量两小时以上,只能抽样跑。抽不到的场景等于没验。

只治其中一个没用:只提速,判据还是弱的,跑得再快也只是更快地得出「不知道」;只加断言,跑一遍两小时,没人愿意在每次改动后跑。

三层怎么分工

三层不是按技术栈分的,是按「要不要起进程、要不要浏览器」分的。这样分的好处是每一层的成本和可信度都可预期。

先看整体流向——一次改动依次穿过三层,任何一层红了就回到改代码,不用等后面两层:

graph TD
  A[一次代码改动] --> B[第一层 逻辑与接口]
  B --> C[第二层 无头代打]
  C --> D[第三层 渲染抽检]
  D --> E[人只拍板]

下面这张表说明每层验什么、不验什么、为什么这么切:

层 验什么 不验什么 要不要浏览器 单次成本 失败信号
第一层:逻辑与接口 纯函数的输入输出、跨模块接口、历史 bug 的回归 画面、时序、真实网络 不要 毫秒到秒 断言直接指向某个函数
第二层:无头代打 一整局或一整条业务流程的胜负、血量、数值区间 画面观感、手感 不要(只跑权威逻辑) 秒到十几秒 结果落在预期区间外
第三层:渲染抽检 画面变了没有、关键对象加载了没有 「好不好看」 要 十几秒到分钟 像素差异超阈值 / 对象缺失
人 阈值、基线、观感、手感 逐条流程 — 每版本一次 拍板或退回

分层的判据只有一句口诀:要不要起进程?要不要浏览器? 都不需要,就是第一层;要进程不要浏览器,是第二层;要浏览器,是第三层。

这里要特别说清「第二层」到底是什么,因为它是整套方案里最反直觉的一层。

为什么「无头代打」是枢纽

「无头代打」的意思是:让一个程序代替人进对局,只驱动决定胜负的那部分逻辑,不渲染画面。它不需要浏览器窗口,因为真相不在画面里。

这套做法成立有一个前提:逻辑与渲染分离,且权威状态在服务端或一个可独立运行的逻辑核心里。如果伤害、血量、胜负都由客户端画面里算,那你不开浏览器就没法验——这种情况第二层不成立,只能老老实实做第三层。

为什么说它是枢纽?因为两个病根之间有一条单向因果链,下面这张表把它摊开:

如果第二层缺位 后果
每验一次都要开浏览器 单次成本高,全量跑不完
跑不完就只能抽样 大量场景永远不跑
不跑的场景没人维护 断言越来越弱,绿了也不可信
不可信 → 人还是得自己点 回到原点

反过来,第二层一旦成立,成本从「分钟级」掉到「秒级」,才谈得上「每次改动都全量跑」,才谈得上「判据可以加严」。所以它不是三层里的可选项,是把成本降下来、从而让第一层和第三层愿意变严的那个支点。

至于第二层能做到什么程度,有三档,成本差一个数量级,下面这张表逐一说明:

形态 做法 能验什么 成本量级
纯数据模型 用脚本按公式重算数值,不跑真实逻辑 数值公式对不对 最小,几小时
逻辑核心代打 起服务端或逻辑核心 + 一个假客户端,发固定操作序列 一整局的胜负、血量曲线、击杀数 中等,几天
整场逐帧重放 固定步长重放整场战斗 逐帧一致 极大,不建议先做

第三档看起来最诱人,但只要你的主循环是「按真实时间、变步长」推进的,逐帧重放就必须先把整个时间系统改成固定步长,这是一次大重构,不是测试改造。所以务实的顺序是:先把第一档、第二档做出来,第三档留到真的需要时再说。

「人只拍板」的边界

「人只拍板」不是「零人工」,而是把人从「操作者」降级成「决策者」。先把能自动和不能自动的分清楚:

验收内容 能完全自动吗 为什么
逻辑正确性(函数输出、接口约定) 能 输入输出可枚举
数值合理性(血量、伤害、时长落在区间) 能 可用区间断言
画面「没坏」(和基线一致) 能 像素比对可量化
难度与节奏 不能完全 要知道「好不好玩」,只能看分布后由人定阈值
渲染观感 不能完全 能发现「变了」,不能判断「变好还是变坏」
手感 不能完全 能测输入到反馈的帧数,测不了「爽不爽」
多人同步的公平感 不能完全 能验状态收敛,不能验「公不公平」

把这四条边界写成可执行、能被机器核对的约定,就是这套方案的验收上限,下面这张表逐条列出:

编号 约定 怎么机器核
K1 每个版本人工介入不超过 1 次 统计人工操作记录条数
K2 人不进入对局操作 检查对局内没有人工输入
K3 基线图必须由程序生成 人工打出来的基线判无效,重跑
K4 数值阈值只由人定一次,之后机器守 改阈值必须留变更声明

K3 是最容易被忽略、也最要命的一条。常见的错误做法是「我打一局,存张图当基线」——这样基线本身就带上了人的操作误差,之后每次比对都在跟一个不确定的东西比。正确做法是:程序跑场景出图,人只看差异图点头。基线是程序的输出,人才是那个点头的人。

先做哪一步

方案不是只有一条路。把三条路线按「省时间、验收强度、风险、工作量、依赖」五个维度打分(权重各为 30 / 30 / 15 / 15 / 10),结果如下:

路线 做什么 加权分 主要短板
A 最小改动 只把最贵的盲等换掉 3.80 只解决慢,不解决判据弱
B 中等 盲等信号化 + 数值区间 + 逻辑代打 3.75 分阶段,周期长
C 激进 先做整场逐帧重放 3.05 依赖被判死的大重构

分数最高的是 A,但 A 有个根本局限:它让测试变快,却没让测试变可信,人还是得点。所以务实的走法是 按 B 的目标、用 A 的顺序:先把最贵的盲等换掉拿到即时收益,再逐步补上数值区间和逻辑代打。

第一阶段只动三类盲等就够——首页启动、进入关卡、生成队伍。这三类占了盲等总时长的一半左右,而且它们的「等待条件」其实早就写在后面的探针里了:探针本来就在轮询同一个状态,只是没人把它搬到等待块里。换句话说,信号是现成的,缺的是「把它变成等待条件」这个动作。

这里有个很容易踩的坑:判据门禁会骗你。一个看起来在保护判据的检查,如果只检查「文件存在 + 能跑通」,那它检查不了「断言有没有被删」「阈值有没有被放宽」。实测里出现过这种情况:把某段断言删掉、只留一个永远返回成功的自测开关,门禁照样绿;甚至有一条命令可以直接重写基线,把「变红」洗成「变绿」。

要堵住这个洞,靠的不是再加一条「请勿删除断言」的文档,而是让门禁能证伪自己:准备一个故意被削弱的样本,门禁跑到它身上必须变红。做不到这一点的门禁,只是装饰。

验收判据:三层各自「什么时候算通过」

方案写完了,怎么知道它成立?每一层给一条可执行的判据,跑完看红绿;下面这张表就是判据:

层 通过 不通过
第一层 故意改坏一个纯函数,对应测试在 1 秒内变红 改了函数测试还是绿
第二层 同一 seed 跑 5 次,胜负与击杀数完全一致;换 seed 结果发生变化 同 seed 结果漂移,或换 seed 也不变(说明 seed 没生效)
第三层 画面与基线像素一致 → 自动通过 差异超阈值却没有任何提示
人 每版本人工介入 ≤ 1 次 需要人逐条点流程

日常跑的时候用下面这条命令,跑完只看退出码:

# 运行全部场景(在项目根目录执行)
# 退出码 0 = 全通过;非 0 = 有失败,失败项单独归档
node test/e2e/e2e.cjs run --all

这条命令的关键不是它跑得多快,而是它的退出码能不能被流水线直接采信。判据是否可信,取决于前文「先做哪一步」一节说的「门禁能不能证伪自己」,而不是这条命令本身。

总结

这篇讲的是把验收拆成三层、以及为什么这么拆:

记住一句就够:全绿只说明「跑完了」,能不能发,取决于判据强度和覆盖成本这两件事同时被解决。

还能怎么改进

这套方案的边界很清楚:

下一步可以往三个方向走:把数值区间从「手写几条」扩到「按公式生成边界」;把第三层的像素比对从整图比对细化到分块,减少无关变化带来的误报;把第二层的代打从单一编队扩到多种编队,让覆盖不依赖人的灵感。

你下一步能做什么

挑你项目里最贵的那一个「固定等待」,找出它后面那个探针本来在轮询什么状态,把等待改成等那个状态——这是三层方案里投入最小、当天就能看到收益的一步。

这些内容来自哪里

这些内容来自一个真实 3D 实时项目连续数周的验收改造记录:方案层是在一次完整现状实测之后写成的,覆盖了一百多个自动化场景、上千个动作块的静态统计,以及四百多次历史运行的汇总数据。文中所有数字都是那次实测跑出来的,判据则是事后用可执行检查固化的;方案的取舍经过一轮独立审核后按裁决修订。

相关文章