约 12 分钟读完;需要你会写一点 JavaScript、跑过测试;不知道「无头浏览器」是什么也能跟——用到时会解释。
环境:Node.js 18 以上;浏览器自动化用 Playwright(1.x,全局安装即可)驱动本机 Chrome。下面所有命令都在项目根目录执行。
如果你做的是带实时循环的东西(游戏、可视化、动画、地图),大概都遇到过同一个尴尬:端到端(E2E:从界面入口一路跑到结果的全链路测试)自动化测试全绿,发布前你还是得自己打开页面点一遍。这篇讲的是怎么把这件事推到最后只剩「人拍板、人不动手」。读完你能带走一张分层判据表和四条人工介入上限。
下面这张表按角色说明你能带走什么、从哪一节读起:
| 读者 | 带走什么 | 拿它做什么 | 从哪节开始读 |
|---|---|---|---|
| 做实时应用的前端 | 三层分工表与每层判据 | 照「三层怎么分工」一节给自己的项目分层 | 3 |
| 做游戏 / 仿真的客户端 | 「无头代打」的形态与前提 | 照「为什么无头代打是枢纽」一节判断自己能不能不上浏览器 | 4 |
| 维护自动化流水线的人 | 「人只拍板」四条量化边界 | 抄「人只拍板的边界」一节当验收上限 | 5 |
| 技术负责人 | 三条路线的评分与取舍依据 | 用「先做哪一步」一节的表决定先做哪一步 | 6 |
不适合谁:想找现成测试框架配置的人——这篇讲分工与判据,不讲某个库怎么配。
后面用到时只需要两样东西:Node.js 18 以上(脚本都跑在 Node 里),以及一个能驱动本机 Chrome 的浏览器自动化库。装一次即可:
# 浏览器自动化(本项目用 Playwright 1.x 驱动本机 Chrome)
# 只需要装一次,之后复用本机 Chrome
npm install -D playwright
先跑一个最小骨架,确认三层能串起来。下面的 tier1Logic 等是占位函数,换成你自己的测试入口即可:
// 三层验收的最小骨架:每层返回 true / false,任一层失败即停
async function accept(change) {
if (!await tier1Logic(change)) return { ok: false, tier: 1 } // 逻辑与接口
if (!await tier2Headless(change)) return { ok: false, tier: 2 } // 无头代打
if (!await tier3Render(change)) return { ok: false, tier: 3 } // 渲染抽检
// 三层都过,才进入「人拍板」
return { ok: true, needHuman: true }
}
跑完会看到每层停在哪;三层都过时返回 needHuman: true,提醒你只做最后的拍板,不再进对局操作。
一句话:一次「跑完还是不敢发」的验收,问题通常不在测试数量,而在两件事——判据太弱(页面变了但断言没变红)和跑得太贵(只能抽样,抽不到就等于没验)。
下面这张表是全文的骨架,四节分别解决其中一块:
| 节 | 要解决的问题 | 给出的东西 |
|---|---|---|
| 2 | 为什么「全绿」没有信息量 | 一次真实运行的量化画像 |
| 3 | 三层怎么分工 | 层 / 验什么 / 成本 / 失败信号 对照表 |
| 4 | 为什么「无头代打」是枢纽 | 成本与可信度的因果链、三个可行形态 |
| 5 | 「人只拍板」的边界在哪 | 能自动 / 不能自动的清单 + 四条约定 |
| 6 | 先做哪一步 | 三条路线评分与排序依据 |
| 7 | 怎么判断方案真的成立 | 每层一条通过 / 不通过判据 |
先交代三个词,后面会反复用到。
sleep 块——固定等 N 毫秒,不管条件是不是早就满足了。它是最省事、也最坑的等待方式。把过去一段时间里所有自动运行记录汇总,得到下面这张画像表:
| 指标 | 实测值 | 怎么量的 |
|---|---|---|
| 历史运行次数 | 414 次(含元数据) | 每次跑完写一份元数据,汇总目录 |
| 失败率 | 46.1%(191 / 414) | 元数据里的通过 / 失败字段直接统计 |
| 单次中位耗时 | 58 秒 | 同上,取结束时间减开始时间 |
| 九成运行短于 | 148 秒 | 同上,把耗时排序取第 90 百分位 |
| 最慢一次 | 689 秒 | 同上,取最大值 |
| 通过的那 223 次里,盲等占总耗时 | 32.7%(104.4 / 319.0 分钟) | 按块耗时求和,只统计通过的运行 |
这张表最扎眼的是最后一行:在已经通过的运行里,三分之一的墙钟时间花在「什么都不做、只是等」。也就是说,测试通过不代表它验了什么——它可能只是等够了时间,然后跑了一段不痛不痒的断言。
第二扎眼的是失败率 46.1%。一个一半时候在红的东西,团队会自然学会「红了先重跑一遍」;重跑好了就当没事。这时候测试已经不是判据,是噪音。
把这两个现象拆开,就是两个独立的病根:
只治其中一个没用:只提速,判据还是弱的,跑得再快也只是更快地得出「不知道」;只加断言,跑一遍两小时,没人愿意在每次改动后跑。
三层不是按技术栈分的,是按「要不要起进程、要不要浏览器」分的。这样分的好处是每一层的成本和可信度都可预期。
先看整体流向——一次改动依次穿过三层,任何一层红了就回到改代码,不用等后面两层:
graph TD
A[一次代码改动] --> B[第一层 逻辑与接口]
B --> C[第二层 无头代打]
C --> D[第三层 渲染抽检]
D --> E[人只拍板]
下面这张表说明每层验什么、不验什么、为什么这么切:
| 层 | 验什么 | 不验什么 | 要不要浏览器 | 单次成本 | 失败信号 |
|---|---|---|---|---|---|
| 第一层:逻辑与接口 | 纯函数的输入输出、跨模块接口、历史 bug 的回归 | 画面、时序、真实网络 | 不要 | 毫秒到秒 | 断言直接指向某个函数 |
| 第二层:无头代打 | 一整局或一整条业务流程的胜负、血量、数值区间 | 画面观感、手感 | 不要(只跑权威逻辑) | 秒到十几秒 | 结果落在预期区间外 |
| 第三层:渲染抽检 | 画面变了没有、关键对象加载了没有 | 「好不好看」 | 要 | 十几秒到分钟 | 像素差异超阈值 / 对象缺失 |
| 人 | 阈值、基线、观感、手感 | 逐条流程 | — | 每版本一次 | 拍板或退回 |
分层的判据只有一句口诀:要不要起进程?要不要浏览器? 都不需要,就是第一层;要进程不要浏览器,是第二层;要浏览器,是第三层。
这里要特别说清「第二层」到底是什么,因为它是整套方案里最反直觉的一层。
「无头代打」的意思是:让一个程序代替人进对局,只驱动决定胜负的那部分逻辑,不渲染画面。它不需要浏览器窗口,因为真相不在画面里。
这套做法成立有一个前提:逻辑与渲染分离,且权威状态在服务端或一个可独立运行的逻辑核心里。如果伤害、血量、胜负都由客户端画面里算,那你不开浏览器就没法验——这种情况第二层不成立,只能老老实实做第三层。
为什么说它是枢纽?因为两个病根之间有一条单向因果链,下面这张表把它摊开:
| 如果第二层缺位 | 后果 |
|---|---|
| 每验一次都要开浏览器 | 单次成本高,全量跑不完 |
| 跑不完就只能抽样 | 大量场景永远不跑 |
| 不跑的场景没人维护 | 断言越来越弱,绿了也不可信 |
| 不可信 → 人还是得自己点 | 回到原点 |
反过来,第二层一旦成立,成本从「分钟级」掉到「秒级」,才谈得上「每次改动都全量跑」,才谈得上「判据可以加严」。所以它不是三层里的可选项,是把成本降下来、从而让第一层和第三层愿意变严的那个支点。
至于第二层能做到什么程度,有三档,成本差一个数量级,下面这张表逐一说明:
| 形态 | 做法 | 能验什么 | 成本量级 |
|---|---|---|---|
| 纯数据模型 | 用脚本按公式重算数值,不跑真实逻辑 | 数值公式对不对 | 最小,几小时 |
| 逻辑核心代打 | 起服务端或逻辑核心 + 一个假客户端,发固定操作序列 | 一整局的胜负、血量曲线、击杀数 | 中等,几天 |
| 整场逐帧重放 | 固定步长重放整场战斗 | 逐帧一致 | 极大,不建议先做 |
第三档看起来最诱人,但只要你的主循环是「按真实时间、变步长」推进的,逐帧重放就必须先把整个时间系统改成固定步长,这是一次大重构,不是测试改造。所以务实的顺序是:先把第一档、第二档做出来,第三档留到真的需要时再说。
「人只拍板」不是「零人工」,而是把人从「操作者」降级成「决策者」。先把能自动和不能自动的分清楚:
| 验收内容 | 能完全自动吗 | 为什么 |
|---|---|---|
| 逻辑正确性(函数输出、接口约定) | 能 | 输入输出可枚举 |
| 数值合理性(血量、伤害、时长落在区间) | 能 | 可用区间断言 |
| 画面「没坏」(和基线一致) | 能 | 像素比对可量化 |
| 难度与节奏 | 不能完全 | 要知道「好不好玩」,只能看分布后由人定阈值 |
| 渲染观感 | 不能完全 | 能发现「变了」,不能判断「变好还是变坏」 |
| 手感 | 不能完全 | 能测输入到反馈的帧数,测不了「爽不爽」 |
| 多人同步的公平感 | 不能完全 | 能验状态收敛,不能验「公不公平」 |
把这四条边界写成可执行、能被机器核对的约定,就是这套方案的验收上限,下面这张表逐条列出:
| 编号 | 约定 | 怎么机器核 |
|---|---|---|
| K1 | 每个版本人工介入不超过 1 次 | 统计人工操作记录条数 |
| K2 | 人不进入对局操作 | 检查对局内没有人工输入 |
| K3 | 基线图必须由程序生成 | 人工打出来的基线判无效,重跑 |
| K4 | 数值阈值只由人定一次,之后机器守 | 改阈值必须留变更声明 |
K3 是最容易被忽略、也最要命的一条。常见的错误做法是「我打一局,存张图当基线」——这样基线本身就带上了人的操作误差,之后每次比对都在跟一个不确定的东西比。正确做法是:程序跑场景出图,人只看差异图点头。基线是程序的输出,人才是那个点头的人。
方案不是只有一条路。把三条路线按「省时间、验收强度、风险、工作量、依赖」五个维度打分(权重各为 30 / 30 / 15 / 15 / 10),结果如下:
| 路线 | 做什么 | 加权分 | 主要短板 |
|---|---|---|---|
| A 最小改动 | 只把最贵的盲等换掉 | 3.80 | 只解决慢,不解决判据弱 |
| B 中等 | 盲等信号化 + 数值区间 + 逻辑代打 | 3.75 | 分阶段,周期长 |
| C 激进 | 先做整场逐帧重放 | 3.05 | 依赖被判死的大重构 |
分数最高的是 A,但 A 有个根本局限:它让测试变快,却没让测试变可信,人还是得点。所以务实的走法是 按 B 的目标、用 A 的顺序:先把最贵的盲等换掉拿到即时收益,再逐步补上数值区间和逻辑代打。
第一阶段只动三类盲等就够——首页启动、进入关卡、生成队伍。这三类占了盲等总时长的一半左右,而且它们的「等待条件」其实早就写在后面的探针里了:探针本来就在轮询同一个状态,只是没人把它搬到等待块里。换句话说,信号是现成的,缺的是「把它变成等待条件」这个动作。
这里有个很容易踩的坑:判据门禁会骗你。一个看起来在保护判据的检查,如果只检查「文件存在 + 能跑通」,那它检查不了「断言有没有被删」「阈值有没有被放宽」。实测里出现过这种情况:把某段断言删掉、只留一个永远返回成功的自测开关,门禁照样绿;甚至有一条命令可以直接重写基线,把「变红」洗成「变绿」。
要堵住这个洞,靠的不是再加一条「请勿删除断言」的文档,而是让门禁能证伪自己:准备一个故意被削弱的样本,门禁跑到它身上必须变红。做不到这一点的门禁,只是装饰。
方案写完了,怎么知道它成立?每一层给一条可执行的判据,跑完看红绿;下面这张表就是判据:
| 层 | 通过 | 不通过 |
|---|---|---|
| 第一层 | 故意改坏一个纯函数,对应测试在 1 秒内变红 | 改了函数测试还是绿 |
| 第二层 | 同一 seed 跑 5 次,胜负与击杀数完全一致;换 seed 结果发生变化 | 同 seed 结果漂移,或换 seed 也不变(说明 seed 没生效) |
| 第三层 | 画面与基线像素一致 → 自动通过 | 差异超阈值却没有任何提示 |
| 人 | 每版本人工介入 ≤ 1 次 | 需要人逐条点流程 |
日常跑的时候用下面这条命令,跑完只看退出码:
# 运行全部场景(在项目根目录执行)
# 退出码 0 = 全通过;非 0 = 有失败,失败项单独归档
node test/e2e/e2e.cjs run --all
这条命令的关键不是它跑得多快,而是它的退出码能不能被流水线直接采信。判据是否可信,取决于前文「先做哪一步」一节说的「门禁能不能证伪自己」,而不是这条命令本身。
这篇讲的是把验收拆成三层、以及为什么这么拆:
记住一句就够:全绿只说明「跑完了」,能不能发,取决于判据强度和覆盖成本这两件事同时被解决。
这套方案的边界很清楚:
下一步可以往三个方向走:把数值区间从「手写几条」扩到「按公式生成边界」;把第三层的像素比对从整图比对细化到分块,减少无关变化带来的误报;把第二层的代打从单一编队扩到多种编队,让覆盖不依赖人的灵感。
挑你项目里最贵的那一个「固定等待」,找出它后面那个探针本来在轮询什么状态,把等待改成等那个状态——这是三层方案里投入最小、当天就能看到收益的一步。
这些内容来自一个真实 3D 实时项目连续数周的验收改造记录:方案层是在一次完整现状实测之后写成的,覆盖了一百多个自动化场景、上千个动作块的静态统计,以及四百多次历史运行的汇总数据。文中所有数字都是那次实测跑出来的,判据则是事后用可执行检查固化的;方案的取舍经过一轮独立审核后按裁决修订。