测试全绿功能却是坏的:故意改坏代码,看测试能不能红 | 杨元超的世界

这篇写给「测试覆盖率不低、线上还是出问题」的人:测试会绿,不代表它会红。断言就是测试里那句 expect(...),用来判断结果对不对;假断言则是看起来在检查、实际抓不住错误。读完你能带走三种假断言的识别方法、一套四步的「故意改坏」流程,以及一次真实的红绿记录。

下面这张表格按角色列出你能带走什么、从哪节开始读。

读者 带走什么 拿它做什么 从哪节开始读
写了测试但不确定有没有用的人 三种永不失败的断言模式 拿自己的测试文件逐个对照 3
要给关键逻辑加保险的开发者 四步变异验证流程(变异=故意改坏实现一处) 对核心函数各做一次变异 4
做代码评审的人 「这条断言能证伪吗」的提问清单 评审时逐条问,问不出就要求补 3 → 6

不适合还没有任何测试的项目——先把最小用例(一个 test() 块)写出来,再来做这一步。约 12 分钟读完;需要你会一点 JavaScript、知道单元测试是什么;没听过变异测试也能跟。

0 本文讲什么

测试的价值不在「通过」,而在「该失败的时候会失败」。这篇讲怎么验证第二件事:先看三种看起来像测试、实际永远不会红的写法;再给一套可操作的流程——手动把实现改坏、跑测试、看它有没有红;最后用一次真实改动回放整个过程。

「断言」是测试里判断结果对不对的那句检查,常见写法是 expect(实际值).toEqual(期望值);「变异验证」是故意把实现改坏、看断言会不会失败。两个词后面还会反复出现。

下面这张表格是全文路线,按「先判断 → 再验证 → 再看边界」排列。

小节 讲什么 解决什么问题
1 全绿却出错的那次 知道假绿长什么样
2 一个最小可跑的例子 有东西可以动手改
3 三种不会红的断言 认出自己测试里的无效断言
4 四步变异验证 有流程可复用
5 一次真实回放 看到红绿分布说明什么
6 顺序类断言怎么写 位置关系不能被实现顺序复刻
7 这套方法的边界 知道它证明不了什么

1 现象:测试全绿,功能却是错的

那次改动很小:首页加一个「最新文章」区块,取最新的 5 篇、按发布时间倒序、放在精华文章之前。测试写了几个场景,全绿。

问题出在「期望值」是怎么来的。测试里有一个辅助函数,它调用的正是实现内部那个取数函数,再和页面结果比对。实现只要没有崩溃,两边永远相等——包括实现本身取错了数据的时候。当时把筛选条件改成「只取精华文章」,测试依然是绿的。

这类断言有个共同点:它不描述「正确的结果是什么」,只描述「结果和我用同一套逻辑算出来的一样」。一个用例就是一个 test() 块;后文说「6 个用例」就是 6 个 test()。

2 一个最小可跑的例子

后面的验证需要一个能改的实现。这里用一个纯函数代替页面组件,逻辑和真实场景同构:按发布时间取最新 N 篇。环境是 Node.js 18 以上、Jest 29(Jest 是 JavaScript 的测试框架);在空目录里执行 npm init -y && npm i -D jest@29,然后建两个文件。

先看实现,它只有一个排序和一个截取:

// newest.js
function pickNewest(posts, n = 5) {
  return [...posts]
    .sort((a, b) => b.publishedAt.localeCompare(a.publishedAt))
    .slice(0, n);
}

module.exports = { pickNewest };

再看测试。注意期望值是手写的五个标识,而不是用同一套排序算出来的——这是它和假断言的关键差别:

// newest.test.js
const { pickNewest } = require('./newest');

const posts = [
  { slug: 'web-05', isFeatured: false, publishedAt: '2026-11-05' },
  { slug: 'star-04', isFeatured: true, publishedAt: '2026-11-04' },
  { slug: 'p-03', isFeatured: false, publishedAt: '2026-11-03' },
  { slug: 'p-02', isFeatured: false, publishedAt: '2026-11-02' },
  { slug: 'p-01', isFeatured: false, publishedAt: '2026-11-01' },
  { slug: 'star-ancient', isFeatured: true, publishedAt: '2025-01-01' },
];

test('取最新 5 篇并按时间倒序', () => {
  expect(pickNewest(posts).map((p) => p.slug)).toEqual([
    'web-05', 'star-04', 'p-03', 'p-02', 'p-01',
  ]);
});

运行 npx jest,会看到 Tests: 1 passed。接下来就用它做实验。

3 三种抓不住错误的断言

这一节先给全貌:无效断言不是「写错了」,而是「抓不住业务错误」——要么只验形状,要么把实现抄进了期望值。下面三种最常见,每种后面给出改法。

类型 长什么样 为什么抓不住 改成什么
弱断言 expect(Array.isArray(result)).toBe(true) 只在结果整个消失时才红,和内容无关 断言具体内容
复刻实现的断言 期望值由实现同一个函数生成 两边同错,永远相等 期望值手写成常量
只判存在 expect(result.length).toBeGreaterThan(0) 取错数据也可能非空 断言确切的条数与顺序

三种里最隐蔽的是第二种,因为它看起来「很严谨」:有期望值、有比对、还复用了逻辑。下面两段都在第 2 节那两个文件上直接改(数据仍是上面那 6 条,isFeatured 先留着不用,正好用来埋陷阱),两段二选一——一段是假绿写法,一段是能失败的写法:

// 假绿写法:期望值由实现同一个函数生成
const newestSlugs = (list) => pickNewest(list).map((p) => p.slug);
const expectedNewestSlugs = (list) => pickNewest(list).map((p) => p.slug);
test('最新文章区块', () => {
  expect(newestSlugs(posts)).toEqual(expectedNewestSlugs(posts));
});
// 能失败的写法:期望值写死,数据里埋一条「实现容易筛错」的文章
const newestSlugs = (list) => pickNewest(list).map((p) => p.slug);
test('不按精华筛选,只按时间取前 5', () => {
  expect(newestSlugs(posts)).toEqual([
    'web-05', 'star-04', 'p-03', 'p-02', 'p-01',
  ]);
});

上面「能失败」那段里,star-04 是「精华但很新」的文章(它在期望值里排第二)。实现若偷偷加上「只取精华」,p-01 会被挤掉;实现若加上「排除精华」,star-04 和 star-ancient 都会被去掉,结果只剩 4 条——条数就直接对不上。两种情况都会让期望值失败。判断一条断言有没有用,看它有没有构造出「实现写错就会不一样」的数据。

4 四步变异验证

有了能失败的测试,还要验证「它真的会因为关键逻辑改变而失败」。这里把实现故意改坏,看测试反应。四步分别是:

  1. 跑一遍,确认基线全绿。
  2. 改一处实现:换筛选条件、改边界值、删一行分支,只改一处。
  3. 再跑,记录哪几个用例变红、哪几个还是绿。
  4. 恢复实现,确认回到全绿。

判读规则只有一条:关键逻辑被改坏而测试没红,说明这条逻辑没被锁住。红的用例越多越好不是目标,目标是「每一处关键分支都至少有一个用例会因为改坏它而红」。

# 1. 基线
npx jest                 # Tests: 1 passed

# 2. 改坏:把排序方向反过来(b.localeCompare(a) → a.localeCompare(b))
npx jest                 # 期望看到 1 failed

# 3. 恢复实现
npx jest                 # Tests: 1 passed

# 4. 换一处再试:把 .slice(0, n) 改成 .slice(0, 3)
npx jest                 # 期望失败(取 3 条对不上 5 条)

# 5. 再恢复,确认回到全绿
npx jest                 # Tests: 1 passed

在真实项目里,第 2 步要覆盖所有「有分支」的位置:筛选条件、取几条、排序方向、放在哪个位置之前。纯展示的文案不需要做,改了也不影响结论。

5 一次真实回放:6 个用例,4 红 2 绿

回到第 1 节那次改动:首页新增一个「最新文章」区块(取最新 5 篇、按发布时间倒序、放在精华文章之前)。第 1 节说到它「测试全绿、把筛选条件改成『只取精华』也不红」,正是这里要复盘的那批测试。现在把用例重写成 6 个(替换原来那批,不是在其上追加):空列表不渲染、文章不足 5 篇时全部展示、不按精华筛选、最新 5 篇按时间倒序、区块位于精华文章之前、整页装配顺序。然后把实现里的筛选条件从「全部文章」改成「只取精华文章」,结果如下。

变异内容 结果 说明
改为只取精华文章 4 个失败、2 个通过 4 个用例锁住了「不筛选」这件事
恢复原实现 6 个全部通过 基线稳定,没有偶发

那 2 个通过的用例与这段筛选逻辑无关(它们测的是渲染与整页装配),所以不该红。这次回放的价值不是「4 个红了真好」,而是暴露了覆盖面:如果 6 个全绿,说明这一行改动没有任何用例看得见,测试等于没写。

需要说明的是,这类验证不能靠实现者自己报告「我验证过了」。那次是把改坏的版本单独跑一遍、把原始输出(Tests: 4 failed, 2 passed)记下来,再恢复重跑。这个输出是外部判据,和「我觉得测到了」是两回事。

6 顺序类断言:位置关系不要用数组下标

「区块在精华文章之前」这种断言,最容易写成「在新数组里的下标更小」。问题是新数组的顺序往往就是实现拼装组件的顺序——实现把顺序写反,测试的期望值也跟着反,又是复刻实现。所以在做变异验证之前,先检查断言本身有没有复刻实现。

浏览器提供了一套判断节点位置关系的方法(compareDocumentPosition),它属于 DOM(浏览器里的节点树)接口;在 Node.js 里跑测试时,要用 jsdom 模拟这棵树。返回值是一个按位组合的整数:每一位代表一种关系,可以同时有多个位为真。下面的代码是测试片段,省略了 import 与页面数据准备;findByTestId 会等异步渲染完成,取不到会直接失败。

// jest 配置 testEnvironment: 'jsdom'
render(<HomePage />);
const newest = await screen.findByTestId('newest-posts');
const featured = await screen.findByTestId('featured-posts');

const pos = newest.compareDocumentPosition(featured);
// 只检查 FOLLOWING 这一位(值为 4)
expect(pos & Node.DOCUMENT_POSITION_FOLLOWING)
  .toBe(Node.DOCUMENT_POSITION_FOLLOWING);

4 不是随便的数字:标准里 FOLLOWING 这一位的值是 4(PRECEDING 是 2,CONTAINS 是 8,CONTAINED_BY 是 16)。只检查这一位而不是要求整个值等于 4,是因为两个区块若存在嵌套,返回值会同时带上其他位(例如 20 = 4 + 16),精确相等会误报。这一位为真,表示按 DOM 树的真实顺序,newest 在 featured 之前,不经过任何自定义数组。

同时,取节点不要用「按测试专用类名选择」的方式。那次删掉了一个只存在于测试里的类名,改成按标记属性取;取不到时直接抛错,而不是返回 null 让后面的断言在空值上莫名其妙地过。

7 这套方法的边界与下一步

变异验证能证明的是:这段关键逻辑被测试锁住了。它证明不了三件事:

成本也要算:本例每做一次变异,多跑两次测试(改坏一次、恢复一次)。一个模块有 5 处关键分支,就是 10 次额外运行。我的取舍是只对「有分支、有阈值、有顺序」的逻辑做,纯映射和纯文案跳过。

下一步可以往两个方向走:把「改坏 → 跑 → 恢复」写成脚本,按分支清单批量执行;或者接入专门做这件事的工具,让它自动生成变异并统计「有多少变异没有被任何用例发现」。后者会给出一个覆盖率之外的数字,比「测试全绿」更接近真实防护力。

你下一步能做什么

挑一个你最近改过、且有测试的函数,把其中一个条件判断改反,跑一次测试。如果还是全绿,你找到了一处没被锁住的逻辑;修完断言再改回来,这两分钟比再写十个用例有用。

这些内容来自哪里

这些内容围绕一个真实页面上线过程整理:新功能加完、测试全绿,但在评审里发现期望值是调用实现函数自己生成的,改坏实现测试也不会红。随后把用例重写成硬编码期望值,并做了一次故意改坏的回放:6 个用例里 4 个变红、2 个不经过该段逻辑的照旧通过,恢复后回到全绿。文中的红绿数字来自这次实际运行,不是构造的示例。

相关文章