网站上线后怎么确认没坏:自动巡检、失败告警与索引推送 | 杨元超的世界

这篇写给「发布脚本显示成功,但不确定线上真的正常」的人:一次发布只覆盖了「文件送出去」,后面的缓存、域名、内容、搜索引擎更新它都看不见。读完你能带走 7 类巡检判据、一个处理限流的请求函数、一套「连续失败才报警」的阈值设计,以及主动推送搜索引擎的最小实现。下面把「定时从外部访问线上地址、逐项核对结果」叫巡检;检查失败后主动通知叫告警。

下面这张表格按角色列出你能带走什么、从哪节开始读。

读者 带走什么 拿它做什么 从哪节开始读
自己维护静态站的人 7 类巡检判据 先照第 2 节跑一次,再按第 3 节补齐 2 → 3
经常被「发布成功」骗的人 200 + 空响应的识别与重试 抄第 4 节的请求函数 4
要接搜索引擎收录(把页面收进索引)的人 IndexNow 推送实现 照第 7 节接到发布末尾 7
负责告警的人 连续失败阈值与日志表结构 抄第 5、6 节 5 → 6

不适合完全不需要外部可用性检查的纯本地项目。约 14 分钟读完;需要你会命令行、能跑 Node.js 脚本;不懂缓存和搜索引擎原理也能跟。

0 本文讲什么

发布动作只证明文件送到了平台,证明不了访客能打开、内容正确、搜索引擎知道它更新了。这篇讲怎么用一台每天定时跑的脚本来回答这三个问题,以及为什么「一次失败就报警」会让告警失去意义。

下面这张表格是全文路线。

小节 讲什么 解决什么问题
1 发布成功和线上正常的距离 知道要检查哪几层
2 一段可跑的最小巡检 先拿到一次真实的检查结果
3 7 类检查与各自盲区 知道该查什么、查不到什么
4 200 + 空响应的限流陷阱 不把限流误判成站点故障
5 结果落表 以后能查「哪天开始坏的」
6 连续失败才报警 告警不被网络抖动淹没
7 IndexNow 主动推送 新文章不用等下一轮爬取
8 巡检的盲区 知道还有哪些问题查不出来
9 怎么让它每天跑 把脚本变成定时任务

1 为什么发布成功还要巡检

发布脚本能确认的只有一件事:文件传到了托管平台。从「文件传上去」到「访客看到新内容」,中间至少隔着四层:平台有没有真的替换文件、内容分发网络(CDN,把文件缓存到各地节点、让访客就近取的服务)上的旧副本有没有刷新、域名和证书是否正常、页面里的链接是否还有效。发布脚本的退出码只覆盖第一层。

人的手动检查也能覆盖,但会有两个问题:发布十次之后就开始跳着点;出了问题想不起「上次是好的吗」。自动巡检要解决的就是这两件事——每次都用同一组判据,每次的结果都留一条记录。

这里的「巡检」指:定时从公网访问一组固定地址,逐项核对返回是否符合预期;「告警」指检查连续不符合预期时主动发出通知,而不是等人去看日志。

2 环境准备与最小示例:先用 15 行脚本跑一次

后面所有检查都建立在一个动作上:从公网拉一个地址,判断返回是否符合预期。环境只需要 Node.js 18 以上(自带 fetch,不用装依赖,用 node -v 确认版本)。示例代码如下,改掉两处地址、存成 watch.mjs 后运行 node watch.mjs,会打印地图条数、非 ASCII 数量与详情页正文标记是否存在。

const sitemapUrl = 'https://example.com/sitemap.xml';
const pageUrl = 'https://example.com/blog/hello/';

const map = await (await fetch(sitemapUrl)).text();
const locs = [...map.matchAll(/<loc>([^<]+)<\/loc>/g)].map((m) => m[1]);
const page = await (await fetch(pageUrl)).text();

console.log({
  sitemapEntries: locs.length,
  nonAsciiUrls: locs.filter((u) => /[^\x00-\x7F]/.test(u)).length,
  hasBodyMarker: page.includes('data-prerender-body'),
});

最后一项检查的 data-prerender-body 是构建时写在正文外层的一个属性(预渲染产物)。预渲染指构建时就把正文写进 HTML,不等浏览器执行脚本;这个属性的作用是让检查脚本能区分「正文真的在 HTML 里」和「只有一个空容器」。没有这个属性时,可以改成数 <p> 标签数量。

跑完会看到类似 { sitemapEntries: 297, nonAsciiUrls: 0, hasBodyMarker: true }。三个值分别对应「地图有多少条」「有没有中文没编码」「正文在不在」。下面基于这三个值扩展成一套完整的巡检。

3 7 类检查与各自的盲区

只查「页面能不能打开」不够,因为坏法有很多种:整站挂掉、单页 404、地图编码错、正文退回空壳、搜索引擎不知道更新。下面这张表格按类列出通过标准、能发现什么、发现不了什么——最后一列比前两列更重要,它决定你还要补什么。

# 检查类 通过标准 能发现 发现不了
1 站点地图(sitemap.xml,列出全站网址的文件)可达与编码 返回 200,内容是网址列表,零非 ASCII 域名挂、地图丢失、中文没编码 单页内容错
2 站点地图条数 与上次相比跌幅 ≤ 10% 与 3 条中的较大值 构建漏掉整批页面 单页内容错
3 爬虫(搜索引擎派来抓页面的程序)规则文件 根目录 robots.txt 含地图地址 规则误删导致地图不被发现 页面本身的问题
4 推送凭据 凭据文件可读,内容与文件名一致 凭据文件丢失或被改名 推送是否被接受
5 详情页正文 抽查的页面都存在正文标记 预渲染回退成空壳 正文内容的正确性
6 首页 返回 200,规范地址指向主域 域名跳转、重复地址 内页问题
7 主动推送 请求返回 200 或 202 推送接口不可用 对方何时收录

第 3 行的 robots.txt 是放在站点根目录的文本文件,告诉爬虫哪些路径可以抓、地图文件在哪。第 4 行的推送凭据是放在根目录的一个文本文件,文件名和内容都是同一串密钥,用来证明你拥有这个站点(第 7 节展开)。第 6 行的「规范地址」是页面头部的一个声明(<link rel="canonical">),用来告诉搜索引擎「这个内容的正式网址是哪个」,避免同一内容被多个网址重复收录。

第 2 行的阈值取「10% 或 3 条,取较大的那个」:页面少时按比例算会过于敏感(掉 1 条就超 10%),所以至少允许掉 3 条;页面多时 3 条太严,所以按 10% 放宽。297 条时允许掉 29 条,超过才当成整批丢失。这是一次误报之后调出来的。

日志里会出现「通过 9/9」「通过 10/10」,和这里的 7 类不矛盾:类是按职责归并的,执行时按子项计数——地图一类拆成「可达」与「编码」两项,推送与凭据各是一个可开关的子项,所以全开是 10 项、关掉推送是 9 项。看日志时以「斜杠两边是否相等」为准,不要拿 7 去对。

4 坑一:连续请求会被限流,返回 200 + 空内容

这一节解决「巡检自己把站点查坏」的问题。当时第一次跑全量检查,连续请求几十个地址后开始拿到状态 200、内容长度 0 的响应,一度以为站点坏了。实际是对方把高频请求当成异常流量,但既没返回 429(表示「请求太多」的状态码),也没给错误页,而是给了一个空的 200。

处理方式是三条:请求之间留间隔、超时给足、把「200 但内容极短」当成可重试,而不是直接判失败。示例代码如下,它把这三条写成三个常量和一个带重试的请求函数,返回状态码与正文。

const GAP_MS = 2500;
const TIMEOUT_MS = 30000;
const MIN_BODY_BYTES = 50;
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));

async function fetchText(url, attempt = 0) {
  await sleep(GAP_MS);                       // 每次请求前先等,避免连续打
  try {
    const res = await fetch(url, { signal: AbortSignal.timeout(TIMEOUT_MS) });
    const body = await res.text();
    if (res.status === 200
        && Buffer.byteLength(body, 'utf8') < MIN_BODY_BYTES
        && attempt < 2) {
      return fetchText(url, attempt + 1);    // 空 200 当成可重试,不判失败
    }
    return { status: res.status, body };
  } catch (err) {
    if (attempt < 2) return fetchText(url, attempt + 1);
    return { status: 0, body: '', error: String(err) };
  }
}

status: 0 是自定义的「请求没到对方」标记,调用方把它当成一次失败记进日志,这样网络错误也能进入连续失败计数。

2.5 秒的间隔是「一次全量巡检几百个页面、总时长仍可接受」与「不触发限流」之间的折中;超时 30 秒是给慢节点留的余量;50 字节是「短到不可能是正常页面」的下限(UTF-8 下大约 17 个汉字;正常的 HTML 至少几百字节)。这三个值都要按你的站点规模调整:页面越多,间隔越要往大调,或者改成只查最近更新的页面。

还有一处环境差异:用命令行工具请求时,它会走系统代理;用 Node 自带的请求则不走。同一批地址,前者可能正常,后者直接连接失败。遇到这种情况先确认代理设置,不要把网络差异当成站点故障。

5 结果落表:每次检查留一行

巡检跑完只在终端打印,等于没留下证据。这一节解决「以后怎么查」的问题:把每次结果追加成一行记录,字段固定,按月份一个文件。

「落表」就是把结果写成表格的一行,以后能按时间筛选。下面这张表格是实际使用的列结构与三行示例,来源 列区分定时任务、发布后自检、人工执行;日志功能上线前的那次手动补记,来源写「人工(回填)」。

时间 来源 结果 地图条数 详情页正文 异常项
2026/11/17 15:03 定时 PASS 10/10 297 3/3 —
2026/11/17 21:35 人工(回填) PASS 9/9 297 2/2 —
2026/11/17 21:38 发布后 PASS 9/9 297 1/1 —

「详情页正文 3/3」表示抽查了 3 个详情页、3 个都有正文;抽查数量每次可以不同,所以看的是分子分母是否相等。「异常项」为空表示全部通过,有值时写最先失败的那一项,避免一行塞进十几条。

日志按月存放的好处是,出问题时能对比「上一次全绿是什么时候」,而不是只看到「现在坏了」。这次的第一条记录就是手动补记的——日志功能是在发布完成之后才接上的,所以注明「回填」,不让后人误以为是发布的真实时间。

6 连续 3 次失败才报警

有了记录,就要决定什么时候通知人。这一节解决「告警太吵」的问题:网络抖动、单个节点慢、对方偶发限流都会造成一次失败;如果一次失败就报警,人会很快学会忽略通知。

判定规则是连续 3 次检查失败才报警,中间任意一次通过就把计数清零。按每天两次巡检算,3 次大约是 1.5 天——这个时长是「坏了能及时发现」和「不会半夜被吵醒」之间的折中。如果你一天只跑一次,就把阈值降到 2 次,否则一次夜间故障要拖到第三天才会被通知。这个阈值本质上是「你愿意等多久才发现」,先定下可接受的延迟,再用「延迟 × 每天次数」反推次数。

同时要区分两类失败:单页 404 可能只是那一页被删了,地图整体不可达才是站级故障。前者记进异常项,后者才进入连续失败计数。第 3 节表里第 2 行的「地图条数跌幅」是另一类信号——它不需要连续 3 次,掉超过阈值就值得看一眼,因为整批页面消失通常不是抖动。

7 IndexNow:把新文章主动推给搜索引擎

这一节解决「新文章要等很久才被收录」的问题,分三段说清为什么、怎么做、有什么好处。

为什么做:搜索引擎通常靠定时来爬,发现新内容要等下一轮。主动推送是相反的思路——你按约定格式发一个请求,告诉它「这些地址刚更新了」,它就不必等。IndexNow 是这类约定中的一种,Bing、Yandex、Naver 等搜索引擎共用这个入口;Google 不消费它,百度也有自己的推送接口——用它不代表所有搜索引擎都能被主动通知。

怎么做:在站点根目录放一个以密钥命名的文本文件,内容就是密钥本身(用于证明你拥有这个站);发布完成后,把最新的一批网址 POST 到推送入口。示例代码如下,它取最新 50 条、带上站点与凭据信息,成功时打印状态码。

const newestUrls = [
  'https://example.com/blog/a/',
  'https://example.com/blog/b/',
];
const key = process.env.INDEXNOW_KEY;   // 32 位十六进制,与根目录的 <key>.txt 同名
const host = 'example.com';

const res = await fetch('https://api.indexnow.org/indexnow', {
  method: 'POST',
  headers: { 'content-type': 'application/json; charset=utf-8' },
  body: JSON.stringify({
    host,
    key,
    keyLocation: `https://${host}/${key}.txt`,
    urlList: newestUrls.slice(0, 50),
  }),
});

console.log('RESULT', res.status);
if (res.status !== 200 && res.status !== 202) process.exit(1);

200 表示请求已接受,202 表示已接受但还在处理,两者都算成功;其他状态码按失败处理。协议本身允许一次提交上万条;这里只取最新 50 条,是因为一次发布通常只改少量页面,把整站几千条推过去既没意义也容易被限流。超过 50 条时要分批,而不是静默截断。

有什么好处:发布链路末尾多一个请求,新文章不用等下一轮爬取;失败也不会阻断发布——推送是「尽量快」,不是「必须成功」。这里同样有代理差异:Node 直连时可能连不上,用带系统代理的命令行工具请求同一份数据则返回 202。接入时先用两种方式各试一次,确认你的运行环境走哪条路。

8 巡检的盲区:查不到的三种问题

巡检只能查它知道的地址。这一节解决「全绿但其实有坏页」的误判:下面三种情况都能在巡检全绿时存在,触发条件各不相同。

问题 什么场景会遇到 为什么巡检查不到 怎么补
旧页面残留 文章改标题后网址变了,旧目录没删 巡检只看地图里的网址,旧网址不在其中 发布时对比新旧清单,删除不在新清单里的目录
缓存范围不对 只刷新了首页,详情页仍是旧副本 巡检查的是内容标记,新旧版本都有标记 整域刷新,或按改动清单逐页刷新
站内死链 相关文章的链接写的是旧网址 巡检抽查正文标记,不逐条验证链接 发布前把所有站内链接抓一遍,非 200 就失败

第一行是发布链路的缺口:生成新页面时要把「上一版有、这一版没有」的目录删掉,删除接口的路径前导斜杠要和列表返回的格式一致,否则会删空或删错。第二行是刷新的范围问题:内容分发网络按地址缓存,只刷一个地址,其他地址的旧副本还在。第三行是链接的完整性问题:改标题会改网址,站内引用不会自动跟着改,发布前必须验证。

9 怎么让它每天跑

前面所有检查都依赖「有人执行」。这一节解决自动化:把脚本挂到系统的定时任务上,每天固定时间跑,结果自动追加到日志。

Linux 或 macOS 用 crontab -e 加一行;Windows 用计划任务,一条命令创建。下面两段分别是两种系统的写法,路径和触发时间按你的环境改。

# Linux / macOS:每天 10:00 与 15:00 各跑一次
0 10 * * * cd /path/to/site && node watch.mjs --source cron >> watch.log 2>&1
0 15 * * * cd /path/to/site && node watch.mjs --source cron >> watch.log 2>&1
# Windows:每天 10:00 跑一次(一条命令,^ 是 cmd 的续行符,PowerShell 里别用)
schtasks /create /tn "site-watch" /sc daily /st 10:00 /tr "node D:\site\watch.mjs --source cron"
schtasks /run /tn "site-watch"    # 立刻跑一次验证

--source cron 是给日志的来源列用的,和发布后自检、人工执行区分开。如果发布流程本身能调用脚本,就不必等定时任务——发布完成后立刻跑一次「只查今天更新的页面」,能让问题在发布当场暴露。

你下一步能做什么

把第 2 节的 15 行脚本存下来,先手动跑一次,记下三个数。然后只加一项:地图非 ASCII 必须为 0。跑通之后再按第 3 节的表逐类补,不要一次写完七类。

这些内容来自哪里

这些内容来自一套连续多天的线上巡检实践:最初只有发布前的人工检查,后来因为「发布脚本说成功、线上却拿不到正文」补了发布后当场自检,再改成每天定时从公网检查、结果写进按月日志。前后处理了连续请求被限流、空响应误判、索引推送失败、旧页面残留等十来处问题。文中的阈值与间隔不是拍脑袋定的,而是上线后按真实误报和耗时调出来的;示例日志来自实际运行记录。

相关文章