这篇写给「发布脚本显示成功,但不确定线上真的正常」的人:一次发布只覆盖了「文件送出去」,后面的缓存、域名、内容、搜索引擎更新它都看不见。读完你能带走 7 类巡检判据、一个处理限流的请求函数、一套「连续失败才报警」的阈值设计,以及主动推送搜索引擎的最小实现。下面把「定时从外部访问线上地址、逐项核对结果」叫巡检;检查失败后主动通知叫告警。
下面这张表格按角色列出你能带走什么、从哪节开始读。
| 读者 | 带走什么 | 拿它做什么 | 从哪节开始读 |
|---|---|---|---|
| 自己维护静态站的人 | 7 类巡检判据 | 先照第 2 节跑一次,再按第 3 节补齐 | 2 → 3 |
| 经常被「发布成功」骗的人 | 200 + 空响应的识别与重试 | 抄第 4 节的请求函数 | 4 |
| 要接搜索引擎收录(把页面收进索引)的人 | IndexNow 推送实现 | 照第 7 节接到发布末尾 | 7 |
| 负责告警的人 | 连续失败阈值与日志表结构 | 抄第 5、6 节 | 5 → 6 |
不适合完全不需要外部可用性检查的纯本地项目。约 14 分钟读完;需要你会命令行、能跑 Node.js 脚本;不懂缓存和搜索引擎原理也能跟。
发布动作只证明文件送到了平台,证明不了访客能打开、内容正确、搜索引擎知道它更新了。这篇讲怎么用一台每天定时跑的脚本来回答这三个问题,以及为什么「一次失败就报警」会让告警失去意义。
下面这张表格是全文路线。
| 小节 | 讲什么 | 解决什么问题 |
|---|---|---|
| 1 | 发布成功和线上正常的距离 | 知道要检查哪几层 |
| 2 | 一段可跑的最小巡检 | 先拿到一次真实的检查结果 |
| 3 | 7 类检查与各自盲区 | 知道该查什么、查不到什么 |
| 4 | 200 + 空响应的限流陷阱 | 不把限流误判成站点故障 |
| 5 | 结果落表 | 以后能查「哪天开始坏的」 |
| 6 | 连续失败才报警 | 告警不被网络抖动淹没 |
| 7 | IndexNow 主动推送 | 新文章不用等下一轮爬取 |
| 8 | 巡检的盲区 | 知道还有哪些问题查不出来 |
| 9 | 怎么让它每天跑 | 把脚本变成定时任务 |
发布脚本能确认的只有一件事:文件传到了托管平台。从「文件传上去」到「访客看到新内容」,中间至少隔着四层:平台有没有真的替换文件、内容分发网络(CDN,把文件缓存到各地节点、让访客就近取的服务)上的旧副本有没有刷新、域名和证书是否正常、页面里的链接是否还有效。发布脚本的退出码只覆盖第一层。
人的手动检查也能覆盖,但会有两个问题:发布十次之后就开始跳着点;出了问题想不起「上次是好的吗」。自动巡检要解决的就是这两件事——每次都用同一组判据,每次的结果都留一条记录。
这里的「巡检」指:定时从公网访问一组固定地址,逐项核对返回是否符合预期;「告警」指检查连续不符合预期时主动发出通知,而不是等人去看日志。
后面所有检查都建立在一个动作上:从公网拉一个地址,判断返回是否符合预期。环境只需要 Node.js 18 以上(自带 fetch,不用装依赖,用 node -v 确认版本)。示例代码如下,改掉两处地址、存成 watch.mjs 后运行 node watch.mjs,会打印地图条数、非 ASCII 数量与详情页正文标记是否存在。
const sitemapUrl = 'https://example.com/sitemap.xml';
const pageUrl = 'https://example.com/blog/hello/';
const map = await (await fetch(sitemapUrl)).text();
const locs = [...map.matchAll(/<loc>([^<]+)<\/loc>/g)].map((m) => m[1]);
const page = await (await fetch(pageUrl)).text();
console.log({
sitemapEntries: locs.length,
nonAsciiUrls: locs.filter((u) => /[^\x00-\x7F]/.test(u)).length,
hasBodyMarker: page.includes('data-prerender-body'),
});
最后一项检查的 data-prerender-body 是构建时写在正文外层的一个属性(预渲染产物)。预渲染指构建时就把正文写进 HTML,不等浏览器执行脚本;这个属性的作用是让检查脚本能区分「正文真的在 HTML 里」和「只有一个空容器」。没有这个属性时,可以改成数 <p> 标签数量。
跑完会看到类似 { sitemapEntries: 297, nonAsciiUrls: 0, hasBodyMarker: true }。三个值分别对应「地图有多少条」「有没有中文没编码」「正文在不在」。下面基于这三个值扩展成一套完整的巡检。
只查「页面能不能打开」不够,因为坏法有很多种:整站挂掉、单页 404、地图编码错、正文退回空壳、搜索引擎不知道更新。下面这张表格按类列出通过标准、能发现什么、发现不了什么——最后一列比前两列更重要,它决定你还要补什么。
| # | 检查类 | 通过标准 | 能发现 | 发现不了 |
|---|---|---|---|---|
| 1 | 站点地图(sitemap.xml,列出全站网址的文件)可达与编码 |
返回 200,内容是网址列表,零非 ASCII | 域名挂、地图丢失、中文没编码 | 单页内容错 |
| 2 | 站点地图条数 | 与上次相比跌幅 ≤ 10% 与 3 条中的较大值 | 构建漏掉整批页面 | 单页内容错 |
| 3 | 爬虫(搜索引擎派来抓页面的程序)规则文件 | 根目录 robots.txt 含地图地址 |
规则误删导致地图不被发现 | 页面本身的问题 |
| 4 | 推送凭据 | 凭据文件可读,内容与文件名一致 | 凭据文件丢失或被改名 | 推送是否被接受 |
| 5 | 详情页正文 | 抽查的页面都存在正文标记 | 预渲染回退成空壳 | 正文内容的正确性 |
| 6 | 首页 | 返回 200,规范地址指向主域 | 域名跳转、重复地址 | 内页问题 |
| 7 | 主动推送 | 请求返回 200 或 202 | 推送接口不可用 | 对方何时收录 |
第 3 行的 robots.txt 是放在站点根目录的文本文件,告诉爬虫哪些路径可以抓、地图文件在哪。第 4 行的推送凭据是放在根目录的一个文本文件,文件名和内容都是同一串密钥,用来证明你拥有这个站点(第 7 节展开)。第 6 行的「规范地址」是页面头部的一个声明(<link rel="canonical">),用来告诉搜索引擎「这个内容的正式网址是哪个」,避免同一内容被多个网址重复收录。
第 2 行的阈值取「10% 或 3 条,取较大的那个」:页面少时按比例算会过于敏感(掉 1 条就超 10%),所以至少允许掉 3 条;页面多时 3 条太严,所以按 10% 放宽。297 条时允许掉 29 条,超过才当成整批丢失。这是一次误报之后调出来的。
日志里会出现「通过 9/9」「通过 10/10」,和这里的 7 类不矛盾:类是按职责归并的,执行时按子项计数——地图一类拆成「可达」与「编码」两项,推送与凭据各是一个可开关的子项,所以全开是 10 项、关掉推送是 9 项。看日志时以「斜杠两边是否相等」为准,不要拿 7 去对。
这一节解决「巡检自己把站点查坏」的问题。当时第一次跑全量检查,连续请求几十个地址后开始拿到状态 200、内容长度 0 的响应,一度以为站点坏了。实际是对方把高频请求当成异常流量,但既没返回 429(表示「请求太多」的状态码),也没给错误页,而是给了一个空的 200。
处理方式是三条:请求之间留间隔、超时给足、把「200 但内容极短」当成可重试,而不是直接判失败。示例代码如下,它把这三条写成三个常量和一个带重试的请求函数,返回状态码与正文。
const GAP_MS = 2500;
const TIMEOUT_MS = 30000;
const MIN_BODY_BYTES = 50;
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
async function fetchText(url, attempt = 0) {
await sleep(GAP_MS); // 每次请求前先等,避免连续打
try {
const res = await fetch(url, { signal: AbortSignal.timeout(TIMEOUT_MS) });
const body = await res.text();
if (res.status === 200
&& Buffer.byteLength(body, 'utf8') < MIN_BODY_BYTES
&& attempt < 2) {
return fetchText(url, attempt + 1); // 空 200 当成可重试,不判失败
}
return { status: res.status, body };
} catch (err) {
if (attempt < 2) return fetchText(url, attempt + 1);
return { status: 0, body: '', error: String(err) };
}
}
status: 0 是自定义的「请求没到对方」标记,调用方把它当成一次失败记进日志,这样网络错误也能进入连续失败计数。
2.5 秒的间隔是「一次全量巡检几百个页面、总时长仍可接受」与「不触发限流」之间的折中;超时 30 秒是给慢节点留的余量;50 字节是「短到不可能是正常页面」的下限(UTF-8 下大约 17 个汉字;正常的 HTML 至少几百字节)。这三个值都要按你的站点规模调整:页面越多,间隔越要往大调,或者改成只查最近更新的页面。
还有一处环境差异:用命令行工具请求时,它会走系统代理;用 Node 自带的请求则不走。同一批地址,前者可能正常,后者直接连接失败。遇到这种情况先确认代理设置,不要把网络差异当成站点故障。
巡检跑完只在终端打印,等于没留下证据。这一节解决「以后怎么查」的问题:把每次结果追加成一行记录,字段固定,按月份一个文件。
「落表」就是把结果写成表格的一行,以后能按时间筛选。下面这张表格是实际使用的列结构与三行示例,来源 列区分定时任务、发布后自检、人工执行;日志功能上线前的那次手动补记,来源写「人工(回填)」。
| 时间 | 来源 | 结果 | 地图条数 | 详情页正文 | 异常项 |
|---|---|---|---|---|---|
| 2026/11/17 15:03 | 定时 | PASS 10/10 | 297 | 3/3 | — |
| 2026/11/17 21:35 | 人工(回填) | PASS 9/9 | 297 | 2/2 | — |
| 2026/11/17 21:38 | 发布后 | PASS 9/9 | 297 | 1/1 | — |
「详情页正文 3/3」表示抽查了 3 个详情页、3 个都有正文;抽查数量每次可以不同,所以看的是分子分母是否相等。「异常项」为空表示全部通过,有值时写最先失败的那一项,避免一行塞进十几条。
日志按月存放的好处是,出问题时能对比「上一次全绿是什么时候」,而不是只看到「现在坏了」。这次的第一条记录就是手动补记的——日志功能是在发布完成之后才接上的,所以注明「回填」,不让后人误以为是发布的真实时间。
有了记录,就要决定什么时候通知人。这一节解决「告警太吵」的问题:网络抖动、单个节点慢、对方偶发限流都会造成一次失败;如果一次失败就报警,人会很快学会忽略通知。
判定规则是连续 3 次检查失败才报警,中间任意一次通过就把计数清零。按每天两次巡检算,3 次大约是 1.5 天——这个时长是「坏了能及时发现」和「不会半夜被吵醒」之间的折中。如果你一天只跑一次,就把阈值降到 2 次,否则一次夜间故障要拖到第三天才会被通知。这个阈值本质上是「你愿意等多久才发现」,先定下可接受的延迟,再用「延迟 × 每天次数」反推次数。
同时要区分两类失败:单页 404 可能只是那一页被删了,地图整体不可达才是站级故障。前者记进异常项,后者才进入连续失败计数。第 3 节表里第 2 行的「地图条数跌幅」是另一类信号——它不需要连续 3 次,掉超过阈值就值得看一眼,因为整批页面消失通常不是抖动。
这一节解决「新文章要等很久才被收录」的问题,分三段说清为什么、怎么做、有什么好处。
为什么做:搜索引擎通常靠定时来爬,发现新内容要等下一轮。主动推送是相反的思路——你按约定格式发一个请求,告诉它「这些地址刚更新了」,它就不必等。IndexNow 是这类约定中的一种,Bing、Yandex、Naver 等搜索引擎共用这个入口;Google 不消费它,百度也有自己的推送接口——用它不代表所有搜索引擎都能被主动通知。
怎么做:在站点根目录放一个以密钥命名的文本文件,内容就是密钥本身(用于证明你拥有这个站);发布完成后,把最新的一批网址 POST 到推送入口。示例代码如下,它取最新 50 条、带上站点与凭据信息,成功时打印状态码。
const newestUrls = [
'https://example.com/blog/a/',
'https://example.com/blog/b/',
];
const key = process.env.INDEXNOW_KEY; // 32 位十六进制,与根目录的 <key>.txt 同名
const host = 'example.com';
const res = await fetch('https://api.indexnow.org/indexnow', {
method: 'POST',
headers: { 'content-type': 'application/json; charset=utf-8' },
body: JSON.stringify({
host,
key,
keyLocation: `https://${host}/${key}.txt`,
urlList: newestUrls.slice(0, 50),
}),
});
console.log('RESULT', res.status);
if (res.status !== 200 && res.status !== 202) process.exit(1);
200 表示请求已接受,202 表示已接受但还在处理,两者都算成功;其他状态码按失败处理。协议本身允许一次提交上万条;这里只取最新 50 条,是因为一次发布通常只改少量页面,把整站几千条推过去既没意义也容易被限流。超过 50 条时要分批,而不是静默截断。
有什么好处:发布链路末尾多一个请求,新文章不用等下一轮爬取;失败也不会阻断发布——推送是「尽量快」,不是「必须成功」。这里同样有代理差异:Node 直连时可能连不上,用带系统代理的命令行工具请求同一份数据则返回 202。接入时先用两种方式各试一次,确认你的运行环境走哪条路。
巡检只能查它知道的地址。这一节解决「全绿但其实有坏页」的误判:下面三种情况都能在巡检全绿时存在,触发条件各不相同。
| 问题 | 什么场景会遇到 | 为什么巡检查不到 | 怎么补 |
|---|---|---|---|
| 旧页面残留 | 文章改标题后网址变了,旧目录没删 | 巡检只看地图里的网址,旧网址不在其中 | 发布时对比新旧清单,删除不在新清单里的目录 |
| 缓存范围不对 | 只刷新了首页,详情页仍是旧副本 | 巡检查的是内容标记,新旧版本都有标记 | 整域刷新,或按改动清单逐页刷新 |
| 站内死链 | 相关文章的链接写的是旧网址 | 巡检抽查正文标记,不逐条验证链接 | 发布前把所有站内链接抓一遍,非 200 就失败 |
第一行是发布链路的缺口:生成新页面时要把「上一版有、这一版没有」的目录删掉,删除接口的路径前导斜杠要和列表返回的格式一致,否则会删空或删错。第二行是刷新的范围问题:内容分发网络按地址缓存,只刷一个地址,其他地址的旧副本还在。第三行是链接的完整性问题:改标题会改网址,站内引用不会自动跟着改,发布前必须验证。
前面所有检查都依赖「有人执行」。这一节解决自动化:把脚本挂到系统的定时任务上,每天固定时间跑,结果自动追加到日志。
Linux 或 macOS 用 crontab -e 加一行;Windows 用计划任务,一条命令创建。下面两段分别是两种系统的写法,路径和触发时间按你的环境改。
# Linux / macOS:每天 10:00 与 15:00 各跑一次
0 10 * * * cd /path/to/site && node watch.mjs --source cron >> watch.log 2>&1
0 15 * * * cd /path/to/site && node watch.mjs --source cron >> watch.log 2>&1
# Windows:每天 10:00 跑一次(一条命令,^ 是 cmd 的续行符,PowerShell 里别用)
schtasks /create /tn "site-watch" /sc daily /st 10:00 /tr "node D:\site\watch.mjs --source cron"
schtasks /run /tn "site-watch" # 立刻跑一次验证
--source cron 是给日志的来源列用的,和发布后自检、人工执行区分开。如果发布流程本身能调用脚本,就不必等定时任务——发布完成后立刻跑一次「只查今天更新的页面」,能让问题在发布当场暴露。
把第 2 节的 15 行脚本存下来,先手动跑一次,记下三个数。然后只加一项:地图非 ASCII 必须为 0。跑通之后再按第 3 节的表逐类补,不要一次写完七类。
这些内容来自一套连续多天的线上巡检实践:最初只有发布前的人工检查,后来因为「发布脚本说成功、线上却拿不到正文」补了发布后当场自检,再改成每天定时从公网检查、结果写进按月日志。前后处理了连续请求被限流、空响应误判、索引推送失败、旧页面残留等十来处问题。文中的阈值与间隔不是拍脑袋定的,而是上线后按真实误报和耗时调出来的;示例日志来自实际运行记录。