这篇写给「网站自己打开正常、用搜索引擎却搜不到」的人:问题不在内容质量,而在搜索引擎的自动程序拿到的 HTML 里没有正文。这里的「搜不到」指没有被收录——搜索引擎把页面存进自己的索引库,之后才可能出现在结果里。读完你能带走一份 20 行的诊断脚本、四个根因的判断顺序,以及 6 项可以抄成自动检查的判据。
下面这张表格按角色列出你能带走什么、从哪节开始读。
| 读者 | 带走什么 | 拿它做什么 | 从哪节开始读 |
|---|---|---|---|
| 自己搭了博客、发现搜不到的人 | 四个根因的排查顺序 | 用第 2 节脚本先测自己的站 | 1 → 2 |
| 用单页应用做内容站的开发者 | 构建期把正文写进 HTML 的做法 | 照第 4 节改自己的预渲染脚本 | 3 → 4 |
| 负责上线检查的人 | 6 项可索引性检查清单 | 抄成构建后自动检查 | 7 |
不适合完全没有内容页的工具站。约 13 分钟读完;需要你会命令行、能跑一段 Node.js 脚本;不懂搜索引擎原理也能跟。
一个页面在浏览器里能看到,不代表搜索引擎能看到。这篇按「先确认现象 → 再逐个排除根因 → 最后把检查补上」的顺序,讲清四件事:搜索引擎实际拿到的是什么、网址为什么需要编码、正文为什么取不到、检查为什么全过却没用。
下面这张表格是全文路线。
| 小节 | 讲什么 | 解决什么问题 |
|---|---|---|
| 1 | 检查全过、结果却是 0 条 | 知道问题出在「拿到的 HTML」 |
| 2 | 一段可跑的诊断脚本 | 用数字确认自己的站有没有同样问题 |
| 3 | 四个根因 | 知道该改哪里、按什么顺序改 |
| 4 | 把正文写进 HTML | 让不执行 JavaScript 的抓取程序也能读到正文 |
| 5 | 网址百分号编码 | 让带中文的网址能返回 200 |
| 6 | 正文取错了字段 | 让构建期真的拿到文章内容 |
| 7 | 6 项检查 | 让同样的回归在构建时就被拦住 |
| 8 | 哪些步骤通用 | 非博客站点知道要改哪几步 |
先交代两个词。搜索引擎要展示一个页面,得先做「收录」——把页面下载下来、存进自己的索引库;只有进了索引,它才可能出现在搜索结果里。执行下载和解析的程序叫「爬虫」,它顺着链接一页页抓,通常不执行页面里的 JavaScript(百度尤其如此)。
现在的网站常用「单页应用」结构:服务器只返回一个几乎空的 HTML,浏览器下载 JavaScript 后再把内容画出来。人看到的是完整页面,爬虫拿到的是一个空壳。当时线上详情页的实测结果是:<p> 标签 0 个、<a> 标签 0 个、去掉标签后的可见文字 121 字节——差不多是一句摘要的长度。
结果是:页面在浏览器里正常,搜索里一条都没有。
后面所有判断都依赖「爬虫实际拿到什么」,所以先写一个脚本把原始 HTML 拉下来数一数。环境只需要 Node.js 18 以上(自带 fetch,不用装依赖,用 node -v 确认版本)。示例代码如下,改掉第一行的网址、存成 check.mjs,运行 node check.mjs,会打印状态码、段落数、链接数与可见字节数。
// check.mjs —— 检查一个详情页有没有正文
const pageUrl = 'https://example.com/blog/hello/';
const res = await fetch(pageUrl, {
headers: { 'user-agent': 'Mozilla/5.0 (compatible; SEO-check)' },
});
const html = await res.text();
const noMarkup = html
.replace(/<script[\s\S]*?<\/script>/gi, '')
.replace(/<style[\s\S]*?<\/style>/gi, '')
.replace(/<noscript[\s\S]*?<\/noscript>/gi, '')
.replace(/<!--[\s\S]*?-->/g, '');
const text = noMarkup.replace(/<[^>]+>/g, ' ').replace(/\s+/g, ' ').trim();
console.log({
status: res.status,
paragraphs: (noMarkup.match(/<p[ >]/g) || []).length,
links: (noMarkup.match(/<a\s[^>]*href=/g) || []).length,
visibleBytes: Buffer.byteLength(text, 'utf8'),
});
这段脚本不执行 JavaScript,所以它看到的就是「不跑 JS 的爬虫」看到的东西。少数站点会按 user-agent 拒绝对非浏览器的请求,脚本里带了一个普通浏览器标识;如果仍返回 403,先换成浏览器访问确认站是活的,再判断正文问题。
跑出来的数字怎么读,看下面这张表格。「修复前」是这次真实站点的值;「正常值」一列是按内容形态给的参考,不是行业标准。
| 指标 | 修复前 | 正常值 | 说明 |
|---|---|---|---|
paragraphs |
0 | ≥ 3 | 一篇有结构的文章至少分几段 |
links |
0 | ≥ 3 | 正文里的站内链接是爬虫继续走的入口 |
visibleBytes |
121 | ≥ 500 | 500 字节约等于 160~250 个汉字,低于这个量只能算摘要 |
这三个数任意一个明显偏低,就说明正文没进 HTML。先记下来,改完再跑一次对比。
只修一个地方往往还是搜不到,因为这次是四个问题叠在一起。先交代四个词:预渲染是在构建时把页面渲染好、把结果写进 HTML,而不是等浏览器执行 JavaScript;站点地图(sitemap.xml)是一个列出全站网址的 XML 文件,搜索引擎靠它发现页面;百分号编码是把中文等非 ASCII 字符转成 %E4%B8%AD 这种形式,因为网址规范只允许一部分 ASCII 字符直接出现;字段是一条数据里的某个键,例如一篇文章的数据是 { title, content },content 就是正文字段。
下面这张表格是四个根因、证据和各自导致的后果。
| # | 根因 | 证据 | 后果 |
|---|---|---|---|
| 1 | 预渲染只写了一个标题,正文仍是空壳 | 详情页 <p> 0 个、<article> 0 个,可见文字 121 字节 |
每篇都像空页 |
| 2 | 站点地图里的网址是原样中文,没做百分号编码 | 原始中文网址返回 400;编码后返回 200、正文 6270 字节 | 每条中文网址都爬不到 |
| 3 | 构建时取内容的字段用错了 | 文章正文存在 content 字段,构建却读 detail,283 篇全是空值 |
就算正文想注入也没内容可注 |
| 4 | 检查只查页面头部与路由,不查正文 | 检查全 PASS 与「收录 0」同时存在 | 修好也会被下一次改动打回去 |
表里的 200 和 400 是 HTTP 状态码:200 表示服务器正常返回了内容,400 表示服务器认为请求本身格式不对。6270 字节是那一页修复后的正文大小,把它和 500 字节的参考线比,属于正常长文。
四个根因都要处理:先保证有内容可注,再把内容写进 HTML,再保证网址能访问,最后把检查补上防止回退。下面的小节按「修法」分组,不对应这个先后顺序。
这一节解决根因 1。目标不是「让页面更好看」,而是让不执行 JavaScript 的程序也能在 HTML 里直接读到标题、段落和链接。
改法是在构建阶段做三件事:读文章内容生成一段 HTML;把它塞进根容器;保留浏览器端的正常渲染(浏览器接管后会用同样的内容覆盖,不会出现两份)。结构上的变化如下。
修复前:dist/blog/<文章标识 slug>/index.html
<body>
<div id="root"></div> ← 空壳,内容等浏览器执行 JS 才出现
</body>
修复后:dist/blog/<文章标识 slug>/index.html
<body>
<div id="root">
<h1>文章标题</h1>
<div class="seo-body"> ← 构建期写入,爬虫直接读到
<h2>小节标题</h2>
<p>正文段落……</p>
<a href="/blog/next/">下一篇</a>
</div>
</div>
</body>
具体注入用字符串切片,不改动原有结构。示例代码如下,它接收整页 HTML 与一段正文 HTML,返回替换后的页面;找不到那个空容器会直接抛错,避免静默失败。
function injectBody(html, bodyHtml) {
const marker = '<div id="root"></div>';
const at = html.indexOf(marker);
if (at === -1) throw new Error('页面结构变了:找不到空的根容器');
return html.slice(0, at) + `<div id="root">${bodyHtml}</div>`
+ html.slice(at + marker.length);
}
不用 replace(marker, ...) 的字符串替换,是因为它的替换串里 $&、$1 有特殊含义,正文里出现 $ 会被当成引用;切片没有这个问题。
两个细节要一起处理。文章正文里的 <h1> 要降成 <h2>,保证整页只有一个一级标题;正文为空时要给一段摘要兜底,并在外层加一个属性(例如 data-prerender-body="summary")标明这是兜底,检查时能区分。
改完再跑第 2 节的脚本,这个站点从 <p> 0 个变成 43 个,可见文本超过 500 字节。
这一节解决根因 2。网址里直接出现中文时,不同的服务器和代理处理方式不一致,有的直接判为非法请求。实测同一条中文路径:原样请求返回 400,百分号编码后返回 200。
编码只需要处理路径部分,域名不处理。示例代码如下,它按 / 切段、逐段编码,已经处于 %XX 形态的段只统一大写,避免二次编码。
function encodePath(path) {
return path
.split('/')
.map((seg) => {
if (/%[0-9A-Fa-f]{2}/.test(seg)) {
return seg.replace(/%[0-9A-Fa-f]{2}/g, (m) => m.toUpperCase());
}
return encodeURIComponent(seg);
})
.join('/');
}
encodeURIComponent 会把非 ASCII 字符、空格以及 ?、# 等分隔符转成 %XX,字母数字和少数符号保持原样。几个容易出错的字符是:空格要变成 %20(不是 +)、? 要变成 %3F、# 要变成 %23——它们不编码会被当成查询串或锚点的分隔符。
一个边界:如果某一段里同时有字面量 % 和中文,上面「含 %XX 就跳过」的判断会误判。这种网址最好在生成内容时就避免;确实需要时,改成「只对未编码的字符逐个处理」会更复杂,不值得为少数情况增加一条路径。
这一节解决根因 3。站点里有两类内容:文章和作品。它们在数据表里存正文的字段名不同——文章用 content,作品用 detail。构建脚本原本只读 detail,于是 283 篇文章的正文全是空值。
这个错误之所以能活到线上,是因为检查只看了「条目数对不对」,没看「正文是不是空的」。改法是把两类内容分开取字段,并对每一类各加一条非空检查。下面这张表格是两类内容的字段与修复前的取法。
| 内容类型 | 正文所在字段 | 之前取法 | 结果 |
|---|---|---|---|
| 文章(283 篇) | content |
读 detail |
283/283 为空 |
| 作品(12 个) | detail |
读 detail |
正常 |
「字段」就是一条数据里的某个键,比如一篇文章是 { title, content, slug },content 就是它的正文字段。两类内容字段名不同,是这次最容易漏的地方。
修完之后,如果检查不变,下次同样的回退还会全绿通过。这一节把检查从「看页面头部」扩展到「看正文与网址」,六项都设了明确的通过标准,任一项不满足,构建直接以非零状态退出。下面这张表格列出六项检查与各自的通过标准。
| 检查 | 通过标准 | 拦住什么 |
|---|---|---|
| 详情页正文 | 存在正文标记,<p> ≥ 3,可见文本 ≥ 500 字节(不在例外清单内) |
正文没注入、注入后又被改回空壳 |
| 列表页链接 | HTML 里 ≥ 20 个指向详情页的 <a> |
列表页退化成空壳 |
| 地图字符集 | 零非 ASCII;每条网址在构建产物里能找到对应文件 | 中文网址没编码、条目指向不存在的页 |
| 文章正文非空 | 非空比例 ≥ 80% | 取错字段、批量空正文 |
| 作品正文 | 非空,且条数 ≥ 5 | 作品数据丢失 |
| 首页链接 | ≥ 10 个指向详情页的链接 | 首页改动把入口链接弄丢 |
几个阈值是这么定的:3 段是「一篇有结构的短文」的最低形态;500 字节按中文 UTF-8 每字约 3 字节折算,约 160~250 字;20 条链接是一屏列表能覆盖的最小量;80% 是给历史空正文留的余量;作品只要求 5 条,是因为作品总量本来就少,5 条能覆盖前几页。例外要按文章标识写进清单(这次有 3 篇历史短文段落不足),检查时先查清单,清单内才允许低于 3 段;靠「反正它一直这样」跳过不算。
这套流程里,诊断脚本、正文注入、网址编码、非空检查都是通用的;「文章 / 作品两类字段」是这次站点特有的。下面这张表格按步骤给出迁移时要改什么。
| 步骤 | 通用吗 | 非博客站点要改什么 |
|---|---|---|
| 第 2 节诊断 | 通用 | 把「详情页」换成你的内容页地址 |
| 正文注入 | 通用 | 换根容器的选择器与正文生成函数 |
| 网址编码 | 通用 | 只处理路径段,别编码域名和查询串的业务参数 |
| 非空检查 | 通用 | 按你的内容表改字段名与最小条数 |
| 列表页链接数 | 通用 | 阈值按一屏能显示多少条调整 |
| 地图字符集 | 通用 | 换成你的站点地图生成器,路径段照第 5 节编码 |
| 首页链接数 | 通用 | 阈值按你的首页入口数量调整 |
| 作品 ≥ 5 条 | 博客特有 | 换成你自己的第二类内容,或删掉这一项 |
表里前七项是通用方法,最后一项依赖站点有第二类内容;没有这类内容就删掉。
把第 2 节的脚本跑在你自己的一篇详情页上。如果 paragraphs 是 0,你的站就是「浏览器能看、爬虫看不到」,先做第 4 节的注入,再回来看第 7 节的检查。
这些内容来自一个个人内容站的真实整改:起点是「站点自己打开正常,搜索引擎收录为零」,随后定位四个根因、改完发布、再回到线上复量,前后是一天左右的高强度排查。中间处理了详情页正文、列表页链接、站点地图编码、内容字段四类问题。结论不是推演出来的:改之前先量过空壳页的段落数与可见字节数,改之后用同一套脚本复量,并让自动检查在正文缺失时真的失败一次,确认它能拦住回退。