网站不收录改版或迁移时应核对什么-先查可抓取与可索引
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b55fe578bc6f.html
📄
网站不收录改版或迁移时应核对什么-先查可抓取与可索引
改版或迁移后出现“网站不收录”，最先要核对的不是内容质量，而是新地址是否还能被抓取、被索引，以及旧地址是否把信号正确传给了新地址。假设一个例子：你把原来的 example.com/product/1 迁移到 example.com/p/1，页面能打开，但搜索结果里迟迟不出现新地址。此时应优先检查三件事：新地址是否返回正常状态码、是否被 robots.txt 或页面 meta 限制、旧地址是否用 301 指向新地址。这三项没确认前，不要急着改标题或堆内容。
先核对抓取与索引限制
抓取限制和索引限制是两回事。robots.txt 的 Disallow 只阻止抓取，不等于把已收录页面移除；如果页面已被收录，仅靠 robots.txt 通常不能可靠地让它从索引消失。反过来，页面被允许抓取，也不代表一定会被索引。
- 检查新 URL 是否返回 200，而不是 404、410、302 或 5xx。
- 检查 robots.txt 是否误屏蔽了新目录，尤其是迁移后路径变化时。
- 检查页面
<meta name="robots">是否带有noindex，或响应头是否有X-Robots-Tag: noindex。 - 检查 canonical 是否仍指向旧地址，导致新页面被当成重复页。
判断结果：如果新 URL 被 robots.txt 屏蔽，先解除屏蔽；如果返回 noindex，先移除该指令；如果 canonical 指向旧地址，改成新地址自指。只有这些基础项通过后，再谈提交站点地图或等待重新抓取。站点地图能帮助发现 URL，但不保证收录。
再核对旧地址到新地址的跳转
迁移时最常见的错误，是旧地址直接 404，或者全部跳到首页。假设旧文章 /old-a 对应新文章 /new-a，正确做法是让 /old-a 用 301 跳到 /new-a，而不是跳到首页。跳到首页会让搜索引擎难以判断新旧页面的对应关系，也可能让用户找不到原内容。
- 列出迁移前有流量的旧 URL，至少覆盖栏目页、文章页、产品页。
- 为每个旧 URL 指定最相关的新 URL，做一对一 301。
- 不要用 302 代替 301，除非只是临时调整。
- 不要保留旧页面可访问又同时输出新页面，避免重复内容。
- 跳转链不要超过一跳，避免 A 跳 B、B 再跳 C。
判断结果：用抓包或响应头检查工具看旧 URL 是否返回 301，且 Location 指向正确的新 URL。若旧 URL 返回 200 且内容还在，说明迁移没有真正完成；若返回 404，则旧地址积累的信号无法传递。
核对站点结构与内部链接
新页面如果没有任何内部链接指向，被发现的速度会变慢。迁移后应检查导航、面包屑、列表页、相关推荐和站点地图是否都指向新 URL。旧 URL 如果还出现在站内链接中，应尽快替换。
- 首页和栏目页是否链接到新页面。
- 站点地图是否只包含新 URL，且返回 200。
- 站内搜索、分页、标签页是否还输出旧地址。
- 新 URL 是否可以被移动端和桌面端正常访问。
这里要注意，HTTPS 只表示传输加密，不保证站点没有漏洞，也不直接保证排名。若迁移同时换了域名和协议，应分别核对证书、跳转和 canonical，不要把所有问题都归因于 HTTPS。
时间和人手有限时先做什么
优先顺序可以按影响面排：先处理返回 404 或 5xx 的新 URL，再处理 robots.txt 和 noindex 误屏蔽，然后修正 301 映射，最后补内部链接和站点地图。原因是前两类会让页面完全无法进入索引流程，后两类主要影响发现效率和信号传递。
假设你只有半天时间，先抽 20 个旧 URL 做样本：每个检查旧地址状态码、新地址状态码、robots.txt、meta robots、canonical。若样本中超过一半存在 404 或 noindex，就先把批量修复做完，不要逐个改标题。若样本都正常，再去看站点地图和内部链接。
下一步：按上面的检查项做一张迁移核对表，每个旧 URL 一行，记录旧地址、新地址、状态码、跳转目标、canonical 和是否被 robots.txt 屏蔽。先修完阻断抓取或索引的项，再观察新地址是否开始出现在搜索结果中。
