改版或迁移时,与引擎收录有关的核对核心是:旧地址能否把信号传给新地址、新地址是否可抓取可索引、旧地址是否被正确处置。结论上,如果 URL 结构基本不变,优先保留原地址并只改页面内容;如果 URL 必须变化,则用永久重定向把旧地址逐一对到新地址,并保留可抓取路径。不要用 robots.txt 屏蔽旧地址来代替重定向,因为抓取限制不等于索引移除,旧链接可能仍留在结果中。
改版通常分两类。第一类只改模板、栏目布局或页面内容,URL 不变,此时重点是让新页面正常返回、可被抓取,并检查原来能索引的页面是否仍能索引。第二类涉及域名、目录或文件后缀变化,URL 变了,此时必须建立旧到新的映射关系。
判断依据很简单:列出改版前可索引的 URL 清单,与改版后实际可访问的 URL 清单做对比。如果两者大部分一致,按第一类处理;如果大量不一致,按第二类处理。适用条件是你能拿到旧 URL 清单,例如来自站点地图、服务器日志或站长平台的数据导出。
适用前提是信息架构不需要大改,旧地址仍能表达页面主题。具体做法:
noindex,或是否把正文放进了需要交互才加载的区域。验收信号:抓取工具访问旧 URL 返回 200,页面正文与标题在新模板中可见,搜索引擎结果中该地址仍能对应到正确主题。若发现旧 URL 返回 404 或 301 到无关页面,说明方案执行有误。
适用前提是域名更换、目录重组或文件命名规则改变,旧地址无法继续使用。具体做法:
验收信号:访问旧 URL 应直接到达新 URL,状态码为 301;新 URL 返回 200;用抓取工具确认新页面没有被 robots.txt 阻止,也没有 noindex。如果旧 URL 返回 302 或 404,或者新页面被屏蔽,收录传递就会受阻。
robots.txt 是否误屏蔽了新目录或整站。注意,robots.txt 的抓取限制不等于可靠的索引移除,旧页面可能仍出现在结果中。meta robots 和 HTTP 头是否带有 noindex,改版模板容易继承测试环境的屏蔽设置。canonical 是否指向新地址自身,而不是仍指向旧地址或测试域名。这些检查项要分别在不同搜索引擎中核对,因为各引擎对重定向、规范地址和索引指令的支持与处理节奏并不相同。
如果旧 URL 仍有外链和稳定访问,且新结构不需要改变路径,选方案一,改动最小、风险最低。如果 URL 必须变化,选方案二,并接受收录更新需要时间,不承诺固定见效时间。两种方案可以混用:能保留的路径保留,必须变的路径做 301。判断结果以实际抓取和索引状态为准,而不是以提交动作完成为准。
下一步:导出改版前可索引 URL 清单,与改版后 URL 逐一比对,标出保留、重定向和删除三类,再按上面的检查项逐条验证状态码、索引指令和规范地址。