当大家更换了服务器的之后, 会发现网站的收录数量出现了下降的情况, 甚至还有可能暂时性的彻底消失不见, 这种现象就是在站点搬迁的过程之中最为常见的一种技术性故障问题, 不过只要各位能够按照正确的操作步骤来执行操作, 那么一般情况下都是在经过一到四个星期的时间过去之后, 网站的收录量就可以重新恢复到和刚刚完成搬家之前一模一样的水平状态, 核心操作路径主要就是分为以下几个方面内容: 第一步要先全面排查网络连通性是否完好无误, 第二步需要再次确认dns解析指向的是否完全正确, 第三步要及时主动向各大搜索引擎提交最新的站点地图文件, 第四步还需要使用主动通知的手段去告知搜索引擎服务器希望它们重新来进行全站抓取, 最后一步就是全程严密监控索引状态变化直至最终恢复正常。
收录异常的常见原因
在更换服务器之后, 收录数据出现了大幅度的减少, 这一情况绝大多数都是由以下几个原因所导致的。
DNS解析未生效或指向错误: 新服务器的IP地址已经准备好了, 但是域名的DNS记录还没有被更新, 或者存在着缓存延迟的问题, 这就导致了搜索引擎的爬虫程序没有办法访问到你的网站。
新服务器未正确配置: 防火墙拦截了爬虫的使用用户代理, 缺少必要的响应头, 比如X-Robots-Tag被错误地设置为noindex, HTTPS证书没有部署到位, 因此导致了混合内容报错。
站点结构或URL变更: 在进行迁移的过程之中, 路径的规则发生了变化, 从而导致了大量的404错误页面或者是冗长的重定向链条的出现, 致使搜索引擎方面不能对新的地址进行正确的抓取和收录。
新IP段此前被大量低质站点所使用, 因此IP信誉尚未建立。这会导致短期内搜索引擎会对其进行降权处理。同时, 搜索引擎还会限制其抓取频率。
恢复收录的操作步骤
第1步:验证站点可达性
先在本地去访问那个域名, 然后再到异地也去访问一下域名, 要确认HTTP协议和HTTPS协议都能够返回200这样的好好的状态码。之后使用dig domain.com或者nslookup这个工具来检查一下DNS记录是不是已经解析到了新服务器的IP地址上了。
如果发现DNS还没有生效, 那么就要等待TTL过期, 一般来说需要等个24到48小时, 或者是去联系DNS服务商让他帮忙强制刷新一下。
第2步:检查爬虫访问日志
在新服务器上查看访问日志, 以此确认搜索引擎蜘蛛, 比如百度Baiduspider以及Googlebot, 是否已经成功完成了抓取。
如果日志里面没有蜘蛛的记录, 或者是返回了403与404这样的状态码, 那就需要去检查robots.txt文件、防火墙规则, 还有.htaccess配置以及Nginx配置这些内容。最终要确保爬虫程序没有遭到拦截。
第3步:提交站点地图
生成一个最新版的, 而且是能够包含全部那些可以被搜索引擎抓取的网址在内的这种XML格式的网站地图文件, 并且还要把这个文件提交到各种主流的搜索引擎去。
通过百度搜索资源平台这个网址ziyuan.baidu.com来提交网站地图, 并且去申请普通收录。
Goole公司那边建议的操作是, 通过Search Console这个工具来提交sitemap.xml文件, 然后顺便请求一下所谓的网站加速。
Bing:通过Bing Webmaster Tools提交。
第4步:主动触发重新抓取
用户需要在搜索引擎的后台管理系统里面, 去对每一个关键页面都单独地进行提交。具体的操作步骤是先做一个URL检查, 然后点击请求索引这个功能项。
如果用户使用的是百度, 那么他可以再额外地使用快速收录这个接口, 这个操作需要用户拥有足够的配额才行, 这样做的目的是为了能够加速核心页面被重新抓取的速度。与此同时, 用户还需要确保旧链接到新版本链接的这个正确的301重定向已经配置好了, 这样做就是为了避免网站上出现死链接的情况。
第5步:持续监控索引量
每天都去查一下各个搜索引擎的索引量有没有发生变化的状况,其中百度可以用代码 site:域名 来进行查看域名更换服务器后收录恢复, 而在 Google 那边则需要去 Search Console 的“网页索引”报告里面看。
在情况正常的时候, 一般是需要一到两个星期的时间, 索引量才会开始往回升的, 等到四周左右的时间, 就差不多恢复到迁移之前的水平了。要是超过了四周的时间, 仍然没有恢复到原来的迹象, 那么就需要去检查一下是不是存在被惩罚的现象, 或者是内容出现大面积缺失的问题。
关键注意事项
在迁移工作开始之前, 你必须先把整个站点的数据全部都备份好。同时呢, 你要提前去新的服务器上把环境部署好然后进行验证, 确认一切都没问题的话, 再去改变DNS解析。千万不要那个先把DNS切过去然后再去搞配置这样会导致网站很长一段时间都无法正常访问。
要把那个URL的结构给保持住, 要是非得改的话呢, 就需要先把那个完整的那个301重定向映射的东西给提前配置好才行。
新服务器上线以后, 在头两个星期之内, 不要去频繁地改动网址结构, 也不要在这一段时间里大批量地把网页给删掉。
你要去确保, 在robots.txt文件里面, 没有因为没有小心的错误操作, 就去拦截那些爬虫来访问网站, 与此同时, 你还要去检查网页里的meta robots标签,确认它没有被设置成noindex这个状态。
如果域名之前已经完成过备案流程域名更换服务器后收录恢复, 那么请一定确认一下新使用的服务器所在的机房, 是不是要和之前那个做备案的接入商保持完全一致。这么做是为了能够避免因接入信息发生变动, 从而可能会导致出现国内访问受限这种问题。
按照上面提到的流程来一步一步地做排查, 并且进行相应的操作, 这样的话, 就可以用系统性的办法来解决在更换服务器之后域名收录需要恢复的问题, 从而就把因为站点受影响而产生的情况控制在尽可能的最短的时间周期之内。

