为了批量验证网站内容是否已经被诸如Google, Bing以及Yahoo之类的搜索引擎所收录, 这是进行搜索引擎优化相关运营工作与实施网站监控时经常出现的一项高频任务。
下面所提到的五种方法, 是按照效率由高到低的顺序进行排列的, 大家可以根据自身需要处理的数据规模大小以及个人的实际操作性习惯来做出选择。
搜索引擎 site: 指令批量查询
大家可以在浏览器的地址栏里面输入 site:example.com 这样的代码, 不过这里需要把 example.com 替换成自己想要的目标域名, 这样做的话就可以快速地查看到这个域名下面一共有多少个页面被收录进来了。
这个方法特别适合用来做单次的小批量验证工作,也就是要查的域名数量在十个以内的情况下使用。
需要注意的是批量验证网站被搜索引擎索引, Google 会对那些频繁进行查询操作的同一个 IP 地址触发限流机制, 所以建议大家每隔三十秒以上再进行一次操作;而 Bing 就没有这样的限制问题了, 所以在需要进行大批量场景的时候可以考虑使用 Bing。
调用搜索引擎索引API
GoogleCustomSearchJSONAPI: 它是通过带有 q=site:domain.com 这种参数的设定, 来进行批量查询操作的。
关于它的免费额度问题, 目前的情况是每天可以发出1000次请求, 如果想要增加这个数量, 是可以去申请提升的。另外, 它返回的内容是结构化的JSON格式数据。正因为如此, 所以非常便于利用脚本来进行解析处理。
BingWebSearchAPI提供了对相同 site:语法的支撑服务, 在免费使用额度方面, 它限制为每个月可以调用 1000 次请求, 并且每分钟最多只能处理 20 个请求。
Yandex Web Master API:适合俄语市场域名验证。
这个操作流程是这样的, 先要把那些等着被验证的网址清单放到一个csv文件里去, 然后呢, 脚本会挨个地去调用接口, 把这些接口的返回值记录下来, 如果返回的是两百就认为是已经被收录了, 如果是四百零四那就是没有被收录, 最后再把统计好的数据导出成一个汇总的报表。
专业SEO工具批量检测
以5118为例, 先输入域名, 然后选择“百度收录查询”, 之后系统就会返回收录总量以及最近更新页面的情况, 最后还支持导出Excel。
浏览器插件快速验证
你可以安装名为SEO Review Tools的这种扩展程序, 这种扩展程序可以用于Chrome或者是Edge浏览器, 然后你把网址粘贴进去, 接着点一下那个一键检测的按钮, 这样你就可以知道这个页面有没有出现在Google或者Bing或者是Baidu的搜索结果索引里面, 这种方式比较适合那种需要你一条一条地去做验证工作, 并且你完全不需要去写代码就能完成的场景, 如果你总共只有十个或更少的域名需要去检查的话, 那么大概只需要花费五分钟以内的时间就可以完成所有的事情了。
自建Python脚本(大批量)
import requests, time, csv
urls = list(csv.reader(open("url_list.csv"))[1:])
results = []
for u in urls:
r = requests.get(f"https://www.google.com/search?q=site:{u}", timeout=10)
indexed = "No results found" not in r.text and "did not match any documents" not in r.text
results.append([u, "是" if indexed else "否"])
time.sleep(5)
csv.writer(open("result.csv","w")).writerows(results)
大家一定要记住, 需要使用代理IP池来避免被封禁的情况发生。对于单个IP来说, 建议每小时的请求次数不要超过20次。
常见疑难与注意事项
收录并不是等于排名这一点大家要搞清楚, 你去搜索框里输入site这样的指令来查询的话, 它仅仅只是说明了那个页面是在搜索引擎的索引库里面的, 但这绝不代表这个页面在有自然排名的存在, 所以必须是要配合着Search Console这个工具来做进一步的验证才行哈。
延迟问题: 新提交的页面, 通常会出现索引方面的延迟状况, 时间跨度大概是3天到14天这个区间, 所以在提交操作做完之后的第7天左右, 再去进行批量的复查会比较合适。
百度特殊规则: 百度对site:这个指令, 它的支持程度是比较有限的。所以, 建议大家可以去“百度搜索资源平台”, 也就是ziyuan.baidu.com这个网站的后台, 直接查看自己的收录状态。另外,也可以选择调用百度搜索的API。
robots.txt拦截是指批量验证网站被搜索引擎索引, 如果网站的robots.txt文件屏蔽了爬虫的话, 搜索引擎就不会收录相关内容, 这时需要先弄明白屏蔽规则具体是怎么样的。
上面的这些办法, 把那些从手动操作到自动处理的状况, 还有从检查一点点URL量到能处理成千上万条URL的情况, 全都照顾到了。要是说日常的去进行监控工作, 那么建议大家用办法二或者办法五来做自动化方面的处理。如果是临时性的去抽查一下的话, 那只要用办法一或者办法四就行了。



