Google宣布已改进“抓取统计信息”报告，以更好地了解抓取工具Googlebot，该工具可在网站上收集各种统计信息。
Google运作着一个搜寻器Googlebot，该机器人以机械方式获取网络文档或图像并将其转换成数据库，以便识别世界各地的众多网站。在查看网页并跟随页面链接之后，就像用户搜索网页内容一样，Googlebot会在Google数据库中累积有关网页的数据。
如果您运行自己的网站，则可以在到目前为止的抓取统计信息报告中看到Googlebot获得的统计信息。 2020年11月24日宣布的内容是为了改善抓取统计信息。将来，请求的总数将按响应代码，爬网的文件类型，爬网的目的，Googlebot的类型以及有关主机状态的详细信息或来自站点的请求进行分组。不仅可以在爬网统计信息报告中查看生成的URL，而且还支持在一处具有多个子域的域注册。
在这些改进中，超时图表显示请求总数，平均下载大小和平均响应时间的变化。分组爬网数据是一项新功能，可让您查看统计数据，例如所获取URL的类型或格式。有关主机状态问题的高级详细信息，您可以检查90天的错误日志。对于将多个主机分组的域属性，您还可以检查每个主机的状态。相关信息可以在这里找到。