标签归档:User agent

Google 抓取工具(用户代理)概览

“抓取工具”是一个统称,泛指通过跟踪从一个网页指向另一个网页的链接自动发现并扫描网站的任何程序(如漫游器或“蜘蛛”程序)。Google 的主要抓取工具叫作 Googlebot。下表列出了在引荐来源网址日志中经常会看到的 Google 抓取工具的相关信息,以及在 robots.tx[......]

继续阅读