什么是Robot

乐清SEO_网站运营_ 乐清SEO2021-01-19 转载自:

什么是Robot?

Robot英文直译是机器人,在搜索引擎优化SEO中,我们经常翻译为:探测器,有时候也称作

crawler(爬行器),spider(蜘蛛),都是探测器之一,只是叫法不同。

SEO中的探测器(Robot)是什么?

搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然,不是一部机器)。

不同的搜索引擎给他们自己的探测器(Robot)起了不同的名字。

谷歌:googlebot

百度:baiduspider

MSN:MSNbot

Yahoo:Slurp  (yahoo家的这位比较特殊,没有带“姓”,并且用的是一个拟声词。Slurp,中文理解是机器人吃东西时发出的啧啧的声音)

关于Robot,需要关心的主要是Robots.txt,以及网站日志中包含的以上几个名字。