SEO培训新手入门教程：什么是robots协议
Robot是什么？
Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为:探测器。有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
谷歌:googlebot 百度:baiduspider MSN:MSNbot Yahoo:Slurp (yahoo家的这位比较特殊，没有带“姓”，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音)
关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几个名字。
