机器人:又被称为网页蜘蛛,网络机器人。是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。不同的搜索引擎有不同的英文表现方式,比如百度蜘蛛:Baidu Spider、360蜘蛛:HaoSouSpider、谷歌蜘蛛:Googlebot。目前主流的搜索引擎就是百度、好搜、谷歌,虽然谷歌在中