泉州SEO - 大众搜索引擎优化
SEO探索以及搜索引擎优化经验分享,助力中国企业腾飞,泉州SEO为你添才加盐!
15
2011-8
Robots META标签
1、什麼是Robots META标签
Robots.txt文件主要是限制整个站点或者目录的搜寻引擎访问情况，而Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的中，专门用来告诉搜寻引擎ROBOTS如何抓取该页的内容。
2、Robots META标签的写法：
Robots META标签中没有大小写之分，name=」Robots」表示所有的搜寻引擎，可以针对某个具体搜寻引擎写為name=」BaiduSpider」。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以「,」分隔。
INDEX 指令告诉搜寻机器人抓取该页面；FOLLOW 指令表示机器人可以沿著该页面上的连结继续抓取下去；Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对於它，缺省值是INDEX,NOFOLLOW。
要注意的是：上述的robots.txt和Robots META标签限制搜寻引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜寻引擎机器人的配合才行，并不是每个ROBOTS都遵守的。
目前看来，绝大多数的搜寻引擎机器人都遵守robots.txt的规则，而对於Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜寻引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令「archive」，可以限制GOOGLE是否保留网页快照。
