wordpress网站的robots.txt文件写法详解及示例

robots.txt是一个放置在网站根目录的协议，它是搜索引擎进入网站的必经关卡，robots文件能告知进入网站的搜索引擎spider，这个网站中哪些网站是允许爬取的，哪些是禁止爬取的。robots的语法很丰富，最常用的两个命令有两个：User-Agent和Disallow。User-Agent：适用下列规则的漫游器，一般常写为：User-agent：*星号（*）表示面对所有搜索引擎爬虫spider程序，比如Google的“Googlebot”，百度的“Baiduspider”等。Disallow：要拦截的网页，即不允许搜索引擎访问和索引的目录。robots文件中至少要有一个Disallow，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。Disallow的用法非常多，具体如下：1、屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。Disallow：/wp-admin/Disallow：/wp-content/Disallow：/wp-includes/2、每个默认的文章页面代码里，都有一段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。Disallow：/*/trackback3、头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而一般的站点都有RSS输出和网站地图，故屏蔽搜索引擎捉取这些链接，节约蜘蛛资源。Disallow：/feedDisallow：/*/feedDisallow：/comments/feed4、屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。Disallow：/?s=*Disallow：/*/?s=*5、屏蔽留言链接插件留下的变形留言链接。（没安装相关插件当然不用这条指令）Disallow：/?r=*6、屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。Disallow：/*.jpg$Disallow：/*.jpeg$Disallow：/*.gif$Disallow：/*.png$Disallow：/*.bmp$7、屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但这样依然造成蜘蛛资源的浪费。Disallow：/?p=*8、屏蔽捉取留言信息链接。一般不会收录到这样的链接，但为了节约蜘蛛资源，也屏蔽之。Disallow：/*/comment-page-*Disallow：/*?replytocom*9、屏蔽其他的一些形形色色的链接，避免造成重复内容和隐私问题。Disallow：/a/date/Disallow：/a/author/Disallow：/a/category/Disallow：/?p=*&preview=trueDisallow：/?page_id=*&preview=trueDisallow：/wp-login.phpSitemap：如果说sitemap是给搜索引擎爬虫指路的地图，那么robots则是看守网站的一道门。sitemap在robots文件的写法如下：Sitemap:http://***.com/sitemap.txt切记S是大写的！当然以上介绍的Disallow和Sitemap并非全部必须，可以按您网站的具体情况写入，同时可以用google管理工具测试robots.txt是否合乎规范。