robots文件是怎么编写的？

一个网站的网站地图和robots文件是搜索引擎首先去爬行的，但他们两者的作用也是各不相同，网站地图的作用是让整个网站内容清晰的展现给搜索引擎，而robots文件的作用就好比是一个导游一样指明了一个网站的哪些地方可以去爬行，哪些地方不可以爬行。下面就为大家分享一些关于robots文件编写规则，不然你知道了他的作用，不知道怎么编写，那岂不是很憋屈。

Robots.txt编写的开放性问题

很多站长，尤其是新手站长对于Robots.txt的理解过于片面，他们认为既然Robots.txt可以规定蜘蛛的访问途径，那我们何必不开放，把所有文件都设置成可访问，这样一来网站的收录量不久立即上升了，其实问题远远没有我们想象的简单，大家都知道网站中一些固定的文件是不必传送给搜索引擎访问的，如果我们把网站“全方位开放”，后果就是加大网站服务器负载，降低访问速度，减缓蜘蛛的爬行率，对于网站收录没有一点用处，所以对于固定不需要访问的文件，我们直接Disallow掉就可以了。

一般情况下，网站不需要访问的文件有后台管理文件、程序脚本、附件、数据库文件、等等。

Robots.txt编写的重复性问题

我们每天都在写着原创内容，然后更新到自己的网站中，大家想过没有我们这样做的目的是什么?当然是为了讨搜索引擎的好，大家都知道搜索引擎很看重原创内容，对于原创内容的收录很快，相反，如果你的网站中充斥着大量的复制内容，那么我只能遗憾的告诉你，网站的前途一片渺茫。不过这也从另一个方面告诉我们要积极的利用robots文件禁止重复页面的代码，降低页面的重复度，但是在编写robots文件时一定要记得

在User-agent后加入某个搜索引擎，例如User-agent:BaiduSpider Disallow:/，如果没有加入，编写成User-agent: * Disallow: /形式，则是对网站所有内容的“屏蔽躲始”。

在 Robots.txt编写规久盯独则中，有一个取最强参数法则，而且如果网站以及页面标签上同时出现robots.txt文件和meta标签，那么搜索引擎川爷就会服从两个规则中较为严格的一个，即禁止搜索引擎对于某个页面的索引，当然如果robots.txt文件和meta标签不是出现一个文件中，那么搜索引擎就会遵循就近原则，就会索引meta标签前的所有文件。