很多站长在上线网站前都不知道写好robots文件，好点的网站空间或成熟的网站程序会自动给你放个robots文件，但毕竟是默认的文件，里面写的内容并不适用于所有网站。为什么要写好robots文件呢，主要有四点：一、Robots.txt节省流量写好robots文件，把需要禁止收录的内容写好，一方面来说节省你自己网站的流量，另一方面也减少蜘蛛的工作量。如：禁止image文件夹，图片对于搜索引擎索引来说没有什么实际意义还浪费了大量的流量。假如是一个图片网站，那流量更是惊人。再如禁止js，css等文件夹，里面的内容都是页面特效有关的，不是网站的内容部分，对搜索引擎也没啥么好处，禁止又何妨。二、保护网站安全我们还要把管理目录（admin），数据库，备份目录等设置成disallow，禁止蜘蛛收录，不然被蜘蛛收录了，被别人在搜索引擎上搜到你的安全信息可就危险了。这个也涉及到搜索引擎的robots协议的问题。三、禁止搜索引擎收录页面 一个网站总有一些不希望被人看到的页面，这时我们可以通过设置Robots.txt来防止蜘蛛对其索引。如前段日子笔者这边的网速慢，更新了一篇文章，结果连续发布了3次，而且全部被搜索引擎收录，怎样办呢？重复的文章对网站优化不友好，这时就可以通过设置Robots.txt来将重复的页面屏蔽掉。四、Robots.txt引导蜘蛛爬地图 蜘蛛访问网站首先查看的是Robots.txt文件，那么我们能够将网站地图设置进去，更有利于蜘蛛索引最新的信息，而少走许多冤枉路。如我们可以在Robots.txt文件的最下面加上一句：Sitemap: ht tp://w—w-w.wusiwei.com/ sitemap.xml 。（ps：w—w-w为www）写好robots文件，简单的说，从安全角度就是保护网站安全，从seo角度就是有利于网站优化，从流量来说就是节省流量。基本写法及注意事项User-agent:*是必需要写的，*表示针对一切搜索引擎。Disallow:（文件目录）表示禁止搜索引擎收录的目录allow：（文件目录）表示允许搜索引擎收录的目录特别说明，'disallow：'表示所有目录允许搜索引擎收录。更多robots文件说明可到百度站长工具查看
上一篇：如何使用谷歌地球飞行模拟器