我们都知道txt后缀的文件是纯文本文档,robots是机器人的意思,所以顾名思义,robots.txt文件也就是给搜索引擎蜘蛛这个机器人看 的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文 档,它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示,哪些网页是被禁止收录的。 搜索引擎蜘蛛 spider(Googlebot/Baiduspider)来访问你的网站页面的时候,首先会查看你的网站根目录下是否有robots.txt文件,如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。那么我们怎么在zblog中加入robots呢?
步骤/方法
1
首先我们需要创建一个Robots.txt文件,注意其命名也该是Robots.txt。
2
按照搜索引擎的语法,进行一段代码的写入,之后保存即可。 #User-agent: * #Directories Disallow: /FUNCTION/ Disallow: /CACHE/ Disallow: /XML-RPC/ Disallow: /SCRIPT/ Disallow: /ADMIN/ Disallow: /CSS/ Disallow:/PLUGIN/ Disallow: /LANGUAGE/ Disallow:/ARTICLE-IMAGE/ Disallow: /DATA/ Disallow: /THEMES/ Disallow: /INCLUDE/ #Files Disallow: /wap.asp Disallow: /cmd.asp Disallow: /c_option.asp Disallow: /c_custom.asp Disallow:/login.asp Disallow:/search.asp Disallow:/rss.xml Sitemap: http://www.xxxxx.com/sitemap.xml (网站地图) 粗体部分换成自己的网站地图即可
3
上面的语法我们应该要知道是什么意思,其Disallow:/xxx/是禁止搜索引擎抓取此目录下的内容,下面的Files 是禁止抓取根目录网页,之后保存后上传至空间的根目录就可以。
注意事项
不要禁止抓取错目录和网页,要不造成自己的网站不收录。
上一篇:黄蜂号战争领主怎么用
下一篇:阵线对决部队机器人信息在哪里看