多语言展示
当前在线:1523今日阅读:91今日分享:37

怎么在zblog中加入robots

我们都知道txt后缀的文件是纯文本文档,robots是机器人的意思,所以顾名思义,robots.txt文件也就是给搜索引擎蜘蛛这个机器人看 的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文 档,它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示,哪些网页是被禁止收录的。 搜索引擎蜘蛛 spider(Googlebot/Baiduspider)来访问你的网站页面的时候,首先会查看你的网站根目录下是否有robots.txt文件,如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。那么我们怎么在zblog中加入robots呢?
步骤/方法
1

首先我们需要创建一个Robots.txt文件,注意其命名也该是Robots.txt。

2

按照搜索引擎的语法,进行一段代码的写入,之后保存即可。 #User-agent: *  #Directories Disallow: /FUNCTION/ Disallow: /CACHE/ Disallow: /XML-RPC/ Disallow: /SCRIPT/ Disallow: /ADMIN/ Disallow: /CSS/ Disallow:/PLUGIN/ Disallow: /LANGUAGE/ Disallow:/ARTICLE-IMAGE/ Disallow: /DATA/ Disallow: /THEMES/ Disallow: /INCLUDE/ #Files Disallow: /wap.asp Disallow: /cmd.asp Disallow: /c_option.asp Disallow: /c_custom.asp Disallow:/login.asp Disallow:/search.asp Disallow:/rss.xml  Sitemap: http://www.xxxxx.com/sitemap.xml (网站地图) 粗体部分换成自己的网站地图即可

3

上面的语法我们应该要知道是什么意思,其Disallow:/xxx/是禁止搜索引擎抓取此目录下的内容,下面的Files 是禁止抓取根目录网页,之后保存后上传至空间的根目录就可以。

注意事项

不要禁止抓取错目录和网页,要不造成自己的网站不收录。

推荐信息