网络上很多DEDECMS的robots.txt的书写方法和教程!那么也有一大部分的人想要一份现成的robots.txt!废话不多说,网友们只要复制下面的代码就可以了。
方法/步骤
1
第一步:新建robots.txt文件( 此处命名必须为robots.txt,小写 )
2
第二步:复制如下代码到robots.txt文件,( 代码/dede/是后台默认的路径,如果有改动的话robots里也记得改哦!)以下文件路径都是不要蜘蛛访问的!如果你有其他隐私文件夹的话 自己在下面添加一行一样的代码写上文件夹名称蜘蛛就抓不到了!
3
User-agent: * Disallow: /data/Disallow: /dede/Disallow: /images/Disallow: /include/Disallow: /plus/Disallow: /special/Disallow: /templets/Disallow: /uploads/Sitemap: http://www.zzsuc.com/sitemap.xml
注意事项
1
路径后面一定要带“/”
2
Sitemap: http://www.zzsuc.com/sitemap.xml 这个网站域名换成你自己的哦!
下一篇:胡萝卜的作用及禁忌