robot.txt它是一个文件，通过这个文件中的文本来告诉搜索引擎，哪个目录，哪个页面不愿意被收录。例如，你网站的后台，一些有密码保护的内容你不希望被搜索引擎收录。你就可以利用robot.txt，来做到不让搜索引擎收录。
代码示例：
#Disallow Directory admin user-agent:* Disallow:/admin/ Disallow:/*.jpg$END
全面解析：
1
第一行的这段代码：“#Disallow Directory admin”（第一个字符“#”，意思就是这一行是注释，可以随意写，主要的作用就是提醒自己，例如我还可以写“#Zhu shi”）。
2
第二行的这段代码：“user-agent:*”（这一行代码是死定的，意思就是要告诉搜索引擎“你要注意了！，下面就是我要告诉你的内容！”。
3
第三行的这段代码：“Disallow:/admin/”（这行代码就是要告诉搜索引擎，我不需要你收录admin这个目录。搜索引擎结果中就不会显示你网站的admin目录里的内容了。例如我还可以不想让搜索引擎收录我网站的bbs目录，那我就可以写成“Disallow:/bbs/”，如果是多个目录，一个目录写一行，下一个目录换一行写，以此类推就可以了。）
4
第四行的这段代码：“Disallow:/*.jpg$”（这行代码就是要告诉搜索引擎，我不需要你收录以.jpg结尾的所有图片文件。例如我还可以不想让搜索引擎收录我网站的.png格式的图片，那我就可以写成“Disallow:/*.png$”如果是多个文件格式，一个文件格式写一行，下一个文件格式换一行写，以此类推就可以了，）END
小结
写完之后你就可以把他保存成名为robot.txt的文件，用FTP上传到你网站的根目录就可以了！（切记，必须是名为robot.txt的文件）。然后我们就可以等待搜索引擎爬虫来爬到你网站的时候，他就会懂得应该收录你网站的哪个页面，不应该收录你网站的哪个页面了！END
上一篇：椰香芒果慕斯蛋糕
下一篇：【烘焙蜜语】酸奶慕斯