蜘蛛每天在爬取网站的时候最喜欢的就是看到更新的页面,但是有些网站的页面存在很多的404页面,这就会导致蜘蛛陷入死循环中,让网站不受搜索引擎欢迎,排名下降
工具/原料
1
网站FTP登录工具
2
网站日志分析工具
3
搜索引擎站长工具
方法/步骤
1
登录网站FTP，查看网站日志,选取网站前一天蜘蛛爬行记录下载下来便于分析
2
将下载下来的网站日志单独放在一个文件夹内,修改名称，便于分析蜘蛛爬行轨迹和网站404链接
3
打开网站日志分析工具，选择数据分析栏目选择网站日志分析,选择好刚刚重新建立的文件夹,点击分析就好.
5
打开extel文件，将连接复制下来，粘贴在新建文本里面保存，然后将文本名改为silian.xml就行了，然后将silian.xml文件传上FTP网站根目录下面
6
打开搜索引擎站长工具，点击死链提交，按照要求输入文件，选择更新时间，然后提交刷新就行，搜索引擎站长工具会自动删除
注意事项
1
注意导出404文件时，输入的域名后面不要带斜杠
2
上传死链后要观察搜索引擎是否在删除了