多语言展示
当前在线:832今日阅读:117今日分享:28

url无效链接页面处理--SEO

很多网站,会产生大量无效URL,之所以称为无效只是从SEO角度看的,这些URL并不能产生SEO作用,反倒有负面作用,所以这些URL不收录为好;大量过滤条件页面内容重复或极为类似(大量复制内容将使网站整体质量下降)大量过滤条件页面没有对应产品,页面无内容(如选择“100元以下42寸LED电视”之类的)绝大部分过滤条件页面没有排名能力(排名能力比分类页面低得多)却浪费一定权重这些过滤条件页面也不是产品页面收录的必要通道(产品页面应该有其它内链帮助爬行和收录)爬行大量过滤条件页面极大浪费蜘蛛爬行时间,造成有用页面收录机会下降(过滤条件页面组合起来是巨量的)
工具/原料
1

网站后台,程序管理

2

电脑

方法/步骤
1

无效url动态化;利:程序批量处理,处理简单;动态URL过多的url参数,阻止爬行和收录;弊:搜索引擎现在都能爬行、收录动态URL,而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录,但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录,所以不能当作一个可靠的方法。而且这些URL接收内链,又没有什么排名能力,还是会浪费一定权重。

2

robots禁止利:robots文件禁止爬行这些URL,操作简单;弊:URL接收了内链也就接收了权重,robots禁止的url权重不能传递出去,页面成为权重只进不出的黑洞。

3

noindex+follow标签利:解决复制内容问题,解决了权重黑洞问题(权重是可以随着导出链接传到其它页面的);弊:浪费蜘蛛爬行时间,被蜘蛛爬行抓取的(然后才能看到页面html里的noindex+follow标签),对某些网站来说,过滤页面数量巨大,爬行了这些页面,蜘蛛就没足够时间爬有用页面了。

4

隐藏页面(cloaking)利:区分用户与搜索引擎,用程序检测访问者,是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接,是用户的话才返回正常的有过滤条件的页面。弊:用cloaking隐藏不想被爬行的URL是为搜索引擎做的,不是为用户做的。虽然这种情况下的cloaking目的是美好的,没有恶意的,但风险是存在的,可能被当作作弊。

6

iframe+robots利:将过滤部分代码放进iframe,等于调用其它文件内容,对搜索引擎来说,这部分内容不属于当前页面,也即隐藏了内容。但不属于当前页面不等于不存在,搜索引擎是可以发现iframe中的内容和链接的,还是可能爬行这些URL,所以加robots禁止爬行;权重流失是比较少的;弊:除了排版、浏览器兼容性之类的头疼问题,iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一般不认为iframe是作弊,很多广告就是放在iframe中,但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断作弊的总原则上,很难说这不是专门为搜索引擎做的。

注意事项
1

绝大部分过滤条件页面没有排名能力

2

页面信息过大需要程序配合处理

推荐信息