爱站工具包
百度站长工具
FTP账号和密码
一、能够看出网站页面有哪些搜索引擎的蜘蛛抓取 从网站日志里边能够看出网站被哪些蜘蛛所抓取,每个类型的蜘蛛也都归于自个的格外标头,各大搜索引擎的标头特征如下所示:baidu蜘蛛:baiduspidergoogle蜘蛛:Googlebot360蜘蛛:360SpiderSOSO蜘蛛:Sosospideryahoo蜘蛛:“Yahoo! Slurp China”或许Yahoo!有道蜘蛛:YoudaoBot,YodaoBot搜狗蜘蛛:Sogou News SpiderMSN蜘蛛:msnbot,msnbot-media必应蜘蛛:bingbot提示:网站的日志里边也有可能会呈现一些其它私家开发的抓取器所抓取,由此咱们可能会发现一些古怪的蜘蛛抓取痕迹。另外baidu也有归于自个的匿名蜘蛛,咱们也要留意区别留意。
二、能够统计网站目录蜘蛛抓取的总量 经过抓取总量的剖析能够对比出网站哪个目录更受搜索引擎的重视,通常来说蜘蛛抓取越频频的目录,site网站此目录的排名会相对靠前,咱们也可经过目录的蜘蛛拜访量来恰当调整目录的构造,关于那些抓取压力较大但是不怎么主要的目录也可恰当减缩连接进口,以免阻止给其它主要目录的抓取。
三、网站页面的抓取。 能够从中看出哪个页面蜘蛛是不是抓取了一些没有被录入价值的页面,或许老是重复的抓取了这些页面等,那么同理要先采纳办法予以频闭,要么是运用到nofollow标签,要么是robots文件等,这么就会下降由于搜索引擎抓取到很多相关性低或许质测量差的页面而影响到页面的权重传递这么的不利影响。
四、蜘蛛均匀抓取页面的次数、页面均匀逗留时刻以及抓取的数量。(1)、均匀每次抓取页面数=总抓取量/拜访次数(2)、单页抓取逗留时刻(3)、页面均匀逗留时刻=总逗留时刻/拜访次数 从以上的剖析能够很明晰的看出蜘蛛是不是频频重视自个的网站,并且抓取的页面越多,深度越足也能反映出网站的活跃度高,并且在逗留的时刻上面也能开始看出网站的页面和文章是不是新颖或许自创,这是页面质测量的一个体现。
五、能够一览蜘蛛方面各页面的情况码 情况码是网站日志里边最主要的一个方面了,这是蜘蛛关于网站页面情况最直观的反映,从这些情况码中能够看出更多详细的信息,小赛前面有一篇文章对各种蜘蛛情况码上面给出了十分详细的介绍。
六、了解网站日志蜘蛛的来访时刻 对网站平时日志分析总结中,能够很直观的看出天天详细是哪个时刻段是蜘蛛拜访的顶峰时期,咱们为了投合搜索引擎,也能够相应调整网站的更新时刻,争夺在蜘蛛活跃度最高的时刻段更新文章,这么对自个网站的录入会有十分大的协助,乃至还有可能到达秒收的作用!
总归,分析网站日志是一个十分有意义的技术,格外是网站树立的前期和运营遇到情况的时分,分析日志这个方面就更是尤为主要,当然再碰到信息量格外大的时分,单手动看作用是欠好的,这儿引荐爱站网的的SEO工具,功用十分强壮,基本能极好的满意通常网站的分析需要。