致力于高端网站建设服务的专业公司
网站建设热线:010-51000596
首页 > 网站资讯 > 网站建设 > 网站建设:如何处理网站改版中的404抓取错误

网站建设:如何处理网站改版中的404抓取错误

    沃玛互动北京网站建设认为在网站运营中一项重要的工作就是改版,每次改版肯定是往好的方面进行,因为每个阶段的定位不同,我们要网站所表现的企业形象也不同,而且一个好看大气的网站绝对能够在潜在客户心里提升我们公司的地位。但是多数的改版对于我们网站的SEO都会造成一定的影响,这里就需要我们对网站的情况掌握的非常熟悉之后,然后进行有效地控制,减少改版造成的404页面过多情况。
 
    主要分为以下三个步骤:
 
    第一步:利用日志分析工具找到404错误抓取页面
 
    日志分析工具利用最常用的光年日志分析工具就可以了,首先利用FTP下载好最近几天的网站LOG日志,当然,想更多的分析,那么多下载一段时间的LOG日志也可以,利用日志分析工具新建任务分析各个阶段的百度蜘蛛抓取情况,这里主要考虑百度抓取情况,因为建立这个分析工作的前提是快照停滞,收录为1。
 
    这里建议大家分为三个时间段来分析:
 
    A、分析最近一天的LOG日志,可以是今天的,但是最好是昨天的,因为昨天的会比较全,今天的你即使是晚上来分析也会有一部分时间没有统计到。
 
    B、分析改版之后的LOG日志,因为这涉及到百度蜘蛛对于网站改版的一些判断,例如我们可以分析百度蜘蛛什么时候开始判断网站已经改版,或者什么时候已经放弃对于旧站URL的抓取等等。
 
    C、改版前后抓取量的对比,分析改版对于百度蜘蛛的抓取量影响多大。
 
    至于日志分析工作后面的分析工作都是一键式的,具体的分析思路有了之后,我们对照着进行分析,就会找到很多平时我们没有注意到的问题。
 
    第二步:利用百度站长工具中的死链提交工具进行死链提交
 
    百度站长平台LEE团队说:404状态码代表‘Not Found’,spider更新时会认为该页面已失效,此时呢将在索引库中删除,短期内spider再次发现该url不再会抓取。当然,百度对于404错误页面的指导性操作,还是非常有针对性的。
 
    特别是死链提交工具中提交死链sitemap,这一条大家可以根据自身的情况进行死链提交。
 
    第三步:利用robots.txt和nofollow标签引导蜘蛛抓取
 
    404错误页面一个最大的坏处就是给蜘蛛带来一些错误的抓取,浪费了蜘蛛抓取资源,举个例子,首先我们要达成这样的一个共识:任何一个网站的蜘蛛抓取访问资源都是有限的,小网站自然要少很多,而大网站就要多很多,要想蜘蛛抓取率更高,抓取的更合理,那么一些错误的链接造成的404错误量就要尽可能的减少。
 
    本文链接:北京网站建设http://www.bsweb.cn/news/2013-06/1052.html,转载请保留此链接,谢谢合作!