SEO中的蜘蛛日志抓取

  1. 蜘蛛日志抓取量= 蜘蛛总停留时间 / 单个页面抓取耗时

  2. 蜘蛛分析工具

    1. www.loghao.com 针对一些比较小的企业站的log日志

    2. PY日志分析

      1. 蜘蛛抓取是否正常,有没有抓取404

      2. 抓取连贯性,2篇抓取间隔不超过1分钟

      3. 主要是看重复抓取的次数

      4. 使用reboots静止一些垃圾页面的抓取

  3. 如何提高抓取连贯性

    1. 就是将相似的文章连续进行发布

    2. 调用按时间顺序进行调用,这样百度蜘蛛会根据需求会进行连续的爬取

    3. 在相关推荐里面,使用order_by发布时间的方法进行调用

  4. 如果一直没有蜘蛛

    1. 发布一些时效性比较好的文章

    2. 主动推送一定要做,先阶段白帽手法最好的方法

你可能感兴趣的:(SEO中的蜘蛛日志抓取)