浅谈百度蜘蛛的爬行

浅谈百度蜘蛛的爬行
第一，百度蜘蛛极为活跃,经常看看你的服务器日志，你就怀发现百度蜘蛛抓取的频率和数量都非常大。百度蜘蛛几乎每天都会访问我的论坛，并且至少抓取几十个网页。我的论坛只开通了不到一个月，网页数目还没有完善，但是百度蜘蛛的活动已经相当可观了。大量捕获是百度的强项，其他任何搜索引擎都没办法相比。但是百度中文网页数目并不是最大的，百度蜘蛛抓取的频率和网页更新情况有关。天天更新的网站一定会吸引百度蜘蛛更频繁的访问，我有一个非常明显的例子，xaryb.com  这个域名比较(老)，注册已经快一年了，开始做了一个做网站的，感觉更新比较麻烦，而且也没有很多时间去维护，但是这个网站是关于电脑方面的，虽然内容不多，但是页面却不下两W(是别人的整站源码)，---第一天，几个好朋友光顾了一下，9IP，没想到　　第二天早上打开网站，居然发现从百度来了100多IP!!奇迹，百度蜘蛛就有这么神气，site：xaryb.com ,查一下，晕了，一晚上时间，被收录了2000多页??
　　应该说这个做网站的站继续做下去有点前途，但是我时间还真不够用，所以K掉了这个学习站，用这个域名做了一个信息发布的网站，也有网友上传，轻松多了，不过这下被收录的页面全部是死链，要从头开始了吧，但是我又错了，第三天：这个笑话站又被全面抓取了，!!!，----我发现百度对天天更新的站最敏感!，彻底换内容更敏感----哈哈，看来这个机器人也是喜新厌旧的家伙啊!
　　最近还是因为时间不够，又用这个域名改了论坛，不知道还有没有奇迹出现--我相信只要内容够多(百度蜘蛛也贪)，你站的内容如果不达到么个数目，它可能懒得理你，具体多少，好象是百度内部机密，哈哈
　　第二，我注意了一下蜘蛛似乎更注重页面内的因素。与Google更加重视内部，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，--不相信你做100个页面，做得再漂亮，只要链接没有层次，哈哈，不好意思，你最多就孤零零的被收录可怜的一点点东西。我前两个站开通不到一个月，也很少有外部链接。但因为本身的结构是比较有层次，一些竞争不太激烈的关键词在百度的排名还不错。
　　第三：要想排名靠前，目标关键词应该完整匹配地出现在页面中。比如说，你想让你的网站在用户搜索”电脑学习”时出现在前面，那么在你的网页上，”电脑学习”这四个字应该完整连续的出现，而不能”电脑”出现在第一段，”学习”出现在第二段。
　　第四：百度排名算法是以网页为基础，比较少关注整个网站的主题。联系到上一点，这说明百度排名算法中比较注重内部结构缺少完整的语义分析。所以一些目前比较认同的关于site：之间那几个所谓关系到搜索质量的东西，并不是百度蜘蛛所最敏感的，
　　第五：百度并不被所谓的优化迷惑!!GG对优化好象远远没有百度敏感，百度尤其反感所谓的优化，不知道是用什么方法识别----我的看法是目前最”先进“ 的优化方法，好象对百度没什么大的作用，大家都这么干了，机器人是有点死脑筋，但是百度那些IT也不是吃白饭的哈，要知道他是全球最先进的中文搜索老大，，GG在中文搜索这快--哈哈，不用说了吧：)没得比!
　　第六：充分利用百度的一个最大的优势--大家可能觉得它的优势对我们来说就是难事了嘛：呵呵，的确是可以利用的，百度收录速度可以用海量来形容，正因为速度快，就给我们留下了可以利用的空间!---回头来还是要说到优化了：)--虽然百度对优化并不感冒，但是只要你优化方式友好，还是能起到不错的效果，--我比较认同适量优化!--至于到底优化到什么程度才是最佳?我也不能说出1，2，3。呵呵--但是别忘了，因为百度收录太快，我们就可以经常使用一些不同的方法测试效果，，而且百度蜘蛛也乐意你天天给它玩新花样，呵呵，看来这个神秘的东西也是有点孩子气的哈，需要人来哄哄，也爱凑凑热闹--好象这样做还有一个好处，如果你的站从来都懒得去玩花样--哈哈，那很可能哪天蜘蛛不再光顾你的网站了，为什么? K掉了嘛!--百度蜘蛛有一个青蛙一样的眼睛吧，呵呵，动的东西再远也能看见，而且特别注意，静的东西在它身边也未必能看见!