提高网站页面收录的几个方法 返回列表 发新帖回复

首先是清楚网站总体有多少页面。

可以用xenu扫描出所有的页面。

1.html地图

网页数量不是太多，可以用网站地图来增加收录，分成几个地图页面。

2.随机文章模块

在不影响用户体验的情况下，在栏目中增加随机文章模块，增加链接曝光度，增加收录。

3.未收录页面链接+地图  或  随机模块

1>拿到所有页面的URL，导出日志中蜘蛛爬过的URL，对比、减去蜘蛛爬过的页面URL，形成未收录页面URL表，制作html地图或者

用随机模块调用。

程序实现随时根据蜘蛛抓取情况调整未收录页面URL列表可能有难度，人工定时将蜘蛛抓取页面和未收录页面对比，比较好实现。

4.优化网站内链和网站结构

良好的网站结构和内链能很好的增加网站页面被收录的几率。

5>.文章列表分页

文章分页前面可以是1-10，后面步长可以增大，20,30,40,50

注：

1>分析网站日志，哪些页面被频繁抓取，可以考虑是否屏蔽此页面，哪些页面从未被抓取，考虑原因，改善之。

2>优化网站速度，减小网页大小，服务器是否开启gzip压缩，js、css、img是否太多，太大？  减轻服务器压力，也能提高蜘蛛抓取效率。   

疑问：蜘蛛抓取页面是否和抓取总文件大小有关系？  就是每次蜘蛛来抓取的byte有限制，跟网站权重也是有关系？