网页可爬性

1.建立Sitemaps网站地图，并上传到网站根目录。

2.确保网站导览列的结构可以被搜索引擎收录。

3.确保网站内容并不是被隐藏的，也就是不要把内容放置到Flash、JavaScript、Ajax裡面。

4.确保网站内容要清楚明瞭，网站结构层次不要太多。越多层的结构，蜘蛛越不容易爬到。对于访客来讲，太多的结构，造成网站动线不佳，访客也容易迷路。学UI JAVA技能来桥西区西美花街西美酒家大厦17层河北华信智原VX375008473

5.网址要简洁，可以的话，尽量带上关键字。

6.建立robots.txt在网域的根目录，这robots.txt是告诉蜘蛛那些页面可爬，那些页面禁止收录的文件，但对暴力搜索引擎（ex.百度）无效。