Webscraper爬取使用总结(持续更新)

1.使用link可以使得爬取到的内容多获取两列,一列是该指定link处的文字text,一列是跳转的链接的url;

2.使用link爬取多级页面时,如果想获得多级页面下的内容,不管这个页面是在当页打开,或是在新的页面打开,都可以在创建的类型为link的结构下,再对子页面的元素进行抓取;

3.Text用于文本,Table用于表格,image用于图片;

4.Element用于结构体,可以在结构体内再去选择子元素,但是其子元素不用勾选multiple选项;

5.Element scroll down用于爬取下拉滚动式的页面结构体;

6.Element click用来爬取需要点击的分页页面;

7.Element click的使用基本上有两种:

第一是采用click one的方式直接全部选取:

第二是采用click more的方式来点击下一页进行获取:

8.遇到有规律的分页,可以使用[2-5]表示第2页到第5页,如果是步长为2页,则可以:[2-5:2];

你可能感兴趣的:(总结类)