爬取招聘信息(爬虫练习2)

1.首先新建一个python文件,开始爬取招聘信息

爬取招聘信息(爬虫练习2)_第1张图片

2.在终端中输入pip install requests/lxml,安装所需库

爬取招聘信息(爬虫练习2)_第2张图片

爬取招聘信息(爬虫练习2)_第3张图片

3.导入所需要的库以及定义好要爬取招聘信息网页的网址

爬取招聘信息(爬虫练习2)_第4张图片

 4.定义好headers

爬取招聘信息(爬虫练习2)_第5张图片

 5.模拟发送请求,获取网页的所有内容

爬取招聘信息(爬虫练习2)_第6张图片

 6.利用etree来梳理所爬取的网页

爬取招聘信息(爬虫练习2)_第7张图片

7.分析所要爬取的网页结构

爬取招聘信息(爬虫练习2)_第8张图片

 8.提取数据

爬取招聘信息(爬虫练习2)_第9张图片

你可能感兴趣的:(爬虫,python,pycharm)