Python爬虫实战-抓取拉钩招聘信息

爬取过程：

1、获取数据：Requests

2、解析数据：使用pandas的 DataFrame.from_dict ()

3、保存数据：pandas

---

步骤一：分析网页

爬取拉钩招聘信息需要先登录，通过分析，爬取时需要的信息如下：

url ='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'

请求首部：

headers ={

'Cookie': ......,

'Referer': ......,

'User-Agent': ......,

}

采用POST方法进行请求

---

二、代码实现

核心代码如下图所示，不过别忘了添加headers。

调用方法示例： get_job_info(2, '数据','深圳')