python数据爬虫---拉钩网

1、拉勾网数据分析

一般思路

进入到拉勾网,输入相应的职位,搜索;查看源码,没有我们想要的数据,于是抓包发现:拉勾网采用Ajax技术,数据以格式存储===》
发送的请求:

Request URL:https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false
Request Method:POST
Status Code:200 OK
Remote Address:106.75.90.30:443
Referrer Policy:no-referrer-when-downgrade

发送post请求,post请求体:
first:true  (是否为第一页)
pn:1  (页数)
kd:python爬虫(输入的关键词)

新思路

拉勾网的爬虫实在太多了,其反爬机制经常变动,爬取难度逐渐增加。

你可能感兴趣的:(爬虫,python)