爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会

标题:爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会

网址:https://fgw.sh.gov.cn/fgw-interaction-front/biz/projectApproval/home

MD5加密:ca7f5c978b1809d15a4b228198814253

需求文档

采集数据如下所示:

爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会_第1张图片

解决反爬思路

这里只提供解决思路,解决反爬,有测试代码样例,没有完整的爬虫代码

尝试抓包

首先,我们可以尝试抓包分析网站的反爬机制。

  1. 进入网站,点击"项目建议书审批",然后点击下一页。

爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会_第2张图片

  1. 找到需要的请求,发现它是一个POST请求。

爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会_第3张图片

你可能感兴趣的:(python那些事,反爬破解,爬虫,爬虫,csrf,前端)