python关于 post 网站http请求中 存在form data 参数带有 params字样数据,解决数据返回响应

问题描述:

关于 post 请求中 存在form data 参数带有 params字样数据,解决数据返回响应
直接开始问题及解决方案,上图

网站携带参数如图所示:
在这里插入图片描述

问题解决:

请求url 如图所示:
python关于 post 网站http请求中 存在form data 参数带有 params字样数据,解决数据返回响应_第1张图片
抓取数据如图:
python关于 post 网站http请求中 存在form data 参数带有 params字样数据,解决数据返回响应_第2张图片
数据抓包是可以正常抓到的,但是在调试这个请求的时候 花了点时间;

python 在这个请求的时候, 下意识的 就是关键字参数,但是调试没有成功的。

下面上成功的写法:

url = 'http://ggzy.huangshan.gov.cn/EWB-FRONT/rest/webbuilderserverforHeFZTB/getinfolistnew'
data = {
            'params': '{"categorynum":"004001003","siteguid":"7eb5f7f1-9041-43ad-8e13-8fcb82ea831a","pageSize":1850,"pageIndex":0}'
        }

请求的格式需要这样子写上去, 有的网站这样子就已经可以调试成功了。
但是这个网站还是没有调试成功,那就是上headers了。
这里注意一个参数
python关于 post 网站http请求中 存在form data 参数带有 params字样数据,解决数据返回响应_第3张图片

这个参数, 自己调试的时候多调试几次,这个参数是会变,有时效性;

构造headers 参数时,这个字段必须带上。

你可能感兴趣的:(爬虫scrapy,爬虫,python)