python url中文传参乱码问题

背景

想要在这个网站搜鱼一点通 指定keyword搜索（如图

发现url里输入中文会变成乱码

 解决过程

使用urllib.parse.quote直接转码，发现跳转后会链接会自动变成中文

    start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5']

    def parse(self, response):
        keyword = "鱼"
        url = self.start_urls[0].format(urllib.parse.quote(keyword))
        print(url)

#结果输出
#http://www.bbwfish.com/soresult.asp?keyword=%E9%B1%BC&stype=5

打开链接后： 

又跳转成中文了

解决

先查看了网页转码格式

修改代码后成功

    start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5']

    def parse(self, response):
        keyword = "鱼"
        url = self.start_urls[0].format(urllib.parse.quote(keyword.encode('gbk')))
        print(url)

scrapy发送带参数post请求

要重写start_requests方法，将参数封装在字典中，传递给formdata，注意method是post

传递参数带中文需要将编码设置为gbk

参考博客

用Chrome查看网站编码格式的方法（不需要安装charset）

Python3中文转换URL编码

如何查看网页的编码格式_devil8123665的博客-CSDN博客_查看网页编码