爬虫小问题:链接中文转码和解码

在爬取数据是时候很多搜索的词语中在浏览器上显示的是中文,但是我们复制url到本地,中文就会出现我们看不懂的文字。如果我们需要爬虫的时候也是一样,我们需要给浏览器传过去的也是对url中的中文进行转码之后的url地址,否则在url中的关键字直接出现中文会有问题。在python3的环境中的urllib库中 quote模块提供了这一功能。

from urllib.parse import quote,unquote
url = "https://fanyi.baidu.com/#zh/en/%E4%BD%A0%E5%A5%BD%E4%BD%A0%E5%A5%BD%E4%BD%A0%E5%A5%BD"
print(unquote(url))
print(quote("你好"))

在这里插入图片描述

你可能感兴趣的:(爬虫,爬虫,python,开发语言)