尚硅谷爬虫笔记(urlencode的方法)

wd=周杰伦&sex=男&location=中国台湾省

转换成

wd=%E5%91%A8%E6%9D%B0%E4%BC%A6&sex=%E7%94%B7&location=%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE%E7%9C%81

可以看出 使用了urlencode()  会自动用&拼接

import urllib.request
import urllib.parse
base_url="https://www.baidu.com/s?wd="
#         https://www.baidu.com/s?wd=周杰伦&sex=男&location=中国台湾省
data={
    'wd':'周杰伦',
    'sex':'男',
    'location':'中国台湾省'
}

new_data=urllib.parse.urlencode(data)
# print(new_data)

url=base_url+new_data

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'}

#请求对象定制
requset=urllib.request.Request(url=url,headers=headers)
#模拟浏览器向服务器发送请求
response=urllib.request.urlopen(requset)

# 获取网页源码
content=response.read().decode('utf-8')
print(content)

print(type(content))

你可能感兴趣的:(尚硅谷爬虫笔记,爬虫,python)