使用urllib爬取网页（1百度贴吧）

import urllib.request
import urllib.parse
url='https://tieba.baidu.com/f?'
word=input("请输入你要爬取的网页关键词：")
kw={'kw':word}  
kw=urllib.parse.urlencode(kw)  #转换成url编码
new_url=url+kw #拼接成完整的url
headers={'user-agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
req=urllib.request.Request(new_url,headers=headers)  #通过request类构造一个带有各类参数的请求对象
r=urllib.request.urlopen(req)
html=r.read().decode('UTF-8')
#使用read()方法读取获取到的网页内容，用utf-8格式进行编码
print(html)

输出内容展示