HTTP协议请求实战-POST请求

如何使用爬虫通过POST表单传递消息,我们要构造POST请求,实现思路:

  1. 设置好URL网站
  2. 构建表单数据,并使用urllib.parse.urlencode对数据进行编码处理
  3. 创建Request对象,参数包括URL地址和要传递的数据
  4. 使用add_header()添加头信息,模拟浏览器进行爬取
  5. 使用urllib.request.urlopen()打开对应的Request,完成信息的传递
  6. 后续处理,比如读取网页内容,将内容写入文件等
import urllib.request
import urllib.parse
url = "URL"
postdata = urllib parse.urlencode({
"name":"值",
"pass":"值"
}).encode('utf-8') #将数据使用urlencode编码处理后,使用encode()设置为utf-8
req = urllib.request.Request(url,postdata)
req.add_header("User-Agent","信息")
fhandle = open("本地路径","wb")
fhandle.write(data)
fhandle.close()

 

你可能感兴趣的:(urllib)