python爬取需要登陆的页面

1、登陆后查看如下信息:
python爬取需要登陆的页面_第1张图片

import urllib.request
import http.cookiejar
import urllib.parse
from urllib.request import urlopen

url="http://xxx.xx.xx.x:8380/xxx/login"
agent='Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'

cookie=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))

headers = {'User-Agent':agent}
postdata=urllib.parse.urlencode({'username':'admin','password':'admin'})
postdata=postdata.encode('UTF-8')

request=urllib.request.Request(url,postdata,headers)
result=opener.open(request)#登陆后的页面
result=opener.open('http://xxx.xx.xx.x:8380/xxxx/xxxx/list')#想要爬取的页面
print(result.read().decode('UTF-8'))

输出结果:
python爬取需要登陆的页面_第2张图片

你可能感兴趣的:(Python,python)