Python2中urllib2库及cookielib库实现登陆网页时cookie的存取

文章目录

1 cookie的获取

  • 导入模块
  • 规定所需信息
  • 开启工具的配置及安装
  • 向服务器发起登陆请求
  • 保存cookie至指定文件夹

2 使用cookie向服务器发起请求

  • 导入模块
  • 规定所需信息
  • cookie的读取
  • 开启工具的配置及安装
  • 发起请求
  • 打印网页文本进行判断

3 代码总汇

  • cookie的获取
  • 使用cookie向服务器发起请求

1. cookie的获取

导入模块

#! user/bin/env python2
# coding=utf-8

import cookielib
import urllib,urllib2

规定所需信息

data = {'name':'18476147983','password':'366833005hx'}
login_link = 'https://accounts.douban.com/j/mobile/login/basic'
headers = {'user-agent':'Mozilla/5.0'}
file_name = 'resource\\cookie.txt'

开启工具的配置及安装

#   建立一个cookie管理器,保存路径放在第一个参数中。
cookie = cookielib.LWPCookieJar(file_name)
#   建立一个cookie处理器。
cookie_process = urllib2.HTTPCookieProcessor(cookie)
#   建立开启工具。
opener = urllib2.build_opener(cookie_process)
#   将开启工具安装至全局。
urllib2.install_opener(opener)

向服务器发起登陆请求

#   对data数据进行url编码。
data = urllib.urlencode(data)
#   向服务器发起请求。
r = urllib2.urlopen(urllib2.Request(login_link,data=data,headers=headers))

请求需要账号密码的网站,在没有携带这些信息(data)时,请求将被拒绝。

保存cookie至指定文件

cookie.save()

2. 使用cookie向服务器发起请求

导入模块

#! user/bin/env python2
# coding=utf-8

import cookielib
import urllib2

规定所需信息

home_link = 'https://www.douban.com'
file_name = 'resource\\cookie.txt'
headers = {'user-agent':'mozilla/5.0'}

cookie的读取

cookie = cookielib.LWPCookieJar()
cookie.load(file_name)

开启工具的配置及安装

cookie_process = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(cookie_process)
urllib2.install_opener(opener)

向服务器发起请求

r = urllib2.urlopen(urllib2.Request(home_link,headers=headers))

打印网页文本进行判断

print r.read().decode('utf-8')

3. 代码总汇

cookie的获取

#! user/bin/env python2
# coding=utf-8

import cookielib
import urllib,urllib2


'''规定所需信息。'''
data = {'name':'18476147983','password':'366833005hx'}
login_link = 'https://accounts.douban.com/j/mobile/login/basic'
headers = {'user-agent':'Mozilla/5.0'}
file_name = 'resource\\cookie.txt'


'''开启工具的安装及配置'''
#   建立一个cookie管理器,保存路径放第一个参数中。
cookie = cookielib.LWPCookieJar(file_name)
#   建立一个cookie工具。
cookie_process = urllib2.HTTPCookieProcessor(cookie)
#   建立开启工具。
opener = urllib2.build_opener(cookie_process)
#   将开启工具安装至全局。
urllib2.install_opener(opener)


'''向服务器发起登陆请求'''
#   对data数据进行url编码。
data = urllib.urlencode(data)   # 请求需要账号密码的网站,在没有携带这些信息时,请求会被拒绝。
#   向服务器发起请求。
r = urllib2.urlopen(urllib2.Request(login_link,data=data,headers=headers))


'''保存cookie至指定文件。'''
cookie.save()

使用cookie向服务器发起请求

#! user/bin/env python2
# coding=utf-8

import cookielib
import urllib2


'''规定所需信息。'''
home_link = 'https://www.douban.com'
file_name = 'resource\\cookie.txt'
headers = {'user-agent':'mozilla/5.0'}


'''cookie的读取。'''
cookie = cookielib.LWPCookieJar()
cookie.load(file_name)


'''开启工具的配置及其安装。'''
cookie_process = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(cookie_process)
urllib2.install_opener(opener)


'''向服务器发起请求。'''
r = urllib2.urlopen(urllib2.Request(home_link,headers=headers))


'''打印网页文本进行判断。'''
print r.read().decode('utf-8')

你可能感兴趣的:(Python2爬虫)