Python爬虫连载6-cookie深入使用实例化实现自动登录

一、使用cookie登录

1.直接把cookie复制下去，然后手动放到请求头

2.http模块包含一些关于cookie的模块，通过他们我们可以自动使用cookie

（1）cookieJar

管理存储cookie，向传出的http请求添加cookie；cookie存储在内存中，CookieJar实例回收后cookie​将消失；

（2）FileCookieJar(filename,delayload=None,policy=Nnone)

使用文件管理cookie​；filename是保存cookie的文件

filename是保存cookie的文件

（3）MozillaCookieJar(filename,delayload=None,policy=None)

创建于mocilla浏览器cookie，txt兼容的FileCookieJar实例

（4）LwpCookieJar(filename,delayload-None,policy=None)

创建与libww-perl标准兼容的FileCookieJar实例

（5）​他们的关系是：CookieJar-->FileCookirJar-->MozillaCookieJar & LwpCookieJa

3.利用cookiejar访问人人网

自动使用cookie登录,​大致流程为：（1）打开登陆页面后自动通过用户名密码登录​；（2）自动提取反馈回来的cookie​；（3）利用提取的cookie登录隐私页面​；

4.handler是Handler的实例，常用参看案例代码

（1）用来处理复杂请求

 

#生成cookie的管理器

cookie_handler = request.HTTPCookieProcessor(cookie)

#创建http请求管理器

http_handler = request.HTTPHandler()

#生成https管理器

https_handler = request.HTTPHandler()

 

 

（2）创立handler后，使用opener打开，打开后相应的业务由相应的handler处理

（3）cookie作为一个变量，打印出来

cookie的属性​：

name:名称     value​：值    domain:可以访问此cookie的域名     expires:过期时间       size:大小    Http字段

 

 

from urllib import request,parse

from http import cookiejar

#创建cookiejar实例

cookie = cookiejar.CookieJar()

#生成cookie的管理器

cookie_handler = request.HTTPCookieProcessor(cookie)

#创建http请求管理器

http_handler = request.HTTPHandler()

#生成https管理器

https_handler = request.HTTPHandler()

#创建请求管理器

opener = request.build_opener(http_handler,https_handler,cookie_handler)

​

def login():

    """

    负责初次登录

    需要输入用户名密码

    :return:

    """

    url = "http://www.renren.com/PLogin.do"

    data = {

        "email":"[email protected]",

        "password":"481648541615485"

    }

    #把数据进行编码

    data = parse.urlencode(data)

    #创建一个请求对象

    req = request.Request(url,data=data.encode())

    #使用opener发起请求

    rep = opener.open(req)

​

def getHomePage():

    url = "http://www.renren.com/965187997/profile"

    #如果已经执行了login函数，则opener自动已经包含相应的cookie值

    rsp = opener.open(url)

​

    html = rsp.read().decode()

    with open("rsp.html","w") as f:

        f.write(html)

​

​

if __name__ == "__main__":

    """

    执行完login之后，会得到授权之后的cookie

    我们尝试把cookie打印出来

    """

    login()

    print(cookie)

    for item in cookie:

        print(type(item))

        print(item)

        for i in dir(item):

            print(i)

    getHomePage()

 

二、源码

Reptitle6_CookieJar.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptitle6_CookieJar.py​

2.CSDN：https://blog.csdn.net/weixin_44630050

3.博客园：https://www.cnblogs.com/ruigege0000/

4.欢迎关注微信公众号：傅里叶变换，个人公众号，仅用于学习交流，后台回复”礼包“，获取大数据学习资料