Python学习日记8|python模拟登录新浪微博和QQ空间

首先详细说明一下什么是cookies？

当用户通过浏览器首次访问一个域名时，访问的WEB服务器会给客户端发送数据，以保持WEB服务器与客户端之间的状态保持(Http协议是一个无状态的面向连接的协议，客户端再一次访问该服务器时，会继续使用上一次建立的连接，但是，由于Http协议是无状态的，WEB服务器并不知道这两个请求是否同一个客户端，这两次请求之间是独立的。 为了解决这个问题， Web程序引入了Cookie机制来维护状态。)，这些数据就是Cookie，它是 Internet 站点创建的 ,为了辨别用户身份而储存在用户本地终端上的数据，Cookie中的信息一般都是经过加密的，Cookie存在缓存中或者硬盘中，在硬盘中的是一些小文本文件,当你访问该网站时，就会读取对应网站的Cookie信息，Cookie有效地提升了我们的上网体验。

Request.Cookies 是客户端通过 Cookie 标头形式由客户端传输到服务器的 Cookie；
Response.Cookies 在服务器上创建并以 Set-Cookie 标头的形式传输到客户端。也就是说，一个是客户端向服务器端发送的来的，一个是服务器发送到客户端的。

会话对象requests.Session能够跨请求地保持某些参数，比如cookies，即在同一个Session实例发出的所有请求都保持同一个cookies,而requests模块每次会自动处理cookies，这样就很方便地处理登录时的cookies问题。

使用requests.Session的用法一般如下：
s= requests.session()
login_data = {'user':'用户名','passdw':'密码'}
headers={xx}
s.post(' http://xxx' , data=login_data,headers=headers) #这里post地址为登录页面地址；
web_data=s.get('http://www.xxx.net/archives/155/'); #这里是想要抓取页面的地址。

今天是5.5号。

对于模拟登录一般有两种方法：一、直接使用登录成功后页面里的cookies，然后加入到requests.get(url,cookies=cookies)中实现跳转到登录后的页面。二、使用构造表单的形式，表单里应该提交哪些内容，则是主要要研究的地方。一般采用F12查看network下的login页的headers，如果看不到Form data这一栏，那么故意输错密码试一次，就能查看到，接下来就是根据表单的构成去构造相应内容来实现登录。

下面使用第一种方法分别用于登录新浪微博和QQ空间。

---

一、利用cookies模拟登录
有时候在chrome中若看不到相应的cookies，则可用fiddler来抓取。
两者使用cookies登录时的方式一样，均为：

# !/usr/bin/env python
# _*_ coding: utf-8 _*_
__author__ = 'guohuaiqi'

import requests
from bs4 import BeautifulSoup

url='http://user.qzone.qq.com/2544526560'
headers={
        'Host': 'user.qzone.qq.com',  #一般headers里最好不要加host
        'Connection': 'keep-alive',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.93 Safari/537.36',
        'Referer': 'http://qzs.qq.com/qzone/v5/loginsucc.html?para=izone',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Cookie': '_gscu_661903259=43107127kqbeya46; __Q_w_s__appDataSeed=1; hasShowWeiyun2544526560=1; luin=o0547991664; lskey=0001000012501c1ee782995df2b1023b7a002d9df119459a1e2edd061ddb927329bd8869a297c99346bf0c88; __Q_w_s_hat_seed=1; RK=lJPTixPn78; pgv_pvi=3677243392; __Q_w_s__QZN_TodoMsgCnt=1; qz_screen=1366x768; QZ_FE_WEBP_SUPPORT=1; cpu_performance_v8=16; pgv_pvid=3740166140; o_cookie=547991664; _qz_referrer=www.baidu.com; pgv_info=ssid=s4432010900; ptui_loginuin=2544526560; ptisp=edu; ptcz=4bec8c1683a35352bb0e283e126172e7dc5fe732d6c83b97582ba81f2e32e76a; pt2gguin=o2544526560; uin=o2544526560; skey=@MsHLbnMJC; p_uin=o2544526560; p_skey=mbwScLxeHFXh8-Dzhc1ZW96z03nEJinbwd1sJ5*ORvo_; pt4_token=h0621trCtnTA1u*csRokPwDkN4T6VmUlmlDWEGqswAI_; fnc=2'
        }

web_data=requests.get(url,headers=headers)
soup=BeautifulSoup(web_data.text,'lxml')
shuoshuo=soup.select('#menuContainer > div > ul > li.menu_item_311 > a')[0].get_text()
href=soup.select('#menuContainer > div > ul > li.menu_item_311 > a')[0].get('href')
print(shuoshuo,href)

其中headers部分是直接把浏览器里面的request headers全部复制进来了。在soup=BeautifulSoup(web_data.text,'lxml')之后若直接print(soup)，会一直提示：'gbk' codec can't encode character '\u2764'之类的编码错误，所以直接select自己想要抓取的部分的内容再print出来了。

另外当href是javascript时，如下：

日志

这时应该怎样获取跳转连接还是不太清楚，若后面爬取相关内容遇到相应问题时可仔细学习。

二、第二种方法由于在weibo和qq中均涉及到加密的相关知识，所以直接选择放弃。

还有最后一个点就是：一般爬取网站时首先考虑爬取手机端，再考虑爬取pc端。