Python 模拟登录新浪微博

在极客学院中看了一个关于爬虫的视频，然后自己实现一遍，并做此记录。 视频链接：http://www.jikexueyuan.com/course/995_4.html?ss=1
该文中的登录方式已经失效。。，思路可以借鉴。

使用requests模块，post需要的表单数据来登录新浪微博手机端（手机端简单点。。），并访问登录后的页面。该方法是定向页面的爬取，如果要批量爬取，使用框架会好一些。

确认登录所需的表单数据

chrome浏览器中访问http://weibo.cn/pub/,点击登录，会进入手机端登录页面。登录微博，并通过开发者工具抓包来分析提交的form信息。如下图：

图1：登录页面(有验证码)

微博登录页面

图2：打开开发者工具，输入账号密码登录，看需要提交的form信息

开发者工具

根据图2，发现需要提交的form信息有下边几个：

mobile:login_name               #用户名
password_8891:login_password    #密码（password_8891 这个每次都变）
code:fcjf                       #验证码
remember:on                     #是否记住登录状态，相当于图1中选中的’记住登录状态‘选项
backURL:http%3A%2F%2Fweibo.cn%2F    #登录成功后返回的页面
backTitle:微博
tryCount:                       #尝试的登录次数
vk:8891_ea7c_2358890024         # vk（每次登录可能会不一样）
capId:2_5cb16cf8473df571        # capId
submit:登录

form表单中不固定，需要我们自己取的表单项有password_8891、code、vk、capId。这些值实际上是从图1中带过来的，使用浏览器打开图1的源码，会发现这些选项。如下图图3：

图3：图1登录页面的部分源码

登录页面源码

基本上我们可以从上图获取到 form表单中所需的数据。使用 lxml模块来分离出这些信息来。

处理验证码

在表单信息中，有一个code的表单项，是图1中的验证码，自动识别验证码现在还不会，只能用人肉识别，处理方式是在图1的源码中取得验证码的url地址，并保存到本地，然后手动输入。

登录login页面

使用requests模块登录页面，如果我们想访问一些登录后才能访问的页面，有两种方式。

方法一：一开始就访问目标页面，会跳转到登录页面，当我们成功登录后，会根据表单中的backURL自动跳转到目标页面，从而获取我们需要数据。

方法二：使用requests模块的session保持功能，直接请求登录页面，成功后，因为有cookies，所以我们可以直接访问我们需要的页面。这里使用这种方式。

程序代码

# 刚学不久，比较low
#!/usr/bin/env python
#coding=utf-8

import requests
from lxml import etree
import urllib

# 使用requests的会话方法
s = requests.session()

# 定义登录页面和最终要访问的页面（需要登录才能访问）
url_login = "http://login.weibo.cn/login/"
url_final = "http://weibo.cn/msg/"

# 定义自己微博的账户和密码
login_name = "..."  
login_password = "..."

# 如果使用第一种方式，可以这样请求
#res = requests.get(url_final).content

# 请求登录页面，获取上面图3所示的源码
res = s.get(url_login).content

# 使用xpath的方式分离表单信息
html = etree.HTML(res)
password = html.xpath('//input[@type="password"]/@name')[0]
backURL = html.xpath('//input[@name="backURL"]/@value')[0]
vk = html.xpath('//input[@name="vk"]/@value')[0]
capID =  html.xpath('//input[@name="capId"]/@value')[0]
codeurl = html.xpath('//img/@src')[0]
action = html.xpath('//form/@action')[0]

# 拼接 Request URL，用来提交表单，实现登录
post_url = url_login + action

# 下载验证码到当前目录，并手动输入验证码
def download_code(codeurl):
    urllib.urlretrieve(codeurl,"code.jpg")
    code = raw_input("please input the code: ")
    return code
code = download_code(codeurl)

# 定义表单信息
post_data = {
    "mobile" : login_name,
    password : login_password,
    "code" : code,
    "remember" : "on",
    "backURL" : backURL,
    "backTitle" : u"微博",
    "tryCount" : "",
    "vk" : vk,
    "capId" : capID,
    "submit" : u"登录"
}

# 第一种方法，可以使用，返回的源码就是目标地址的源码
#do_post = requests.post(post_url,data=post_data).content

# 提交表单，完成登录
do_post = s.post(post_url,data=post_data).content

# 判断返回的页面是否是验证码错误的页面
if "验证码错误" in do_post:
    print "验证码输入错误"
else:
    # 请求最终页面
    print s.get(url_final).content
    

# 后续可以写各种匹配规则，来匹配出需要的信息。