Python网络爬虫学习笔记

Python 爬虫学习笔记

---

学习自崔庆才的个人博客http://www.cnblogs.com/xin-xin/p/4297852.html,以及静觅http://cuiqingcai.com/
第7章的安装方法是我自己摸索出来的，因为按照崔庆才的文章没有安装成功。

1. Urllib库的使用

import urllib2

response = urllib2.urlopen("http://www.baidu.com")
print response.read()

首先我们调用的是urllib2库里面的urlopen方法，传入一个URL，这个网址是百度首页，协议是HTTP协议。

urlopen(url, data, timeout)

第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。

response对象有一个read方法，可以返回获取到的网页内容。

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容.

import urllib2

request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()

2.数据传送方式

• post

post方式就是在向服务器发送request的时候将data数据包含其中。

---

import urllib
import urllib2

values = {}
values['username'] = "[email protected]"
values['password'] = "XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login？from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read() 

• GET

而GET方式则是直接将data数据融入到请求链接之中

---

import urllib
import urllib2

values={}
values['username'] = "[email protected]"
values['password']="XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

3. Urllib库的高级用法

• 设置Headers

目的是完全模拟浏览器浏览网页的特征，以防有些网站禁止爬虫程序的运行。

首先是设置User-Agent

import urllib  
import urllib2  

url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'username' : 'cqc',  'password' : 'XXXX' }  
headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
request = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(request)  
page = response.read() 

下来有对付反盗链的方式，在headers中加入referer，即将这个属性设置为服务器自己。

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  ,
                    'Referer':'http://www.zhihu.com/articles' }  

总之呢，尽量来模拟真实浏览器的headers的内容，构建的时候写入同样的数据

• Proxy代理设置

这个主要是对付有的网站会检测IP的访问次数，次数过多，则会禁止访问，所以设置代理服务器。

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

• 超时的设置

urlopen函数的第三个参数是超时的设置，它有一个默认参数，因此如果要设置timeout的话，需要以默认参数的形式设置timeout=10

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)

4. URLError的处理

即是用try except语句来捕获异常并加以处理，其中有一个小tip是，父类的异常应当写到子类异常的后面，这样子类异常捕获不到就可以捕获父类异常。

这里HTTPError是URLError的子类，因此捕获异常的代码可以这么写，另外加入 hasattr属性提前对属性进行判断，首先对异常的属性进行判断，以免出现属性输出报错的现象：

import urllib2

req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
    urllib2.urlopen(req)
except urllib2.HTTPError, e:
    if hasattr(e,"code"):
        print e.code
except urllib2.URLError, e:
    if hasattr(e,"reason"):
        print e.reason
else:
    print "OK"

5. Cookie的使用

Cookie是网站为了辨别用户身份，进行session跟踪而存储到用户本地终端上的数据。（加密）

登录之后才能访问的页面，可以利用Urllib2库保存登录的Cookie，然后再抓取页面。

目的就是模拟登录的状态。

• opener

前面使用的opener都是默认的，使用urlopen来获取的，相当于opener的一个特殊实例，但是使用cookie等高级功能，必须创建更加一般的opener才能实现这些功能。

下面就是使用一个cookie处理器然后调用build_opener函数来创建一般的opener对象，然后调用open方法打开url或者request

• 获取Cookie保存到变量

使用Cookielib模块，该模块作用是提供可存储cookie的对象，用CookieJar类的对象捕获cookie。

import urllib2
import cookielib
#这里声明一个CookieJar对象实例来保存cookie
cookie=coolielib.CookieJar()
#然后使用urllib2的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#然后通过handler来创建opener
opener=urllib2.build_opener(handler)
#然后调用opener的open方法，当然也可以传入request
response=opener.open('http://www.baidu.com')

这样就把cookie保存到变量之中了

• 保存Cookie到文件

则使用FileCookieJar这个类的对象了，在这里使用MozillaCookieJar对象

CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

cookie的获取和处理和上面类似，只不过最后调用了save方法存入之前已经传入MozillaCookieJar的文件里了。

import cookielib
import urllib2

#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

最后的ignore_discard是即使cookies被丢弃也将其保存下来，ignore_exporres是如果cookie文件存在则覆盖原文件写入。

• 从文件中获取Cookie并访问

先创建MozillaCookie实例对象，然后调用load方法，载入上次生成的文件，接着创建带有cookie的opener对象，这里传入build_opener函数的是一个cookie处理器对象。和之前的一样。

import cookielib
import urllib2

#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

总之流程就是这样，创建管理cookie的实例，，创建cookie处理器，创建opener，然后创建request，open该request。

• 模拟登录

这里是先登录进去获取cookie写入文件，这样就可以访问登陆后才能访问的页面了。主要是使用了一个opener对象。

import urllib
import urllib2
import cookielib

filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
        'stuid':'201200131012',
        'pwd':'23342321'
    })
#登录教务系统的URL
loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
#模拟登录，并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址，此网址是成绩查询网址
gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()

一个处理有验证码的模拟登录代码,不过暂时不能成功登录，原因还不知道为什么，但是里面表单有一个lt值每次登录都在变化，估计是因为这个原因。

#coding=utf-8
import urllib2
import cookielib
import urllib
import re
import sys
'''模拟登录'''
reload(sys)
sys.setdefaultencoding("utf-8")
# 防止中文报错
CaptchaUrl = "http://cas.nwpu.edu.cn/cas/Captcha.jpg"
PostUrl = "http://cas.nwpu.edu.cn/cas/login"
# 验证码地址和post地址
filename="cookies.txt"
cookie = cookielib.MozillaCookieJar(filename)
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
# 将cookies绑定到一个opener，cookie由cookielib自动管理
username = '******'
password = '******'
# 用户名和密码
picture = opener.open(CaptchaUrl).read()
# 用openr访问验证码地址,获取cookie
#文件输入输出，local为文件引用句柄
local = open('e:/image.jpg', 'wb')
local.write(picture)
local.close()
# 保存验证码到本地
SecretCode = raw_input('输入验证码： ')
# 打开保存的验证码图片 输入
postData = {
    'encodedService':'http%3a%2f%2fportal.nwpu.edu.cn%2fdcp%2findex.jsp',
    'service':'http://portal.nwpu.edu.cn/dcp/index.jsp',
    'serviceName':'null',
    'loginErrCnt':'0',
    'username': username,
    'password': password,
    'lt':'LT_nwpuapp1_-527299-2Mb1S8cdQco6UOnf7WNb',
    'autoLogin':'false',
    'captcha':SecretCode
    }
# 根据抓包信息 构造表单
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36',
    'Referer':'http://cas.nwpu.edu.cn/cas/login?service=http%3A%2F%2Fportal.nwpu.edu.cn%2Fdcp%2Findex.jsp'
}
# 根据抓包信息 构造headers
data = urllib.urlencode(postData)
# 生成post数据 ?key1=value1&key2=value2的形式
request = urllib2.Request(PostUrl, data, headers)
# 构造request请求
try:
    response = opener.open(request)
    cookie.save(ignore_discard=True, ignore_expires=True)
    anotherurl='http://portal.nwpu.edu.cn/dcp/forward.action?path=/portal/portal&p=HomePage'
    response = opener.open(anotherurl)
    result = response.read()
    print result
    # 打印登录后的页面
except urllib2.HTTPError, e:
    print e.code
    # 利用之前存有cookie的opener登录页面

6. 正则表达式

对字符串进行过滤，Python里的数量词默认是贪婪的，匹配尽可能多的字符，不过一般使用非贪婪模式进行提取，？是一个非贪婪字符。

反斜杠问题将使用原生字符串解决，比如匹配\，则使用这样的正则表达式：r"\"
这个问题得实践验证，因为在Python核心编程里有这么一个pattern来进行匹配的：

patt='\w+@(\w+\.)?\w+\.com'

这个是匹配一个电子邮件地址的，@之前是匹配至少一个字符或者数字的字符，之后是进行分组，匹配添加主机名称，然后是域名。

这里\也没说受到什么影响，因此实践是检验真理的唯一选择。

• Python里的Re模块

首先在进行匹配之前，最好使用compile()函数进行预编译，预编译之后是返回regex对象，再使用re模块里面的方法即可完成匹配。

如果没有进行预编译的话，则使用的是re模块里面的函数，函数名与作用与上述方法是一致的。

compile()用法如下：pattern=re.compile(r'hello')

另外除了regex对象，还有另外一种对象类型，匹配对象，是match或者search被成功调用后返回的结果，有两个主要的方法是group和groups

group方法返回所有匹配对象或者是根据要求返回某个特定子组

groups方法是返回一个包含唯一或者所有子组的元组

• re模块里面的函数与方法

match(pattern,string,flags=0)

使用正则表达式匹配string，是从字符串开头开始匹配，失败则返回None

一个匹配实例，最后一个匹配子组是给该子组取了个别名sign，它的作用就是匹配！（任意字符）。

import re
# 匹配如下内容：单词+空格+单词+任意字符
m = re.match(r'(\w+) (\w+)(?P.*)', 'hello world!')

re.search(pattern,string,flags=0)

search()是搜索字符串中模式首次出现的位置，是在任意位置而不是尝试在起始处匹配。

import re

# 将正则表达式编译成Pattern对象
pattern = re.compile(r'world')
# 使用search()查找匹配的子串，不存在能匹配的子串时将返回None
# 这个例子中使用match()无法成功匹配
match = re.search(pattern,'hello world!')
if match:
    # 使用Match获得分组信息
    print match.group()
### 输出 ###
# world

re.findall(pattern,string[,flags])

搜索string，以列表形式返回全部能匹配的子串。

import re

pattern = re.compile(r'\d+')
print re.findall(pattern,'one1two2three3four4')

### 输出 ###
# ['1', '2', '3', '4']

re.split(pattern,string[,maxsplit])

使用了正则表达式的split方法将成为一个功能更为强大的工具。maxsplit指定最大分隔次数，不指定则全部分隔。

import re

pattern = re.compile(r'\d+')
print re.split(pattern,'one1two2three3four4')

### 输出 ###
# ['one', 'two', 'three', 'four', '']

re.sub(pattern,repl,string,max=0)

使用repl替换string中所有被正则表达式匹配的地方，max最大替换次数，如果不指定则将所有替换。当repl是一个字符串时，可以使用\id或\g、\g引用分组，但不能使用编号0。

import re

pattern = re.compile(r'(\w+) (\w+)')
s = 'i say, hello world!'

print re.sub(pattern,r'\2 \1', s)
### output ###
# say i, world hello!

另外subn方法将返回替换次数，替换后的字符串和表示替换次数的数字作为一个元组的元素返回。

### output ###
# ('say i, world hello!', 2)

7. 爬虫框架Scrapy的安装与配置

• 安装Python

这个自不必说，安装完最重要的是将Python安装文件夹和底下的Scripts文件夹加入环境变量，这样cmd命令行就可以直接执行Python命令了。

• 安装pywin32

安装地址：http://sourceforge.net/projects/pywin32/

安装完进入Python执行环境，输入import win32com如果没有错误则安装成功。

• 安装pyOPENSSL

下载地址：https://launchpad.net/pyopenssl

下载下来之后拷贝到Python根目录下的Scripts文件夹里，然后在cmd命令里进入到Scripts文件夹，执行easy_install.exe pyOpenSSL-0.11-py3.2-win32.egg就可以进行安装了。

或者是在Scripts文件夹下执行easy_install pyOpenSSLcryptography

或者是下载可执行安装文件进行安装，在打开的页面找到all downloads然后找到pyOpenSSL-0.11.winxp32-py2.7.exe,直接点击该链接可以下载Python2.7的，如果需要其他版本前往该网站下载。

同样安装完成后在Python环境里执行import OpenSSL验证是否安装成功。

pyOpenSSL出错解决尝试

首先安装了Twisted，easy_install Twisted，还是不行。

下来安装了cffi,easy_install cffi，提示VC++9.0for Python命令错误

然后下载了VC++9.0 for python，发现电脑已经安装过了，仍然没有解决。

然后看到枪杆子的博客文章，Windows7 （64位）系统下安装Scrapy详细教程，他将所有需要的依赖打包到百度网盘里了，然后正在下载的时候，网络没流量了，只能等到下午充了之后再下载试试了。

根据他的文章所述，要安装Scrapy框架，必须安装如下依赖:

lxml,pywin32,Twisted,pyOpenSSL,zope.interface

回来下载好这些文件，但是安装时候报错没有找到Python2.7可是我装的就是Python2.7，不解，然后又按照之前的教程去下载了pyOpenSSL for Python2.7，执行easy_install.exe pyOpenSSL-0.11-py2.7-win32.egg然后居然好了，pyOpenSSL安装成功。

• 安装lxml

一个Python库，可以迅速灵活的处理xml

pip install lxml进行安装或者easy_install lxml

• 安装Scrapy

最后一步就是安装Scrapy框架。

pip install Scrapy或者easy_install Scrapy

验证一下，输入Scrapy，即可验证是否成功。

7.1 安装依赖文件tips：

再看了个教程，直接在官网上下载对应需要的依赖文件(.egg格式),然后下载下来使用easy_install来安装，直接就搞定，如果通过网络自动下载安装，会出现各种问题。在这里将所有依赖文件以及链接归纳如下：

• pywin32:http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/

选择对应版本下载安装，这里都是可执行文件，直接点击安装。

• pyOpenSSL:https://launchpad.net/pyopenssl/+download

选择.egg格式的文件下载，下载之后放到Python根目录下的Scripts文件夹里，进入CMD执行easy_install 文件名即可完成安装。

• Twisted:easy_install Twisted

• cffi: easy_install cffi

• lxml: easy_install lxml

• cryptography:https://pypi.python.org/pypi/cryptography

选择对应Python版本，同pyOpenSSL安装方法。

• zope.interface：easy_install zope.interface

• 最后一步就是安装Scrapy框架。pip install Scrapy或者easy_install Scrapy