Python 爬虫入门 (三) 初识scrapy框架

参考资料:
Scrapy中文文档 http://scrapy-chs.readthedocs.io/zh_CN/stable/index.html
Scrapy研究探索系列 http://blog.csdn.net/u012150179/article/details/32343635

scrapy使用相较于之前的urllib和requests两个爬虫库的使用还是要复杂很多,感觉一些简单的爬虫直接用requests+BeautifulSoup来的更简单更快,为什么不用urllib?又是decode又是encode的挺麻烦,而requests则简单了许多.而scrapy学会了之后使用起来感觉也比requests简单方便些,难点是对于一些网站反爬虫的解决方案,现在这方面还是学的很差,接下来以一个例子简单了解记录下学习过程,具体scrapy学习还请参考上面给出的参考资料以及Google吧.

1. 创建爬虫项目

scrapy startproject collectips #创建一个爬取http://www.xicidaili.com/nn/上面代理ip的项目

创建项目后会自动生成一个目录,大致如下,其中ips.csv是最后爬取的ip存储的文件,一开始是没有的

├── collectips
 ├── collectips
 │   ├── __init__.py
 │   ├── items.py    #设置要爬取的项目的内容部分
 │   ├── middlewares.py   #中间部件
 │   ├── pipelines.py     #对生成的item进行处理,若不设置,则默认为原网页爬取到的内容
 │   ├── __pycache__
 │   │   ├── __init__.cpython-35.pyc
 │   │   ├── items.cpython-35.pyc
 │   │   └── settings.cpython-35.pyc
 │   ├── settings.py    #每个项目都有这个文件,可对爬虫进行相关设置,如cookies,User-Agent等
 │   └── spiders     #编写爬虫主代码,此文件下可编写多个爬虫
 │       ├── __init__.py
 │       ├── ips.csv  #这是最后生成的文件,创建项目时是没有的
 │       ├── __pycache__
 │       │   ├── __init__.cpython-35.pyc
 │       │   └── xici.cpython-35.pyc
 │       └── xici.py     #编写爬虫代码的文件,非自动生成
 └── scrapy.cfg 

2. 编辑items.py文件,填入想要爬取内容的名称

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class CollectipsItem(scrapy.Item):
    IP = scrapy.Field()      #要爬取的代理ip
    PORT = scrapy.Field()  #ip端口
    DNS_POSITION = scrapy.Field()  #服务器地址
    TYPE = scrapy.Field()    #ip类型,http或者https
    SPEED = scrapy.Field()    #ip响应速度
    LAST_CHECK_TIME = scrapy.Field()    #ip最后更新时间

3. 编写主要爬虫

编写爬虫时可使用默认模板来生成爬虫文件,命令行命令为scrapy genspider [options]

# -*- coding: utf-8 -*-
import scrapy
from collectips.items import CollectipsItem
from scrapy.selector import Selector


class XiciSpider(scrapy.Spider):
    name = "xici"   #爬虫名称
    allowed_domains = ["http://www.xicidaili.com"]  #允许爬取的范围
   
    #重写start_requests()函数,生成多个要爬取的页面
    def start_requests(self):   
        reqs = []
        for i in range(1, 21):
            req = scrapy.Request(
                'http://www.xicidaili.com/nn/{}'.format(i))
            reqs.append(req)

        return reqs
    
    #编写parse()函数对爬取的网页内容进行分析,提取出想要的部分
    def parse(self, response):
        item = CollectipsItem()
        sel = Selector(response)
        #使用xpath选择器来选取我们想要的网页标签内容
        for i in range(2, 102):
            item['IP'] = sel.xpath(
                '//*[@id="ip_list"]/tr[{}]/td[2]/text()'.format(i)).extract_first()
            item['PORT'] = sel.xpath(
                '//*[@id="ip_list"]/tr[{}]/td[3]/text()'.format(i)).extract_first()
            item['DNS_POSITION'] = sel.xpath(
                '//*[@id="ip_list"]/tr[{}]/td[4]/a/text()'.format(i)).extract_first()
            item['TYPE'] = sel.xpath(
                '//*[@id="ip_list"]/tr[{}]/td[6]/text()'.format(i)).extract_first()
            item['SPEED'] = sel.xpath(
                '//*[@id="ip_list"]/tr[{}]/td[7]/div/@title'.format(i)).extract_first()
            item['LAST_CHECK_TIME'] = sel.xpath(
                '//*[@id="ip_list"]/tr[{}]/td[10]/text()'.format(i)).extract_first()
            yield item

编写爬虫提取标签时可采用scrapy自带的shell工具进行调试,命令行命令为scrapy shell 'website',若爬取成功,则会返回一个类似ipython的工具,可使用response.headers来查看返回的headers,采用response.xpath('//some/path/title/text()')来调试提取的内容

4. 防止爬虫被ban的一些方法

1. 更改设置文件settings.py,禁止cookies
2. 延长爬取间隔时间delay
3. 使用多个User-Agent
4. 使用代理ip

5. 使用chrome插件xpath helper快速获取目的内容的标签

使用xpath方法获取目的内容标签时,有点地方浏览器会对源html进行更改,加入一个tbody标签,如果我们使用的xpath标签中含有tbody,将无法获取正确内容,需要手动删除tbody这个标签.
xpath helper能帮助我们快速获得目的内容的标签,方便提取.使用方法为:打开目的网页后,Ctrl+shift+X调出xpath helper的控制台,将鼠标移至任何目的内容位置,按下shift键即可在控制台中查看鼠标所在内容的标签以及其内容.