爬虫框架Scrapy（例子）

前言

最近看到一篇非常不错的关于新词发现的论文--互联网时代的社会语言学：基于SNS的文本数据挖掘，迫不及待的想小试牛刀。得先有语料啊……

本文将爬取爱思助手官网的苹果咨询专栏。通过这里现学了点Scrapy。

---

安装

具体安装细节就不说了，度娘和Google都知道。

1、Python2.7

      Scrapy需要用python编程。

2、anaconda

        anaconda里面集成了很多关于python科学计算的第三方库，主要是安装方便，而python是一个编译器，如果不使用anaconda，那么安装起来会比较痛苦，各个库之间的依赖性就很难连接的很好。

3、MySQL

      将爬取到的数据直接落地MySQL。需要新建一个表为后面存数据做准备。

CREATE TABLE `i4` (

          `id` INT(11) NOT NULL AUTO_INCREMENT,

         `title` VARCHAR(150) NOT NULL,

         `time` VARCHAR(15) NOT NULL,

         `content` LONGTEXT NOT NULL,

         PRIMARY KEY (`id`)

) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

4、Scrapy

      pip install scrapy

实战

通过观察该页面发现图二才是我们真正需要爬取的网页，但是该网页没有需要跟进的链接，所有链接都在图一的网页里，所以我们需要做两件事，第一，在图一里拿URL，再通过URL到图二的网页里面爬取所需的内容（标题、发表时间、正文）。

图一

图二

通过scrapy命令创建了一个名为i4的Scrapy项目。

scrapy startproject i4

该命令将会创建包含下列内容的i4目录:

这些文件分别是:

           scrapy.cfg: 项目的配置文件

           i4/: 该项目的python模块。之后您将在此加入代码。

           i4/items.py: 项目中的item文件.

           i4/pipelines.py: 项目中的pipelines文件.

           i4/settings.py: 项目的设置文件.

          i4/spiders/: 放置spider代码的目录.

定义提取的Item，Item是保存爬取到的数据的容器；

class I4Item(scrapy.Item):

        title = scrapy.Field()    #标题

        time  = scrapy.Field()    #发布时间

        content=scrapy.Field()    #内容

        pass

编写爬取网站的spider并提取Item，Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

class MySpider(scrapy.Spider):

         name = "i4"  #设置name

         allowed_domains = ["www.i4.cn"]    #设定域名

         start_urls = ["http://www.i4.cn/news_1_0_0_2.html"]  #填写爬取地址

          #编写爬取方法

         def parse(self, response):

                    for box in response.xpath('//div[@class="kbox"]//div[@class="news_list"]'):   #爬取图二的网页内容

                             link=box.xpath('./a[@class="img"]/@href').extract()[0]

                             prefix='http://www.i4.cn/'

                             link = prefix+link

                             print(link)

                             yield scrapy.Request(url = link, callback=self.parse_item)

                for box in response.xpath('//div[@class="paging"]'):   #爬取图一的URL

                            link=box.xpath('./a[last()-1]/@href').extract()[0]

                            prefix='http://www.i4.cn/'

                            link = prefix+link

                            print(link)

                            yield scrapy.Request(url = link, callback=self.parse)

         def parse_item(self, response):

                item = I4Item()  #实例一个容器保存爬取的信息

                #这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定

               for box in response.xpath('//div[@class="block_l"]'):

                         item['title'] = box.xpath('.//h1[@class="title"]/text()').extract()    #获取title

                        item['time'] = box.xpath('.//div[@class="info"]/div[@class="time "]').xpath('string(.)').extract()  #获取time

                        item['content'] = box.xpath('./div[@class="content"]').xpath('string(.)').extract()  #获取content

                        yield item  #返回信息

编写Item Pipeline来存储提取到的Item(即数据)

class MySQLPipeline(object):

          def __init__(self):

          self.conn = MySQLdb.connect(host="192.168.0.103",user="root",passwd="123456",db="ufo",charset="utf8")

          self.cursor = self.conn.cursor()

         def process_item(self, item, spider):

                 sql = "insert ignore into i4(title, time, content) values(%s, %s, %s)"

                 param = (item['title'], item['time'], item['content'])

                 self.cursor.execute(sql,param)

                  self.conn.commit()

可以设置多个Pipeline，需要在settings.py里设置，数字大小意为先后顺序。

ITEM_PIPELINES = {

           'i4.MyPipelines.MyPipeline': 1,

           'i4.MySQLPipelines.MySQLPipeline': 2,

}

运行爬虫

scrapy crawl  i4

结果会保存到MySQL数据库