Python爬虫 --- 2.4 Scrapy之天气预报爬虫实践

目的

写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。

目标分析：

这次我们要爬的是 中国天气网：http://www.weather.com.cn/
随便点开一个城市的天气比如合肥： http://www.weather.com.cn/weather/101220101.shtml
我们要爬取的就是图中的：合肥七天的前期预报：

数据的筛选：

我们使用chrome开发者工具，模拟鼠标定位到相对应位置:

可以看到我们需要的数据，全都包裹在

里
我们用bs4、xpath、css之类的选择器定位到这里，再筛选数据就行。
本着学习新知识的原则，文中的代码将会使用xpath定位。
这里我们可以这样：

response.xpath('//ul[@class="t clearfix"]')

Scrapy 框架的实施：

1. 创建scrapy项目和爬虫：

   $ scrapy startproject weather
   $ cd weather
   $ scrapy genspider HFtianqi www.weather.com.cn/weather/101220101.shtml
   

   这样我们就已经将准备工作做完了。
   看一下当前的目录：

   .
   ├── scrapy.cfg
   └── weather
       ├── __init__.py
       ├── __pycache__
       │   ├── __init__.cpython-36.pyc
       │   └── settings.cpython-36.pyc
       ├── items.py
       ├── middlewares.py
       ├── pipelines.py
       ├── settings.py
       └── spiders
           ├── HFtianqi.py
           ├── __init__.py
           └── __pycache__
               └── __init__.cpython-36.pyc
   
   4 directories, 11 files
   

2. 编写items.py:

   这次我们来先编写items,十分的简单，只需要将希望获取的字段名填写进去：

   import scrapy
       
   class WeatherItem(scrapy.Item):
       # define the fields for your item here like:
       # name = scrapy.Field()
       date = scrapy.Field()
       temperature = scrapy.Field()
       weather = scrapy.Field()
       wind = scrapy.Field()
   

3. 编写Spider:

   这个部分使我们整个爬虫的核心!!

   主要目的是：

   将Downloader发给我们的Response里筛选数据，并返回给PIPELINE处理

   下面我们来看一下代码：

   # -*- coding: utf-8 -*-
   import scrapy
       
   from weather.items import WeatherItem
       
   class HftianqiSpider(scrapy.Spider):
       name = 'HFtianqi'
       allowed_domains = ['www.weather.com.cn/weather/101220101.shtml']
       start_urls = ['http://www.weather.com.cn/weather/101220101.shtml']
       
       def parse(self, response):
           '''
           筛选信息的函数：
           date = 日期
           temperature = 当天的温度
           weather = 当天的天气
           wind = 当天的风向
           '''
       
           # 先建立一个列表，用来保存每天的信息
           items = []
       
           # 找到包裹着天气信息的div
           day = response.xpath('//ul[@class="t clearfix"]')
       
           # 循环筛选出每天的信息：
           for i  in list(range(7)):
               # 先申请一个weatheritem 的类型来保存结果
               item = WeatherItem()
           
               # 观察网页，并找到需要的数据
               item['date'] = day.xpath('./li['+ str(i+1) + ']/h1//text()').extract()[0]
       
               item['temperature'] = day.xpath('./li['+ str(i+1) + ']/p[@class="tem"]/i/text()').extract()[0]
               
               item['weather'] = day.xpath('./li['+ str(i+1) + ']/p[@class="wea"]/text()').extract()[0]
               
               item['wind'] = day.xpath('./li['+ str(i+1) + ']/p[@class="win"]/em/span/@title').extract()[0] + day.xpath('./li['+ str(i+1) + ']/p[@class="win"]/i/text()').extract()[0]
               
               items.append(item)
               
           return items
   

4. 编写PIPELINE：

   我们知道，pipelines.py是用来处理收尾爬虫抓到的数据的，
   一般情况下，我们会将数据存到本地：

   • 文本形式： 最基本的存储方式
   • json格式 ：方便调用
   • 数据库： 数据量比较大时选择的存储方式

   TXT（文本）格式：

   import os
   import requests
   import json
   import codecs
   import pymysql
       
   class WeatherPipeline(object):
       def process_item(self, item, spider):
       
           print(item)
           # print(item)
           # 获取当前工作目录
           base_dir = os.getcwd()
           # 文件存在data目录下的weather.txt文件内，data目录和txt文件需要自己事先建立好
           filename = base_dir + '/data/weather.txt'
       
           # 从内存以追加的方式打开文件，并写入对应的数据
           with open(filename, 'a') as f:
               f.write(item['date'] + '\n')
               f.write(item['temperature'] + '\n')
               f.write(item['weather'] + '\n')
               f.write(item['wind'] + '\n\n')
       
           return item
   

   json格式数据：

   我们想要输出json格式的数据，最方便的是在PIPELINE里自定义一个class：

   class W2json(object):
       def process_item(self, item, spider):
           '''
           讲爬取的信息保存到json
           方便其他程序员调用
           '''
           base_dir = os.getcwd()
           filename = base_dir + '/data/weather.json'
       
           # 打开json文件，向里面以dumps的方式吸入数据
           # 注意需要有一个参数ensure_ascii=False ，不然数据会直接为utf编码的方式存入比如:“/xe15”
           with codecs.open(filename, 'a') as f:
               line = json.dumps(dict(item), ensure_ascii=False) + '\n'
               f.write(line)
       
           return item
   

   数据库格式（mysql）:

   Python对市面上各种各样的数据库的操作都有良好的支持，
   但是现在一般比较常用的免费数据库mysql。

   • 在本地安装mysql：

     linux和mac都有很强大的包管理软件，如apt，brew等等

     window 可以直接去官网下载安装包。

     由于我是Mac，所以我是说Mac的安装方式了。

     $ brew install mysql
     

     在安装的过程中，他会要求你填写root用户的密码，

     这里的root并不是系统层面上的超级用户，是mysql数据库的超级用户。
     安装完成后mysql服务是默认启动的，
     如果重启了电脑，需要这样启动（mac）：

     $ mysql.server start
     

   • 登录mysql并创建scrapy用的数据库:

     # 登录进mysql
     $ mysql -uroot -p
     
     # 创建数据库：ScrapyDB ,以utf8位编码格式，每条语句以’；‘结尾
     CREATE DATABASE ScrapyDB CHARACTER SET 'utf8';
     
     # 选中刚才创建的表：
     use ScrapyDB；
     
     # 创建我们需要的字段：字段要和我们代码里一一对应，方便我们一会写sql语句
     CREATE TABLE weather(
     id INT AUTO_INCREMENT,
     date char(24),
     temperature char(24),
     weather char(24),
     wind char(24),
     PRIMARY KEY(id) )ENGINE=InnoDB DEFAULT CHARSET='utf8'
     

     来看一下weather表长啥样：

     show columns from weather
     或者：desc weather
     

   • 安装Python的mysql模块：

     pip install pymysql
     

     最后我们编辑与一下代码：

     class W2mysql(object):
         def process_item(self, item, spider):
             '''
             将爬取的信息保存到mysql
             '''
     
             # 将item里的数据拿出来
             date = item['date']
             temperature = item['temperature']
             weather = item['weather']
             wind = item['wind']
     
             # 和本地的scrapyDB数据库建立连接
             connection = pymysql.connect(
                 host='127.0.0.1',  # 连接的是本地数据库
                 user='root',        # 自己的mysql用户名
                 passwd='********',  # 自己的密码
                 db='ScrapyDB',      # 数据库的名字
                 charset='utf8mb4',     # 默认的编码方式：
                 cursorclass=pymysql.cursors.DictCursor)
     
             try:
                 with connection.cursor() as cursor:
                     # 创建更新值的sql语句
                     sql = """INSERT INTO WEATHER(date,temperature,weather,wind)
                             VALUES (%s, %s, %s, %s)"""
                     # 执行sql语句
                     # excute 的第二个参数可以将sql缺省语句补全，一般以元组的格式
                     cursor.execute(
                         sql, (date, temperature, weather, wind))
     
                 # 提交本次插入的记录
                 connection.commit()
             finally:
                 # 关闭连接
                 connection.close()
     
             return item
     

5. 编写Settings.py

   我们需要在Settings.py将我们写好的PIPELINE添加进去，
   scrapy才能够跑起来

   这里只需要增加一个dict格式的ITEM_PIPELINES，
   数字value可以自定义，数字越小的优先处理

   BOT_NAME = 'weather'
   
   SPIDER_MODULES = ['weather.spiders']
   NEWSPIDER_MODULE = 'weather.spiders'
   
   ROBOTSTXT_OBEY = True
   
   ITEM_PIPELINES = {
      'weather.pipelines.WeatherPipeline': 300,
      'weather.pipelines.W2json': 400,
      'weather.pipelines.W2mysql': 300,
   }
   

6. 让项目跑起来：

   $ scrapy crawl HFtianqi
   

7. 结果展示:

   文本格式：

   

   json格式：

   

   数据库格式：

   

这次的例子就到这里了，主要介绍如何通过自定义PIPELINE来将爬取的数据以不同的方式保存。

此文章同时同步到我的个人博客緣來來來 » Python爬虫 --- 2.4 Scrapy之天气预报爬虫实践