Python爬虫之Scrapy（爬取csdn博客）
本博客介绍使用Scrapy爬取博客数据（标题，时间，链接，内容简介）。首先简要介绍Scrapy使用，scrapy安装自行百度安装。
创建爬虫项目
安装好scrapy之后，首先新建项目文件：scrapy startproject csdnSpider
创建项目之后会在相应的文件夹位置创建文件：
创建爬虫模块
首先编写爬虫模块，爬虫模块的代码都放置于spiders文件夹中 。 爬虫模块是用于从单个网站或者多个网站爬取数据的类，其应该包含初始 页面的URL, 以及跟进网页链接、分析页 面内容和提取数据函数。 创建一个Spider类，需要继承scrapy.Spider类，并且定义以下三个属性：
1) name: 用于区别Spider。该名宇必须是唯一的，不能为不同的Spider设定相同的名字。
2) start_urls: 它是Spider在启动时进行爬取的入口URL列表。 因此，第一个被获取到 的页面的URL将是其中之 一 ，后续的URL则从初始的URL的响应中主动提取 。
3) parse(): 它是Spider的一个方法。 被调用时，每个初始 URL 响应后返回的Response对象，将会作为唯 的参数传递给该方法。该方法负责解析返回的数据(response data)、 提取数据（生成item)以及生成需要进一步处理的URL的Request对象。
现在创建CsdnSpider类，该类位于spiders下的csdn_spider.py中
#coding:utf-8
import scrapy
from ..items import CsdnspiderItem
class CsdnSpider(scrapy.Spider):
name = "csdnblogs"
allowed_domains = ["csdn.net"]#允许的域名
start_urls = [
"https://blog.csdn.net/qq_16669583/article/list/1",
"https://blog.csdn.net/qq_16669583/article/list/2",
"https://blog.csdn.net/qq_16669583/article/list/3"
]
def parse(self, response):
#实现网页的解析
#首先抽取所有的文章
papers = response.xpath(".//*[@id='mainBox']/main/div[2]/div")
#从每篇文章种提取数据
for paper in papers:
try:
title = paper.xpath("./h4/a/text()").extract()[1]
url = paper.xpath("./h4/a/@href").extract()[0]
time = paper.xpath("./div[1]/p/span[1]/text()").extract()[0]
content = paper.xpath("./p/a/text()").extract()[0]
print(url, title, time, content)
except Exception:
print('数据格式不对')
continue在爬虫的根目录运行：scrapy crawl csdnblogs结果如下：
在上溯的爬虫模块中需要自己根据网页的结构定义相应的xpth，在这里介绍本人最常用的获取xpath方法。
获取目标内容的xpath
scrapy本身提供了shell命令行给我们来调试，具体使用如下：
在一个新的命令行窗口输入：scrapy shell "https://blog.csdn.net/qq_16669583/article/list/2"，结果如下：
我们可以使用上图中的response对象来对网页进行操作。例如我们获取一个博客的标题：
对于每个目标内容我们可以根据其页面结构来构造xpath，最简单的就是通过谷歌浏览器的调试功能。
通过这个方式可以获取任意内容的xpath路径，我们只用对改xpath进行简单的修改即可使用。但是由于一些网站是动态加载，在谷歌浏览器上调试获取的内容在程序中不一定能获取的到，所以需要不断的进行调试。下面是获取几个内容的xpath调试结果。
定义Item和构建Item PipeLine
在上面的操作中仅仅是将爬取的内容输出在控制台中，在大部分的实际应用中需要我们对齐进行存储。首先我们需要对获取的数据进行封装，将每条数据封装为一个Item，在程序目录中的items.py文件中如下所示：
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class CsdnspiderItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
url = scrapy.Field()
time = scrapy.Field()
title = scrapy.Field()
content = scrapy.Field()
pass
对于爬取的数据，我们需要定义其传输管道，即Item PipeItem，在这里只是简单的存储在文件中，在pipelines.py文件中：
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
from scrapy.exceptions import DropItem
class CsdnspiderPipeline(object):
def __init__(self):
self.file = open('parser.json', 'wb')
def process_item(self, item, spider):
if item['title']:
line = json.dumps(dict(item)) + "\n"
print("输出数据",line)
self.file.write(line.encode())
return item
else:
raise DropItem('Miss title')
定义完Item和Item pipeline之后需要激活该管道，在setting.py配置文件中配置：
ITEM_PIPELINES = {
'csdnSpider.pipelines.CsdnspiderPipeline': 300,
}运行爬虫
同样在爬虫根目录运行：scrapy crawl csdnblogs：
查看json文件：
由于爬取的数据格式比较乱，没有调整，所以显示比较差，这个只能后续慢慢调整