【CSDN搬家到WordPress】CSDN搬家到WordPress和自动同步

需要环境：

Python3.6
Scrapy
PyMySQL
安装模块
推荐使用anaconda安装新模块，在命令行中输入：

conda install -c conda-forge scrapy 
conda install -c anaconda pymysql

创建项目
创建Scrapy项目，在命令行中输入：

scrapy startproject myblog

1. 爬取信息

我们需要的数据有文章标题，文章链接，发表日期，文章内容，在item.py中定义我们要爬取的字段

import scrapy
class MyblogItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    href = scrapy.Field()
    date = scrapy.Field()
    content = scrapy.Field()
    pass

通过观察，发现CSDN的文章列表链接为：
https://blog.csdn.net/用户名/article/list/页数
所以我们创建spider/list_spider.py，用来抓取和分析网页。此时目录结构为：

myblog
│  items.py
│  middlewares.py
│  pipelines.py
│  settings.py
│  __init__.py
│
├─spiders
│  │  list_spider.py
│  │  __init__.py
│  │
│  └─__pycache__
│          list_spider.cpython-36.pyc
│          __init__.cpython-36.pyc
│
└─__pycache__
        settings.cpython-36.pyc
        __init__.cpython-36.pyc

在list_spider.py中编写ListSpider类，构造访问请求：

import scrapy
class ListSpider(scrapy.Spider):
    name = "list"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/qq_42623428/article/list/4",
    ]

然后再编写parser()函数，用来解析网页：

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。

这里给出XPath表达式的例子及对应的含义:

/html/head/title: 选择HTML文档中 标签内的