python3 scrapy爬虫进行爬取数据存入MySQL数据库

 在python3.x 一般使用 pymysql 这个库进行连接 MySQL数据库【但是注意：这个库只是一个python3  与 mysql间的连接工具，仍需要电脑上安装 mysql server 然后才能用】。安装 PyMySQL可以使用 pip install pymysql 进行直接安装。使用以下代码进行测试：

结果为：

下面介绍使用 Scrapy 爬虫框架进行爬取数据，然后存入 mysql 数据库

这里的实验网站为：http://quotes.toscrape.com/

使用命令 scrapy startproject  ttttt (文件夹名称) 创建一个scrapy项目，项目如下：

这里在文件夹下的 items.py 进行写 Item 文件 ：

这里写一个 Spider 文件，用来爬取数据：

在 piplines.py这个文件里进行写管道函数，连接数据库，处理SQL语句：

配置文件 settings.py:

命令行进入 spiders 文件夹 进行执行：scrapy crawl quote 

就会发现数据已经存入了数据库。