Python Pymysql来实现数据存储

Python 连接并操作 MySQL 数据库，主要通过 Pymysql 模块实现。本节讲解如何将抓取的数据存储至 MySQL 数据库。

提示：在学习本节知识之前，您已经掌握了 SQL 语言的基本语法。可参考《MySQL教程》

创建存储数据表

首先您应该确定您的计算机上已经安装了 MySQL 数据库，然后再进行如下操作：

**

# 1. 连接到mysql数据库
mysql -h127.0.0.1 -uroot -p123456
# 2. 建库
create database maoyandb charset utf8;
# 3. 切换数据库
use maoyandb;
# 4. 创建数据表
create table filmtab(
name varchar(100),
star varchar(400),
time varchar(30)
);

Pymysql基本使用

1) 连接数据库

1. db = pymysql.connect(‘localhost’,‘root’,‘123456’,‘maoyandb’)

参数说明：

• localhost：本地 MySQL 服务端地址，也可以是远程数据库的 IP 地址。
• root：连接数据所使用的用户名。
• password：连接数据库使用的密码，本机 MySQL 服务端密码“123456”。
• db：连接的数据库名称。

2) 创建cursor对象

**

cursor = db.cursor()

3) 执行sql命令

execute() 方法用来执行 SQL 语句。如下所示：

1. #第一种方法：编写sql语句，使用占位符传入相应数据
2. sql = “insert into filmtab values(‘%s’,‘%s’,‘%s’)” % (‘刺杀,小说家’,‘雷佳音’,‘2021’)
3. cursor.excute(sql)
4. 第二种方法：编写sql语句，使用列表传参方式
5. sql = ‘insert into filmtab values(%s,%s,%s)’
6. cursor.execute(sql,[‘刺杀,小说家’,‘雷佳音’,‘2021’])

4) 提交数据

**

db.commit()

5) 关闭数据库

**

cursor.close()
db.close()

完整的代码如下所示：

1. --coding:utf-8--

2. import pymysql
4. #创建对象
5. db = pymysql.connect(‘localhost’,‘root’,‘123456’,‘maoyandb’)
6. cursor = db.cursor()

7. sql语句执性，单行插入

8. info_list = [‘刺杀,小说家’,‘雷佳音,杨幂’,‘2021-2-12’]
9. sql = ‘insert into movieinfo values(%s,%s,%s)’
10. #列表传参
11. cursor.execute(sql,info_list)
12. db.commit()

13. 关闭

14. cursor.close()
15. db.close()

查询数据结果，如下所示：

**

mysql> select * from movieinfo;
+-------------+-------------------+-----------+
| name        | star              | time      |
+-------------+-------------------+-----------+
| 刺杀,小说家   | 雷佳音,杨幂         | 2021-2-12 |
+-------------+-------------------+-----------+
1 rows in set (0.01 sec)

还有一种效率较高的方法，使用 executemany() 可以同时插入多条数据。示例如下：

1. db =pymysql.connect(‘localhost’,‘root’,‘123456’,‘maoyandb’,charset=‘utf8’)
2. cursor = db.cursor()

3. sql语句执性，列表元组

4. info_list = [(‘我不是药神’,‘徐峥’,‘2018-07-05’),(‘你好,李焕英’,‘贾玲’,‘2021-02-12’)]
5. sql = ‘insert into movieinfo values(%s,%s,%s)’
6. cursor.executemany(sql,info_list)
7. db.commit()

8. 关闭

9. cursor.close()
10. db.close()

查询插入结果，如下所示：

**

mysql> select * from movieinfo;
+-------------+-------------------+------------+
| name        | star              | time       |
+-------------+-------------------+------------+
| 我不是药神  | 徐峥              | 2018-07-05 |
| 你好,李焕英 | 贾玲              | 2021-02-12 |
+-------------+-------------------+------------+
2 rows in set (0.01 sec)

修改爬虫程序

下面修改上一节《Python爬虫抓取猫眼电影排行榜》中的爬虫程序，将抓取下来的数据存储到 MySQL 数据库。如下所示：

1. coding=gbk

2. from urllib import request
3. import re
4. import time
5. import random
6. from ua_info import ua_list
7. import pymysql
9. class MaoyanSpider(object):
10. def init(self):
11. #初始化属性对象
12. self.url = ‘https://maoyan.com/board/4?offset={}’
13. #数据库连接对象
14. self.db = pymysql.connect(
15. ‘localhost’,‘root’,‘123456’,‘maoyandb’,charset=‘utf8’)
16. #创建游标对象
17. self.cursor = self.db.cursor()
19. def get_html(self,url):
20. headers = {‘User-Agent’:random.choice(ua_list)}
21. req = request.Request(url=url,headers=headers)
22. res = request.urlopen(req)
23. html = res.read().decode()
24. # 直接解析
25. self.parse_html(html)
27. def parse_html(self,html):
28. re_bds = ‘
    . ?title="(.?)". ?

    (.?)

    . ?class=“releasetime”>(.?)’
29. pattern = re.compile(re_bds,re.S)
30. r_list = pattern.findall(html)
31. self.save_html(r_list)
33. def save_html(self, r_list):
34. L = []
35. sql = ‘insert into movieinfo values(%s,%s,%s)’
36. # 整理数据
37. for r in r_list:
38. t = (
39. r[0].strip(),
40. r[1].strip()[3:],
41. r[2].strip()[5:15]
42. )
43. L.append(t)
44. print(L)
45. # 一次性插入多条数据 L:[(),(),()]
46. try:
47. self.cursor.executemany(sql,L)

48. 将数据提交数据库

49. self.db.commit()
50. except:
51. # 发生错误则回滚
52. self.db.rollback()
54. def run(self):
55. for offset in range(0,11,10):
56. url = self.url.format(offset)
57. self.get_html(url)
58. time.sleep(random.uniform(1,3))
60. # 断开游标与数据库连接
61. self.cursor.close()
62. self.db.close()
64. if name == ‘main’:
65. start=time.time()
66. spider = MaoyanSpider()
67. spider.run()
68. end=time.time()
69. print(“执行时间:%.2f” % (end-start))

数据库查询存储结果，如下所示：

**

mysql> select * from movieinfo;
+----------------+----------------------------------------------------------+------------+
| name           | star                                                     | time       |
+----------------+----------------------------------------------------------+------------+
| 我不是药神     | 徐峥,周一围,王传君                                               | 2018-07-05 |
| 肖申克的救赎   | 蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿                                  | 1994-09-10 |
| 绿皮书         | 维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼                            | 2019-03-01 |
| 海上钢琴师     | 蒂姆·罗斯,比尔·努恩,克兰伦斯·威廉姆斯三世                           | 2019-11-15 |
| 小偷家族       | 中川雅也,安藤樱,松冈茉优                                          | 2018-08-03 |
| 霸王别姬       | 张国荣,张丰毅,巩俐                                               | 1993-07-26 |
| 哪吒之魔童降世 | 吕艳婷,囧森瑟夫,瀚墨                                              | 2019-07-26 |
| 美丽人生       | 罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克                  | 2020-01-03 |
| 这个杀手不太冷 | 让·雷诺,加里·奥德曼,娜塔莉·波特曼                                   | 1994-09-14 |
| 盗梦空间       | 莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特                        | 2010-09-01 |
+----------------+----------------------------------------------------------+------------+
10 rows in set (0.01 sec)

零基础Python学习资源介绍

Python学习路线汇总

温馨提示：篇幅有限，已打包文件夹获取方式在：点击这里【 Python全套资料】 即可获取。

Python必备开发工具

温馨提示：篇幅有限，已打包文件夹获取方式在：点击这里【 Python全套资料】 即可获取。

Python学习视频600合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

100道Python练习题检查学习结果。

面试刷题

温馨提示：篇幅有限，已打包文件夹获取方式在：点击这里【 Python全套资料】 即可获取。