Python爬虫从入门到放弃 06 | Python爬虫打响第一炮之保存数据

此博客仅为我业余记录文章所用，发布到此，仅供网友阅读参考，如有侵权，请通知我，我会删掉。
本文章纯野生，无任何借鉴他人文章及抄袭等。坚持原创！！

前言

你好。这里是Python爬虫从入门到放弃系列文章。我是SunriseCai。

使用Python爬虫就是以下三个步骤，一个步骤对应一篇文章。

• 请求网页
• 获取网页响应，解析数据(网页)
• 保存数据

---

本文章就介绍Python爬虫的第三步：保存数据。

• 主要介绍对网页数据进行存储，换句话说就是保存树。本文章主要介绍以下几种保存数据的方式：

1. 保存为txt文件
2. 保存为csv文件
3. 保存到mysql数据库
4. 保存到mongoDB数据库

---

这里只要是对保存数据做一个简单介绍，切勿作为系统的学习保存数据。

1. 保存为文本格式

建议移步系统的学习该模块，菜鸟教程：Python3 File 方法。

保存到文件的操作流程：

1. 打开文件
2. 写入文件
3. 关闭文件

打开文件：

• 以mode模式打开file文件，并写入content的内容

with open(file, mode) as f:
	f.write(content)
	f.close()	# 关闭文件

写入文件的各种模式：

• 值得注意的是w和a，w是覆盖模式a是追加模式。

1.1 保存到txt

• 示例：传入文件内容，即可保存内容文本为txt文件

content = 'This is the test save file as TXT.'

def save_txt(content):
    with open("test.txt",'w'，encoding='utf-8') as f:
        f.write(content)	# 写入传进来的文件内容
        f.close()

1.2 保存为csv文件

首先导入模块：

import csv

• csv即Comma-Separated Values。我觉得csv和excel炒鸡像的。

# 写入单行数据	（writerow([]))
import csv
def save_file():
	with open('test.csv', 'w',encoding='utf-8') as f:
    	writer = csv.writer(f)
    	writer.writerow(['hello world'])

# 写入多行数据	(writerows([(),(),()])
# 多行写入需要添加(newline=''),否则每行中间会有空白行 
import csv
def save_file():
	with open('test.csv', 'w', newline='',encoding='utf-8') as f:
    	writer = csv.writer(f)
    	writer.writerows([('小蔡', '20'), ('sunrisecai', '20')])

2. 保存到mysql数据库

这里需要安装mysql数据库，还没有安装的小伙伴可以参考这一篇文章：https://blog.csdn.net/weixin_45081575/article/details/102510115

首先需要安装pymysql模块，然后导入该模块

pip install pymysql		# 第一步
import pymysql			# 第二步

import pymysql

# 创建2个对象
db = pymysql.connect('localhost','root','123456','<数据库名>',charset='utf8')	# 连接到数据库
cursor = db.cursor()	# 建立游标

# 执行SQL命令并提交到数据库执行
# execute()方法第二个参数为列表传参补位

cursor.execute('insert into <数据表名> values(%s,%s)',['SunriseCai','2020'])
db.commit()	# 提交操作

# 关闭游标、关闭数据库
cursor.close()
db.close()

3. 保存到mongoDB数据库

这里需要安装mongoDB数据库，还没有安装的小伙伴可以参考菜鸟教程的教程：Windows 平台安装 MongoDB

首先需要安装pymongo模块，然后导入该模块

pip install pymongo		# 第一步
import pymongo			# 第二步

建立连接到mongoDB：

import pymongo
# 共三步 (1.连接对象 2.库连接 3.集合对象)
# 1.数据库连接对象
conn=pymongo.MongoClient('localhost',27017)
# 2.库对象
db = conn['库名']
# 3.集合对象
myset = db['集合名']
# 4.插入数据
myset.insert_one({"name":"小蔡"})	# {字典}

mongoDB常用操作：

# 1.查看所有数据库
	show dbs
# 2.选择数据库
	use <数据库名>
# 3.查看所有集合
	show collections
# 4.查看集合内容
	db.collection(集合).find()
# 5.删除当前数据库
	db.dropDatabase()
# 6.删除集合
	db.collection.drop()

---

不可否认，本篇文章写的很差劲，建议各位通过官方文档的链接过去进行系统的学习。

---

最后来总结一下本章的内容：

1. 介绍了with open写入文件的做法
2. 介绍了数据保存到mysql数据库
3. 介绍了保存数据到mongoDB数据库

---

• 感谢你的耐心观看，点关注，不迷路。
• 为方便菜鸡互啄，欢迎加入QQ群组织：648696280

下一篇文章，名为 《Python爬虫从入门到放弃 07 | Python爬虫实战–下载盗墓笔记全集》。