Python爬虫从入门到放弃 06 | Python爬虫打响第一炮之保存数据

此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉。
本文章纯野生,无任何借鉴他人文章及抄袭等。坚持原创!!

前言

你好。这里是Python爬虫从入门到放弃系列文章。我是SunriseCai。

使用Python爬虫就是以下三个步骤,一个步骤对应一篇文章。

  • 请求网页
  • 获取网页响应,解析数据(网页)
  • 保存数据

本文章就介绍Python爬虫的第三步:保存数据

  • 主要介绍对网页数据进行存储,换句话说就是保存树。本文章主要介绍以下几种保存数据的方式:
  1. 保存为txt文件
  2. 保存为csv文件
  3. 保存到mysql数据库
  4. 保存到mongoDB数据库

这里只要是对保存数据做一个简单介绍,切勿作为系统的学习保存数据。

1. 保存为文本格式

建议移步系统的学习该模块,菜鸟教程:Python3 File 方法。

保存到文件的操作流程:

  1. 打开文件
  2. 写入文件
  3. 关闭文件

打开文件:

  • mode模式打开file文件,并写入content的内容
with open(file, mode) as f:
	f.write(content)
	f.close()	# 关闭文件

写入文件的各种模式:

  • 值得注意的是waw是覆盖模式a是追加模式。

Python爬虫从入门到放弃 06 | Python爬虫打响第一炮之保存数据_第1张图片

1.1 保存到txt

  • 示例:传入文件内容,即可保存内容文本为txt文件
content = 'This is the test save file as TXT.'

def save_txt(content):
    with open("test.txt",'w',encoding='utf-8') as f:
        f.write(content)	# 写入传进来的文件内容
        f.close()

1.2 保存为csv文件

首先导入模块:

import csv

  • csvComma-Separated Values。我觉得csvexcel炒鸡像的。
# 写入单行数据	(writerow([]))
import csv
def save_file():
	with open('test.csv', 'w',encoding='utf-8') as f:
    	writer = csv.writer(f)
    	writer.writerow(['hello world'])

# 写入多行数据	(writerows([(),(),()])
# 多行写入需要添加(newline=''),否则每行中间会有空白行 
import csv
def save_file():
	with open('test.csv', 'w', newline='',encoding='utf-8') as f:
    	writer = csv.writer(f)
    	writer.writerows([('小蔡', '20'), ('sunrisecai', '20')])

2. 保存到mysql数据库

这里需要安装mysql数据库,还没有安装的小伙伴可以参考这一篇文章:https://blog.csdn.net/weixin_45081575/article/details/102510115

首先需要安装pymysql模块,然后导入该模块

pip install pymysql		# 第一步
import pymysql			# 第二步
import pymysql

# 创建2个对象
db = pymysql.connect('localhost','root','123456','<数据库名>',charset='utf8')	# 连接到数据库
cursor = db.cursor()	# 建立游标

# 执行SQL命令并提交到数据库执行
# execute()方法第二个参数为列表传参补位

cursor.execute('insert into <数据表名> values(%s,%s)',['SunriseCai','2020'])
db.commit()	# 提交操作

# 关闭游标、关闭数据库
cursor.close()
db.close()

3. 保存到mongoDB数据库

这里需要安装mongoDB数据库,还没有安装的小伙伴可以参考菜鸟教程的教程:Windows 平台安装 MongoDB

首先需要安装pymongo模块,然后导入该模块

pip install pymongo		# 第一步
import pymongo			# 第二步

建立连接到mongoDB:

import pymongo
# 共三步 (1.连接对象 2.库连接 3.集合对象)
# 1.数据库连接对象
conn=pymongo.MongoClient('localhost',27017)
# 2.库对象
db = conn['库名']
# 3.集合对象
myset = db['集合名']
# 4.插入数据
myset.insert_one({"name":"小蔡"})	# {字典}

mongoDB常用操作:

# 1.查看所有数据库
	show dbs
# 2.选择数据库
	use <数据库名>
# 3.查看所有集合
	show collections
# 4.查看集合内容
	db.collection(集合).find()
# 5.删除当前数据库
	db.dropDatabase()
# 6.删除集合
	db.collection.drop()

不可否认,本篇文章写的很差劲,建议各位通过官方文档的链接过去进行系统的学习。


最后来总结一下本章的内容:

  1. 介绍了with open写入文件的做法
  2. 介绍了数据保存到mysql数据库
  3. 介绍了保存数据到mongoDB数据库

sunrisecai

  • 感谢你的耐心观看,点关注,不迷路。
  • 为方便菜鸡互啄,欢迎加入QQ群组织:648696280

下一篇文章,名为 《Python爬虫从入门到放弃 07 | Python爬虫实战–下载盗墓笔记全集》

你可能感兴趣的:(Python爬虫从入门到放弃 06 | Python爬虫打响第一炮之保存数据)