第七章文件与数据格式化
一、文件概述
（一）文件标识
- 文件标识的意义：找到计算机中唯一确定的文件。
- 文件标识的组成：文件路径、文件名主干、文件扩展名。
- 操作系统以文件为单位对数据进行管理。
（二）文件类型
（1）根据数据的逻辑存储结构，人们将计算机中的文件分为文本文件和二进制文件。
- 文本文件：专门存储文本字符数据。
- 二进制文件：不能直接使用文字处理程序正常读写，必须先了解其结构和序列化规则，再设计正确的反序列化规则，才能正确获取文件信息。
- 二进制文件和文本文件这两种类型的划分基于数据逻辑存储结构而非物理存储结构，计算机中的数据在物理层面都以二进制形式存储。
（三）标准文件
Python的sys模块中定义了3个标准文件，分别为：
在解释器中导入sys模块后，便可对标准文件进行操作。
import sys
file = sys.stdout
file.write("hello")
二、文件的基础操作
文件的打开、关闭与读写是文件的基础操作，任何更复杂的文件操作都离不开这些操作。
（一）文件的打开和关闭
1.打开文件
内置函数open()用于打开文件，该方法的声明如下：
open(file, mode='r', buffering=-1)
【参数】
| 打开模式 |
名称 |
描述 |
| r/rb |
只读模式 |
以只读的形式打开文本文件/二进制文件，若文件不存在或无法找到，文件打开失败 |
| w/wb |
只写模式 |
以只写的形式打开文本文件/二进制文件，若文件已存在，则重写文件，否则创建新文件 |
| a/ab |
追加模式 |
以只写的形式打开文本文件/二进制文件，只允许在该文件末尾追加数据，若文件不存在，则创建新文件 |
| r+/rb+ |
读取（更新）模式 |
以读/写的形式打开文本文件/二进制文件，若文件不存在，文件打开失败 |
| w+/wb+ |
写入（更新）模式 |
以读/写的形式打开文本文件/二进制文件，若文件已存在，则重写文件 |
| a+/ab+ |
追加（更新）模式 |
以读/写的形式打开文本/二进制文件，只允许在文件末尾添加数据，若文件不存在，则创建新文件 |
【返回值】
•若open()函数调用成功，返回一个文件对象。
file1 = open('E:\\a.txt') # 以只读方式打开E盘的文本文件a.txt
file2 = open('b.txt', 'w') # 以只写方式打开当前目录的文本文件b.txt
file3 = open('c.txt', 'w+') # 以读/写方式打开文本文件c.txt
file4 = open('d.txt', 'wb+') # 以读/写方式打开二进制文件d.txt
•若待打开的文件不存在，文件打开失败，程序会抛出异常，并打印错误信息。
FileNotFoundError Traceback (most recent call last)
in
----> 1 file1 = open("b.txt")
FileNotFoundError: [Errno 2] No such file or directory: 'b.txt'
2.关闭文件
Python可通过close()方法关闭文件，也可以使用with语句实现文件的自动关闭。
(1)with语句
with open('a.txt') as f:
pass
(2).为什么要及时关闭文件？
- 计算机中可打开的文件数量是有限
- 打开的文件占用系统资源
- 若程序因异常关闭，可能产生数据丢失
（二）文件的读写
- Python提供了一系列读写文件的方法，包括读取文件的read()、readline()、readlines()方法和写文件的write()、writelines()方法，下面结合这些方法分别介绍如何读写文件。
- read()（参数缺省时）和readlines()方法都可一次读取文件中的全部数据
- 但因为计算机的内存是有限的，若文件较大，read()和readlines()的一次读取便会耗尽系统内存，所以这两种操作都不够安全。
- 为了保证读取安全，通常多次调用read()方法，每次读取size字节的数据。
1.读取文件
（1）read()方法
read()方法可以从指定文件中读取指定字节的数据，其语法格式如下：
read(n=-1)
with open('file.txt', mode='r') as f:
print(f.read(2)) # 读取两个字节的数据
print(f.read()) # 读取剩余的全部数据
（2）readline()方法
readline()方法可以从指定文件中读取一行数据，其语法格式如下：
readline()
with open('file.txt', mode='r', encoding='utf-8') as f:
print(f.readline())
print(f.readline())
（3）readlines()方法
readlines()方法可以一次读取文件中的所有数据，若读取成功，该方法会返回一个列表，文件中的每一行对应列表中的一个元素。语法格式如下：
readlines(hint=-1)
with open('file.txt', mode='r', encoding='utf-8') as f:
print(f.readlines()) # 使用readlines()方法读取数据
2.写文件
（1）write()方法
write()方法可以将指定字符串写入文件，其语法格式如下：
- write(data)
- 以上格式中的参数data表示要写入文件的数据，若数据写入成功，write()方法会返回本次写入文件的数据的字节数。
string = "Here we are all, by day; by night." # 字符串
with open('write_file.txt', mode='w', encoding='utf-8') as f:
size = f.write(string) # 写入字符串
print(size) # 打印字节数
（2）writelines()方法
writelines()方法用于将行列表写入文件，其语法格式如下：
writelines(lines)
string = "Here we are all, by day;\nby night we're hurl'd By dreams,
each one into a several world."
with open('write_file.txt', mode='w', encoding='utf-8') as f:
f.writelines(string)
（三）文件的定位读写
Python提供了一些获取与修改文件读写位置的方法，以实现文件的定位读写。
1.tell()方法
tell()方法用于获取文件当前的读写位置，以操作文件file.txt为例，tell()的用法如下：
with open('file.txt') as f:
print(f.tell()) # 获取文件读写位置
print(f.read(5)) # 利用read()方法移动文件读写位置
print(f.tell()) # 再次获取文件读写位置
2.seek()方法
（1）Python提供了seek()方法，使用该方法可控制文件的读写位置，实现文件的随机读写。seek()方法的语法格式如下：
seek(offset, from)
- offset：表示偏移量，即读写位置需要移动的字节数。
- from：用于指定文件的读写位置，该参数的取值为0、1、2。
（0：表示文件开头。1：表示使用当前读写位置。2：表示文件末尾。）
seek()方法调用成功后会返回当前读写位置。
with open('file.txt') as f:
print(f.tell()) # 获取文件读写位置
print(f.read(5)) # 利用read()方法移动文件读写位置
print(f.tell()) # 再次获取文件读写位置
（2）需要注意的是，在Python3中，若打开的是文本文件，那么seek()方法只允许相对于文件开头移动文件位置，若在参数from值为1、2的情况下对文本文件进行位移操作，将会产生错误。
with open('file.txt') as f:
f.seek(5,0) # 相对文件开头移动5字节
f.seek(3,1)
（3）若要相对当前读写位置或文件末尾进行位移操作，需以二进制形式打开文件。
with open('file.txt','rb') as f:
f.seek(5,0)
f.seek(3,1)
三、文件与目录管理
1、对于用户而言，文件和目录以不同的形式展现，但对计算机而言，目录是文件属性信息集合，它本质上也是一种文件。
2、os模块中定义了与文件操作相关的函数，利用这些函数可以实现删除文件、文件重命名、创建/删除目录、获取当前目录、更改默认目录与获取目录列表等操作。
3、管理文件与目录
四、数据维度与数据格式化
（一）维度
从广义上讲，维度是与事物“有联系”的概念的数量，根据“有联系”的概念的数量，事物可分为不同维度。
（二）基于维度的数据分类
根据组织数据时与数据有联系的参数的数量，数据可分为一维数据、二维数据和多维数据。
多维数据
（三）一二维数据的存储与读写
1.数据存储
（1）一维数据呈线性排列，一般用特殊字符分隔，例如：
（2）一维数据的存储需要注意以下几点：
（3）CSV格式规范：
CSV也称字符分隔值，具体示例如下：
- 姓名,语文,数学,英语,理综
- 刘婧,124,137,145,260
- 张华,116,143,139,263
- 邢昭林,120,130,148,255
- 鞠依依,115,145,131,240
- 黄丽萍,123,108,121,235
- 赵越,132,100,112,210
2.数据读取
csv_file = open('score.csv')
lines = []
for line in csv_file:
line = line.replace('\n','')
lines.append(line.split(','))
print(lines)
csv_file.close()
3.数据写入
将一、二维数据写入文件中，即按照数据的组织形式，在文件中添加新的数据。
示例：在保存学生成绩的文件score.csv中写入每名学生的总分。
（四）多维数据的格式化
（1）为了直观地表示多维数据，也为了便于组织和操作，三维及以上的多维数据统一采用键值对的形式进行格式化。
（2）网络平台上传递的数据大多是高维数据，JSON是网络中常见的高维数据格式。JSON格式的数据遵循以下语法规则：
示例：
“高三二班考试成绩”:[
- {“姓名”: “陈诚”,
- “语文”: “124”,
- “数学”: “127”,
- “英语”: “145”,
- “理综”: “259” };
- {“姓名”: “黄思”,
- “语文”: “116”,
- “数学”: “143”,
- “英语”: “119”,
- “理综”: “273” };
- ……
- ]
（五）JSON模块——json
利用json模块的dumps()函数和loads()函数可以实现Python对象和JSON数据之间的转换，这两个函数的具体功能如表所示。
（六） Python对象与JSON数据转化时的类型对照表
（七）dumps()函数
#使用dumps()函数对Python对象进行转码。
import json
pyobj = [[1, 2, 3], 345, 23.12, 'qwe', {'key1':(1,2,3), 'key2':(2,3,4)}, True, False, None]
jsonstr = json.dumps(pyobj)
print(jsonstr)
#结果[[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]（八）loads()函数
#使用loads()函数将JSON数据转换为符合Python语法要求的数据类型。
import json
jsonstr = [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]
pydata = json.loads(jsonstr)
print(pydata)
#结果[[1, 2, 3], 345, 23.12, 'qwe', {'key1': [1, 2, 3], 'key2': [2, 3, 4]}, True, False, None]