Python文件与数据格式化

一、文件标识

文件标识的意义：找到计算机中唯一确定的文件。

文件标识的组成：文件路径、文件名主干、文件扩展名。

操作系统以文件为单位对数据进行管理。

二、文件类型

计算机中的文件分为文本文件和二进制文件。

文本文件	专门存储文本字符数据
二进制文件	不能直接使用文字处理程序正常读写，必须先了解其结构和序列化规则，再设计正确的反序列化规则，才能正确获取文件信息

 

 

 

二进制文件和文本文件这两种类型的划分基于数据逻辑存储结构而非物理存储结构，计算机中的数据在物理层面都以二进制形式存储。 

标准文件：

stdin（标准输入文件）	标准输入文件对应输入设备，如键盘。
stdout（标准输出文件
stderr（标准错误文件）	标准输出文件和标准错误文件对应输出设备，如显示器。

 

 

 

import sys
file = sys.stdout
file.write("hello")

三、文件的基础操作

（一）打开文件

open(file, mode='r', buffering=-1)
# file：文件的路径。
# mode：设置文件的打开模式，取值有r、w、a。
# buffering：设置访问文件的缓冲方式。取值为0或1。

r	以只读方式打开文件（mode参数的默认值）
w	以只写方式打开文件
a	以追加方式打开文件

b	以二进制形式打开文件
+	以更新的方式打开文件（可读可写）

打开模式	名称	描述
r/rb	只读模式	以只读的形式打开文本文件/二进制文件，若文件不存在或无法找到，文件打开失败
w/wb	只写模式	以只写的形式打开文本文件/二进制文件，若文件已存在，则重写文件，否则创建新文件
a/ab	追加模式	以只写的形式打开文本文件/二进制文件，只允许在该文件末尾追加数据，若文件不存在，则创建新文件
r+/rb+	读取（更新）模式	以读/写的形式打开文本文件/二进制文件，若文件不存在，文件打开失败
w+/wb+	写入（更新）模式	以读/写的形式打开文本文件/二进制文件，若文件已存在，则重写文件
a+/ab+	追加（更新）模式	以读/写的形式打开文本/二进制文件，只允许在文件末尾添加数据，若文件不存在，则创建新文件

file1 = open('E:\\a.txt')		# 以只读方式打开E盘的文本文件a.txt
file2 = open('b.txt', 'w')		# 以只写方式打开当前目录的文本文件b.txt
file3 = open('c.txt', 'w+')		# 以读/写方式打开文本文件c.txt
file4 = open('d.txt', 'wb+')	# 以读/写方式打开二进制文件d.txt

（二）关闭文件

要及时关闭文件的原因： 

计算机中可打开的文件数量是有限

打开的文件占用系统资源

若程序因异常关闭，可能产生数据丢失

Python可通过close()方法关闭文件，也可以使用with语句实现文件的自动关闭。

1.close()方法

close()方法是文件对象的内置方法。

file.close()

2.with语句

with语句可预定义清理操作，以实现文件的自动关闭。

with open('a.txt') as f:
        pass

（三）读写文件

读取文件的read()、readline()、readlines()方法

写文件的write()、writelines()方法

 1.1读取文件——read()方法

read()方法可以从指定文件中读取指定字节的数据。

with open('file.txt', mode='r') as f:
    print(f.read(2))   						# 读取两个字节的数据
    print(f.read())    						# 读取剩余的全部数据

1.2读取文件——readline()方法

readline()方法可以从指定文件中读取一行数据。

readline()

with open('file.txt', mode='r', encoding='utf-8') as f:
    print(f.readline())
    print(f.readline())

readlines()方法可以一次读取文件中的所有数据，若读取成功，该方法会返回一个列表，文件中的每一行对应列表中的一个元素。

readlines(hint=-1)

参数hint的单位为字节，它用于控制要读取的行数

如果行中数据的总大小超出了hint字节，readlines()不会再读取更多的行。

with open('file.txt', mode='r', encoding='utf-8') as f:
    print(f.readlines())  # 使用readlines()方法读取数据

2.1写文件——write()方法

write()方法可以将指定字符串写入文件

write(data)

string = "Here we are all, by day; by night."		# 字符串
with open('write_file.txt', mode='w', encoding='utf-8') as f:	
    size = f.write(string)					# 写入字符串
    print(size)						# 打印字节数

2.2writelines()方法

writelines()方法用于将行列表写入文件

writelines(lines)

string = "Here we are all, by day;\nby night we're hurl'd By dreams, each one into a several world."
with open('write_file.txt', mode='w', encoding='utf-8') as f:
    f.writelines(string)

3.字符与编码

文本文件支持多种编码方式，不同编码方式下字符与字节的对应关系不同。

编码方式	语言	字符数	字节数
ASCII	中文	1	2
	英文	1	1
UTF-8	中文	1	3
	英文	1	1
Unicode	中文	1	2
	英文	1	2
GBK	中文	1	2
	英文	1	1

 

 4. 文件的定位读写

tell()  获取文件当前的读写位置。

seek()      控制文件的读写位置。 

4.1 tell()方法
tell()方法用于获取文件当前的读写位置.

with open('file.txt') as f:
    print(f.tell())					# 获取文件读写位置
    print(f.read(5))				# 利用read()方法移动文件读写位置
    print(f.tell())					# 再次获取文件读写位置

4. 2 seek()方法

使用该方法可控制文件的读写位置，实现文件的随机读写。

seek(offset, from)

offset	表示偏移量  即读写位置需要移动的字节数
from	用于指定文件的读写位置  该参数的取值为0、1、2

seek()方法调用成功后会返回当前读写位置。 

0：表示文件开头

1：表示使用当前读写位置。

2：表示文件末尾。

with open('file.txt') as f:
    print(f.tell())					# 获取文件读写位置
    print(f.read(5))				# 利用read()方法移动文件读写位置
    print(f.tell())					# 再次获取文件读写位置

若要相对当前读写位置或文件末尾进行位移操作，需以二进制形式打开文件。

with open('file.txt','rb') as f:
    f.seek(5,0)
    f.seek(3,1)

四、文件与目录管理

（一）管理文件与目录

• 删除文件——os.remove(文件名)
• 文件重命名——os.rename(原文件名,新文件名)
• 创建/删除目录——os.mkdir(目录名)/os.rmdir(目录名)
• 获取当前目录——os.getcwd()
• 更改默认目录——os.chdir(路径名)
• 获取目录列表——os.listdir(目录/路径）

 五、数据维度与数据格式化

（一）维度

维度是与事物“有联系”的概念的数量，根据“有联系”的概念的数量，事物可分为不同维度。

 

 1.基于维度的数据分类

根据组织数据时与数据有联系的参数的数量，数据可分为一维数据、二维数据和多维数据。

 

 

 1.2 一二维数据的存储与读写

1）数据存储

 一维数据呈线性排列，一般用特殊字符分隔。

例如：

• 使用空格分隔：成都 杭州 重庆 武汉 苏州 西安 天津
• 使用逗号分隔：成都,杭州,重庆,武汉,苏州,西安,天津
• 使用&分隔：成都&杭州&重庆&武汉&苏州&西安&天津

 一维数据的存储需要注意以下几点：

•  同一文件或同组文件一般使用同一分隔符分隔。
• 分隔数据的分隔符不应出现在数据中。
• 分隔符为英文半角符号，一般不使用中文符号作为分隔符。

 二维数据可视为多条一维数据的集合，当二维数据只有一个元素时，这个二维数据就是一维数据。

CSV（Commae-Separeted Values，逗号分隔值）是国际上通用的一二维数据存储格式。

CSV格式规范：

• 以纯文本形式存储表格数据
• 文件的每一行对应表格中的一条数据记录
• 每条记录由一个或多个字段组成
• 字段之间使用逗号（英文、半角）分隔

CSV也称字符分隔值，具体示例如下：

姓名,语文,数学,英语,理综

刘婧,124,137,145,260

张华,116,143,139,263

邢昭林,120,130,148,255

鞠依依,115,145,131,240

黄丽萍,123,108,121,235

赵越,132,100,112,210

2）数据读取

• Windows平台中CSV文件的后缀名为.csv，可通过Office Excel或记事本打开
• Python在程序中读取.csv文件后会以二维列表形式存储其中内容

csv_file = open('score.csv')
lines = []
for line in csv_file:
		line = line.replace('\n','')
		lines.append(line.split(','))
print(lines)
csv_file.close()

 3）数据写入

将一、二维数据写入文件中，即按照数据的组织形式，在文件中添加新的数据。

（二）多维数据的格式化

为了直观地表示多维数据，也为了便于组织和操作，三维及以上的多维数据统一采用键值对的形式进行格式化。 网络平台上传递的数据大多是高维数据，JSON是网络中常见的高维数据格式。JSON格式的数据遵循以下语法规则：

• 数据存储在键值对（key:value）中，例如“姓名”: “张华”。
• 数据的字段由逗号分隔，例如“姓名”: “张华”, “语文”: “116”。
• 一个花括号保存一个JSON对象，例如{“姓名”: “张华”, “语文”: “116”}。
• 一个方括号保存一个数组，例如[{“姓名”: “张华”, “语文”: “116”}]。

 

 将学生成绩以XML格式存储：

  JSON模块——json

利用json模块的dumps()函数和loads()函数可以实现Python对象和JSON数据之间的转换。

 

函数	功能
dumps()	对Python对象进行转码，将其转化为JSON字符串
loads()	将JSON字符串解析为Python对象

 Python对象与JSON数据转化时的类型对照表

Python对象	JSON数据
dict	object
list,tuple	array
str,unicode	string
int,long,float	number
True	true
False	false
None	null

dumps()函数

使用dumps()函数对Python对象进行转码：

>>> import json

>>> pyobj = [[1, 2, 3], 345, 23.12, 'qwe', {'key1':(1,2,3), 'key2':(2,3,4)}, True, False, None] >>> jsonstr = json.dumps(pyobj)

>>> print(jsonstr)

>>> [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]

loads()函数

使用loads()函数将JSON数据转换为符合Python语法要求的数据类型。

>>> import json

>>> jsonstr = [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]

>>> pydata = json.loads(jsonstr)

>>> print(pydata) [[1, 2, 3], 345, 23.12, 'qwe', {'key1': [1, 2, 3], 'key2': [2, 3, 4]}, True, False, None]