在Python1024的基础篇中,我们已经介绍过文件管理和文本文件的读写。
在路径处理方面,Python3.6版本后,建议采用pathlib,它采用面向对象封装接口,使用起来比os.path更人性化。
在学习后续章节前,有必要先介绍几个基本的概念,方便后续的理解。
1、常见文件格式
文本文件其实是一种特殊的二进制文件,它约定了以字符格式的读取方式,字符符合ASCII或UNICODE等编码标准。因为文本文件太通用、太特殊(字符形式)了,我们把它单独列出对待。
其他二进制文件则随应用的不同,有各式各样的读写规则。比如:
- PDF(Portable Document Format)文件,定义了一种独立于应用程序、硬件、操作系统的方式呈现文档的文件格式。它内部包含了大量类型的子元素,通过索引的方式嵌入在不同的位置。只有符合其规范的软件,才能读取,甚至修改PDF文件。PDF文件格式标准由Adobe定义:参考官网。
- 微软2007版本之后的Office文件,比如docx、pptx、xlsx,属于OpenXML文件格式。它是由微软开发的基于XML和ZIP压缩技术的文件规范,并于2008年正式成为国际标准。可以用解压缩软件打开这类文件,就能看到其内部结构。目前除了微软Office软件,我们也可以通过金山WPS、OpenOffice等软件打开其文档。
- 图像文件的格式非常多,根据压缩算法不同,会设计不同的文件格式,比如:JPEG、TIFF、RAW、BMP、GIF、PNG。归根到底,图像代表的是色彩数据,是整块的内容,而描述其数据结构的,是文件头部信息。
- 音频文件,保存的是声音信号的数字化,和图像一样,文件不同主要源于压缩算法的不同。我们常见的音频文件格式如:MP3、WAV、AAC、FLAC等,声音信号被数字化后保存在数据块中,同时由文件头描述数据块。关键信息如采样率、比特率、声道数。采样率是时间相关的概念,即每秒收集多少次声音样本信息。
- 视频文件,保存的是图像和音频的合集,即视频文件可以拆分为视频和音频,其中视频是图像的合集,每秒钟有多少张图像,就是它的FPS帧率,帧率决定了视频的流畅度。此外,每张图像的分辨率多大,决定了它的清晰度,比如我们常说的720P代表1280×720的分辨率,1080P就是1920×1080的分辨率,即代表用1920×1080个像素点来表达一张图片信息。所以,视频文件尤其大,根据压缩算法的不同,常见的文件格式如:MP4、MOV、FLV、WMV、WEBM等。
当然,除了上面这些文件格式外,我们还可以定义自己的格式,只要定义的格式,能被对应软件支持打开和写入即可。换句话说,如果你定义的文件格式,没人写出软件去支持,那就没办法应用。或者,你自己写了软件,但大部分人都不知道,或不想用,那它也就丧失了应用价值。在软件行业向互联网演进过程中,淘汰了大量的软件,才诞生出目前相对稳定的互联网基础设施。
Youtube上有人做了一个视频,呈现了90年代到2020年间最受欢迎浏览器的更替:原地址。
2、文本文件也有分类
文本文件,本质上是用于存储字符的文件。
所有那些以字符保存的文件格式,其实都是文本文件,只不过文本内容还有额外特定含义。
常见的比如:CSV、HTML、XML、JSON、JS、CSS,还有各种语言的代码。
2.1 CSV文件
CSV文件常用于保存数据表格,比如:
姓名, 电话, 地址
张三, 18900000001, 上海
李四, 13800000002, 广州
这就是一个典型的CSV文件,我们可以用文本编辑器打开它,也可以用Excel等软件打开它。如果用Excel软件打开它,Excel会把英文逗号作为分隔符号,提取单元格内容,我们看到的就是一张表格。
Python同样也支持这类文件的读写,通过csv模块:
import pathlib
import csv
path = list(pathlib.Path.cwd().parents)[1].joinpath('data/automate/001basic')
csv_path = path.joinpath('hello.csv')
with open(csv_path ,'r') as f:
f_csv = csv.reader(f)
headers = next(f_csv)
for row in f_csv:
for h, v in zip(headers, row):
print(f'{h.strip()}: {v.strip()}')
这样就能读出CSV文件中的数据:
姓名: 张三
电话: 18900000001
地址: 上海
姓名: 李四
电话: 13800000002
地址: 广州
2.2 XML文件
XML(eXtensible Markup Language)是为了结构化存储和传输数据而生,是一种标记语言。
World
程一初
Hello World
Welcome to Python1024!
我们可以自定义标记,一种定义就是一种数据格式。在Python中,有三种处理数据的方式:
- DOM(Document Object Model):文档对象模型,是W3C组织推荐的标准编程接口。它把XML文件映射到内存中,以“树”的数据结构来操作数据。
- SAX(simple API for XML):事件驱动模型,虽然不是标准,但应用广泛。它逐行扫描文档,边扫边解析,这样就不用一下子全装载到内存了。
- ElementTree:性能介乎于DOM和SAX之间,使用门槛低。
以ElementTree为例:
import pathlib
import xml.etree.ElementTree as ET
path = list(pathlib.Path.cwd().parents)[1].joinpath('data/automate/001basic')
xml_path = path.joinpath('hello.xml')
tree = ET.parse(xml_path)
root = tree.getroot() # 根节点
print('root_tag:', root.tag) # 根标签:mail
for elem in root:
print(f'{elem.tag}: {elem.text}')
此外,HTML是XML的一个子集,即HTML是一种特殊的XML,它定义了一整套标签规范,比如文字、超链接、表单等,按照这套规范来呈现HTML的应用就是浏览器了。当然,浏览器除了支持HTML,还需要支持JS脚本、CSS样式文件等其他规范。
2.3 JSON文件
相比XML文件格式,JSON文件格式更精简。同样的信息可以用更少的字符表示:
{
"mail": {
"to": "World",
"from": "程一初",
"title": "Hello World",
"body": "Welcome to Python1024!"
}
}
少了对称标记以及<>符号,JSON需要占用更少标记数据,所以它更常被用于互联网应用的数据传输。Python也内置了处理模块json:
import pathlib
import json
path = list(pathlib.Path.cwd().parents)[1].joinpath('data/automate/001basic')
json_path = path.joinpath('hello.json')
with open(json_path, 'r') as f:
data = json.loads(f.read())
print(f'root_tag: {list(data.keys())[0]}')
for k, v in data['mail'].items():
print(f'{k}: {v}')
2.4 代码文件
代码文件,比如Python代码文件,也是一种文本文件。所以,有一些静态代码检测工具,如pylint、pep8、flake8等,可以读取代码文件后检查编写质量。甚至,你可以编写程序自动生成代码,在自动化测试中用的比较多。
代码文件的读取和其他文本文件一样,都可以用open()函数打开,但是要解析代码文件,就必须用“语法树”来解析,它也提供了对应的ast模块。比如我们写一个简单的Python代码文件,包含一个注释块,以及一行代码:
'''
Author: 程一初
'''
print('hello world!')
然后用语法树解析它:
import pathlib
import ast
path = list(pathlib.Path.cwd().parents)[1].joinpath('data/automate/001basic')
py_path = path.joinpath('hello.py')
with open(py_path, 'r') as f:
node = ast.parse(f.read())
# 获取文档注释
print(ast.get_docstring(node))
class MyVisitor(ast.NodeVisitor):
# 定义一个遍历代码节点的类
# 按需重定义generic_visit函数
def generic_visit(self, node):
print(node)
super(MyVisitor, self).generic_visit(node)
v = MyVisitor()
v.visit(node)
会得到这样的结果:
Author: 程一初
<_ast.Module object at 0x118e4e890>
<_ast.Expr object at 0x118ce1b50>
<_ast.Str object at 0x118ce1f90>
<_ast.Expr object at 0x118ce1d90>
<_ast.Call object at 0x118ce1ad0>
<_ast.Name object at 0x118ce1b10>
<_ast.Load object at 0x103ed39d0>
<_ast.Str object at 0x118eb3ed0>
第一行为注释文档,剩下8行为ast内部对象,包括模块、表达式、字符串、函数名、调用等。这里只是举个例子,说明代码文件也是一种特殊的文本文件。平时应用中,我们几乎不会这么去读写代码文件,而是直接用Python解释器来执行代码。
总结
了解什么是文件,就能明白每个文件都有自己的规范,想要处理某类文件,就得先找到符合规范的应用,或者模块。找到模块后,就可以通过结构化的代码来批量处理了。
常见的自动化处理无非就这几种:
- 批量文件处理,比如某个文件夹下的所有文件统一重命名;
- 根据提前设定的规则,自动分类处理文件,比如按文件后缀调用不同程序处理;
- 组成流水线:把重复的工作提炼出标准,把每一步程序化后再组装起来。
Python的魅力,就是能把所有重复的工作,按模块组织起来,形成流水线,一个人发挥N个人的效率。
Python1024自动办公系列,涵盖Python处理文本文件、PDF、Word、Excel、PPT、图像、音频、视频、邮件、企业办公机器人等职场办公实用场景。