Python: 二进制字节流数据的读取操作 -- bytes 与 bitstring

Python: 二进制字节流数据的读取操作 – bytes 与 bitstring

最近项目有个需求，需要对二进制文件读取内容，操作读取到的字节流数据，主要是查找与切片获取内容。这要求有两个标志，一个开始，一个结束，获取中间的内容。

Python 的 bytes 内置了一些方法，但是却不完美。在调查后，了解到 bitstring 这个第三方包，在对字节流数据的处理上，似乎更合适。

bytes

bytes：一种字符序列的类型。通过比较 dir(str) 与 dir(bytes) 可知，两者的属性与方法很相似，只有少数几个不同。所以 bytes 也是可以像 string 一样，对字节序列有各种操作方法，如查找（find），求长度（len），切割（split），切片等。

bytes 的优点是：Python 内置的方法，不需要的额外的安装三方模块。

但缺点也很明显：只能单个查询，不能一次查询多个需要的结果。

首先通过 open 的 rb 模式打开文件，读取内容为 bytes 类型。查找特定字符串有 find() 方法，但是此方法只能找到第一个符合要求的字符串索引，并且给出的不是单个位的索引，而是 8 位一个字节的索引。当需要查找多个符合的字符串，却没有内置的 findall() 方法。如果要查询多个，过程会麻烦，首先查到第一个符合的索引 1，以此索引 1 为开始，查询第二个符合的索引 2，以此类推，直到查询结束。

with open(path, 'rb') as f:
    datas = f.read()
    start_char = datas.find(b'Start')
    # start_char2 = datas.find(b'Start', start_char)
    end_char = datas.find(b'End', start_char)
    # end_char2 = datas.find(b'End', start_char2)
    data = datas[start_char:end_char]
    print(data)

注意上述代码，start_char 和 end_char 会出现多次，次数并不一定会一样，需要获取两个索引之间的内容，但是既无法循环，也不能一次查完。需要多次执行已注释的那行代码，获取关键字索引。由于不知道文件数据中会有多少个开始标志，也就不知道执行多少次，这应该采用循环解决，但似乎没有可供循环的变量。这使得问题更加复杂。

其次，由于是获取两个标志之间的内容，所以，以上过程需要执行两遍。因此过程更显得繁杂无比。

因此，寻找新的方法，是完全必要的。

bitstring

bitstring 是一个三方包，以字节流形式读取二进制文件。

bitstring.py 文件的第一句话是：This package defines classes that simplify bit-wise creation, manipulation and interpretation of data.

翻译如下：这个包定义的类简化了数据的逐位创建、操作和解释。

简单理解就是，直接操作 bytes 类型的数据。

有主要的四个类，如下：

Bits -- An immutable container for binary data.
BitArray -- A mutable container for binary data.
ConstBitStream -- An immutable container with streaming methods.
BitStream -- A mutable container with streaming methods.

Bits -- 二进制数据的不可变容器。
BitArray -- 二进制数据的可变容器。
ConstBitStream -- 具有流方法的不可变容器。
BitStream -- 具有流方法的可变容器。

像 bytes 一样，首先读取文件内容，查找关键字索引，切片获取数据内容。

# update at 2022/05/06 start
# from bistring import ConstBitStream, BitStream
from bitstring import ConstBitStream, BitStream
# update at 2022/05/06 end

hex_datas = ConstBitStream(filename=path)  # 读取文件内容
start_char = b'Start'
start_chars = hex_datas.findall(start_char, bytealigned=True)  # 一次找到全部符合的，返回一个生成器
start_indexs = []
for start_char in start_chars:
    start_indexs.append(start_char)

end_char = b'End'
end_indexs = []
for start_index in start_indexs:
    end_chars = hex_datas.find(end_char, start=start_index, bytealigned=True)  # 找到第一个符合的，返回元组
    for end_char in end_chars:
        end_indexs.append(end_char)

result = []
for i in range(min(len(start_indexs), len(end_indexs))):
    hex_data = hex_datas[start_indexs[i]:end_indexs[i]]
    str_data = BitStream.tobytes(hex_data).decode('utf-8')
    result.append(str_data)

代码分析，首先导入需要的两个类：ConstBitStream, BitStream。获取文件内容，findall() 查找所有符合的字符串索引，find() 查找第一个符合的字符串索引。取开始、结束两个列表的较小值，切片获取数据，类型为 ‘bitstring.ConstBitStream’，BitStream.tobytes() 方法转为 bytes 类型，中文字符会乱码，所以再用 decode() 解码，得到需要的字符串。

整个过程还是简洁、连续。代码中用到了 findall()、find()、tobytes() 方法。此外还有许多小细节需要注意，比如，start_indexs 如果为空，后续的代码就不该执行了，end_indexs 为空亦是如此。

由此可见，bitstring 这个包还是比较好用的。根据需求，用到的方法比较少，其实还有许多其他的方法，按需选择。