python-使用正则函数re.findall处理不定长度但有一定格式的字符串

Python 正则表达式 

• re 模块使 Python 语言拥有全部的正则表达式功能。
• compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。
• re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。

findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

注意： match 和 search 是匹配一次，findall 匹配所有。

语法格式为：

findall(string[, pos[, endpos]])

参数：

• string : 待匹配的字符串。
• pos : 可选参数，指定字符串的起始位置，默认为 0。
• endpos : 可选参数，指定字符串的结束位置，默认为字符串的长度。

re.compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 、search()、findall() 等函数使用。

语法格式为：

re.compile(pattern[, flags])

参数：

• pattern : 一个字符串形式的正则表达式

• flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：

  1. re.I 忽略大小写
  2. re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
  3. re.M 多行模式
  4. re.S 即为 . 并且包括换行符在内的任意字符（. 不包括换行符）
  5. re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
  6. re.X 为了增加可读性，忽略空格和 # 后面的注释

例子：

'''
使用re.findall正则处理不定长度但有一定格式的字符串：
日志格式: 书名,作者,单价
book1,test1,1001, book2,test2,1002, book3,test4,1004
book1,test5,1005, book6,test6,1006, book7,test7,1007, book1,test8,1008
book9,test9,1009, book10,test10,10010
'''

import re


def analyzer_line(line):
    global pattern
    ary = pattern.findall(line)
    for i in range(len(ary)):
        print(ary[i][1], ary[i][2], ary[i][3])


'''
此方法读入日志文件，600万条记录，只要十多分钟
'''
def anlyzer_file(file):
    book_file = open(file, "r")
    while True:
        line = book_file.readline()
        if not line:
            break
        analyzer_line(line)


def anlyzer_file2(file):
    with open(file, 'r') as f:
        for line in f:
            analyzer_line(line)


if __name__ == '__main__':
    str = "(| )(\S+),(\S+),(-*\d+)(,|)"
    pattern = re.compile(str, re.IGNORECASE)
    book_file = "./logs/books.log"
    anlyzer_file2(book_file)

参考：

https://www.runoob.com/python/python-reg-expressions.html