Python文本处理小案例
这篇文章主要是在某次帮学长做一个文本处理时的总结，需求是把从服务器导出的数据做简单处理，取出关键的数据整理后画图 ，感觉需求很简单，但是在实现的过程中还是遇到了不少问题。
rawdata大致如下
********* S_Message Start [DS03] ********* &,S,T,TIDL,0002PP2SY00LAS17112! !31158 &,S,T,TESTER,D20110 &,S,T,MECHA,0002PP2SY00LAS &,X,S,STP13:0,3652 &,X,D,TDEX_TEMP_RHT0,5 &,X,H,TD_Z00_RHT0,323,31! !3,0,0,0,0,0,0 &,X,H,TD_Z08_RHT0,348,33! !5,0,0,0,0,0,0 &,X,H,TD_Z11_RHT0,348,33! !3,0,0,0,0,0,0 &,X,H,TD_Z1A_RHT0,330,31! !5,0,0,0,0,0,0 &,X,H,TD_Z24_RHT0,304,28! !1,0,0,0,0,0,0 &,X,H,TD_Z25_RHT0,319,31! !1,0,0,0,0,0,0 &,X,S,STP14:0,4043 &,X,S,STP15:0,4043 &,X,S,STP16:0,4043 &,X,S,STP17:0,4043 &,X,D,TDEX_TEMP_PHT0,5
处理这些数据首先要把“!”结尾的数据和下一行的“!”开头的数据连接起来，因为这两行本是一行数据的，但是记录在服务器的时候分为了两行，所以第一步就是先把两行合一起同时去掉“!”号。然后整理出以&,X,H,TD_Z开头的数据写入文本中，最后读取出数据并画图。
1.读取文件合并'!'行
代码如下：
infile = r'C:\\Users\\26035\\Desktop\\新建文本文档 (2).txt'
infopen = open(infile, 'r+',encoding="utf-8")
lines = infopen.readlines() #读取整个文件以list形式返回
a = ''#空字符（中间不加空格）
for line in lines:
a += line
str=a
print(str.replace('!\n!', '')) #去掉!\n!并输出这里比较值得注意的是readlines()和replace()的使用。
其中读取文件的方式有三种，分别是read()、readline()、readlines()三种，其特性如下：
-
read()：read 是读取整个文件，把整个文件的内容赋值给一个字符串。
-
readline()：每次读取一行，把这一行赋值给一个字符串，返回。
-
readlines()：把文件都放到内存中(如果文件比内存大，则用不了；但这个方法速率很高)；之后把整个文件作为一个list返回。
这里合并两行并且去除'!'，我选的是replace()，之所以用的是replace()而不是strip()是因为我觉得strip()有点用不明白，主要是在去除"!"的同时还要去除"\n"，在实现的时候老是不成功所以换了replace()。
replace()
str.replace(old, new[, max])
参数含义
-
old -- 将被替换的子字符串
-
new -- 新字符串，用于替换old子字符串。
-
max -- 可选字符串, 替换不超过 max 次
在这里用replace()的时候得注意，因为readlines返回是列表的形式，但replace()的参数只能是字符串的形式，所以需要用str进行转换，否则将替换失败。
2.正则表达式匹配
代码如下：
lines = newfile.readlines()
pattern= re.compile(r'&,X,H,TD_Z') #创建pattern为&,X,H,TD_Z
for line in lines:
str =line
match= re.match(pattern, str, flags=0) #在文档内匹配pattern
if match:
newfile.write(line) #写入整理后的数据在抽取出关键数据这一步当然是用正则表达式匹配啦。方便好用功能强大。
re匹配字符串的方法有四种，分别是match、search、findall、finditer。其特性如下：
-
match()：匹配string 开头，成功返回Match object, 失败返回None，只匹配一个。
-
search()：在string中进行搜索，成功返回Match object, 失败返回None, 只匹配一个。
-
findall()：在string中查找所有 匹配成功的组, 即用括号括起来的部分。返回list对象，每个list item是由每个匹配的所有组组成的list。
-
finditer()：在string中查找所有 匹配成功的字符串, 返回iterator，每个item是一个Match object。
这里之所以选择match()是因为特征刚好在行开头，其实严谨一点的话应该选择search()或者findall()，这样的话匹配结果才会更严谨。
3.保存文件
代码如下：
b = os.getcwd() + '\\test_txt\\' #获取当前路径，并添加test_txt文件夹
if not os.path.exists(b): #判断当前路径是否存在
os.makedirs(b) #不存在则创建新的文件夹
new=open(b +'new.txt', "w") #创建TXT文件
new.write(str.replace('!\n!', '')) #替换!\n!后写入新文件夹
new.close()
这部分代码主要是保存整理过后的文件，这里用b = os.getcwd()获取当前源码所在位置的路径，之后加一个名为text_txt的文件夹。判断是否存在这个路径，如果没有则创建b路径。同时创建一个新的TXT文件。写入文件后关闭文件。
第一次写博客，这里主要是做一下一些小知识点的总结，有许多做的不好的地方，如果有错误的地方望不吝指教。