目录
1. 读取txt文档
1.1 打开.txt文件逐行读取文件内容
2.1 分割句子保存列表
2.2 filter使用:使用filter可将列表中的元素进行函数处理(append和expend区别)
3.1 获取列表中每个元素的长度:
拓展:列表生成式:
4.1 筛选元素(for循环):
4.2 使用正则表达式(各类筛选条件):
2. 写入文件操作(逐行写入):
#加上with可以自动关闭文件。
#有时报错可写成
#with open('test.txt','r',encoding='utf-8') as f:
with open('test.txt','r') as f:
#open为打开文件,r为读取
f = open('test.txt','r')
#逐行读取文件内容
lines = f.readlines()
#print(lines)
sents = []
#遍历lines
for line in lines:
#消除空格和空行
line = line.strip()
tokens = line.split(',')
for token in tokens:
if len(token) > 0:
sents.append(token)
#print(sents)
例如将一个1-6的列表找出里面的偶数
#对列表中的数据进行筛选
nn = [1,2,3,4,5,6]
#filter(),第一个参数是对列表数据所做的函数,第二个是列表
#通过list将返回值转为list类型
l = list(filter(lambda x:x % 2 == 0,nn))
#print(l)
因此可以将上一步的token循环改写成:
#那么上面的token循环也可以写成:
sents = []
#遍历lines
for line in lines:
#消除空格和空行
line = line.strip()
tokens = line.split(',')
#现在是将每一行用,分割放到一个tokens里,每一个for循环都会有一个tokens转换为列表
#我们不能在此处直接sents.append(tokens),因为这样会将一个列表放到sents列表中
#而我们想要列表中的元素放入sents中,因此要用extend方法,自动将列表中的元素加入到sents中
tmp = list(filter(lambda x:len(x)>0,tokens))
sents.extend(tmp)
print(sents)
#获取列表中每个元素的长度
lens = []
for sent in sents:
lens.append(len(sent))
print(lens)
#也可以写成列表生成式的方式
#[]中先写加入到列表中的元素 再写循环
lens = [len(sent) for sent in sents]
print(lens)
#列表生成式也可以用于字典(元组)
#(1,2) (1,3) (1,4) (1,5)
#(2,2) (2,3) (2,4) (2,5)
#(3,2) (3,3) (3,4) (3,5)
ll = [(x,y) for x in range(1,4) for y in range(2,6)]
print(ll)
要是判断文本中哪行存在某些字符:直接使用for循环
#判断哪个行里面有GAN这个字符
for sent in sents:
if 'GAN' in sent:
print(sent)
#也可以用正则表达式
#可以是‘GAN’,也可以找部门‘G.'就是带有G的字符,.就代表任意字符
#也可以是'[我你]'或者'[0-9]'或者'2[0-9]'或者'2[0-9]{3}'表示年份或者'[0-9]+'表示数据
import re
regex = 'GAN'
for sent in sents:
if re.search(regex,sent) is not None:
print(re.findall(regex,sent))
正则表达式更多方法见官网:
re — 正则表达式操作 — Python 3.11.0 文档
#写入文件
with open('output.txt','w') as f:
#每个元素后面加上换行符
sents = [sent + '\n' for sent in sents]
#写入
f.writelines(sents)