python对csv文件中的数据进行分类_python处理csv文件///中文文本分类数据集,踩坑...

正文之前

好久没写了,以后写点日常总结吧,感觉不写下来,会容易忘掉一些。

很喜欢的一张壁纸,希望后面买了相机也可以拍这么好看~

正文

首先直接把我对数据预处理的一些收获贴出来:

jieba比清华的好用,不过清华的更注重整体性,比如说在一个《》包含的文件内,不会分割

最终还是选择了简单粗暴的只留下汉字,unicode编码真是简单粗暴

jieba和thulac都无法去掉,。、“”这些符号,很奇怪,所以我才选择的第二种方式

当然还有另外的方法

import re

r1 = '[a-zA-Z0-9’!",:#$%&\'(())*+,-—./:;;<=>?@。?★、…【】《》?“”‘’![\\]^_`{|}~]+●「」『』〖〗〘〙〚〛〜~⦅⦆「」〝〞〟〰〾〿□'

i = re.sub(r1,"",i)

而使用with的话,能够减少冗长,还能自动处理上下文环境产生的异常。如下面代码:

with open("2.txt") as file:

data = file.read()

上面是对清华的那个文本分类数据集做预处理的时候的一些踩的坑,八十多万个txt文件,真的搞死我。耗时最长的是删除那些零散的txt。。两个小时,我滴妈。。

下面是我读取txt文件并且转化为csv文件的踩坑:

import sys

import csv

csv.field_size_limit(sys.maxsize)

python open()打开文件之后如果用readlines(),那么会直接到文件底部,再调用这个函数就得不到任何数据了。。这个坑。。我他么,看下面代码的精妙之处:

file = open(x, 'r', encoding='utf8')

fileLength = len(file.readlines())

file.close()

file = open(x, 'r', encoding='utf8')

fReader = csv.reader(file)

print("Now the file length is: " + str(fileLength))

for i in fReader:

if fReader.line_num ==1:

continue

if(fReader.line_num<0.6*fileLength):

trResult.append(i)

elif (fReader.line_num >= 0.6*fileLength and fReader.line_num<0.8*fileLength ):

teResult.append(i)

else:

vaResult.append(i)

file.close()

要获得文本长度,那么直接开关一次,与后面彻底脱节,这样就OK了

然后的话,csv的reader内置的line_num貌似会自动迭代。不过我没去测试如果在一次循环体里面没有调用item 是否会跳转到下一行。毕竟你不用,循环个锤子哦。(随机采样表示不关我的事,)

至于之前把所有的txt文件写到对应分类的csv里面去,我看看,放一部分代码吧~ 全部的丢上来就涉及到一些不能说的秘密了。

def clearTHU():

nowWorkingDirectory = os.getcwd()

nowWorkingDirectory = 'G:\启动盘外的文件\THUCNews'

directoryNames = ['彩票','科技','社会','时尚','时政','星座','游戏','娱乐']

allDataPath = []

#@TODO 后面到了linux的机器上可以开启并行分词

filtrate = re.compile(XXX)#非中文

for i in directoryNames:

allDataPath.append(os.path.join(nowWorkingDirectory,i))

for i in range(len(allDataPath)):

#现在是在分类的文件夹下,读取每个文件夹下的所有文件丢到一个csv文件里面去

csvWFile = open(os.path.join(nowWorkingDirectory, directoryNames[i]+ '.csv'), 'w', encoding='utf8', newline='')

csvWFile.truncate()

writer = csv.writer(csvWFile)

index = [XXXX]

writer.writerow(index)

files = os.listdir(allDataPath[i])

result = []

print(allDataPath[i])

resultLength = 0

for file in files:

if(file.find('txt')==-1):

continue

item = []

with open(os.path.join(allDataPath[i],file), 'r', encoding='utf8') as f:

x = "".join([line.strip() for line in f.readlines()])

item.append(allDataPath[i][-2:])

item.append(x)

x = filtrate.sub(r'', x)

ss= ""

for s in XXX:

ss+= (XXX)

item.append(ss.strip())

if len(x)<10:

continue

item.append(str(XXX))

result.append(item)

if len(result) > 1000:

writer.writerows(result)

resultLength += len(result)

print("length of result: " + str(resultLength)+ "/"+str(len(files)))

result = []

# print("================"+os.path.join(allDataPath[i],file)+"=================\n" + " ".join(jieba.cut(x)))

if len(result) > 0:

writer.writerows(result)

csvWFile.close()

if __name__ == '__main__':

clearTHU()

正文之后

觉得自己的代码真的写的美极了~

你可能感兴趣的:(python对csv文件中的数据进行分类_python处理csv文件///中文文本分类数据集,踩坑...)