python文本分类汇总_用Python解决海量数据的分类汇总一键化办公的神器！
现实的创作来源于生活的灵感！
项目引入
昨天突然发现有一个比较头疼的问题，有一份数据是某一个学校的寝室数据，有不同的维度的分类，总的数据大概有4000数据，需要进行分类，然后按照不同分类维度进行表格制作，最后生成8个文件夹，每个文件夹里面有24个表格，这个就是我们这一个程序的最终实现功能。如果我们用Excel筛选需要点很多次，而且需要几个人的配合工作，这样就比较的费力，那么作为数据分析的Python神器，可不可以解决这个问题了，答案是当然可以！
项目思路
1.首先对这个大量的数据进行导入，用CSV这个库，然后按照Python的对象进行写入和解析，最后存储在pycharm运行内存空间，方便我们下一步操作。
2.导入之后我们就需要分类了，这个时候需要我们写一个算法了，我把它叫做“字典迭代算法”当然是我自己命名的，这个里面涉及到很多的坑，最后我们需要把这个功能封装起来。
3.数据保存也就是，CSV文件的写入数据，最后利用Python的内置模块OS进行文件夹的分类创建，最后实现保存数据，这个时候我们还要解决CSV文件的中文乱码问题。
难点
1.解析数据之后如何分割数据，进行保存
2.写入文件的时候如何解决乱码问题
3.怎样去结构化我们的代码程序
代码介绍
大概的思路就是这样，下面我们来具体看看这个程序的功能实现的功能步骤
解析数据
# 1.解析CSV海量数据，用字典保存在内存空间
def csv_data():
global dormitory_data
import csv
dormitory_data = []
with open(r"寝室数据.csv", encoding='utf-8-sig') as file:#将你的CSV文件和该程序文件放在一个文件夹下面
f_csv = csv.reader(file)#读取文件里面的每一行数据，转换为列表赋值给新的变量
header = next(f_csv)#利用迭代的方法，直接取出表头行(标题行)，更新f_csv的数据，去除了标题行
for row in f_csv:
data = {}
for index in range(7):
data[header[index]] = row[index]
dormitory_data.append(data)
这里我们对一份Excel的数据，修改它的后缀名，变成CSV文件的后缀名即可，然后我们就对这个数据进行导入和解析了。
这个解析过程和我们之前的一篇文章《用Python写一个成绩计算系统》的有异曲同工之妙。主要要理解对表头行的提取很数据迭代解析，最后存储在一个列表里面。注意这里一般都是需要声明全局变量的。
效果执行
分割数据
# 分割数据，按照数据的特点
def csv_sort():
global dicts
dicts=[];i = 0
dormitory_datas = dormitory_data.copy()#字典迭代删除迭代数据是一个坑，需要我们时刻更新数据库值
dormitory_datass= dormitory_data.copy()
for x in dormitory_datass:
b = []
for sort in dormitory_datass:
a_1 = sort["宿舍编号"]
b.append(a_1)
dicts.append(x)
dormitory_data.remove(x)
dormitory_datass=dormitory_data.copy()
if b[i][:3] != b[i+1][:3]:
break
这里不要小看这个几行代码，这个里面的算法是需要进行反复的测试，才实行的，里面有几个坑，真的是有点头疼，还好最后解决了。
1.首先我们要按照一个算法去分割数据，我们浏览数据之后发现，每一个组团的1-4栋寝室数据都是有相关联的，1楼到2楼的寝室编号我们按照前三位的数据节点，进行索引判断，这样去迭代每一个数据，然后进行比较，最后如果不同的话，我们就发现那么肯定是不同的楼层了，需要我们进行分割数据了。
2.但是我们发现我们跳出循环之后，也就是迭代完1楼的寝室数据之后，我们惊奇的字典的数据虽然是变化了，但是唯独也发生了变化，这个就是第一个坑，因为列表的删除有一个特点，它是利用迭代索引进行删除的，这个在我之前的计算机二级Python程序语言设计-疑难杂症知识点汇总，提到了这个解决办法。我最后利用字典的复制存储，不断的去更新和弥补这个数据字典，bug才解决，这个时候真的需要静下心来慢慢思索。
3.利用字典迭代算法，判断什么时候需要分割数据，最后封装这个函数功能。
保存数据
#保存数据，按照不同的分类
def keep_data():
import csv
import os
import codecs
for w in range(65,73):
W=chr(w)
path = '%s栋寝室'%W # 创建总的文件夹
if not os.path.exists(path):
os.mkdir(path)
os.chdir(path)
else:
os.chdir(path)
a = []
dict = dormitory_data[0]
for headers in dict.keys(): # 把字典的键取出来,注意不要使用sorted不然会导致键的顺序改变
a.append(headers)
header = a # 把列名给提取出来，用列表形式呈现
for k in range(1,5):
K=k
for p in range(1,7):
P=p
csv_sort()
with open('%s组%d栋%d楼.csv'%(W,K,P ),'a', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=header,) # 提前预览列名，当下面代码写入数据时，会将其一一对应。
writer.writeheader() # 写入列名
writer.writerows(dicts) # 写入数据
print("{}组{}栋寝室{}楼数据已经写入成功！！！! ! !".format(W,K,P))
这个功能同样有几个坑，首先我们需要对数据设计好迭代for循环保存，并且利用OS模块继续自动的创建文件夹，最后对其数据进行命名，方便我们查看还有就是我们的CSV文件里面的编码是utf-8模式，但是Excel里面的编码不同，这个就会造成我们的中文数据形式的乱码问题。
所以我们就去用了这个办法来解决了
encoding='utf-8-sig'
下面我们来看看整体操作的演示效果
代码升级版
1.我们还可以参考一些办法，对这个表格数据进行自动制作，添加头部文件信息，当然我这里就不做演示了，你们可以自己去寻找不同的解决方法。
2.我们还可以对数据表格进行网格线绘制，使其我们的表格更加美观，比如字体居中等
3.编写一个自动打印的程序，链接到我们的电脑打印机，一键化打印这些数据，极大地提高了我们的效率。
这些功能读者可以自己去实现，我这里就不做说明了，毕竟代码的涉及和项目不容易，哈哈哈哈！
自动化办公，一键化处理，本来就是Python的强项，我们可以利用它的功能来解决我们学习生活的难题，最后我想致敬那些每天为了数据整理，疯狂的点击Excel的工作人员，毕竟这个东西头大，难搞，枯燥，乏味
最后我想要说的是虽然设计项目程序比较的头疼，但是它可以移植，并且不断的升级，最后别人用1个小时，你只需要3秒钟运行查看即可！
程序源码
# -*- coding : utf-8 -*-
# @Time : 2020/9/15 13:26
# @author : 王小王
# @Software : PyCharm
# @File : 寝室数据分类.py-1.0版本
# @CSDN : https://blog.csdn.net/weixin_47723732
# 1.解析CSV海量数据，用字典保存在内存空间
def csv_data():
global dormitory_data
import csv
dormitory_data = []
with open(r"寝室数据.csv", encoding='utf-8-sig') as file:#将你的CSV文件和该程序文件放在一个文件夹下面
f_csv = csv.reader(file)#读取文件里面的每一行数据，转换为列表赋值给新的变量
header = next(f_csv)#利用迭代的方法，直接取出表头行(标题行)，更新f_csv的数据，去除了标题行
for row in f_csv:
data = {}
for index in range(7):
data[header[index]] = row[index]
dormitory_data.append(data)
# 分割数据，按照数据的特点
def csv_sort():
global dicts
dicts=[];i = 0
dormitory_datas = dormitory_data.copy()#字典迭代删除迭代数据是一个坑，需要我们时刻更新数据库值
dormitory_datass= dormitory_data.copy()
for x in dormitory_datass:
b = []
for sort in dormitory_datass:
a_1 = sort["宿舍编号"]
b.append(a_1)
dicts.append(x)
dormitory_data.remove(x)
dormitory_datass=dormitory_data.copy()
if b[i][:3] != b[i+1][:3]:
break
#保存数据，按照不同的分类
def keep_data():
import csv
import os
import codecs
for w in range(65,73):
W=chr(w)
path = '%s栋寝室'%W # 创建总的文件夹
if not os.path.exists(path):
os.mkdir(path)
os.chdir(path)
else:
os.chdir(path)
a = []
dict = dormitory_data[0]
for headers in dict.keys(): # 把字典的键取出来,注意不要使用sorted不然会导致键的顺序改变
a.append(headers)
header = a # 把列名给提取出来，用列表形式呈现
for k in range(1,5):
K=k
for p in range(1,7):
P=p
csv_sort()
with open('%s组%d栋%d楼.csv'%(W,K,P ),'a', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=header,) # 提前预览列名，当下面代码写入数据时，会将其一一对应。
writer.writeheader() # 写入列名
writer.writerows(dicts) # 写入数据
print("{}组{}栋寝室{}楼数据已经写入成功！！！! ! !".format(W,K,P))
def main():
csv_data()
keep_data()
if __name__ == '__main__':
main()
学到了吗？学到了就点赞转发呀！
此文转载文，著作权归作者所有，如有侵权联系小编删除！