书友汇德天5小时精心整理分享如何自建数据集【3大模块+逾百个python知识点】吹响集结号！

各位好朋友大家现在好！时光流逝，学习不止，德天老师通过近期学习整理为大家呈现一篇精心制作的好文！

等作品也是一种享受，因为学习过程是一次积累和沉淀，所以为大家送出文章也是一次加工和整理，虽发文隔久，但坚持一如入往常，因为在编程的世界里，从来不缺乏创新的火花，和创造的奇迹！

先来给大家看一下我们今天要做的事情！

第一模块：OS

1、D盘创建python\students文件夹

2、分别建立两个文件

文件位置

D:\python\students

接下来，到了上干货时间，

送上我们需要自制100条数据的学生名字命名为：students_names,然后再自制数据Chinese,Math,other_subjects三列成绩数据命名：students_scores

1 系统模块os建目录

知识索引：

1. 定义函数mkdir,引入参数路径path

2. 去除路径前空格保存到Path

3. 去除路径尾部\ ，再次保存到path

4. 利用os模块下os.path.exists(“d:\python\students”)判断路径是否存在,返回结果保存在isExists中

5. if not isExists: 创建路径不存在则if 后为not False=True,则创建，否则输出目录已存在

6. return True，意为如果系统创建了目录则isExists=True，如果系统没有创建目录，则isExists=False

源码展示

def mkdir(path):
       # 引入模块
       import os

       # 去除首位空格
       path = path.strip()
       # 去除尾部 \ 符号
       path = path.rstrip("\\")
       isExists = os.path.exists("d:\\python\\students")

       # 判断结果
       if not isExists:
              # 如果不存在则创建目录
              new_path = "d:\\python\\students"
              os.makedirs(new_path)

              print(" 目录创建成功 ")
              return True

       else:
              # 如果目录存在则不创建，并提示目录已存在
              print("目录已存在")
              print(isExists)

# 创建一个参数位置在d盘目录下，调用函数
mkpath="d:\\"
mkdir(mkpath)

到此我们系统中保存文件的目录创建成功

模块2：import random

1. 随机数据模块在本文档中会引用两次，生成学生姓名文件会用到，后面还会用到

2. 获取列表长度len(fuxing) len(xing) len(ming) len(ming2),这个命领帮助我们取列表长度，目的是拿到一个列表内的索引值

3. fx = random.randint(0,len(fuxing)-5)这是帮助我们拿到fuxing列表中的一个随机索引然后减去5的值

4. fu_name.append(’ ’ _fuxing[fx] + ming[m1] + ming2[m2] ,结合3，我们fuxing[fx] ,可以帮助我们取到fuxing列表中索引为fx值的一个列表元素，在本案例源码中其它的列表中取元素也是同样道理。

5. append帮助我们把几个变量中拿到的索引元素合并后，输入一个新的名字列表，至此我们完成了一个名字的随机获取，大家是不是感觉到很有成就感呢？

6.#### 通过name变量把取得的所有名字加到一起放入name中

接下来我们为大家上干货源码

学习python编程一定要认真学习，及时归纳，用好你手头的工具，不积累的学习，是白白浪费时间，学会分析全部内容，用好每一个程序内的函数，变量，明白他们的工作原理，然后反复练习，

成功不是一口吃个胖子，一定是不停口，吃的健康，你说对吗？

创建学生姓名表：student_names

创建文件源码

import random
import pandas as pd

xing = [
'赵', '钱', '孙', '李', '周', '吴', '郑', '王', '冯', '陈', '褚', '卫', '蒋', '沈', '韩', '杨', '朱', '秦', '尤', '许',
'何', '吕', '施', '张', '孔', '曹', '严', '华', '金', '魏', '陶', '姜', '戚', '谢', '邹', '喻', '柏', '水', '窦', '章',
'云', '苏', '潘', '葛', '奚', '范', '彭', '郎', '鲁', '韦', '昌', '马', '苗', '凤', '花', '方', '俞', '任', '袁', '柳',
'酆', '鲍', '史', '唐', '费', '廉', '岑', '薛', '雷', '贺', '倪', '汤', '滕', '殷', '罗', '毕', '郝', '邬', '安', '常',
'乐', '于', '时', '傅', '皮', '卞', '齐', '康', '伍', '余', '元', '卜', '顾', '孟', '平', '黄', '和', '穆', '萧', '尹',
'姚', '邵', '堪', '汪', '祁', '毛', '禹', '狄', '米', '贝', '明', '臧', '计', '伏', '成', '戴', '谈', '宋', '茅', '庞',
'熊', '纪', '舒', '屈', '项', '祝', '董', '梁']
fuxing = ['万俟','司马','上官','欧阳','夏侯','诸葛','闻人','东方','赫连','皇甫','尉迟','公羊','诸葛','闻人','东方','赫连',
          '皇甫','尉迟','澹台','公冶','宗政','濮阳','淳于','单于','太叔','申屠','公孙','仲孙','轩辕','令狐','宇文','长孙',
          '慕容','司徒','司空']

ming = [
'的', '一', '是', '了', '我', '不', '人', '在', '他', '有', '这', '个', '上', '们', '来', '到', '时', '大', '地', '为',
'子', '中', '你', '说', '生', '国', '年', '着', '就', '那', '和', '要', '她', '出', '也', '得', '里', '后', '自', '以',
'会', '家', '可', '下', '而', '过', '天', '去', '能', '对', '小', '多', '然', '于', '心', '学', '么', '之', '都', '好',
'看', '起', '发', '当', '没', '成', '只', '如', '事', '把', '还', '用', '第', '样', '道', '想', '作', '种', '开', '美',
'总', '从', '无', '情', '己', '面', '最', '女', '但', '现', '前', '些', '所', '同', '日', '手', '又', '行', '意', '动',
'方', '期', '它', '头', '经', '长', '儿', '回', '位', '分', '爱', '老', '因', '很', '给', '名', '法', '间', '斯', '知',
'世', '什', '两', '次', '使', '身', '者', '被', '高', '已', '亲', '其', '进', '此', '话', '常', '与', '活', '正', '感',
'见', '明', '问', '力', '理', '尔', '点', '文', '几', '定', '本', '公', '特', '做', '外', '孩', '相', '西', '果', '走',
'将', '月', '十', '实', '向', '声', '车', '全', '信', '重', '三', '机', '工', '物', '气', '每', '并', '别', '真', '打',
'太', '新', '比', '才', '便', '夫', '再', '书', '部', '水', '像', '眼', '等', '体', '却', '加', '电', '主', '界', '门',
'利', '海', '受', '听', '表', '德', '少', '克', '代', '员', '许', '稜', '先', '口', '由', '死', '安', '写', '性', '马',
'光', '白', '或', '住', '难', '望', '教', '命', '花', '结', '乐', '色', '更', '拉', '东', '神', '记', '处', '让', '母',
'父', '应', '直', '字', '场', '平', '报', '友', '关', '放', '至', '张', '认', '接', '告', '入', '笑', '内', '英', '军',
'候', '民', '岁', '往', '何', '度', '山', '觉', '路', '带', '万', '男', '边', '风', '解', '叫', '任', '金', '快', '原',
'吃', '妈', '变', '通', '师', '立', '象', '数', '四', '失', '满', '战', '远', '格', '士', '音', '轻', '目', '条', '呢',
'病', '始', '达', '深', '完', '今', '提', '求', '清', '王', '化', '空', '业', '思', '切', '怎', '非', '找', '片', '罗',
'钱', '紶', '吗', '语', '元', '喜', '曾', '离', '飞', '科', '言', '干', '流', '欢', '约', '各', '即', '指', '合', '反',
'题', '必', '该', '论', '交', '终', '林', '请', '医', '晚', '制', '球', '决', '窢', '传', '画', '保', '读', '运', '及',
'则', '房', '早', '院', '量', '苦', '火', '布', '品', '近', '坐', '产', '答', '星', '精', '视', '五', '连', '司', '巴',
'奇', '管', '类', '未', '朋', '且', '婚', '台', '夜', '青', '北', '队', '久', '乎', '越', '观', '落', '尽', '形', '影',
'红', '爸', '百', '令', '周', '吧', '识', '步', '希', '亚', '术', '留', '市', '半', '热', '送', '兴', '造', '谈', '容',
'极', '随', '演', '收', '首', '根', '讲', '整', '式', '取', '照', '办', '强', '石', '古', '华', '諣', '拿', '计', '您',
'装', '似', '足', '双', '妻', '尼', '转', '诉', '米', '称', '丽', '客', '南', '领', '节', '衣', '站', '黑', '刻', '统',
'断', '福', '城', '故', '历', '惊', '脸', '选', '包', '紧', '争', '另', '建', '维', '绝', '树', '系', '伤', '示', '愿',
'持', '千', '史', '谁', '准', '联', '妇', '纪', '基', '买', '志', '静', '阿', '诗', '独', '复', '痛', '消', '社', '算',
'义', '竟', '确', '酒', '需', '单', '治', '卡', '幸', '兰', '念', '举', '仅', '钟', '怕', '共', '毛', '句', '息', '功',
'官', '待', '究', '跟', '穿', '室', '易', '游', '程', '号', '居', '考', '突', '皮', '哪', '费', '倒', '价', '图', '具',
'刚', '脑', '永', '歌', '响', '商', '礼', '细', '专', '黄', '块', '脚', '味', '灵', '改', '据', '般', '破', '引', '食',
'仍', '存', '众', '注', '笔', '甚', '某', '沉', '血', '备', '习', '校', '默', '务', '土', '微', '娘', '须', '试', '怀',
'料', '调', '广', '蜖', '苏', '显', '赛', '查', '密', '议', '底', '列', '富', '梦', '错', '座', '参', '八', '除', '跑',
'亮', '假', '印', '设', '线', '温', '虽', '掉', '京', '初', '养', '香', '停', '际', '致', '阳', '纸', '李', '纳', '验',
'助', '激', '够', '严', '证', '帝', '饭', '忘', '趣', '支', '春', '集', '丈', '木', '研', '班', '普', '导', '顿', '睡',
'展', '跳', '获', '艺', '六', '波', '察', '群', '皇', '段', '急', '庭', '创', '区', '奥', '器', '谢', '弟', '店', '否',
'害', '草', '排', '背', '止', '组', '州', '朝', '封', '睛', '板', '角', '况', '曲', '馆', '育', '忙', '质', '河', '续',
'哥', '呼', '若', '推', '境', '遇', '雨', '标', '姐', '充', '围', '案', '伦', '护', '冷', '警', '贝', '著', '雪', '索',
'剧', '啊', '船', '险', '烟', '依', '斗', '值', '帮', '汉', '慢', '佛', '肯', '闻', '唱', '沙', '局', '伯', '族', '低',
'玩', '资', '屋', '击', '速', '顾', '泪', '洲', '团', '圣', '旁', '堂', '兵', '七', '露', '园', '牛', '哭', '旅', '街',
'劳', '型', '烈', '姑', '陈', '莫', '鱼', '异', '抱', '宝', '权', '鲁', '简', '态', '级', '票', '怪', '寻', '杀', '律',
'胜', '份', '汽', '右', '洋', '范', '床', '舞', '秘', '午', '登', '楼', '贵', '吸', '责', '例', '追', '较', '职', '属',
'渐', '左', '录', '丝', '牙', '党', '继', '托', '赶', '章', '智', '冲', '叶', '胡', '吉', '卖', '坚', '喝', '肉', '遗',
'救', '修', '松', '临', '藏', '担', '戏', '善', '卫', '药', '悲', '敢', '靠', '伊', '村', '戴', '词', '森', '耳', '差',
'短', '祖', '云', '规', ' ', '散', '迷', '油', '旧', '适', '乡', '架', '恩', '投', '弹', '铁', '博', '雷', '府', '压',
'超', '伏', '勒', '杂', '醒', '洗', '采', '毫', '嘴', '毕', '九', '冰', '既', '状', '乱', '景', '席', '珍', '童', '顶',
'派', '素', '脱', '农', ' ', '练',  '野', '按', '军', '拍', '征', '楠', '骨', '余', '承', '置', '臓', '彩', '灯', '巨',
'琴', '免', '环', '姆', '暗', '换', '技', '翻', '束', '增', '忍', '餐', '洛', '塞', '缺', '忆', '判', '欧', '层', '付',
'阵', '玛', '批', '岛', '项', '狗', '休', '懂', '武', '革', '良', '恶', '恋', '委', '拥', '娜', '妙', '探', '呀', '营',
'退', '摇', '弄', '桌', '熟', '诺', '宣', '银', '势', '奖', '宫', '忽', '套', '康', '供', '优', '课', '鸟', '喊', '降',
'夏', '困', '刘', '罪', '丽', '鞋', '健', '模', '败', '伴', '守', '挥', '鲜', '财', '孤', '枪', '禁', '恐', '伙', '杰',
'迹', '妹', '藸', '遍', '盖', '副', '坦', '牌', '江', '顺', '秋', '萨', '菜', '划', '授', '归', '浪', '听', '凡', '预',
'奶', '雄', '升', '碃', '编', '典', '彩', '莱', '含', '盛', '济', '蒙', '棋', '端', '腿', '招', '释', '介', '烧', '误',
'乾', '坤']
ming2 = [
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'

]
woman_name = []
man_name = []
fu_name = []
for i in range(1,17):
    fx = random.randint(0, len(fuxing) - 5)
    m1  =   random.randint(0,len(ming)-20)
    m2  =   random.randint(0,len(ming2)-10)
    fu_name.append('' + fuxing[fx] + ming[m1] + ming2[m2])

for i in range(1,97):
    x   =   random.randint(0,len(xing)-10)

    m1  =   random.randint(0,len(ming)-20)
    m2  =   random.randint(0,len(ming2)-10)
    woman_name.append(''+xing[x]+ming[m1]+ming2[m2])
    man_name.append('' + xing[x] + ming[m1] + ming2[m2])
    names = woman_name + man_name +fu_name
print(names)


pf_name=pd.DataFrame(names,columns=["姓名"])
pf_name.to_excel('d:\\python\\students\\student_names.xlsx',sheet_name='name_1')

模块3：pandas 分析模块

pandas根据保存

1. pd.DataFrame()构建二维框架数据表函数

2. .to_excel()保存为excel电子表格文件函数

创建学生成绩表：student_scores.xlsx

知识索引：

1. 创建空的列表c_other_list = []

2. 利用模块random。randrange(20,100)创建随机数在20-100之间的随机整数一个，利用c_other_list.append(c_temp)把生成的随机数以追加形式，保存到列表中，for i in range(1,101)用100次遍历产生100个随机数保存到列表中

3. other_subjects = random.sample(c_other_list,100),再次利用随机函数中sample函数，从生成的1000个数据中挑出100个保存变量other_subjects中，另外的变量cn,ma也是同理

4. data_column = [[x] + [y] + [z] for x,y,z in zip(cn,ma,other_subjects)]，这句很重要，利用zip把我们前面生成的数列先打包，然后依次遍历取出放到x,y,z中使得数据由原来的1行，变成每个列表中数据1行只有1个，从而变成了100行的显示效果

5. 使用pd.DataFrame(data_column,columns=columns) 把原数据转化为pd框架二维数据

6. 最后使用pf_scores.to_excel(‘d:\python\students\student_scores.xlsx’,sheet_name=‘score_3’),把生成的数据全部存入硬盘

数据源代码：

import random
import pandas as pd

c_other_list = []
c_chi_and_math_list= []

for i in range(1,1001):
    c_temp = random.randrange(20,100)
    c_temp1 = random.randrange(80, 120)

    c_other_list.append(c_temp)
    c_chi_and_math_list.append(c_temp1)

cn = random.sample(c_chi_and_math_list,100)

ma = random.sample(c_chi_and_math_list,100)

other_subjects = random.sample(c_other_list,100)

columns= ["Chinese","Math","other_suject"]
data_column = [[x] + [y] + [z] for x,y,z in zip(cn,ma,other_subjects)
]

pf_scores = pd.DataFrame(data_column,columns=columns)

pf_scores.to_excel('d:\\python\\students\\student_scores.xlsx',sheet_name='score_3')

每一次分享是用心学习的成果，每一次文章的完成至少需要3-5个小时的准备，一方面是对知识的敬畏，另一方面是对读者的尊重，屏幕前的您辛苦的点赞，将会激励我不断的前行，PYthon学习的路上感谢，感恩，感动有你的陪伴！

我们一起加油！ 书友汇：德天（2020-6-7）