【学习笔记】EXCEL数据处理--规范与方法

自用笔记，主要记知识点

1、表格设计的规范要求

EXCEL常用表格类型：清单表、功能表、报表
数据处理阶段使用的是清单表。

1. 不要合并单元格（筛选、排序、透视等都会出现错误）

2. 不要多余行和列（例如空隔、汇总信息等）
   

3. 不要多行表头
   
   

4. 数据格式要统一

5. 避免空值（尽量避免）

6. 避免二维表（即某字段在列上展开）
   

7. 避免过多设置格式（如填充颜色、字体颜色等会增大文件体积）

工作表交接注意事项：

1. 冻结窗格
2. 不要是筛选状态
3. 删除空的sheet
4. 定位在A1位置

2、单元格的规范要求

1. 不要出现数据杂糅
   
2. 不要出现带单位的数字
   
3. 不要出现不规范日期
4. 不要出现无意义空格（字符前后、中间不要出现空格、二字姓名）

3、防止不过范发生

1. 设置下拉菜单
   数据——数据验证
   

2. 输入提示与警告
   同样使用数据验证功能的输入信息与出错警告
   

3. 限制输入文本长度和数字范围
   同样使用数据验证功能可以实现

4. 限制只能输入文本
   同样使用数据验证功能可以实现，使用自定义istext判断
   

5. 限制重复内容
   同样使用数据验证功能可以实现，使用自定义判断
   

6. 设置较复杂验证规则
   在自定义选项下借助函数做判断

7. 设置多级下拉菜单
   首先创建名称，公式——定义名称
   
   然后再创建数据验证，用函数进行相对引用
   

4、数据预处理

1. 导入非excel文件
   对于csv文件，导入后需另存为xlsx。
   对于txt文件，打开时按照导入向导操作，打开后另存为xlsx。
   最终操作都要在xlsx格式下进行。

2. 数据处理的习惯
   先备份文件，在备份上进行处理
   操作文件中具体某一个表时视情况需要在副表上进行
   具体行列也视情况需要备份
   经常保存

3. 快速删除空行空列
   定位出目标行列后删除。
   例如选定一个合适的区域——查找——定位条件——空值——删除整行/列
   

4. 取消单元合并
   先选定区域，取消合并居中。
   再选中全部空值单元格，以第一个单元格为例定义取值方式，即它上面一个单元格，然后ctrl+回车。
   最后全选列，粘贴为值消除公式即可。
   

5. 处理数据杂糅
   若杂糅样式统一，可以使用分列。
   数据——分列
   
   若不统一，可以使用函数截取。

6. 统一数据类型
   可以根据提示转换，或用分列强制转换数据类型
   文本数字转数字：文本*1

7. 处理重复行
   查看是否有重复值：选定区域后，开始——条件格式——突出显示单元格
   
   删除重复值：数据——删除重复值
   找出重复值但不删除并进行统计操作：在辅助列上使用函数 IF(COUNTIF(区域)=1,1,0)，记得锁定起始位置。则重复出现的值都显示为0。
   

8. 超过15为的文本型数字标记重复值
   不能直接标记重复，需使用 &"*" 转化成文本数字再做COUNTIF
   

5、数值数据处理

运算	实现
加减乘除	+ - * /
判断奇数	ISODD()
判断偶数	ISEVEN()
乘幂	POWER()
向下取整	INT()
取余	MOD()
四舍五入	ROUND()
去尾	ROUNDDOWN()
进一	ROUNDUP()
最大值	MAX()
最小值	MIN()
求和	SUM()
0-1随机数	RAND()
指定随机数	RANDBETWEEN()
排序	RANK()

中式排名（并列名次不占用后面的名次）
用COUNTIF()求不重复个数，经典办法：=SUM(1/COUNTIF(区域，区域))

6、文本数据处理

1. 文本提取函数

运算	实现
从左取指定位数文本	LEFT()
从右取指定位数文本	RIGHT()
中间截取	MID()

2. 巧妙文本分离
   格式统一时可以使用快速填充（自动寻找提取规则进行快速填充）
   

3. 查找指定文本
   文本提取函数结合FIND函数使用

4. 文本替换
   直接用查找替换
   或使用SUBSTITUTE()函数
   也可以用REPLACE()函数

5. 文本空格处理
   可以查找空格替换为空
   或使用TRIM()函数

6. 奇怪字符处理
   常见于导入数据，导致文本中存在非打印字符，使用CLEAN()函数。

7. 文本函数TEXT
   使用灵活，举几个例子：
   
   

8. 逐个拆分文件信息
   结合row函数，举几个例子：
   
   

7、日期时间处理

1. 提取信息
   针对日期格式yyyy-mm-dd 和 00:00:00

运算	实现
提取年	YEAR()
提取月	MONTH()
提取日	DAY()
提取时	HOUR()
提取分	MINUTE()
提取秒	SECOND()
日期组合	DATE()
时间组合	TIME()
今天	TODAY()
此时	NOW()
是第几周	WEEKNUM()
是周几	WEEKDAY()
两日期差值	DATEDIF()
间隔一定月数后的日期	EDATE()

*日期时间运算可以转化为数字运算

2. 不规范日期处理
   如20200202、2020.02.02、12/03/2020这样的，均不是标准日期格式。
   处理方法有很多，比如可以用TEXT函数、分列功能、SUBSTITUTE函数、先拆再组合等。
   
   
   注意写函数时日期要放在双引号内。

8、数据匹配处理

1. 用IF做条件判断

2. VLOOKUP精确匹配

3. VLOOKUP区间匹配 （适用于数字区间）

4. VLOOKUP文本模糊匹配（使用*符连接）
   

5. 使用VLOOKUP需注意数据格式一致、查找列放在选定区域第一列、精确还是区间、是否要绝对引用

6. VLOOKUP匹配多列
   连续列，借助COLUNM函数
   
   非连续列，借助MATCH函数
   

7. 反向匹配
   因为VLOOKUP是从左向右匹配，不能从右向左查找值。
   借助IF({1,0})结构调换顺序
   
   或者用INDEX和MATCH函数组合也能实现。
   

8. 多条件匹配
   用VLOOKUP实现
   =VLOOKUP(查找1&查找2,IF({1,0},区域1&区域2,查找值),列位置,精确查找)
   函数写完后ctrl+shift+回车
   用LOOKUP实现
   =LOOKUP(1,0/((条件1)*(条件2)),返回值)
   

9. 一对多匹配
   SMALL()函数，返回一组数据中第几小的数。
   

9、表格转换处理

1. 高级筛选
   数据——筛选——高级
   且条件写在同一行，或条件另起一行
   

2. 一列与多列的转换
   一到多，结合COLUNM和ROW函数
   
   或者借助自动填充，手动确定第二列，然后向右拖拽即可
   
   多到一，结合ROW和ROUND函数
   

3. 二维表转一维表
   借助数据透视表的逆操作。
   ALT+D 再按P打开数据透视表启动方式，选择“多重合并计算数据区域”
   
   下一步，再下一步，选择目标区域
   
   下一步，选择输出位置，完成。至此由原始二维表得到一个可用透视表。
   
   然后双击透视表上总计数字，如上图9098，变成清单式透视表。
   
   将这个透视表复制过来就得到了所需的一维表。
   
   注意只能二维转一维，多维要曲折一下，先选取一个合适的二维做转换，剩余维度再用函数匹配过来。

4. 数据记录压缩
   借助数据透视表可以实现

5. 数据扩展
   

6. 超级表
   插入——表
   这个表中追加的数据在透视表中直接刷新就可以出现，否则还需要手动更改透视表数据选取区域。
   这个创建的表亦称超级表、智能表等。
   

7. 多表汇总
   使用INDIRECT函数
   
   

8. 表格拆分
   按条件拆分生成多个xlsx文件，使用VBA代码
   
   

10、数据整理高级工具

1. 能记录步骤的PowerQuery（简记pq ）
   数据——自表格/区域，进入pq
   在PowerQuery中处理数据，处理完后按“关闭并上载至”操作退出。
   
   紧接着选择仅创建连接
   
   然后在软件右边界面找到表，右键——加载至，选择为表
   
   
   
   左边已经变成超级表的形式了，之后若在左边列表中有新数据追加进来，在右边表中刷新一下就可以了。

2. 能处理更大数据量的PowerQuery
   EXCEL最大只能处理行列数1048576*16384的数据，若大于这个量，则不能完全加载处理。
   在pq中打开数据，进行分析操作比如透视等，将结果输出至表即可。
   

3. 数据处理功能更集中的PowerQuery
   pq种集中了很多常用功能，可以减轻常规办法的工作量，省去构建辅助列、编辑函数等操作。自如前面章节练习过的数据去重、去空白行列、拆分列、文本提取、格式转换等等。

4. 合并多个工作表
   方法一：
   在一个新表中打开有多个表需要合并的excel文件，功能路径如下
   
   选中文件后，选择多项，把所有要合并的表都勾选上，进入编辑
   
   开始——追加查询——追加为新查询
   
   
   方法二：
   一样的打开文件，只不过只选择一个表进入编辑，通过拓展的方式达到合并的效果。
   只选择一个sheet打开后，在源状态下删除多余列，只保留data列
   
   然后在data右上角点击，确定展开所有列即可。
   
   然后注意下是否有多余标题行或其他内容，清理后输出结果即可。

5. 合并多个工作簿
   首先从文件夹打开
   
   进入编辑后，删除多余列，保留Content
   
   选择添加列——自定义列，使用函数Excel.Workbook([Content])
   
   然后将自定义的明细表展开，展开后仅删去多余列仅保留Data列
   
   
   然后再将Data展开即可。随后整理下格式就可以输出结果了。以后在目标文件夹下新增或删除excel工作簿，在表格上刷新即可完成数据更新。

6. 大数据量的数据匹配
   小数据量可以使用VLOOKUP，但是对于大数据量可以使用pq
   使用合并查询功能
   
   将匹配结果展开，就可以输出结果了。
   （注意区别于vlookup只匹配重复项第一个，pq的匹配会把所有数据匹配进来，所以要注意重复项的问题）

7. 中国式排名
   在pq中只需要使用合并查询，连接原始表和国际排名表即可（也就是将原始表进行国际排名，再将排名结果匹配回原始表）。

8. 二维表转一维表
   选中区域，使用逆透视功能
   

9. 数据扩展
   略