BDA初级分析——数据收集、清洗和整理

一、认识数据

 什么是数据？

数据是对客观世界的记录，用来记载事物的性质、状态、相互关系等。

有哪些常见的数据类型？

 

 什么是数据集？

数据集：数据的集合，通常以表格形式出现。

 

 

二、收集数据

我们都会从哪里收集数据？

 内部数据：

 外部数据：

 收集数据的注意事项

① 准确性：确保数据源是准确的

② 及时性：确保各数据源都反馈的是相同时间窗口的数据

三、评估数据

准确性问题：

 唯一性问题：

 一致性问题：

 完整性问题：

 收集数据后，可以直接进行分析吗？

评估数据质量，做必要的清洗和整理。

 统计基础知识——描述数据

描述数据的两个关键问题：

① 集中度：数据集中在哪个区域

② 分散度：数据有多偏离中心区域

1、数据的集中度——平均值

平均值：用所有数据的和除以数据的条数

 极大值或者极小值容易引起平均值的偏差

 2、数据的集中度——中位数

中位数：将数据从小到大排列之后，处于正中间位置的那个数字

 

 3、数据的离散度——全距/极差

全距：数据中最大值和最小值的差

 

 

 4、数据的离散度——四分位数

四分位数：将数据按从小到大的排列“均分为”四等分后，四等分位置的数值

 5、数据的离散度——方差、标准差

 数据质量的评估标准

 1、完整性的评估——缺失值

缺失值: 原本应该有数据记录的位置出现了空的记录

缺失值对整体占比比较小，比如只有5%甚至更少，则可认为不影响整体分析结论，直接做删除处理。
如果数据的缺失值数量较大( 比如20%-30%)，影响了整体分析效果，可以对数据做适当的填充。对于数值，可以使用平均值或者中位数，对于类别(比如前面例子里所展示的性别 )，则可以使用众数。

2、完整性的评估——异常值

异常值: 数据的情况比较异常，偏离数据较多，特别大或特别小

统计学方法判断( Z-test ) : 按照统计原理，如果数据量达到一定量级就都会满足正态分布，99.9%的数据应该落在这个数据的平均值+/-3个标准差的范围内NortmalCUrStandard Deviation

 

IOR判断:限定离群值下限=O1-1.5*IOR、离群值上限=Q3+1.5*IQR，在离群值上限以上或者下限以下的点会被我们作为异常数据

业务和常识理解判断:在相对较小的数量时，可能会出现多个离散在外的点就需要通过业务和常识主导判断

缺失值和异常值的处理没有绝对的对错 选择方法根据业务场景和数据丰富度来决定

四、课后小结

 五、随堂练习

 

 正确答案：错误。

这两个方法的前提都是认为数据是接近正态分布的。按照统计原理，如果数据量达到一定量级就都会满足该分布。如果数据量极小，就可以根据业务和常识理解做判断

 

正确答案：ABCD

评估数据质量的四个维度: 准确性、唯一性、一致性、完整性

 

正确答案：C

身高150米显然是常识的错误，属于准确性问题

 

正确答案：错误。

唯一性代表数据不应该有违背业务意义的冗余，作为一张销售记录表，业务意义的几余是指一条销售记录被登记了多次。但这一题里，两条记录的购物时间是不同的，意味着1001用户在不同时间购买了同样的商品，是两条销售记录

 

正确答案：A

有数据才能做分析，界定问题后，需要从内外部收集数据

 

正确答案：错误。

数据清洗没有绝对的标准答案。一般情况下，字段少量缺失，可以做删除处理，也可以采用平均值.中位数、众数做填充或进行其他处理。处理方式不唯一。

 

正确答案：错误。

在法律允许的范围之内，充分收集外部数据，例如用户、社会、行为和消费信息，对于扩展分析维度会有很好的帮助。

 

 正确答案：AD

及时性在这里并不是指快速拿到这个数据，而是确保各数据源都反馈的是相同时间窗口的数据

 

正确答案：AB

时间类数据表示日期、时间，在C选项中，2s是时间间隔而不是时间，是数值类数据