数据对象和属性类别:
数据一般有噪声,数量庞大,且来自不同的数据源
数据集由数据对象组成,一个数据对象代表一个实体
数据对象:样本、实例、数据点、对象
数据对象以数据元组的形式存放在数据库中,数据库的行对应于数据对象,列对应于属性
属性是一个数据字段,与维、特征、变量对应
维 用于数据仓库中
特征 用于机器学习中
变量 用于统计学中
属性的类型 值域
属性有四大类:
标称属性:只代表某种类别,不具有意义的序(无排序)例如第一食堂、第二食堂这种也是不具有意义的序
二元属性:标称属性的一种特殊情况 ,只有0/1
序数属性:顺序有意义,相继值之间的差是未知的,各值之间可以相互比较,但不一定是数字(比如白金会员、超级会员等)
数值属性:定量的可度量的量,用整数或者实数表示。
区间标度属性:以相等的单位尺度度量
比例标度属性:具有固定零点的数值属性
数值属性和序数属性之间在某些情况下可以相互转换
额外两种类型:
离散型:有限个/无限个可数个数
连续性:数据具有连续性
离散型数据与连续型数据在一些情况下也可以相互转换(区间分割/加值等,一般把连续转换为离散)
数据集类型:数据对象有时叫做点
训练集:用于训练模型
测试集:用于测试模型,对比预测值与真实值。
验证集:用于调参,与测试集的区别为:验证集可以反复用,测试集仅用于一次测试
一般训练:测试:验证为6:2:2
当数据量很大,需使用GPU加速时:训练、测试、验证的比值为:8:1:1
在不适用验证集时训练集测试集比:
总数据在1w以下:7:3
总数据在1w以下:8:2
数据量大到需使用GPU加速训练:9:1
数据集的维度:一维数据、二维数据、多维数据、高维数据
数据集的稀疏性:在矩阵中,如果数值为0的元素远大于非0元素的个数,非0元素排列无规律十,称为稀疏矩阵;若非零元素占大多数时,称为稠密矩阵。(IE考试中记住概念即可)稀疏矩阵可以用于提升性能
数据集的分辨率:灰度计算、图片压缩等(使用K-means)
数据汇总统计:量化,用单个数或数的小集合捕获可能很大的值集的各种特征
中心趋势度量:均值、中位数和众数
度量数据散步:极差、四分位数(四等分位:第25个百分位数、第50个百分位数、第75个百分位数、第100个百分位数)、方差、标准差、四分位数极差