跟李沐学AI：实用机器学习 | 第二章
收集数据 -> 标注/清洗数据 -> 数据变换 -> 特征工程 -> 模型训练
2.1 探索性数据分析 EDA（Exploratory data analysis）
seaborn可以画的matplotlib多
data = pd.read_csv('house_sales.zip') 可以读zip文件诶！！！
- 丢掉缺失值大于30%的列
null_sum = data.isnull().sum()
data.drop(columns = data.columns[null_sum > len(data) * 0.3], inplace=True)
- 数据类型转换
通过data.dtypes查看每列的数据类型
通过data.describe()查看数据的描述，包括每列对应的以下内容
过滤异常信息~abnormal == normal
画图看看出售价格的总体走势（做了log10处理）柱状图
data['Type'].value_counts()：找独一无二的值及其出现的次数
不同房型房价分布密度图 折线图
不同房型的单位房价分布 箱型图
不同列的协方差矩阵 热图
2.2 数据清理
数据错误类型及检测
outliers(离群点)：box plot删除离群点
rule violations：通过约束 ①功能依赖 functional dependency x->y；②denial constraints更加灵活的一阶逻辑方程
pattern violations：句法模式syntactic patterns，语义模式semantic patterns
2.3 数据变换
- 对于实数值的标准化方法 normalization
① Min-max
② Z-score（最常见）
③ Decimal scaling（max(|x|)）
④ Log
- 对于图片
下采样、裁剪：减小图片尺寸、注意图片质量（jpeg中等质量会导致精确度下降1%）
image whitening：图片中有些像素没用，通过降维减少图片的像素点，使输入不那么冗余、模型收敛得更快
- 对于视频
用好的压缩算法压缩视频，之后再解码视频、使用GPU进行采样，选取需要的帧
将视频以一帧一帧的图片的形式存储起来，比较费内存
- 对于文本
词根化语法化：careful->care；am, are, is -> be
词元化：text -> a list of tokens 通过词/字符/分词subwords
2.4 特征工程（Feature Engineering）
Machine Learning：input->manually engineered features->SVM
Deep Learning：input->features learned by a neural network->softmax regression（更准确 费数据 费计算资源）
表格式数据特征
int/float：直接用或者划分bin变为n个独特的int值
类别数据：one-hot独热编码 一列变成n列，只有一列为1
时间：用特征列表来表示 yy-mm-dd-h-m-s
特征组合：两种特征的笛卡尔积（Cartesian）结果
文本数据特征
- 用词元特征代表文本
① Bag of words(BoW) model：把一个句子所有词元的独热编码加起来（要小心地设计词典，存在上下文缺失问题）
② Word embeddings(e.g. Word2vec)：
训练一个词嵌入模型，把词表示为一个词向量，向量之间有一定的语义信息（两个词对应的向量距离（e.g. 余弦距离）比较近说明其语义相近），把这个句子中所有词向量加起来，就得到了这个句子的词嵌入表示。
- 使用预训练的语言模型（e.g. BERT, GPT-3）
大型transformer模型
使用在存在大量未标注数据情境下
fine tuning for downstream tasks
图片/视频特征
传统方法手动训练：尺度不变特征转换（Scale-invariant feature transform, SIFT)，手动抽取特征。是一种电脑视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
深度神经网络模型预训练：
ResNet（使用ImageNet训练（图片分类））image
I3D（使用Kinetics训练（动作分类）） video
2.5 数据科学家的日常
数据标注/数据规模的权衡
数据的质量：多样性、无偏性、公平性
大规模数据的管理：存储、处理、版本（回滚）、安全