神经网络与深度学习第二章阅读

第二章机器学习概述

2.1 基本概念

基本概念：样本、特征（属性）、标签、模型、学习算法
这里举了一个买芒果的例子。特征和标签的区别，特征是一个一个属性，标签是这些属性的值。

image.png

2.2 三个基本要素

• 模型
  • 线性模型
  • 非线性模型
• 学习准则
  • 损失函数：损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。
    • 平方损失函数
    • 交叉熵损失函数
    • Hinge损失函数
  • 风险最小化准则，防止过拟合或是欠拟合
  • 优化算法
    • 梯度下降
    • 提前停止
    • 随机梯度下降
    • 小批量梯度下降

2.3 线性回归

2.4 偏差-方差分解

2.5 算法类型

按照训练样本提供的信息以及反馈方式的不同进行分类。

• 监督学习（回归、分类、结构化学习）
• 无监督学习（聚类、密度估计、特征学习、降维）
• 强化学习

image.png

2.6 数据特征表示

2.7 评价指标

正确率、准确率、召回率、F值

2.8 理论和定理

• PAC学习理论
• 奥卡姆剃刀（和正则化思想很类似）
• 归纳偏置（先验）