《神经网络与机器学习》学习日记 1

第一章 绪论

（引用部分大部分是自己看书写下的笔记，敲上以方便后续理解）

1. Machine Learning(机器学习 ML)

学习一般规律

有限数据

应用于未知数据

1.1 ML model

ML model一般包括两个方面：特征处理、学习并构建预测函数。

特征处理 = 数据预处理 + 特征提取 + 特征转换

ML model

数据预处理

原始数据

特征提取

特征转换

预测

结果

问题所在

ML实际操作中，特征处理基于人工干预，利用人类的经验来选取好的特征。

结果

大量人工干预

机器学习问题

特征工程问题

传统ML中，预测函数的构建才是ML的重点。

2. 表示学习

2.1 定义

可以自动学习出有效特征并提高 ML model 性能。

那么怎么定义有效特征？
在特征众多的前提下，须得知最牛的特征，或者说某种程度上较突出的特征，并将model建在这类特征的基础上。

2.2 目的

用于降低ML model 训练强度，不用训练的过于狠与准确。

2.3 关键

解决语义鸿沟，即输入数据的底层数据和高层语义信息之间的不一致性和差异性。

2.4 两个核心问题

1. 何为一个好的表示？
2. 如何学习到一个好的表示？

2.5 好的表示

1. 表示能力强
2. 使后续学习simple 简单高效
3. 有一般性，可迁移

2.6 特征表示的两种方式

（解决表示学习的核心问题1）

1. 局部表示：即离散表示/符号表示
2. 分布式表示

局部表示 vs 分布式表示 ≈ 一维 vs n维（现多为三维）
应用：使用神经网络时，将高维的局部表示空间映射到一个非常低维的分布式表示空间中

3. Deep Learning (深度学习 DL)

3.1 定义

1. ML的一个分支
2. 前期用于处理表示学习的问题
3. 后期越来越多用于处理复杂的推理、决策问题

3.2 目的

（解决表示学习的核心问题2）

需要一种学习方式可以从数据中学习一个“深度模型”，意义为通过学习算法来让模型自动学习出一种好的特征表示，最终提高预测模型的准确率。

DL model 的 深度增加 -->表示能力更强 -->预测能力提高

3.3 深度

原始数据进行非线性特征转换的次数。

if 学习系统=有向图：
深度 = 输入节点到输出节点的最长路径长度

3.4 关键问题

Credit Assignment Problem (贡献度分配问题 CAP)

就是不知道谁在C 谁在划水

解决方式
误差反向传播算法

4. 神经网络（这里指人工神经网络）

定义

一种模仿人脑神经系统的数学模型
在ML中，指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度是可学习的参数。