笔记：神经网络与深度学习——机器学习1

一、关于概率的一些基本概念

概率（Probability）：一个随机事件发生的可能性大小，为0到1之间的实数。
随机变量（Random Variable）
概率分布（Probability Distribution)
离散随机变量——伯努利分布
二项分布
连续随机变量——概率密度函数
高斯分布
累积分布函数(Cumulative Distribution Function, CDF）：随机变量X的取值小于等于x的概率
随机向量联合概率分布、条件概率
采样（Samoling）：给定一个概率分布，生成满足条件的样本，也叫抽样.

二、机器学习

机器学习~自动构建一个映射函数

现实世界的问题都比较复杂，很难通过规则来手工实现
如何构建映射函数：从大量数据中学习规律function

机器学习：通过算法使得机器能从大量数据中学习规律从而对新的样本做决策。
规律：决策（预测）函数

三、机器学习类型

1.典型的监督学习问题

回归的输出是一个Y值（实数，连续值），分类的输出是离散值0或1.

2.典型的无监督学习问题

四、机器学习的要素

数据——根据数据划分机器学习的类型，确定抽取特征
模型——从假设空间中选择最优模型
学习准则——判断学习的好坏
优化算法

1.模型

2.学习准则

一个好的模型应该在所有取值上都与真实映射函数一致

**损失函数（Loss Function)：*损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。
平方损失函数（Quadratic Loss Function)

期望风险

找到一个Theta使得R最小。

经验风险最小化(Empirical Risk Minimization, ERM)：寻找一个参数theta，使得经验风险函数最小化。
当风险函数确定之后，机器学习问题转化成为一个最优化问题。

3.最优化问题

学习率是非常重要的超参数！

随机梯度下降法SGD：在每次迭代时只采集一个样本

优点：每次计算开销小，支持在线学习
缺点：无法充分利用计算机的并行计算能力
解决办法：小批量（Mini-Batch）随机梯度下降法
随机选取一小部分训练样本来计算梯度并更新参数。既可以兼顾随机梯度下降法的优点，也可以提高训练效率