机器学习笔记整理（十）——新兴机器学习算法

1.在线学习

• 逐次学习算法：将训练样本逐个输入到学习算法中，新数据进来时对现有的结果进行更新
• 当n非常大时，对于有限内存的利用和管理很有效

2.被动攻击学习

合理选择损失函数，通过求最优解析解得到最优解；引入惩罚系数，表示偏离现在的解的幅度，用于适当调整梯度下降量

• 优点：方便简单
• 缺点：激进学习，参数值变动大

被动攻击分类

• 损失函数：二乘Hinge损失或Hinge损失
• 使用拉格朗日对偶函数求最优解析解

被动攻击回归

• 损失函数：损失或者损失
• 使用拉格朗日对偶函数求最优解析解

3.适应正则化学习

利用在线学习特性的鲁棒学习算法，可以更好地处理异常值

不只对参数进行学习，也对参数概率分布进行学习，假设参数概率分布是期望为，协方差矩阵为的高斯分布

目标函数：

适应正则化分类

• 损失函数：与期望值向量μ相对应的二乘Hinge损失
• 当x维度d较大时，d×d的协方差矩阵浪费时间，将Σ非对角元素置为0可以解决这一问题

适应正则化回归（递归最小二乘法）

• 损失函数：与期望值向量μ相对应的损失