深度学习-算法的鲁棒性与稳定性解析

1. 引言

“鲁棒”的英文是robustness，中文译为强健，稳健，所以说算法的鲁棒性直白点说就是健壮的、稳健的算法。

在深度学习领域，总是看到“算法的鲁棒性”这类字眼，比如这句–L1范数比L2范数鲁棒。

2. 鲁棒性

Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念：

1. 一是模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求；

2. 二是对于模型假设出现的较小偏差，只能对算法性能产生较小的影响；

   主要是：噪声（noise）

3. 三是对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响。

   主要是：离群点（outlier）

3. 稳定性与鲁棒性区别

这里用一个形象生动的网络例子来阐述稳定性与鲁棒性区别，单身的研究学者如有不适，请点赞或留言发泄~

正说着话，我忽然见到一位非常漂亮且可爱的女生与他们在一起，灵机一动，就转身对着漂亮女生，给出了如下的解释。

• （1）稳定性：他是你的男朋友。那么，如果他对周围晃来晃去的其他年轻漂亮女孩子虽然也动了点心，但把持的住，依然很喜欢你，我们说他对你的感情是稳定的。
• （2）鲁棒性：也称为是强壮性、或者稳健性。当他的地位变了，升迁了，发达了，抑或变得与以前大不一样的时候，他依然还是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是鲁棒的（Robust）。
• （3）非脆弱性：前面说的都是假定你是坚定的、把感情作为矢志不渝的，他的反应。现在，再来一点更厉害的：当你变老了，不再漂亮了，或者遇到不幸的创伤，疾病而变得……总之情况很糟，或者他发现了你过去可能遭遇到的一段不愉快的历史等等。甚至更极端地，当你自己有点变心、花心、甚至犯了点错误的时候，他若依然是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是非脆弱的的。

生动形象，简单明了，哈哈~

您的支持，是我不断创作的最大动力~

欢迎点赞，关注，留言交流~

深度学习，乐此不疲~

个人微信公众号，欢迎关注学习~

参考文献：

[1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

[2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.