什么是cost function，什么事regularization？

趁着老大出差，在工位上写点以前想的东西。 当我们用传统的统计机器学习方法处理问题时，我们需要定义一个cost function以衡量模型的好坏。但在实际场景中，我们的这个cost function的泛化性能未必好，所以，in the process of data mining，我们一直想做的事情就是如何找到一个更好的cost function。 Regularization这是就出现了，从某种意义上来说，它是给现有的参数加了一个限制，由于Ocam’s Razor的原理，一个简单的模型会有更好的泛化能力。那么换句话说，cost functin + Regularization是不是一个对数据更好的模型假设呢。 训练数据时，total cost = cost function + Regularization。如果非要用训练数据来估计其泛化loss，其实我更愿意用cost function，而不是total cost，所以，有的时候在思考问题时，我想找一个新的表达式来定义total loss，大概思路是不对所有的数据进行正则化。

暂时脑子很乱，组织下语言，有时间再更新博客 。