【UFLDL-notes of attached materials（to be continued）】

Data Preprocessing：
对基于正交化ICA的模型来说，保证输入数据尽可能地白化（即协方差矩阵为单位矩阵）非常重要。这是因为：这类模型需要对学习到的特征做正交化，以解除不同维度之间的相关性（详细内容请参考 ICA 一节）。因此在这种情况下，epsilon 要足够小（比如 epsilon = 1e − 6）。？？

对于大图像，采用基于 PCA/ZCA 的白化方法是不切实际的，因为协方差矩阵太大。在这些情况下我们退而使用 1/f 白化方法（更多内容后续再讲）。？？

Deriving gradients using the backpropagation idea：
example 3 还没看？？
example 2 也有点迷糊

Sparse Coding:
两个To do 没有搞懂：
1.To increase the rate of convergence, you can instead run the algorithm on mini-batches instead…(TODO: explain why).

2.Very roughly and informally speaking, this initialization helps because the first step is an attempt to find a good s such that , and the second step “normalizes” s in an attempt to keep the sparsity penalty small. It turns out that initializing s using only one but not both steps results in poor performance in practice. (TODO: a better explanation for why this initialization helps?)

Exercise:Sparse Coding 还没做？？

另外ICA还没看，一个新的网站还有增减的内容http://ufldl.stanford.edu/tutorial/unsupervised/ExerciseRICA/

5月中旬答辩，重心转移到毕设上去。