本次实验的内容和步骤可以是参考UFLDL上的教程：Exercise:Independent Component Analysis。

在实现两层的CNN之前，首先实现了UFLDL中与CNN有关的作业。然后参考它的代码搭建了一个一层的CNN。最后实现了一个两层的CNN，码代码花了一天，调试花了5天，我也是醉了。

这个exercise需要完成cnn中的forward pass,cost,error和gradient的计算。需要弄清楚每一层的以上四个步骤的原理，并且要充分利用matlab的矩阵运算。大概把过程总结了一下如下图所示： STEP 1：Implement CNN Objective STEP 1a: Forward Propagation Forward Propagation主要是为

要实现的部分为：forward prop, softmax函数的cost function，每一层的gradient，以及penalty cost和gradient。 forwad prop forward prop是输入sample data，使sample data通过神经网络后得到神经网络输出的过程。 以分类问题来说，不同层的输入和输出如下表所示： 层 输入 输出

主成分分析与白化，这部分很简单，当然，其实是用Matlab比较简单，要是自己写SVD分解算法，足够研究好几个月的了。下面是我自己实现的练习答案，不保证完全正确，不过结果和网站上面给出的基本一致。     1.PCA in 2D   1.1 Step 1a: Implement PCA to obtain U u = zeros(size(x, 1

  　　前言: 　　最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。

本文参考自：http://ufldl.stanford.edu/wiki/index.php...原翻译版本有些不易理解的地方，用自己的语言写了一次。

教程也非常多，但实际上个人觉得看看斯坦福的相关学习资料就足够，并且国内都有比较好的翻译：人工神经网络概论，直接翻译与斯坦福教程：《神经网络-Ufldl》BP原理，直接翻译与斯坦福教程：《反向传导算法-Ufldl

主成分分析（PCA）是用来提升无监督特征学习速度的数据降维算法。看过下文大致可以知道，PCA本质是对角化协方差矩阵，目的是让维度之间的相关性最小（降噪），保留下来的维度能量最大（去冗余），PCA在图像数据的降维上很实用，因为图像数据相邻元素的相关性是很高的。 为了方便解释，我们以二维数据降一维为例（实际应用可能需要把数据从256降到50）：   需要注意的是，两个特征值经过了预处理

发现个学习机器学习比较好的网站，上面有斯坦福大学AndrewNg课程的大部分资源，并且已经可以翻译成中文UFLDL教程地址。看完这

1. ufldl教程√    Andrew Ng的教程，matlab代码。 2.

  Deep Learning（深度学习）： ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一 ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的

本文将参考UFLDL和DEEPLEARNING.NET的教程，结合自己的理解，梳理一下卷积神经网络的构成以及其BP算法的求解。

本文将参考UFLDL和DEEPLEARNING.NET的教程，结合自己的理解，梳理一下卷积神经网络的构成以及其BP算法的求解。

这一节其实很简单，所谓线性解码器，就是将输出层的激活函数换成了线性函数，其他的没有变。输出层用线性函数替代sigmoid函数的目的是使输出不再受限在[0，1]范围内。数据集采用STL-10彩色图像，但是是8×8的patches，不是原始的64×64图像。导入数据集：loadstlSampledPatches.得到矩阵patches，192*100000，192=8*8*3后面在卷积和池化中会用原始

斯坦福教程练习：在linear_regression.m里添加三行代码。function[f,g]=linear_regression(theta,X,y)%%Arguments:%theta-Avectorcontainingtheparametervaluestooptimize.%X-Theexamplesstoredinamatrix.%X(i,j)isthei'thcoordinateo

UFLDL学习链接：UFLDL，感谢吴恩达同学说明：在实现这一节之前一定要先完成稀疏自编码

摘自coder_oyang2014-12-8实验室组会参考文献：PCA的数学原理 CodingLabs主成分分析ufldl

UFLDL教程说明：本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。

对于input的m个vectorsxi∈Rn,i∈[0,m−1]sparsecoding:找over-complete的basisvector，k>n,升高维度,并使得转换后的vectorx^i尽量sparse,pca:找complete的basisvector，k<n,降低维度，去掉variance比较小的维度

步骤：第一步在ufldl上面学习深度学习的算法基础知识，然后找博客上基于python调用theano库实现人脸关键点检测的算法，看懂后基于C++实现，然后用java实现app，调用C++实现的算法。

archive/2012/05/24/2515980.html       http://www.cnblogs.com/mothe123/p/4267248.html  DeepLearning（深度学习）：ufldl

深度神经网络，即含有多个隐藏层的神经网络。栈式自编码算法一种比较好的获取栈式自编码神经网络参数的方法是采用逐层贪婪训练法进行训练。即先利用原始输入来训练网络的第一层，得到其参数；然后网络第一层将原始输入转化成为由隐藏单元激活值组成的向量（假设该向量为A），接着把A作为第二层的输入，继续训练得到第二层的参数；最后，对后面的各层同样采用的策略，即将前层的输出作为下一层输入的方式依次训练。使用反向传播法

当类别数k=2时，softmax回归退化为logistic回归。这表明softmax回归是logistic回归的一般形式。在下面的公式中，1{}是示性函数，其取值规则为：logistic回归softmax回归在Softmax回归中将x分类为类别j的概率为：

主成分分析主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。解决步骤计算协方差矩阵首先计算出矩阵，如下所示：假设 的均值为零，那么就是x的协方差矩阵。计算特征向量计算出协方差矩阵的特征向量，按列排放，而组成矩阵：此处， 是主特征向量（对应最大的特征值）， 是次特征向量。以此类推，另记 为相应的特征值。基表示我们可以把 用基表达为：数据降维通过设定的值，确定k的大小，即降到k维

神经网络模型简单的神经网络前向传播代价函数对于单个样例，其代价函数为：给定一个包含m个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项 是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。反向传播算法反向传播算法，它是计算偏导数的一种有效方法。批量梯度下降法梯度检验给定一个被认为能计算的函数，我们可以用下面的数值检验公式计算两端是否一样来检验函

下面是一些网址：1）http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%922）http://ufldl.stanford.edu

SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL

之前在Matlab使用UFLDL的代码修改后跑了手型识别的3层CNN，这里我们就考虑将Matlab转C之后移植到xcode中。

2方法1：通过Matlab转码Matlab自带转成c的工具，如果你研究过UFLDL的深度学习教程，就知道如何在Matla

StanfordUFLDL教程主成分分析Contents[hide]1引言2实例和数学背景3旋转数据4数据降维5还原近似数据6选择主成分个数7对图像数据应用PCA算法8参考文献9中英文对照10中文译者引言主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解PCA算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。假设你使用图像来训练算法，因为图

UFLDL练习后面的参考链接都是http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B本文属于学习文章，非商业用途。

深度学习笔记1(卷积神经网络)在看完了UFLDL教程之后，决定趁热打铁，继续深度学习的学习，主要想讲点卷积神经网络，卷积神经网络是深度学习的模型之一，还有其它如AutoEncoding、DeepBeliefNetwork

深度学习笔记1(卷积神经网络)        在看完了UFLDL教程之后，决定趁热打铁，继续深度学习的学习，主要想讲点卷积神经网络，卷积神经网络是深度学习的模型之一，还有其它如AutoEncoding、

Softmax回归Reference：http://ufldl.stanford.edu/wiki/index.php/Softmax_regressionhttp://deeplearning.net

稀疏编码(SparseCoding)sparsecoding也是deeplearning中一个重要的分支，同样能够提取出数据集很好的特征(稀疏的)。选择使用具有稀疏性的分量来表示我们的输入数据是有原因的，因为绝大多数的感官数据，比如自然图像，可以被表示成少量基本元素的叠加，在图像中这些基本元素可以是面或者线（人脑有大量的神经元，但对于某些图像或者边缘只有很少的神经元兴奋，其他都处于抑制状态）。稀疏

自动编码线性解码器自动编码线性解码器主要是考虑到稀疏自动编码器最后一层输出如果用sigmoid函数，由于稀疏自动编码器学习是的输出等于输入，simoid函数的值域在[0,1]之间，这就要求输入也必须在[0,1]之间，这是对输入特征的隐藏限制，为了解除这一限制，我们可以使最后一层用线性函数及a=z习题答案：SparseAutoEncoderLinerCost.mfunction[cost,grad,

此次主要由自我学习过度到深度学习，简单记录如下：(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这样在数据获取

1：softmax回归当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。需要注意的是一般用最优化方法求解参数theta的时候，采用的是贝叶斯学派的思想，需要加上参数theta。 softmax回归 习题的任务就是用原有的像素数据集构建一个softmax回归模型进

首先将本节主要内容记录下来，然后给出课后习题的答案。笔记：1：首先我想推导用SVD求解PCA的合理性。      PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在AndrewNg的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的方向(前提是这里X在

首先将本节主要内容记录下来，然后给出课后习题的答案。笔记：1：首先我想推导用SVD求解PCA的合理性。      PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在AndrewNg的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的方向(前提是这里X在

最近想研究下深度学习，一开始就看UFLDL(unsuprisedfeaturelearninganddeeplearning)教程了，特将课后习题答案放在这里，作为一个笔记。

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL

均值削减是数据预处理中常见的处理方式，按照之前在学习ufldl教程PCA的一章时，对于图像介绍了两种：第一种常用的方式叫做dimension_mean（个人命名），是依据输入数据的维度，每个维度内进行削减

DeepLearning（深度学习）：ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：二Bengio

本次UFLDL练习大致流程：通过对标记为5-9的数字图像进行self-taught特征提取（笔画特征），获得特征参数opttheta。

这是UFLDL的编程练习。