Author:ZongweiZhou|周纵苇Weibo:@MrGiovanniEmail:[email protected]/endeavorsimpactyourfield?Myresearchfocusesondevelopingnovelcomputationalmethodologiestominimizetheannotationeffortsforcomp

Li,S.,K.LiandY.Fu,Self-TaughtLow-RankCodingforVisualLearning.IEEETransactionsonNeuralNetworksandLearningSystems,2017.PP(99):p.1-12.本文是这篇Trans.onNNLS期刊论文的笔记，主要是对文中的理论方法进行展开详解。本人学术水平有限，文中如有错误之处，敬请指正。摘要：

SegNetasGeneratorDiscriminator:useaFCN(HxWxC->HxWx1)Semi-supervised:对于unlabeleddata,advloss,(fixD,maximizeD(S(X)))self-taught

有了自学算法去提取特征，我们可以进一步扩展模型这个模型是在特征模型的基础上多了一步分类器，这个分类器的引入使得我们可以进一步调整参数。微调（fine-tune）指的的是通过输入有标记的再通过牛顿下降法来调整参数从而减小训练误差什么时候可以使用微调呢？当然是有大量的有标记样本啦。上面这个模型试简单的三层神经网络因为每一个隐层代表了对前一层的一次非线性变换，简单的三层模型最后输出的激活函数只与前一层相

这里所谓的自学习，其实就是利用稀疏自编码器对无标签样本学习其特征该自学习程序包括两部分：稀疏自编码器学习图像特征（实现自学习）---用到无标签的样本集softmax回归对样本分类---用到有标签的训练样本集准备工作下载YannLecun的MNIST数据集，本程序用到了如下的两个数据集：第0步：设置神经网络的结构该神经网络包括三层：输入层的神经元个数（数字识别，则设置输入的图像大小）输出端的神经元个

我们有一大堆没有标签的数据和一小部分标签数据，那么我们应该怎样进行学习呢？这里提出自我学习的概念先用稀疏自编码提取特征Paste_Image.png训练好参数后，把最后一层拿掉Paste_Image.png然后我们把有标签的数据通过这一网络Paste_Image.png可以产生此网络提取的特征Paste_Image.png当然我们也可以和原始数据组合作为整体输入Paste_Image.png我们可

在李笑来老师的微博里知道《theself-taughtprogrammer》这本书，当前还是在美亚上买的。整个阅读的过程也是断断续续的，经过了多次“从入门到放弃”；有时是读完了，也不知道到底自己算入门了没有；有时是读了后面的忘了前面的知识点，总之是没有多少沉淀在心里。重新再过一遍，把知识点再这里提下，这里提的知识点更多的是自己的知识盲点。本书一共分为五个部分：PartI：Introductiont

http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdfDeepSelf-TaughtLearningforWeaklySupervisedObjectLocalization.ZequnJie,YunchaoWei,XiaojieJin,Jiash

Self-taughtLearning:TransferLearningfromUnlabeledDataICML2007问题Semi-supervisedlearningtypicallymakestheadditionalassumptionthattheunlabeleddatacanbelabeledwiththesamelabelsastheclassificationtask,andt

自我学习1.先训练稀疏自编码器提取特征，再把特征和label给softmax分类器进行训练，最后用test数据集进行测试。2.由于实际应用中找到大量有标注的样本是非常困难的，所有采用先用大量无标注样本来进行无监督训练自编码器，再用自编码器来提取特征，配合有标注样本来进行有监督训练softmax分类器。3.数据预处理方面：例如，如果对未标注数据集进行PCA预处理，就必须将得到的矩阵U保存起来，并且应

DeepSelf-TaughtLearningforWeaklySupervisedObjectLocalizationCVPR2017https://arxiv.org/abs/1704.05188什么是WeaklySupervisedObjectLocalization，referstolearningtolocalizeobjectswithinimageswithonlyimage-lev

1总体思路2获取特征3利用特征其他本文主要是说自我学习和无监督的特征学习，并不是我们之前说的无监督学习的聚类等内容。1总体思路这里的自我学习是特征的学习，是通过自编码和稀疏矩阵得到特征。基本思路如下：1.大量的无标签数据导入自编码器（autoencoder），得到其更加本质的特征；2.有标签数据导入同一个编码器，用得到的特征和标签进行训练，（使用普通的训练方法比如svm等）得到模型；3.利用模型进

这里所谓的自学习，其实就是利用稀疏自编码器对无标签样本学习其特征 该自学习程序包括两部分：稀疏自编码器学习图像特征（实现自学习）---用到无标签的样本集softmax回归对样本分类---用到有标签的训练样本集 准备工作下载YannLecun的MNIST数据集，本程序用到了如下的两个数据集： 第0步：设置神经网络的结构该神经网络包括三层：输入层的神经元个数（数字识别，则设置输入的图像大小）输出端的神

教程地址：http://deeplearning.stanford.edu/wiki/index.php/%E8%87%AA%E6%88%91%E5%AD%A6%E4%B9%A0练习地址：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning 1.习惯性废话几句1.这个练习要把之前的稀疏自编码器与s

                                                AllProgrammersAre Self-Taught                                                                            

        最近在看Ng的深度学习教程，看到self-taught learning的时候，对一些概念感到很陌生。

接着看讲义，接下来这章应该是Self-Taught Learning and Unsupervised Feature Learning。  含义： 从字面上不难理解其意思。

Self-taught 自我学习器实验报告 1.Self-taught 自我学习实验描述 自我学习是无监督特征学习算法，自我学习意味着算法能够从未标注数据中学习，从而使机器学习算法能够获得更大数量的数据

Exercise:Self-Taught Learning 习题链接：Exercise:Self-Taught Learning   feedForwardAutoencoder.m

  　　前言： 　　本次实验主要是练习soft- taught learning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里分别是用的s

　　本文是从 All Programmers Are Self-Taught 这篇文章翻译而来。 　　在我十几岁的时候就开始玩甲级级棒球。

本次UFLDL练习大致流程：通过对标记为5-9的数字图像进行self-taught特征提取（笔画特征），获得特征参数opttheta。

有了自学算法去提取特征，我们可以进一步扩展模型这个模型是在特征模型的基础上多了一步分类器，这个分类器的引入使得我们可以进一步调整参数。微调（fine-tune）指的的是通过输入有标记的再通过牛顿下降法来调整参数从而减小训练误差什么时候可以使用微调呢？当然是有大量的有标记样本啦。上面这个模型试简单的三层神经网络因为每一个隐层代表了对前一层的一次非线性变换，简单的三层模型最后输出的激活函数只与前一层相

要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。我们先来介绍一下特征学习：我们之前讲过自编码器，输入时有标签的数据集 对于训练好的参数： ，给定任意输入

实验要求可以参考deeplearning的tutorial，Exercise:Self-TaughtLearning 。本实验和上一个实验一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤，最后实验显示

自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。稀疏编码器是用来无监督学习的，使用无标签数据回归分类器是有监督学习，使用标签数据实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片）难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我学习的方式，得到有用的特征，进而获得比单纯Softmax

本文转自http://www.cnblogs.com/tornadomeet/archive/2013/03/24/2979408.html前言：本次实验主要是练习soft-taughtlearning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-tau

练习题网址：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_LearningstlExercise.m文件：%%CS294A/CS294WSelf-taughtLearningExercise %Instructions %------------ % %Thisfilecontainscodet

    本博客是参照UFLDL教程的Self-TaughtLearningtoDeepNetwords写的，也感谢tornadomeet，看了他的博客也对自己的理解帮助不小。一、从自我学习到深层网络    在自我学习（参考本博客Self-TaughtLearning)中，我们用未标注的数据来学习自编码器，然后用学到的特征表示对已标注数据学习特征，然后用该特征作为softmax回归的输入学习分类模型

最近在学习UFLDLTutorial，这是一套关于无监督学习的教程。在此感觉AndrewNg做的真的是非常认真。下面把我的代码贴出来，方便大家学习调试。所有代码已经过matlab调试通过。Self-TaughtLearningandUnsupervisedFeatureLearning练习这一章实际上是把SparseAutoencoder和SoftmaxRegression两章中的代码结合起来。所

【self-taught learning】快速稀疏编码算法 Self-taught learning是Honglak Lee等开发的一个matlab框架，能够实现他们在论文Self-taught Learning

英文原文：All Programmers Are Self-Taught 　　在我十几岁的时候就开始玩甲级棒球。我水平很差，但当我决定要做好什么事时，最终总能如我愿。

小事一柱 infatuation迷恋 pepper spray防狼喷雾 go after so my own speed追求符合我这个层次的人 shave one's legs刮腿毛 self-taught