CS229-吴恩达机器学习笔记第7页

吴恩达机器学习笔记（三）--线性代数回顾

吴恩达机器学习笔记（三）–线性代数回顾学习基于：吴恩达机器学习.1.MatrixandVectorMatrixisarectangulararrayofnumbersThedimensionofmatrixisthenumberofrowsandcolumnsofamatrixMatrixelementsareentriesofmatrixAijA

comajor·2019-02-12 17:14

吴恩达机器学习笔记（二）--单变量线性回归

吴恩达机器学习笔记（二）–单变量线性回归学习基于：吴恩达机器学习.1.CostFunctionWecanmeasuretheaccuracyofourhypothesisfunctionbyusingacostfunction.Thistakesanaveragedifferenceofalltheresultsofthehypothesiswithinputsfromx

comajor·2019-02-12 11:03

个人机器学习笔记之SVM

吴恩达机器学习笔记（4）——SVM机器学习个人笔记，学习中水平有限，内容如有缺漏还请多多包涵。

ardepomy·2019-02-09 00:00

个人机器学习笔记之目录

吴恩达机器学习笔记的目录这里是各个笔记的索引机器学习入门监督学习回归问题线性回归分类问题逻辑回归无监督学习聚类K-Means优化方法正则化神经网络前馈神经网络

ardepomy·2019-02-08 00:00

个人机器学习笔记之正则化

吴恩达机器学习笔记（3）——正则化机器学习个人笔记，学习中水平有限，内容如有缺漏还请多多包涵本章节笔记对应吴恩达课程的第8章。正则化给予所有参数一个缩小的趋势，防止高次项的参数过高出现过拟合现象。

ardepomy·2019-02-01 00:00

个人机器学习笔记之逻辑回归

吴恩达机器学习笔记（2）——Logitic回归机器学习个人笔记，学习中水平有限，内容如有缺漏还请多多包涵Logictic回归是吴恩达课程的第7章，因为线性代数已经学过，而且主攻方向不是Octave,因此跳过了一些章节

ardepomy·2019-01-27 00:00

个人机器学习笔记之线性回归

吴恩达机器学习笔记（1）——使用梯度下降做单、多变量的线性回归机器学习个人笔记，学习中水平有限，内容如有缺漏还请多多包涵序言这里主要是吴恩达机器学习课程第二章（简单线性回归）、第五章（多变量线性回归）的代码实现

ardepomy·2019-01-23 00:00

吴恩达机器学习笔记（15.应用实例：图片文字识别）

1，问题描述和流程图图像文字识别应用所作的事是，从一张给定的图片中识别文字。这比从一份扫描文档中识别文字要复杂的多。为了完成这样的工作，需要采取如下步骤：1.文字侦测（Textdetection）——将图片上的文字与其他环境对象分离开来2.字符切分（Charactersegmentation）——将文字分割成一个个单一的字符3.字符分类（Characterclassification）——确定每一

就是这个七昂·2019-01-12 16:55

吴恩达机器学习笔记（十九）

原创博客，转置请注明出处！1、问题描述与OCRpipeline图像文字识别应用所作的事是，从一张给定的图片中识别文字。这比从一份扫描文档中识别文字要复杂的多。为了完成这样的工作，需要采取如下步骤：①文字侦测——将图片上的文字与其他环境对象分离开来②字符切分——将文字分割成一个个单一的字符③字符分类——确定每一个字符是什么可以用任务流程图来表达这个问题，每一项任务可以由一个单独的小队来负责解决如同2

kk123k·2018-12-26 15:23

算法工程师修仙之路：吴恩达机器学习（十五）

吴恩达机器学习笔记及作业代码实现中文版第十章支持向量机大间隔分类器的数学原理假设我有两个二维向量uuu和vvv，uTvu^TvuTv也叫做向量uuu和vvv之间的内积。

fangzhan1109·2018-12-15 11:50

吴恩达机器学习笔记 - cost function and gradient descent

一、简介costfuction是用来判断机器预算值和实际值得误差，一般来说训练机器学习的目的就是希望将这个costfunction减到最小。本文会介绍如何找到这个最小值。二、线性回归的costfunction假设现在有个一元一次方程式h(x)=wx+b，要用来预测实际值y，今天我输入了一组(x0,x1,x2......xm)and(y0,y1,y2,y3.......ym)，那costfuncti

彦柏·2018-12-14 23:00

算法工程师修仙之路：吴恩达机器学习（十四）

吴恩达机器学习笔记及作业代码实现中文版第十章支持向量机直观上对大间隔的理解人们有时将支持向量机看作是大间距分类器。

fangzhan1109·2018-12-14 16:48

算法工程师修仙之路：吴恩达机器学习（十三）

吴恩达机器学习笔记及作业代码实现中文版第十章支持向量机优化目标在监督学习中，许多学习算法的性能都非常类似，因此，重要的不是你该选择使用学习算法A还是学习算法B，而更重要的是，所创建的大量数据在应用这些算法时

fangzhan1109·2018-12-14 11:21

算法工程师修仙之路：吴恩达机器学习（十）

吴恩达机器学习笔记及作业代码实现中文版第七章神经网络参数的反向传播算法理解反向传播为了更好地理解反向传播算法，我们再来仔细研究一下前向传播的原理：反向传播算法做的是：梯度检测当我们对一个较为复杂的模型（

fangzhan1109·2018-12-09 11:12

算法工程师修仙之路：吴恩达机器学习（九）

吴恩达机器学习笔记及作业代码实现中文版第七章神经网络参数的反向传播算法代价函数假设神经网络的训练样本有mmm个，每个包含一组输入xxx和一组输出信号yyy，LLL表示神经网络层数，SIS_ISI表示每层的神经元个数

fangzhan1109·2018-12-08 12:13

算法工程师修仙之路：吴恩达机器学习（八）

吴恩达机器学习笔记及作业代码实现中文版第六章神经网络学习特征和直观理解从本质上讲，神经网络能够通过学习得出其自身的一系列特征。

fangzhan1109·2018-12-06 23:52

吴恩达机器学习笔记（7）——神经网络的一个学习算法

一、代价函数首先我们定义：L=神经网络的总层数si=第L层的单元数量（不含偏置单元）K=输出单元/类型的数量hΘ(x)k=假设函数中的第k个输出因为逻辑回归里的代价函数为：推广到神经网络中：二、代价函数的优化算法——反向传播算法（backpropagationalgorithm）1、含义神经网络的代价函数已经求出来了，那么现在要进行minJ也就是优化算法。这一节的主要目的是计算J的偏导数。每当模型

阿尔基亚·2018-12-03 20:20

算法工程师修仙之路：吴恩达机器学习（五）

吴恩达机器学习笔记及作业代码实现中文版第四章Logistic回归简化代价函数与梯度下降逻辑回归的代价函数：Cost(hθ(x(i)),y(i))=−y(i)log(hθ(x(i)))−(1−y(i))log

fangzhan1109·2018-12-03 10:43

吴恩达机器学习笔记

梯度下降法：需要自己设置学习参数需要多次迭代支持特征数比较大（百万）多特征线性回归正规方程：不需要自己设置学习参数不需要多次迭代时间负责度为O(n3)，特征多的话会很慢。一万左右

尖头核桃·2018-12-02 23:43

算法工程师修仙之路：吴恩达机器学习（四）

吴恩达机器学习笔记及作业代码实现中文版第四章Logistic回归分类在分类问题中，要预测的变量y是离散的值，逻辑回归(LogisticRegression)算法是目前最流行使用最广泛的一种学习算法。

fangzhan1109·2018-12-01 23:56

吴恩达机器学习笔记（七）神经网络

吴恩达机器学习笔记（七）神经网络一、非线性假设（Non-linearHypotheses）二、神经元和大脑（NeuronsandBrain）三、模型表示(ModelRepresentation)四、例子与直观理解

AngelaOrange·2018-11-24 16:30

吴恩达机器学习笔记（四）多变量线性回归

吴恩达机器学习笔记（四）多变量线性回归一、多维特征（MultipleFeatures）二、多元梯度下降法三、多元梯度下降法实操——特征缩放(FeatureScaling)四、多元梯度下降法实操——学习率

AngelaOrange·2018-11-22 19:26

算法工程师修仙之路：吴恩达机器学习（三）

吴恩达机器学习笔记及作业代码实现中文版第三章多变量线性回归多维特征现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,...,xn)(x_1,x_

fangzhan1109·2018-11-22 17:16

吴恩达机器学习笔记-非监督学习

聚类之前的课程中我们学习的都是监督学习相关的算法，现在来开始看非监督学习。非监督学习相对于监督非学习来看，其使用的是未标记的训练集而监督学习的是标记的训练集。换句话说，我们不知道向量y的预期结果，仅仅只是拥有一个可以找到结构的特征的集合。其中一种可能的结构是，所有的数据可以大致地划分成两组，这种划分的算法称为聚类算法。这是我们第一种无监督学习算法。在很多场景下我们会使用聚类的方式来解决非监督学习问

CareyWYR·2018-11-05 00:00

吴恩达机器学习笔记-支持向量机

优化目标之前的课程有学习过Logistic回归的假设函数：$$h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$$其图像如下：从图像可以看出，如果$y=1$的话，那么我们希望$h_\theta(x)\approx1$，那么$\theta^Tx>>0$;如果$y=0$的话，那么我们希望$h_\theta(x)\approx0$，那么$\theta^Tx=1$(并不是仅仅大

CareyWYR·2018-10-12 00:00

吴恩达机器学习笔记-机器学习系统设计

确定执行的优先级我们已经学习过一些机器学习的算法，那么如何设计一个机器学习系统呢，课程中举了一个垃圾邮件分类器的例子，例子比较简单这里就不再赘述：那么如何来提升这个分类器的准确度呢？有下面几个建议：收集更多的数据增加更复杂的特征（比如邮件头）开发更复杂的算法来鉴定错误拼写误差分析如果你准备研发一个机器学习应用，下面有一些关于开发的一些建议：其中误差分析不一定会对改善算法的表现有帮助，唯一的办法是尝

CareyWYR·2018-09-27 00:00

吴恩达机器学习笔记-应用机器学习的建议

评估假设我们之前已经学习过一些机器学习的算法，现在我们来谈谈如何评估算法学习得到的假设。当发现预测的结果和实际的数据有误差的时候，我们需要进行一些调整来保证预测的准确性，大部分情况下，有以下几种办法来调整假设函数：获取更多的训练集减少特征的数量尝试使用更多的特征尝试使用多项式特征增大或减小lambda假设函数相对于训练集可能得到的误差很小，比如在过拟合的情况下，这时候就不能肯定假设函数是准确的。因

CareyWYR·2018-09-26 00:00

吴恩达机器学习笔记-反向传播算法练习

直观感受反向传播的概念上篇文章讲述了神经网络的反向传播算法的基本概念，现在来详细的对此算法进行一些讲解。回忆一下神经网络的代价函数：如果我们只考虑一个简单的只有一个输出单元的情况，即k=1，那么代价函数则变成：直观的说，$\delta_j^(l)$项表示在第l层中第j个单元的误差。更正式的说，$\delta$的值实际上是代价函数的导数。$$\delta_j^(l)=\frac{\partial}{

CareyWYR·2018-09-25 00:00

吴恩达机器学习笔记8——正则化Regularization

第8章正则化Regularization1，过拟合（theproblemofoverfitting）欠拟合，过拟合过多的特征变量，很少的训练样本，会引起正则化。有两种方法处理过拟合的问题，一个是减少特征的数量，人为选择去除部分特征或者模型选择算法，用算法来选择特征；另一个是正则化，保留所有的特征，但是可以减小某个特征的幅度或者值。2，代价函数加入惩罚项，从1到100，一般不用对theta_0加惩罚

Margo_Zhang·2018-09-04 22:05

吴恩达机器学习笔记（2）——单变量线性回归（Univariate linear regression）

一、模型描述上一章已经通过卖房价格的模型简单介绍了什么是回归：我们尝试将变量映射到某一个连续函数上。这章我们将这个问题简单地量化为单变量线性回归模型（Univariatelinearregression）来理解它。PS：监督学习最常见的两类问题：1、回归：预测一个具体的数值输出2、分类：预测离散值输出先来看这个过程是如何进行的：其中，h表示假设函数：θ是参数，下一节我们谈谈如何选择这两个参数值。二

阿尔基亚·2018-08-27 11:07

吴恩达机器学习笔记-多元线性回归

之前的文章中已经讲述了简单的一元线性回归的基础知识，现在我们来继续讨论多元线性回归。本文针对吴恩达机器学习第二周课程多元线性回归部分。假设函数所谓多元线性回归正如其名字一样，就是说这里的变量是多个的，下面介绍一下如何表示含有多个变量情况下的假设函数：$$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+...+\theta_nx_n$

weixin_33701564·2018-08-09 18:57

吴恩达机器学习笔记 —— 13 支持向量机

本章讲述了SVM，相比于《统计学习方法》，从逻辑回归的角度更容易理解了。更多内容参考机器学习&深度学习从逻辑回归来看，看损失值与Z的值的关系：代入原来的是指，可以化简公式：总结来说：如果y=1，我们希望z的值大于等于1，如果y=0，我们希望z的值小于-1，这样损失函数的值都会为0.线性可分的决策边界：但是这种情况对于异常点是非常敏感的，比如有一个红点，那么决策边界就会发生很大的变化。此时希望C不要

xingoo·2018-08-04 20:00

吴恩达机器学习笔记 —— 18 大规模机器学习

本章讲了梯度下降的几种方式：batch梯度下降、mini-batch梯度下降、随机梯度下降。也讲解了如何利用mapreduce或者多cpu的思想加速模型的训练。更多内容参考机器学习&深度学习有的时候数据量会影响算法的结果，如果样本数据量很大，使用梯度下降优化参数时，一次调整参数需要计算全量的样本，非常耗时。如果训练集和验证集的误差像左边的图形这样，就可以证明随着数据量的增加，将会提高模型的准确度。

xingoo·2018-08-04 09:00

吴恩达机器学习笔记 —— 17 推荐系统

xingoo·2018-08-01 21:00

吴恩达机器学习笔记 —— 16 异常点检测

xingoo·2018-07-31 20:00

吴恩达机器学习笔记 —— 15 降维

本章重点讲述了降维方法以及其中最主要的PCA主成分分析的原理、使用更多内容参考机器学习&深度学习降维的作用：数据压缩与可视化降维的第一个作用就是进行数据的压缩，解决磁盘和计算的问题。比如把二维数据降维到一维：或者数据从三维降维到2维。降维的另一个作用就是进行可视化，比如我们的数据有很多维度，如果想要在图形上展示各个数据，分析其关系是很难的。那么就可以把数据降维到二维：降维的问题规划考虑到数据的可分

xingoo·2018-07-30 20:00

吴恩达机器学习笔记 —— 19 应用举例：照片OCR（光学字符识别）

本章讲述的是一个复杂的机器学习系统，通过它可以看到机器学习的系统是如何组装起来的；另外也说明了一个复杂的流水线系统如何定位瓶颈与分配资源。更多内容参考机器学习&深度学习OCR的问题就是根据图片识别图片中的文字：这种OCR识别的问题可以理解成三个步骤：文本检测字符切分字符识别文本检测文本的检测可以用行人的检测来做，思路差不多。我们定义几个固定大小尺寸的窗口，从照片的左上角开始扫描。扫描出来的图像做二

xingoo·2018-07-26 20:00

吴恩达机器学习笔记 —— 14 无监督学习

本章讲述的是第一个无监督的机器学习算法，在无监督的算法中，样本数据只有特征向量，并没有标注的y值。比如聚类算法，它可以用在市场分类、社交网络分析、天体数据分析等等。更多内容参考机器学习&深度学习在做聚类时，最简单的算法就是k-means，一般的流程是:首先随机选择k个聚类中心点遍历所有的样本，选择一个距离最近的中心点，并标记为对应的聚类重新针对类簇计算中心点重复2-3的过程还有一个算法在这次的课程

xingoo·2018-07-25 21:00

吴恩达机器学习笔记 —— 12 机器学习系统设计

xingoo·2018-07-24 20:00

吴恩达机器学习笔记 —— 11 应用机器学习的建议

本篇讲述了在机器学习应用时，如何进行下一步的优化。如训练样本的切分验证？基于交叉验证的参数与特征选择？在训练集与验证集上的学习曲率变化？在高偏差或者高方差时如何进行下一步的优化，增加训练样本是否有效？更多内容参考机器学习&深度学习如果已经创建好了一个机器学习的模型，当我们训练之后发现还存在很大的误差，下一步应该做什么呢？通常能想到的是：1获取更多的数据2尝试选择更少的特征集合3获得更多的特征4增加

xingoo·2018-07-23 20:00

吴恩达机器学习笔记 —— 10 神经网络参数的反向传播算法

本篇讲述了神经网络的误差反向传播以及训练一个神经网络模型的流程更多内容参考机器学习&深度学习神经网络可以理解为两个过程：信号的正向传播和误差的反向传播。在正向的传播过程中，计算方法为Sj=wijxi+bj，其中i是样本、j是层数。然后xj=f(Sj)，f为激活函数。引入激活函数的原因是可以带来一定的非线性特性。由于样本的y是在最后一层输出的，因此在计算误差的时候，需要从最后一层开始计算、针对与之关

xingoo·2018-07-22 15:00

吴恩达机器学习笔记 —— 9 神经网络学习

本章讲述了神经网络的起源与神经元模型，并且描述了前馈型神经网络的构造。更多内容参考机器学习&深度学习在传统的线性回归或者逻辑回归中，如果特征很多，想要手动组合很多有效的特征是不现实的；而且处理这么大的特征数据量，计算上也很复杂。神经网络最开始起源于生物信息中的大脑，在上世纪80-90年代的时候很火，后来就没什么消息了。在神经网络中，充满了下面的这种神经元，信号从树突中传进来，经过细胞核，然后沿着轴

xingoo·2018-07-20 23:00

吴恩达机器学习笔记 —— 8 正则化

本章讲述了机器学习中如何解决过拟合问题——正则化。讲述了正则化的作用以及在线性回归和逻辑回归是怎么参与到梯度优化中的。更多内容参考机器学习&深度学习在训练过程中，在训练集中有时效果比较差，我们叫做欠拟合；有时候效果过于完美，在测试集上效果很差，我们叫做过拟合。因为欠拟合和过拟合都不能良好的反应一个模型应用新样本的能力，因此需要找到办法解决这个问题。想要解决这个问题，有两个办法：1减少特征的数量，可

xingoo·2018-07-19 21:00

吴恩达机器学习笔记 —— 7 Logistic回归

xingoo·2018-07-18 20:00

吴恩达机器学习笔记 —— 7 Logistic回归

weixin_34375233·2018-07-18 20:00

吴恩达机器学习笔记 —— 5 多变量线性回归

本篇主要讲的是多变量的线性回归，从表达式的构建到矩阵的表示方法，再到损失函数和梯度下降求解方法，再到特征的缩放标准化，梯度下降的自动收敛和学习率调整，特征的常用构造方法、多维融合、高次项、平方根，最后基于正规方程的求解。更多内容参考机器学习&深度学习在平时遇到的一些问题，更多的是多特征的多变量的表示方法多元线性回归中的损失函数和梯度求解有时候特征各个维度是不同规模的，比如房间的平米数和房间数，两个

xingoo·2018-07-16 23:00

吴恩达机器学习笔记 —— 5 多变量线性回归

本篇主要讲的是多变量的线性回归，从表达式的构建到矩阵的表示方法，再到损失函数和梯度下降求解方法，再到特征的缩放标准化，梯度下降的自动收敛和学习率调整，特征的常用构造方法、多维融合、高次项、平方根，最后基于正规方程的求解。更多内容参考机器学习&深度学习在平时遇到的一些问题，更多的是多特征的多变量的表示方法多元线性回归中的损失函数和梯度求解有时候特征各个维度是不同规模的，比如房间的平米数和房间数，两个

xing halo·2018-07-16 23:00

吴恩达机器学习笔记 —— 3 线性回归回顾

吴恩达机器学习笔记——3线性回归回顾更多内容参考机器学习&深度学习矩阵的表示矩阵的索引向量的表示矩阵的加法矩阵与实数的乘法矩阵的表达式矩阵与向量的乘法矩阵与矩阵的乘法矩阵特性——不满足交换律矩阵特性——

xing halo·2018-07-15 10:00

吴恩达机器学习笔记（一） —— 线性回归

主要内容：一.模型简介二.CostFunction三.梯度下降四.线性回归之梯度下降法五.线性回归之最小二乘法六.FeatureScaling一.模型简介：线性回归主要用于预测：因变量与自变量存在线性关系的问题。例如coursera中介绍的买房问题：房子的价格由房子的大小以及房间的数量所决定，而这就大致可以用线性回归来预测房价。假设房价为y=Θ0+Θ1*x1+Θ2*x2，其中x1、x2分别代表着房

alince20008·2018-07-10 21:00

吴恩达机器学习笔记 —— 2 单变量线性回归

第一章讲述了基本的机器学习的概念以及分类，这里从单变量的线性回归入手，吴恩达讲解了机器学习中的几个重要因素，如模型、损失函数、优化方法等更多内容参考机器学习&深度学习首先以房价预测入手：房子的面积每平米的房价210446014162321534315852178其中：m为样本的数量x是样本的特征y是预测的值$(x,y)$就是一条样本数据$({x}^{(i)},{y}^{(i)})$是第i条

xingoo·2018-07-10 18:00

推荐频道

CS229-吴恩达机器学习笔记

吴恩达机器学习笔记（三）--线性代数回顾

吴恩达机器学习笔记（二）--单变量线性回归

个人机器学习笔记之SVM

个人机器学习笔记之目录

个人机器学习笔记之正则化

个人机器学习笔记之逻辑回归

个人机器学习笔记之线性回归

吴恩达机器学习笔记（15.应用实例：图片文字识别）

吴恩达机器学习笔记（十九）

算法工程师修仙之路：吴恩达机器学习（十五）

吴恩达机器学习笔记 - cost function and gradient descent

算法工程师修仙之路：吴恩达机器学习（十四）

算法工程师修仙之路：吴恩达机器学习（十三）

算法工程师修仙之路：吴恩达机器学习（十）

算法工程师修仙之路：吴恩达机器学习（九）

算法工程师修仙之路：吴恩达机器学习（八）

吴恩达机器学习笔记（7）——神经网络的一个学习算法

算法工程师修仙之路：吴恩达机器学习（五）

吴恩达机器学习笔记

算法工程师修仙之路：吴恩达机器学习（四）

吴恩达机器学习笔记（七）神经网络

吴恩达机器学习笔记（四）多变量线性回归

算法工程师修仙之路：吴恩达机器学习（三）

吴恩达机器学习笔记-非监督学习

吴恩达机器学习笔记-支持向量机

吴恩达机器学习笔记-机器学习系统设计

吴恩达机器学习笔记-应用机器学习的建议

吴恩达机器学习笔记-反向传播算法练习

吴恩达机器学习笔记8——正则化Regularization

吴恩达机器学习笔记（2）——单变量线性回归（Univariate linear regression）

吴恩达机器学习笔记-多元线性回归

吴恩达机器学习笔记 —— 13 支持向量机

吴恩达机器学习笔记 —— 18 大规模机器学习

吴恩达机器学习笔记 —— 17 推荐系统

吴恩达机器学习笔记 —— 16 异常点检测

吴恩达机器学习笔记 —— 15 降维

吴恩达机器学习笔记 —— 19 应用举例：照片OCR（光学字符识别）

吴恩达机器学习笔记 —— 14 无监督学习

吴恩达机器学习笔记 —— 12 机器学习系统设计

吴恩达机器学习笔记 —— 11 应用机器学习的建议

吴恩达机器学习笔记 —— 10 神经网络参数的反向传播算法

吴恩达机器学习笔记 —— 9 神经网络学习

吴恩达机器学习笔记 —— 8 正则化

吴恩达机器学习笔记 —— 7 Logistic回归

吴恩达机器学习笔记 —— 7 Logistic回归

吴恩达机器学习笔记 —— 5 多变量线性回归

吴恩达机器学习笔记 —— 5 多变量线性回归

吴恩达机器学习笔记 —— 3 线性回归回顾

吴恩达机器学习笔记（一） —— 线性回归

吴恩达机器学习笔记 —— 2 单变量线性回归