吴恩达机器学习私人笔记第19页

吴恩达机器学习（支持向量机）

（1）优化目标支持向量机在学习复杂的非线性方程时能够提供一种更为清晰个更加强大的方式。先回顾Logistic逻辑回归的相关概念，看如何进行改动可以得到支持向量机。Logistic回归的假设函数，以及对应sigmoid激活函数图像如下：Logistic回归中的代价函数为：针对某一项的Cost为：可以看到下图中SVM中对Logistic回归代价函数的改变：Logistic回归总体优化目标到支持向量机的

qq_38162944·2021-01-23 10:05

吴恩达机器学习（机器学习系统设计）

（1）确定执行的优先级这一节中将介绍在实际工作过程中，应该先处理哪些事情。以建立一个邮件分类器为例：给定一组电子邮件，可以为每个电子邮件构造一个向量。这个向量中的每个元素代表一个单词。向量通常包含10,000到50,000个条目，这些条目是在我们的数据集中找到最常用的单词，将它们作为特征向量。当准备好所有的x向量，我们训练我们的算法，最后，我们可以用它来分类电子邮件是否是垃圾邮件。如何在有限的时间

qq_38162944·2021-01-22 12:45

吴恩达机器学习（神经网络参数的反向传播算法）

（1）神经网络结构的代价函数它能在给定训练集时，为神经网络拟合参数（2）让代价函数最小化的算法—反向传播算法反向传播算法，也就是首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。这个就是反向传播算法的通俗解释。关于上图的解释假设我们有假设我们的训练集只有一个实例(x(1),y(1))，我们的神经网络是一个四层的神经网络，其中K=4，SL=4，L=4。我们从最后一层的误差开始

qq_38162944·2021-01-20 17:10

吴恩达机器学习（神经网络学习）

（1）神经网络算法模型展示神经网络算法在学习复杂的非线性假设上是一种比较好的算法，即使输入特征空间或者n很大，也能轻松搞定。如何定义神经网络的假设函数Layer1是输入层。Layer2为隐藏层。隐藏层实际上就是一个复杂式子的中间计算过程，除了输入层外，其他的每一个节点表示的就是一个计算过程，计算的具体过程由参数值所决定。所以不论所要求解或者表达的式子多么的复杂，通过增加隐藏层的数目和层中的节点数，

qq_38162944·2021-01-19 16:59

吴恩达机器学习（正则化）

（1）什么是过度拟合问题？在线性回归中的过拟合例子：图1：是一个线性模型，欠拟合或者叫做高偏差，不能很好地适应我们的训练集；我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。图2：恰当合适的拟合了数据图3：完美的拟合了训练数据，称之为过拟合或者叫做高方差，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给

qq_38162944·2021-01-19 10:00

吴恩达机器学习（Logistic回归）

Logistic回归Logistic是用来分类的，是一种线性分类器，需要注意的地方有：Logistic回归算法输出值或者是预测值介于0–1之间。为了满足输出值介于0–1之间，因此提出的假设函数与线性回归的函数不同，假设函数1.logistic函数表达式为：g(z)函数的图像如下图所示决策边界的概念让我们更好地理解假设函数在计算什么。决策边界不是训练集的属性，而是假设本身及其参数的属性，只要给定参数

qq_38162944·2021-01-19 10:41

吴恩达机器学习（线性回归）

1.线性回归（1）单变量线性回归线性回归才是真正用于回归的，而不像logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化。假设函数：代价函数：即每一个点的预测值和真实值的差距都要小，故可用求方差的方法，将每一个点的预测值与真实值的差求平方和后再除以数据样本的个数。值越小说明方程越能反映真实情况，把这个方程中的参数看做未知数，则变成了参数的方程，求方程最小值J时，

qq_38162944·2021-01-18 14:06

吴恩达机器学习课程学习记录（3.线性代数回顾）

学过线性代数的朋友们可以略过这节不看，这节老师主要是带着我们复习一下机器学习中涉及到的基本的线性代数知识，笔记嘛，那还是记全好一些。不过解释写的不多，更多还是一些要点的截图和整理。2020.10.9完成第二周章节三：线性代数回顾目录课时14：矩阵和向量课时15：加法和标量乘法课时16：矩阵向量乘法课时17：矩阵乘法课时18：矩阵乘法特征课时19：逆和转置1、矩阵（matrix）和向量（vector

2016年的夏天·2021-01-15 12:12

吴恩达机器学习学习笔记二：Octave编程基础、数据可视化、循环语句、函数定义与调用、定义一个计算代价函数

一、Octave编程基础操作基础的Octave操作1、加法，正常的：直接输入5+6回车2、等、不等（==，！或者~都可以）3、或与非（||、&&、！或者~）（使用PS1(’>>');可以改变输入输出框的样式）（使用%书写注释）4、声明变量（末尾不加分号则会在声明后进行输出，加上分号后不会进行输出）声明之后，输入变量名回车即可查看该变量，也可以以使用disp(变量)进行查看，也可以使用disp(pr

Mxeron·2021-01-12 19:38

吴恩达机器学习学习笔记一：监督与无监督学习、代价函数、梯度下降算法、正规方程算法

一、监督学习（supervisedlearning）与无监督学习（unsupervisedlearning）最常用的两类机器学习算法（Machinelearningalgorithms）：1、supervisedlearning：我们教会计算机做某件事情2、unsupervisedlearning：我们让计算机自己学习学了之后要知道怎么使用这些工具！SupervisedLearning（监督学习）

Mxeron·2021-01-10 16:35

2021年度目标

冰冻三尺go·2021-01-03 08:58

《吴恩达机器学习》笔记：第二章：多维特征，梯度下降和正规方程

多维特征（Multiplefeatures）将线性模型从一维拓展到多维对于上一章房屋定价的例子：其中：n：代表特征的个数m：代表观测的个数（此处与通常习惯不同）x(i)x^{(i)}x(i)：第iii个样本的输入向量xj(i)x_{j}^{(i)}xj(i)：第iii个样本的输入的特征jjj将一元线性模型进行拓展：hθ(x)=θ0+θ1x1+…+θnxnh_{\theta}(x)=\theta_{

量化就是探索生活·2021-01-03 01:30

python将列表变成str_它在Python中很常见，但容易被忽视，用好了却可少写很多行代码...

号内福利精华文章大合集：认真就能打动人：273篇干货资料汇总机器学习入门视频吴恩达机器学习完整系列视频教程今天，介绍一个Python中非常好用的内置函数，它书写简便，却能实现看起来复杂的功能。

谢夫·2021-01-02 08:07

吴恩达机器学习笔记——八、神经网络

吴恩达机器学习笔记——八、神经网络为什么要用神经网络神经网络的表示神经元神经网络符号定义向量化神经网络所使用的特征非线性模型例子能实现“与”功能的神经网络能实现“或”功能的神经网络能实现“非”功能的神经网络能实现

lizhaoxin666·2020-12-30 11:02

吴恩达机器学习笔记——七、过拟合和正则化

吴恩达机器学习笔记——七、过拟合和正则化过拟合什么是过拟合怎么解决过拟合正则化正则化的原理正则化的作用如何在模型中应用正则化在线性回归中使用正则化应用于梯度下降算法应用于正规化方程在Logistics回归中使用正则化总结过拟合什么是过拟合当学习的特征太多

lizhaoxin666·2020-12-29 17:43

吴恩达机器学习笔记——六、分类

吴恩达机器学习笔记——六、分类Logistics回归定义用Logistic函数做二分类决策边界确定参数θ的方法凸函数和凸优化具体操作一些高级优化算法多分类Logistics回归定义Sigmoidfunction

lizhaoxin666·2020-12-29 16:59

吴恩达机器学习笔记——四、多元线性回归

吴恩达机器学习笔记——四、多元线性回归符号定义多元线性回归的定义梯度下降法确定参数θ特征缩放学习率特征合并和多项式回归特征合并多项式回归正规方程步骤优点不足如果矩阵不可逆该如何求解正规方程用向量表达对h

lizhaoxin666·2020-12-29 10:36

吴恩达机器学习笔记——二、线性回归

吴恩达机器学习笔记——二、线性回归符号定义代价函数的定义代价函数的作用梯度下降算法描述：学习率的理解：符号定义m：训练集的样本个数x’s：输入变量/特征y’s：输出变量/特征(x,y)：一个训练样本(x

lizhaoxin666·2020-12-28 10:02

《吴恩达机器学习》笔记：第一章：机器学习基础

机器学习基础机器学习定义：在没有明确设置的情况下，使得计算机具有学习能力的研究领域。E=theexperienceofplayingmanygamesofcheckersT=thetaskofplayingcheckersP=theprobabilitythattheprogramwillwinthenextgame监督学习和无监督学习监督学习（supervisedlearning)回归问题在监督

量化就是探索生活·2020-12-14 03:42

吴恩达机器学习笔记【课时七】

课时7-1过拟合问题具有高方差，泛化能力不好。过拟合的解决办法：课时7-2代价函数如下图：为了避免过拟合，假如我们再代价函数后面加上两项，要想整体最小，则后两个参数值必须极小，这相当于抹去了这两个参数，假设仍是二次函数。所以我们可以通过在代价函数后面增加正则项避免过拟合：λ是惩罚项，是对不同特征的取舍假如我们给的惩罚项太大了会出现什么问题？会出现欠拟合：课时7-3线性回归的正则化正则化在线性回归的

走过绿意·2020-12-11 15:10

吴恩达机器学习笔记【课时六】

课时6-1分类解决一些输出y时离散值的问题：比如输出0、1是否是垃圾邮件先讨论二分类问题：如果用线性回归的方式设置分类阈值为0.5：可以看出用线性回归解决分类问题并不合适。所以我们现在要介绍LogisticRegression，它的输出一直介于0和1之间。这是一种分类算法，不要因为名字疑惑。课时6-2假设陈述LogisticRegression的假设函数：也就是将输出通过sigmoid函数映射到了

走过绿意·2020-12-11 11:30

吴恩达机器学习笔记【课时二】

课时2-1模型描述训练样本标记含义：训练集通过学习算法输出假设函数，假设函数能够对于输入的x输出相应的y课时2-2代价函数如何选择假设函数的参数呢？通过最小化代价函数：课时2-3代价函数（一）简化了一下：假设函数和代价函数的关系图示：课时2-4代价函数（二）上一节只有一个参数，所以假设函数和代价函数的图示简单，比如下图：如果是两个参数，则代价函数的图为下图所示：可以用二维等高线来表示上图：对于难以

走过绿意·2020-12-05 21:34

python多元线性回归代码_Python实现梯度下降算法求多元线性回归(一)

weixin_39761195·2020-11-29 07:05

吴恩达机器学习作业一python实现

单变量线性回归参考了黄海广的github：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes数据处理读入数据path='ex1data1.txt'data=pd.read_csv(path,names=['Population','Profit'])可查看数据的一些统计量图：数据的一些统计量展示数据data.plot(kind='scatt

lyp_1020k·2020-11-07 22:58

吴恩达机器学习markdown目录

第一周一、引言(Introduction)1.1欢迎1.2机器学习是什么？1.3SupervisedLearning1.4UnsupervisedLearning二、单变量线性回归(LinearRegressionwithOneVariable)2.1模型表示2.2代价函数2.3代价函数的直观理解I2.4代价函数的直观理解II2.5梯度下降2.6梯度下降的直观理解2.7梯度下降的线性回归2.8接下

kidling_G·2020-11-02 10:38

【吴恩达机器学习 - 1】利用梯度下降算法与正规方程实现线性回归及多元线性回归（课程练习第一题ex1）

目录1.热身2.线性回归2.1绘制数据图2.2完善梯度下降算法2.3可视化代价函数3.多元线性回归3.1梯度下降法（Gradientdescent）3.1.1特征缩放（Featurenormalization）3.1.2梯度下降3.1.3放假预测3.2正规方程（Normalequation）3.3迭代次数与学习率前言先来几句废话，相信大部分都是在B站看的吴恩达的机器学习视频，寻思着做做练习才有缘在

Beeemo·2020-10-27 16:16

2020-10-15 吴恩达机器学习第四课笔记（一））

检测水平与垂直:通过使用特定的滤波器Xnip2020-10-15_16-25-36.jpg灰度图像：661RGB图像：663卷积核---术语也称之为filterPadding原因：每进行一次卷积，图像都会缩小，卷积越多次，损失的信息越多解决办法：使用Padding，对边缘进行填充，一般用0来填充；比如：原来是66的矩阵，使用33的卷积核卷积之后变成44，损失了部分信息；使用Padding之后66的

滴答大·2020-10-15 20:47

机器学习入门规划

学习内容：1、周志华西瓜书2、机器学习实战3、吴恩达机器学习、深度学习视频4、机器学习基石台大5、数据结构书6、python入门笔记7、java学习手册8、牛

奇葩诗仙·2020-10-11 10:39

吴恩达机器学习（十）—— ex4：Neural Networks Learning（MATLAB+Python）

一、神经网络1.1可视化数据1.2模型表示1.3前馈和代价函数1.4正则化代价函数二、反向传播2.1Sigmoid梯度2.2随机初始化2.3反向传播2.4梯度检验2.5正则化神经网络2.6使用fmincg学习参数三、可视化隐藏层3.1可选的练习四、Python实现本次练习对应的基础知识总结→\rightarrow→神经网络：Learning。本次练习对应的文档说明和提供的MATLAB代码→

大彤小忆·2020-09-30 21:35

吴恩达机器学习课程：编程练习 | (2) ex2-logistic regression

1.logistic-regression"""逻辑回归案例：根据学生的两门学生成绩，预测该学生是否会被大学录取"""importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltdefget_Xy(data):data.insert(0,'ones',1)X=np.array(data.iloc[:,0:-1])y=np.array(dat

骑鱼钓鸭子·2020-09-23 23:48

吴恩达机器学习课程：编程练习 | (1) ex1-linear regression

1.单变量线性回归"""单变量线性回归案例：假设你是一家餐厅的CEO，正在考虑开一家分店，根据该城市的人口数据预测其利润。"""importnumpyasnpimportseabornassnsimportpandasaspdimportmatplotlib.pyplotaspltdefget_X(df):"""读取特征useconcattoaddintersectfeaturetoavoidsi

骑鱼钓鸭子·2020-09-23 23:24

吴恩达机器学习课程-作业6-支持向量机（python实现）

MachineLearning(Andrew)ex6-SupportVectorMachines椰汁笔记SupportVectorMachines这个算法是干什么的？分类算法，和逻辑回归类似。这个算法的优点是什么？这个算法又叫做最大间距分类算法。下面这张图就是很好的解释，对于下面的分类问题之前的逻辑回归的决策边界可能是粉色或者绿色的线。可以看到虽然是成功将数据集分为两部分，但是这样看起来不是那么地

生榨的椰汁·2020-09-17 05:08

吴恩达机器学习课程-作业1-线性回归（python实现）

MachineLearning(Andrew)ex1-LinearRegression椰汁学习笔记最近刚学习完吴恩达机器学习的课程，现在开始复习和整理一下课程笔记和作业，我将陆续更新。

生榨的椰汁·2020-09-17 05:08

吴恩达机器学习课程Neural Network步骤

RandomlyinitializetheweightsImplementforwardpropagationtogethΘ(x(i))foranyx(i)ImplementthecostfunctionImplementbackpropagationtocomputepartialderivativesUsegradientcheckingtoconfirmthatyourbackpropaga

雪糕好吃的咧·2020-09-17 05:51

吴恩达机器学习笔记（4）——逻辑回归（logistic regression）

**一、分类问题（classification）**首先来看一个例子，用肿瘤的大小来预测肿瘤是良性或者恶性。这个问题的输出只有两个值——良性（1）和恶性（0），通常称之为分类问题。如果在此处我们使用线性回归来处理这个问题。那么如果加入最右的那个点，那么直线拟合就从红色斜线变成了蓝色斜线，也就出现了预测的误差。因此线性回归不适合于分类问题。另外，使用线性回归处理分类问题中常见的问题还有：分类问题的输

阿尔基亚·2020-09-17 04:11

吴恩达机器学习_46分类/47假设函数/48决策边界

Logistic回归一、Classification(分类)0：负类，表示“没有”，如良性肿瘤1：正类，表示“有”，如恶性肿瘤将线性回归应用于分类问题并不是最好的，接下来介绍logistic回归算法，这是一种分类算法，被用于y等于离散值0和1的情况下。二、假设函数在logistic回归模型中，我们希望0=0，则hθ(x)=g(θTx)>=0.51.线性决策边界2.非线性决策边界转载于:https:

diexi7194·2020-09-17 04:31

吴恩达机器学习课程-作业7-K-means聚类和主成分分析（python实现）

MachineLearning(Andrew)ex7-K-meansClusteringandPrincipalComponentAnalysis椰汁笔记K-meansClustering前面学习的内容都是监督学习，这将是我们学习的第一个非监督学习算法。我们先把这个算法说清楚再说作业。这个算法是干什么的？将没有标签的数据，划分成K组。通过这个算法我们可以将数据进行分类，具体可以应用到根据用户数据将

生榨的椰汁·2020-09-17 04:47

吴恩达机器学习python代码练习二（逻辑回归）

吴恩达机器学习练习文件下载地址：链接：https://pan.baidu.com/s/1RvUeG10FBpV9RyFtOX1Zdw提取码：5b4x逻辑回归（线性可分）importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsimportscipy.optimizeasoptfromsklearn.me

春风若是你·2020-09-17 04:50

吴恩达机器学习python代码练习三（向前传递神经网络）

importnumpyasnpimportscipy.ioassioimportmatplotlib.pyplotaspltimportpandasaspdfromsklearn.metricsimportclassification_report#这个包是评价报告path='E:\吴恩达及遗传算法\机器学习\Machine_Learning_AndrewNg-master\Machine_Lea

春风若是你·2020-09-17 04:19

吴恩达机器学习python代码练习三（多类别分类）

importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportscipy.ioassiofromscipy.optimizeimportminimizefromsklearn.metricsimportclassification_report#这个包是评价报告scipy中的loadmat官网地址：https://docs.sci

春风若是你·2020-09-17 04:19

26-指针的本质分析

注：博客中内容主要来自《狄泰软件学院》，博客仅当私人笔记使用。

喂你的猴子跑了·2020-09-16 20:54

Regularized linear regression(正则化线性回归)----吴恩达机器学习

Regularizedlinearregression1.引入1.1梯度下降法1.2正规方程法1.引入接着上一篇文章的讲述，在上一篇文章中，我们将代价函数变为J(θ)=12m[∑i=1m(hθ(x)−y)2+λ∑i=1nθj2]J(\theta)=\frac{1}{2m}[\sum_{i=1}^m(h_{\theta}(x)-y)^2+\lambda\sum_{i=1}^n\theta_j^2]J

三省少年·2020-09-16 19:16

吴恩达机器学习笔记21-正则化线性回归(Regularized Linear Regression)

对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正规方程。正则化线性回归的代价函数为：如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对theta0进行正则化，所以梯度下降算法将分两种情形：对上面的算法中?=1,2,...,?时的更新式子进行调整可得：可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令?值减少了一个额外的值。我们同

weixin_33919941·2020-09-16 19:07

吴恩达机器学习正则化线性回归和偏差算法的MATLAB实现（对应ex5练习）

linearRegCostFunction.m这个文件主要的功能是计算正则化线性回归的代价函数和梯度，其实在之间的正则化的练习过程中就有过实现。作为温习，先放出对应的参考。代价函数的计算公式正如上图中所示，这里需要注意的是标黄的部分文字。其意思是不需要正则化theta0，这与视频中一致，同时在MATLAB中，theta0代表的是theta1。梯度的计算主要是区别j=0和j≥1。在程序中体现出来，其

泥河·2020-09-16 19:50

吴恩达机器学习_57线性回归的正则化

对于线性回归，我们已经推导了两种算法：（1）基于梯度下降（2）基于正规方程（1）将梯度下降法运用到线性回归正则化常规的梯度下降法（将θ_0分离出来，因为之后对梯度下降法进行修改时会对θ_0区别对待）：用正则化对梯度下降法进行修改：每次迭代时，都将θ_j乘以一个比1略小的数，然后进行和之前一样的操作，从而达到对代价函数的梯度下降（2）将正规方程法运用到线性回归正则化转载于:https://www.c

diexi7194·2020-09-16 18:46

机器学习——Python实战单变量线性回归

单变量线性回归的实战本文主要进行用Python单变量线性回归的一个入门实战（吴恩达机器学习练习1）。

vergilben·2020-09-16 16:23

第七章-正则化深度之眼_吴恩达机器学习作业训练营

目录一，过拟合与欠拟合二，正则化2.1正则化与损失函数2.2正则化与梯度下降法2.3正则化与正规方程法三，总结一，过拟合与欠拟合图7-1欠拟合与过拟合在机器学习的过程中，很有可能出现以下两种情况：1.模型训练完后对训练数据的拟合度依然不够，即为欠拟合现象（underfitting），也可称为高偏差(highbias)。究其原因是模型对数据之间的选项无法充分把握或根本无法合理把握数据背后的客观规律，

凡尘维一心·2020-09-16 13:42

过拟合、欠拟合如何解决

如图所示（图片来源：coursera吴恩达机器学习公开课）从图中可以看出，图一是欠拟合，模型不能很好地拟合数据；图二是最佳的情况；图三就是过拟合，采用了很复杂的模型。

zhuimengshaonian66·2020-09-16 06:02

吴恩达机器学习作业Python实现(七)：K-means和PCA主成分分析

https://blog.csdn.net/Cowry5/article/details/80503380转载于:https://www.cnblogs.com/pengzhi12345/p/11606742.html

weixin_38171245·2020-09-16 06:24

吴恩达机器学习神经网络作业（python实现）

1.多分类逻辑回归自动识别手写数字importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromscipy.ioimportloadmatfromscipy.optimizeimportminimize#加载mat数据defload_data(path):data=loadmat(path)X=data['X']y=data['y']

old sweet ᝰ·2020-09-16 00:03

推荐频道

吴恩达机器学习私人笔记