本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P32——分类图1表示最基础的分类原理，当类别只有0，1两种情况时，以0.5为阈值（threshold，当hθ(x)h_{\theta}(x)hθ(x)超过0.5时，就判定为1，否则为0。图1 但是这种方式过于“一刀切”，如图2，当出现一个很横坐标hθ(x)h_{\theta}(x)hθ(x)很大的数

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P83—主成分分析构思PCA(PrincipalComponentAnalysisProblemFormulation)线性回归和PCA的最优模型都是最小化某个值，只是线性回归最小化预测值和真实值之间的误差，而PCA最小化投影误差。PCA三维和PCA二维原理相同，都是最小化投影误差。图1 图2 课程视

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P22图1表示使用了不同次数的变量在此情形下，若要使用梯度下降法，则需要先对数据进行特征缩放，不然没有可操作性。图1      图2使用不同的函数来代表房价预测曲线。图2 课程视频P23——正规方程图3形象的展示了梯度下降法求解代价函数最小值到最后的情况，对于普通的一元二次函数，通过求导、令式子等于0

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P11图1表示了梯度下降方法和线性回归模型，而我们要做的就是把它俩结合起来，用梯度下降法来使这个线性回归模型达到最小值。画红线的部分为偏导数，是重点要讨论的部分，在下一张图展开。图1      图2将梯度下降法中的偏导函数的求解分步展开写了出来。图2 图3形象的展示了梯度下降法的求解方式，在山顶不断地

01模型描述为了更好的描述监督学习问题，需要给出训练集并以此构建一个模型。下面先学习几个符号：m:代表的是训练集有几个x:代表的是输入的特征y:代表的是输出，也就是预测的目标变量h:代表假设函数，引导从x得到y的函数02代价函数（平方误差函数）可以通过代价函数来衡量假设函数的准确性。代价函数取值越小，假设函数就越准确。代价函数有助于我们弄清楚如何把最有可能的直线与我们的数据相拟合。在线性回归中，我

01监督学习监督学习是指我们给算法一个数据集，其中包含了正确的答案。算法的目的就是给出更多的正确答案。回归是指我们设法预测连续值的属性，可以应用在预测房子价格等方面。分类是指我们设法预测离散值的输出(0或1)，可以应用在判断账户是否被入侵等方面。02无监督学习无监督学习也会给一个数据集，但是数据集不包括正确答案(里面的数据要么都有相同的标签要么都没有标签)。无监督学习会将数据分为一个个不同的簇，这

importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromscipy.ioimportloadmatfromsklearn.metricsimportclassification_reportfromscipy.optimizeimportminimizedefsigmoid(z):return1/(1+np.exp(-z))#向

聚类一.无监督学习：应用：二.K-均值算法三.优化目标四.随机初始化五.选择聚类数一.无监督学习：聚类算法，非监督学习算法在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，我们有一系列标签，我们需要据此拟合一个假设函数。与此不同的是，在非监督学习中，我们的数据没有附带任何标签，我们拿到的数据就是这样的：在这里我们有一系列点，却没

异常检测一.问题的动机二.高斯分布三.算法四.开发和评价一个异常监测系统五.异常检测与监督学习对比六.选择特征一.问题的动机什么是异常检测呢？为了解释这个概念，让我举一个例子吧：假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。这样一来，你就有了一个数

推荐系统(RecommenderSystems一.问题形式化二.基于内容的推荐系统三.协同过滤四.协同过滤算法五.向量化：低秩矩阵分解六.推行工作上的细节：均值归一化一.问题形式化我们从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商，我们有5部电影和4个用户，我们要求用户为电影打分。前三部电影是爱情片，后两部则是动作片，我们可以看出Alice和Bob似乎更倾向与爱情片，而Carol和Da

逻辑回归一.知识回顾二.题目二.编程的设计【1】引入一些包【2】准备数据【3】sigmoid函数【4】costfunction(代价函数)1.设置参数【5】gradientdescent(梯度下降)1.损失梯度的推导2.代码【6】拟合参数【7】用训练集预测和验证【7】寻找决策边界1.输出最后拟合的参数2.根据边界公式计算X×θX\times\thetaX×θ3.画出图形三.正则化逻辑回归特征映射对

正则化一过拟合问题二代价函数三正则化线性回归四正则化的逻辑回归模型一过拟合问题正则化(regularization)的技术，它可以改善或者减少过度拟合问题。如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是可能会不能推广到新的数据。下图是一个回归问题的例子：第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型

神经网络学习：表述一.非线性假设【1】前提引入【2】实例体验二.神经元和大脑三.模型表示1【1】了解实际神经系统【2】模型思考：三.模型表示2四.特征和直观解释1一.非线性假设【1】前提引入我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。下面是一个例子：使用非线性的多项式项，能够帮助我们建立更好的分类模型。【1】假设我们有非常多的特征，例如大于100

初步了解机器学习前言了解机器学习【1】常见的机器学习的体现：【2】机器学习的领域：【3】机器学习的应用：什么是机器学习？监督学习[1]定义[2]了解[3]基本思想无监督学习定义：例子：总结：前言了解机器学习【1】常见的机器学习的体现：打开谷歌、必应搜索到你需要的内容，正是因为他们有良好的学习算法。谷歌和微软实现了学习算法来排行网页每次，你用Facebook或苹果的图片分类程序他能认出你朋友的照片，

有监督类算法②：分类算法：输出结果常常是："0"or"1";"yes"or"no";"ture"or"false";"negativeclass"or"positiveclass";用线性回归算法解决分类，可能会奏效，但通常效果不佳；例如：逻辑回归：使用最广泛的分类算法；相比于线性回归,逻辑回归是一条曲线；需要引入一个重要的数学函数：sigmoid函数（逻辑函数）；决策边界：令决策函数z=0？决策

前言最近有在学习网易云课堂上《吴恩达机器学习》这门课程,受益匪浅,然后打算将有关线性回归模型的知识点总结下来,也就有了本文.若存在错误的地方,还请指正,谢谢!

目录专栏简介：一，机器学习简介1.1机器学习定义1.1机器学习的重要性1.2应用领域二、监督学习三、无监督学习四、总结专栏简介：本栏主要内容为吴恩达机器学习公开课的学习笔记，以及深度之眼的吴恩达机器学习作业训练营

个人认为：吴恩达老师的机器学习课程，是初学者入门机器学习的最好的课程！我们整理了笔记（336页），复现的Python代码等资源，文末提供下载。课程简介课程地址：https://www.coursera.org/course/mlMachineLearning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，

一个多月除了上课自习，就是在coursera和网易云课堂上学习吴恩达机器学习的课程，现在学完了，以下是一个多月来完成的作业目录，整理一下以便使用：1.0单变量线性回归1.1多变量线性回归2.0Logistic

目录：前言一、分享二、课程学习一览（章节知识点总结）1、章节目录及知识点整理2、对应章节学习笔记文章链接二、课程重点总结1、监督学习2、无监督学习3、特定的应用和话题4、构建机器学习系统的建议❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！前言✨你好啊，我是“怪&”，是一名在校大学生哦。主页链接：怪&的个人博客主页☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待

本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分，这门课是经典，没有之一。但是有个问题，就是内容较多，有些内容确实有点过时。如何在最短时间学完这门课程？作为课程的主要翻译者和笔记作者，我推荐把精华部分进行学习，这样进度会快一点。作者：黄海广[2]时间不多的朋友可以按照以下五篇文章的笔记和作业代码（原课程作业是OCTAVE的，这里是复现的Python代码）进行学习，快速入门机器学习，避免走弯

强烈感谢黄海广博士给的文章思路本文中提及的作者便是黄海广博士本人吴恩达老师的机器学习课程，可以说是机器学习入门的第一课和最热门课程，作者在github开源了吴恩达机器学习个人笔记，用python复现了课程作业

1.问题和数据假设您是一个大学部门的管理员，您想根据申请人在两次考试中的成绩来确定他们的入学机会。您可以使用以前申请人的历史数据作为逻辑回归的训练集。您的任务是构建一个分类模型，根据这两门考试的分数估计申请人被录取的概率。数据ex2data1.txt内容为一个47行3列(47,3)的数据；其中第一列表示exam1成绩，第二列表示exam2成绩。具体数据如下：34.62365962451697,78

1.问题和数据在本练习中，您将实现K-means聚类算法并应用它来压缩图像。在第二部分中，您将使用主成分分析来寻找人脸图像的低维表示之前的题目中都是有监督的算法，每一个样本X都对应有一个标签y,这回我们使用的K-means算法是无监督算法。其原理步骤如下：  2.案例1：给定一个二维数据集，使用K-means算法进行聚类数据集：ex7data2.mat导入包，numpy和pandas是做运算的库，

提示：这章选学，可以去学python，第六节可以看看。5.1基本操作https://www.bilibili.com/video/BV164411b7dx?p=26本章学习以种编程语言：Octave语言。你能够用它来非常迅速地实现这门课中我们已经学过的，或者将要学的机器学习算法。过去我一直尝试用不同的编程语言来教授机器学习，包括C++、Java、Python、Numpy和Octave。我发现当使用

14.1动机一：数据压缩https://www.bilibili.com/video/BV164411b7dx?p=79这个视频，我想开始谈论第二种类型的无监督学习问题，称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩，后面我们会看了一些视频后，数据压缩不仅允许我们压缩数据，因而使用较少的计算机内存或磁盘空间，但它也让我们加快我们的学习算法。但首先，让我们谈论降维是什么。作为一种生动的

11.1首先要做什么https://www.bilibili.com/video/BV164411b7dx?p=65在接下来的视频中，我将谈到机器学习系统的设计。这些视频将谈及在设计复杂的机器学习系统时，你将遇到的主要问题。同时我们会试着给出一些关于如何巧妙构建一个复杂的机器学习系统的建议。下面的课程的的数学性可能不是那么强，但是我认为我们将要讲到的这些东西是非常有用的，可能在构建大型的机器学习系

目录k-means聚类输入算法类别不明显优化目标随机初始化选取聚类数量如有不妥，请不吝指正~k-means聚类k-means聚类是当下比较火的一个无监督学习算法。我打算直接从k-means开始讲起，对于无监督学习的理解和定义我在前面已经做过相关工作了，大家还有不理解的可以移步之前的博客，我这里就直接从相关算法开始陈述了。吴恩达老师对于k-means算法的过程给出了一个非常通俗易懂的描述与演示：首先

吴恩达机器学习笔记week11——机器学习系统设计Machinelearningsystemdesign11-1.确定执行的优先级Prioritizingwhattoworkon:Spamclassificationexample11

吴恩达机器学习系列内容的学习目录→\rightarrow→吴恩达机器学习系列内容汇总。

梯度下降法知识点：偏导数、微积分、局部最优解概念介绍梯度下降法目的是为了“下降”，下降的方法是按照“梯度”。比如你在一座山上，当前你只能迈出一步，如何走才能使你的高度下降的最多呢，根据梯度的理论，我们沿着当前梯度的反方向走，会让我们的下降幅度最大。上述例子中，山就是一个函数，在山上的你就是函数中待优化的变量，人的坐标表示变量初始值，我们要求的是函数最小值即到达山底，人该如何走即如何迭代变量。所以我

之前介绍的梯度下降中只有两个变量，现在考虑有0~n共n+1个变量的时候。与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，多变量线性回归的批量梯度下降算法为注意多个变量的变化也是要同时计算更新。参数的范围会对梯度下降的算法产生影响，因此常用的梯度下降处理方法有特征缩放和选择合适大小的学习率特征缩放：要保证这些特征都具有相近的尺度，这将帮助梯度下

吴恩达机器学习MATLAB代码笔记（1）梯度下降单变量线性回归1.标记数据点（PlottingtheDate)fprintf(‘PlottingData’)data=load(‘D:\代码笔记\吴恩达机器学习

（一）qiuzitao3.25-3.30学习报告3.25（周一）机器学习的第一篇博客，接下来也会坚持更新，谢谢我的导师和CSDN这个平台！#吐槽一下这学期课很多，学费值了；开的语言也多（Python，Java，C++，汇编），不过我钟爱Python和Java，更有兴趣的还是机器学习，人工智能。晚上回顾了Python的文件语法，现在的Python算基础掌握了吧，也是入了这个门，还需要多练习提升，打打

19.5小时，112个视频先学定理再学概念1-3监督学习例子：预测房价--回归问题判断肿瘤是否良性—分类问题2.2代价函数找到Q0Q1的值，使得假设曲线与真实数据点尽可能的拟合如何得到Q0Q1–差的平方和最小，最小化问题代价函数J(Q0,Q1)，也被称为平方误差函数。目标：最小化代价函数还有其他形式的代价函数，但是平方误差代价函数是解决回归问题最常用的手段2.3代价函数一让假设函数更加简单----

1.吴恩达机器学习课程笔记：多元梯度下降法笔记来源：吴恩达机器学习课程笔记：多元梯度下降法仅作为个人学习笔记，若各位大佬发现错误请指正1.1多元特征（变量）每一列代表一个特征，例如：房屋大小、卧室数量、

1.什么是机器学习：让计算机在没有明确编程的情况下学习的研究领域。2.机器学习的两种主要类型是监督学习和无监督学习。3监督学习：监督学习算法从正确答案中学习，给出固定的x按要求输出y；监督学习的两种主要类型是回归和分类；4.无监督学习：让算法自己找出什么是有趣的，或者什么模式或结构可能在这个数据集中与这个特定的数据集.无监督学习算法可能决定数据可以分配给两个不同的组或两个不同的集群，所以你可能会决

1.梯度下降：最小化代价函数；这个表达式的意思是通过获取w的当前值并对它进行少量调整来更新参数w;α：学习率，通常是0-1之间的一个小正数，基本上控制你下坡时的步幅。代价函数的导数项，决定下坡的方向；重复这两个式子，直到收敛（达到了一个局部最小值，在这个最小值下，参数w和b不再随着你采取的每一个额外步骤而改变很多）。w和b要求同时更新的情况：w和b没有同时更新（非正确方法）：学习率α：过小：下降速

特征缩放（归一化）:将范围缩小到0-1内；特征缩放会使梯度下降更快。学习曲线：帮助你看到你的成本J在每次大下降迭代后的变化；通过这学习曲线可以发现梯度下降是否收敛；成本函数J有时上升有时下降，表明梯度下降不能正常工作；可能是学习率α过大；可以适当调小学习率；学习率：按比例慢慢调；特征工程：通过转换或结合原有特征，利用直觉去构造一个新的特征；此例子中的x3。多项式回归：

网易公开课，第5，6课notes，http://cs229.stanford.edu/notes/cs229-notes2.pdf前面讨论了高斯判别分析，是一种生成学习算法，其中x是连续值这里要介绍第二种生成学习算法，NaiveBayes算法，其中x是离散值的向量这种算法常用于文本分类，比如分类垃圾邮件首先，如何表示一个文本，即x？以上面这种向量来表示，字典中的词是否在该文本中出现其中每个词，可以

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P64图1，2表示通过对特征向量的进一步细分，是一种提升邮件分类效率的方法。图1 图2 课程视频P65**在实践项目中，应该先简单粗暴的做出一个简单的算法，运行出学习曲线，然后根据曲线的特点对应查找当前模型存在的问题，是数据量不够还是特征向量太少等等…然后对症下药去把时间花在这些值得花的地方上，而不是

代价函数本例中如下图所示：代价函数实际目的是为了通过寻找θ1，θ2两个参数实现拟合的直线最接近数据点。本例中代价函数的定义θ1，θ2寻找θ1，θ2参数最优值寻找θ1的最优解当θ1=1时当θ1=0.5时当θ1=0时如上图右侧所示，寻当θ1的最优解相当于寻找曲线偏导数等于零的点上图为两个参数同时作用时候生成的数据三维图下图为数据对应的等高线：通过实际数据测试发现当在等高线最中央时拟合的直线最接近数据集

目录1-1机器学习的相关名词1-2什么是机器学习？1.definition定义2.主要的机器学习算法的分类1-3有监督学习及常用算法1.定义2.两种数据类型补充：categoricaldata离散（分类型）数据与numericaldata连续（数值型）数据3.有监督学习与回归问题、分类问题的关系1-4无监督学习1.定义2.无监督学习之聚类算法的现实应用2-1第一个学习算法—线性回归算法1.课程中符

吴恩达机器学习课程笔记学习视频第1章1-2什么是机器学习1-3监督学习(supervisedlearningalgorithm)1-4无监督学习(unsupervisedlearningalgorithm

吴恩达机器学习笔记（七）：代价函数Regularizedlinearregression如前言所述，正则化为了让模型更好地切合数据，同时降低过拟合的可能。

1.吴恩达机器学习课程笔记：模型描述、假设函数、代价函数吴恩达机器学习课程笔记：模型描述吴恩达机器学习课程笔记：代价函数仅作为个人学习笔记，若各位大佬发现错误请指正什么是模型？

机器学习的模式用训练集的数据，匹配一种算法，生成一个函数（h），这个函数可以输入x，产出y所以机器学习的关键在于：1、选择正确的算法，选择算法之后，函数h的形态就确定了，但是参数未知2、确定函数h的参数值：监督学习：通过训练集的x和y，共同确定参数值无监督学习：通过训练集的x，确定参数值（还没搞懂）最简单的算法：一元线性回归(LinearRegression）相同的算法，不同的参数值：代价/成本函

越来越多人涌入这个领域，同时市面上的资料也是百花齐放，但是真正有价值的资料其实并不多，并且出品于大佬们的手这篇blog将会带领你在b站读一个深度学习的研究生保姆级清单，喜欢的话请点个赞~机器学习入门：吴恩达机器学习

(强推|双字)2022吴恩达机器学习Deeplearning.ai课程【公开课】最新斯坦福李飞飞cs231n计算机视觉课程【附中文字幕】AI应用搜索引擎社交图片分享，分类电影推荐语音识别垃圾邮件识别气候变化优化风力发电医疗诊断工业质检自动驾驶通用

1.吴恩达机器学习课程笔记：监督学习、无监督学习吴恩达机器学习系列课程：监督学习吴恩达机器学习系列课程：无监督学习仅作为个人学习笔记，若各位大佬发现错误请指正机器学习的学习算法：监督学习、无监督学习、半监督学习