之前直接看吴恩达老师的深度学习课程，发现有很多看不明白的地方，所以还是从吴恩达老师讲的机器学习开始看，感觉自己真的基础知识太差了，很多东西都要慢慢补出来机器学习的定义定义搬运链接：link从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的主要类型一、监督学习（

目录一、引言二、课堂笔记一、引言本节学习视频链接如下：3欠拟合与过拟合的概念_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1xb411M7sn?p=3&vd_source=1ac3c4db6c62f190a2b66f5032778fc9二、课堂笔记

第十一章11.1确定执行的优先级垃圾邮件分类器算法：为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量xxx。我们可以选择一个由100100100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为111，不出现为000），尺寸为100×1100×1100×1。为了构建这个分类器算法，我们可以做很多事，例如：收集更多的数据，让我们有更多的

本文参考吴恩达机器学习课程第2章线性回归公式:代价公式(误差均值中的2用来抵消求导得来的2):目标：代价最小化这里演示单变量线性回归时:令,可对求导,此时方可求出实际上，由于代价函数经常含有2个及以上参数

先是看了几集吴恩达机器学习的课程，了解了机器学习的基本概念。机器学习中分为三个大块：监督学习、无监督学习和强化学习。而监督学习又分为回归算法和分类算法。通过课程也大致了解回归算法与分类算法的区别。

上一周我们学习了逻辑回归，并使用它解决了简单的0/1分类问题。这周我们首先尝试使用逻辑回归来解决多分类问题（手写字符识别）。通过这个问题了解到，当我们需要解决特征量很大的非线性分类问题时（比如计算机视觉问题），我们原本假设高次特征的方法会使得特征数异常庞大，从而引出新的方法神经网络。为了更好的阅读体验你可以在网站中查看，点击课程视频你就能不间断地学习Ng的课程，关于课程作业的Python代码已经放

1.问题和数据在本练习中，您将实现正则化线性回归，并使用它来研究具有不同偏差-方差特性的模型。在练习的前半部分，您将实现正则化线性回归，利用水库水位的变化来预测从大坝流出的水量。在后半部分中，您将对调试学习算法进行一些诊断，并检查偏差和偏差的影响。 之前的题目中我们只用到了训练集，用训练集来训练模型，又用训练集来验证模型，这样的泛化能力就比较差。正常做法一般是先用训练集进行模型训练，训练好几个模型

ProgrammingExercise5:RegularizedLinearRegressionandBiasv.s.VariancePython版本3.6编译环境：anacondaJupyterNotebook链接：实验数据和实验指导书提取码：i7co本章课程笔记部分见：应用机器学习的建议(AdviceforApplyingMachineLearning)在本练习中，我们要实现正则化的线性回归，

吴恩达机器学习笔记（自己学着记）1.机器学习分类1.1监督学习1.1.1回归回归问题是在知道正确答案的基础上进行的，即给定的数据集是真实的一系列连续的值。

吴恩达机器学习一、神经网络二、前向传播算法2.反向传播算法代价函数推导过程代码实现一、神经网络神经网络是模仿大脑神经元，建立的模型。

上周目标完成情况如下图所示，本周没有完成上周制定的目标。一方面是由于临时产生的一个聚会占据了一天，一方面是前段时间晚睡晚起导致上午时间几乎浪费了。W2目标完成情况一、本周投入W2时间投入W2时间占比如图所示，相比于第一周，本周娱乐时间下降了18.5h。但由于游戏缘故，娱乐时间仍然占大头，下一周需要进一步缩减。二、本周收获1.新的每日记录法：每日生活笔记法这是从L先生说公众号里看到的：每一天，起床，

复盘分4个部分一、月初定下目标完成如何？二、本周做了哪些事？有什么新突破？三、我从这些事上得到什么经验或教训？四、月计划中下周重要的5件事是什么？一、月初定下目标完成如何？一、学习成长1、线上课复习2、3节目前进度：02、阅读6本书目前进度：03、学金融学课目前进度：04、阅读25天+目前进度：95、学习《积极心理学》11-18课，共8节课目前进度：3二、工作事业1、写读书笔记4条目前进度：02、

2019吴恩达机器学习课程笔记——week1——1.Introduction一、WhatisMachineLearning?

吴恩达机器学习13-聚类1.无监督学习样本不带标记在监督学习中，数据有一系列标签，我们需要据此拟合一个假设函数。与此不同的是，在非监督学习中，数据没有附带任何标签。

Anomalydetection（异常检测）一、作业内容在本练习中，我们将使用高斯模型实现异常检测算法，并将其应用于检测网络上的故障服务器。在这个练习中，您将实现一个异常检测算法来检测服务器计算机中的异常行为。这些特性测量每个服务器的响应的吞吐量(mb/s)和延迟(ms)。当服务器运行时，您收集了m=307个关于它们行为的示例，因此有一个未标记的数据集[z(1)，.，(m)]。您怀疑这些示例中的绝

机器学习系统设计无监督学习unsupervisedlearningK-Means算法K-Meansalgorithm优化目标Optimizationobjective随机初始化randominitialization选取聚类数量性能度量扩充-原型聚类无监督学习unsupervisedlearning类型定义差异监督学习给定一些带标签的数据，用假设函数去拟合它，寻找能够区分正样本和负样本的决策边界1

吴恩达机器学习系列五聚类（Clustering）无监督学习K-均值算法优化目标随机初始化选择聚类数降维（DimensionalityReduction）动机一：数据压缩动机二：数据可视化主成分分析问题主成分分析算法选择主成分的数量重建的压缩表示主成分分析法的应用建议聚类

2022吴恩达机器学习第一周一.机器学习的定义二.机器学习的分类2.1.监督学习【回归算法】【分类算法】三.lossfunction3.1.损失函数公式四.梯度下降4.1.梯度下降算法4.2.理解梯度下降

本系列文章如果没有特殊说明，正文内容均解释的是文字上方的图片机器学习|Coursera吴恩达机器学习系列课程_bilibili目录18应用案例：照片OCR18-1问题描述与流程(pipeline)18-

逻辑回归的梯度下降：对w和b求偏导结果与线性回归是相似的（神奇）；但事实上并不一样：训练逻辑回归模型：sklearn函数过拟合（overfitting）：即使非常适合训练集但也因为太适合数据，因此是过拟合（高方差）；这个模型不具有泛化到新样本的能力；欠拟合（高偏差）；适中（泛化）；解决过拟合：①更多的训练数据；②是否可以使用更少的特征；③使用正则化来减小参数的大小（better）；线性回归正则化：

概念就不介绍了，记录下公式推导和代码实现，以及与最小二乘的比较。吴恩达老师课程中使用一个参数theta保存两个变量，不过我好像没把中间变量的形状对齐，所以最后实现了两个参数的版本。代码：importtimeimportnumpyasnpimportpandasimportmatplotlib.pyplotasplt#随机种子rd=np.random.RandomState(round(time.t

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P43——非线性假设图1表示当变量特别多，比如在计算机视觉图像识别上，就算是50x50的一小块区域就包含2500个像素，每个像素算做一个变量，按灰度计算每个像素就有255个颜色，如果按RGB来计算每个像素就有7500个颜色，如此以来总的特征就超过了3million个，因此用线性方式表示就不合适了，会导

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P32——分类图1表示最基础的分类原理，当类别只有0，1两种情况时，以0.5为阈值（threshold，当hθ(x)h_{\theta}(x)hθ(x)超过0.5时，就判定为1，否则为0。图1 但是这种方式过于“一刀切”，如图2，当出现一个很横坐标hθ(x)h_{\theta}(x)hθ(x)很大的数

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P83—主成分分析构思PCA(PrincipalComponentAnalysisProblemFormulation)线性回归和PCA的最优模型都是最小化某个值，只是线性回归最小化预测值和真实值之间的误差，而PCA最小化投影误差。PCA三维和PCA二维原理相同，都是最小化投影误差。图1 图2 课程视

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P22图1表示使用了不同次数的变量在此情形下，若要使用梯度下降法，则需要先对数据进行特征缩放，不然没有可操作性。图1      图2使用不同的函数来代表房价预测曲线。图2 课程视频P23——正规方程图3形象的展示了梯度下降法求解代价函数最小值到最后的情况，对于普通的一元二次函数，通过求导、令式子等于0

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。课程视频P11图1表示了梯度下降方法和线性回归模型，而我们要做的就是把它俩结合起来，用梯度下降法来使这个线性回归模型达到最小值。画红线的部分为偏导数，是重点要讨论的部分，在下一张图展开。图1      图2将梯度下降法中的偏导函数的求解分步展开写了出来。图2 图3形象的展示了梯度下降法的求解方式，在山顶不断地

01模型描述为了更好的描述监督学习问题，需要给出训练集并以此构建一个模型。下面先学习几个符号：m:代表的是训练集有几个x:代表的是输入的特征y:代表的是输出，也就是预测的目标变量h:代表假设函数，引导从x得到y的函数02代价函数（平方误差函数）可以通过代价函数来衡量假设函数的准确性。代价函数取值越小，假设函数就越准确。代价函数有助于我们弄清楚如何把最有可能的直线与我们的数据相拟合。在线性回归中，我

01监督学习监督学习是指我们给算法一个数据集，其中包含了正确的答案。算法的目的就是给出更多的正确答案。回归是指我们设法预测连续值的属性，可以应用在预测房子价格等方面。分类是指我们设法预测离散值的输出(0或1)，可以应用在判断账户是否被入侵等方面。02无监督学习无监督学习也会给一个数据集，但是数据集不包括正确答案(里面的数据要么都有相同的标签要么都没有标签)。无监督学习会将数据分为一个个不同的簇，这

importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromscipy.ioimportloadmatfromsklearn.metricsimportclassification_reportfromscipy.optimizeimportminimizedefsigmoid(z):return1/(1+np.exp(-z))#向

聚类一.无监督学习：应用：二.K-均值算法三.优化目标四.随机初始化五.选择聚类数一.无监督学习：聚类算法，非监督学习算法在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，我们有一系列标签，我们需要据此拟合一个假设函数。与此不同的是，在非监督学习中，我们的数据没有附带任何标签，我们拿到的数据就是这样的：在这里我们有一系列点，却没

异常检测一.问题的动机二.高斯分布三.算法四.开发和评价一个异常监测系统五.异常检测与监督学习对比六.选择特征一.问题的动机什么是异常检测呢？为了解释这个概念，让我举一个例子吧：假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。这样一来，你就有了一个数

推荐系统(RecommenderSystems一.问题形式化二.基于内容的推荐系统三.协同过滤四.协同过滤算法五.向量化：低秩矩阵分解六.推行工作上的细节：均值归一化一.问题形式化我们从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商，我们有5部电影和4个用户，我们要求用户为电影打分。前三部电影是爱情片，后两部则是动作片，我们可以看出Alice和Bob似乎更倾向与爱情片，而Carol和Da

逻辑回归一.知识回顾二.题目二.编程的设计【1】引入一些包【2】准备数据【3】sigmoid函数【4】costfunction(代价函数)1.设置参数【5】gradientdescent(梯度下降)1.损失梯度的推导2.代码【6】拟合参数【7】用训练集预测和验证【7】寻找决策边界1.输出最后拟合的参数2.根据边界公式计算X×θX\times\thetaX×θ3.画出图形三.正则化逻辑回归特征映射对

正则化一过拟合问题二代价函数三正则化线性回归四正则化的逻辑回归模型一过拟合问题正则化(regularization)的技术，它可以改善或者减少过度拟合问题。如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是可能会不能推广到新的数据。下图是一个回归问题的例子：第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型

神经网络学习：表述一.非线性假设【1】前提引入【2】实例体验二.神经元和大脑三.模型表示1【1】了解实际神经系统【2】模型思考：三.模型表示2四.特征和直观解释1一.非线性假设【1】前提引入我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。下面是一个例子：使用非线性的多项式项，能够帮助我们建立更好的分类模型。【1】假设我们有非常多的特征，例如大于100

初步了解机器学习前言了解机器学习【1】常见的机器学习的体现：【2】机器学习的领域：【3】机器学习的应用：什么是机器学习？监督学习[1]定义[2]了解[3]基本思想无监督学习定义：例子：总结：前言了解机器学习【1】常见的机器学习的体现：打开谷歌、必应搜索到你需要的内容，正是因为他们有良好的学习算法。谷歌和微软实现了学习算法来排行网页每次，你用Facebook或苹果的图片分类程序他能认出你朋友的照片，

有监督类算法②：分类算法：输出结果常常是："0"or"1";"yes"or"no";"ture"or"false";"negativeclass"or"positiveclass";用线性回归算法解决分类，可能会奏效，但通常效果不佳；例如：逻辑回归：使用最广泛的分类算法；相比于线性回归,逻辑回归是一条曲线；需要引入一个重要的数学函数：sigmoid函数（逻辑函数）；决策边界：令决策函数z=0？决策

前言最近有在学习网易云课堂上《吴恩达机器学习》这门课程,受益匪浅,然后打算将有关线性回归模型的知识点总结下来,也就有了本文.若存在错误的地方,还请指正,谢谢!

数据数据收集Img，Label数据划分train：训练集，训练模型valid：验证集，验证模型是否过拟合（可以理解为用验证集挑选模型）test：测试集，测试挑选出来模型的性能数据读取DataLoadersampler：生成索引DataSet：Img，Label，根据索引读取图片和标签torch.utils.data.DataLoader功能：构建可迭代的数据装载器dataset：Dataset类，

目录专栏简介：一，机器学习简介1.1机器学习定义1.1机器学习的重要性1.2应用领域二、监督学习三、无监督学习四、总结专栏简介：本栏主要内容为吴恩达机器学习公开课的学习笔记，以及深度之眼的吴恩达机器学习作业训练营

个人认为：吴恩达老师的机器学习课程，是初学者入门机器学习的最好的课程！我们整理了笔记（336页），复现的Python代码等资源，文末提供下载。课程简介课程地址：https://www.coursera.org/course/mlMachineLearning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，

一个多月除了上课自习，就是在coursera和网易云课堂上学习吴恩达机器学习的课程，现在学完了，以下是一个多月来完成的作业目录，整理一下以便使用：1.0单变量线性回归1.1多变量线性回归2.0Logistic

目录：前言一、分享二、课程学习一览（章节知识点总结）1、章节目录及知识点整理2、对应章节学习笔记文章链接二、课程重点总结1、监督学习2、无监督学习3、特定的应用和话题4、构建机器学习系统的建议❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！前言✨你好啊，我是“怪&”，是一名在校大学生哦。主页链接：怪&的个人博客主页☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待

本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分，这门课是经典，没有之一。但是有个问题，就是内容较多，有些内容确实有点过时。如何在最短时间学完这门课程？作为课程的主要翻译者和笔记作者，我推荐把精华部分进行学习，这样进度会快一点。作者：黄海广[2]时间不多的朋友可以按照以下五篇文章的笔记和作业代码（原课程作业是OCTAVE的，这里是复现的Python代码）进行学习，快速入门机器学习，避免走弯

强烈感谢黄海广博士给的文章思路本文中提及的作者便是黄海广博士本人吴恩达老师的机器学习课程，可以说是机器学习入门的第一课和最热门课程，作者在github开源了吴恩达机器学习个人笔记，用python复现了课程作业

1.问题和数据假设您是一个大学部门的管理员，您想根据申请人在两次考试中的成绩来确定他们的入学机会。您可以使用以前申请人的历史数据作为逻辑回归的训练集。您的任务是构建一个分类模型，根据这两门考试的分数估计申请人被录取的概率。数据ex2data1.txt内容为一个47行3列(47,3)的数据；其中第一列表示exam1成绩，第二列表示exam2成绩。具体数据如下：34.62365962451697,78

1.问题和数据在本练习中，您将实现K-means聚类算法并应用它来压缩图像。在第二部分中，您将使用主成分分析来寻找人脸图像的低维表示之前的题目中都是有监督的算法，每一个样本X都对应有一个标签y,这回我们使用的K-means算法是无监督算法。其原理步骤如下：  2.案例1：给定一个二维数据集，使用K-means算法进行聚类数据集：ex7data2.mat导入包，numpy和pandas是做运算的库，

提示：这章选学，可以去学python，第六节可以看看。5.1基本操作https://www.bilibili.com/video/BV164411b7dx?p=26本章学习以种编程语言：Octave语言。你能够用它来非常迅速地实现这门课中我们已经学过的，或者将要学的机器学习算法。过去我一直尝试用不同的编程语言来教授机器学习，包括C++、Java、Python、Numpy和Octave。我发现当使用

14.1动机一：数据压缩https://www.bilibili.com/video/BV164411b7dx?p=79这个视频，我想开始谈论第二种类型的无监督学习问题，称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩，后面我们会看了一些视频后，数据压缩不仅允许我们压缩数据，因而使用较少的计算机内存或磁盘空间，但它也让我们加快我们的学习算法。但首先，让我们谈论降维是什么。作为一种生动的

11.1首先要做什么https://www.bilibili.com/video/BV164411b7dx?p=65在接下来的视频中，我将谈到机器学习系统的设计。这些视频将谈及在设计复杂的机器学习系统时，你将遇到的主要问题。同时我们会试着给出一些关于如何巧妙构建一个复杂的机器学习系统的建议。下面的课程的的数学性可能不是那么强，但是我认为我们将要讲到的这些东西是非常有用的，可能在构建大型的机器学习系