机器学习笔记——吴恩达第21页

逻辑回归（吴恩达机器学习）

一、分类问题在分类问题中，我们的任务是通过算法对数据判断是否属于某一类，如果只有两类的话，那么就是“是”与“否”。分类的例子比如说：判断一封邮件是否属于垃圾邮件，判断一次金融交易是否属于欺诈，判断肿瘤是良性肿瘤还是恶性肿瘤等。在二元分类问题中，最后输出的结果只有两种，其中“0”表示“否”，“1”表示是“是”。对于（0，1）区间的其他值，取大于等于“0.5”输出为1，小于“0.5”则输出为“0”，作

没名字的蓝猫·2023-04-10 01:43

机器学习笔记：GBDT的并行化训练

@作者:机器学习算法@迪吉老农最近使用GBDT时，想通过分布式进行训练，尝试了一些框架，但原理不太了解。有些东西与同事讨论后，也还不甚明了，于是专心看了一下文档，在此记录一下。1、分布式原理常用分布式训练方式，应该是参数服务器。worker把sample的统计结果推送到单台参数服务器机器上，参数服务器汇总后，再推送到worker端。有点类似于单reducer的方式。相比于参数服务器的中心化方案，这

迪吉老农·2023-04-09 22:30

丨杨立昆吴恩达对话实录

北京时间4月8日凌晨0:30，YannLeCun（杨立昆）和吴恩达针对近期甚嚣尘上的「AI暂停」一事进行了一场深入讨论，讨论主题为「为何为期6个月的AI暂停是完全错误的」。

智源社区·2023-04-09 17:21

机器学习笔记（6）

个人自己创建数据，实现分类任务本次组队学习不太设计特征工程内容，只是学习算法的内容，对数据简单的归一化就行创建数据示例如图所示：'''LogisticRegression算法练习'''#第一步：数据准备：生成数据和训练数据/测试数据划分importnumpyasnpimportmatplotlib.pyplotasplt#生成数据defgenerate_data(seed):np.random.s

trying52·2023-04-09 11:17

机器学习笔记——基础知识（一）

选用教材：DEEPLEARNING深度学习（花书）花书在开始学习机器学习之前，需要一定的数学知识，花书的第二、三章比较详细地介绍了机器学习中所必须的线性代数和概率论与信息论的知识，第四章讲了有关数值计算的问题。本人在此做简单总结，供自己学习和入门选手参考。1、线性代数：标量（scalar）：单独的一个数,如等向量（vector）：一组数组成的有序序列，可以用于表示维空间中一个点的坐标，在计算机中可

电脑配件·2023-04-08 18:20

机器学习笔记之正则化(三)权重衰减角度(偏差方向)

机器学习笔记之正则化——权重衰减角度[偏差方向]引言回顾：关于目标函数中的λ,C\lambda,\mathcalCλ,C正则化与非正则化之间的偏差偏差的计算过程引言上一节从直观现象的角度观察权重W\mathcalWW

静静的喝酒·2023-04-08 17:39

机器学习笔记之正则化(一)拉格朗日乘数法角度

机器学习笔记之正则化——拉格朗日乘数法角度引言回顾：基于正则化的最小二乘法正则化描述正则化的优化对象常见的正则化方法正则化角度处理神经网络的过拟合问题场景构建最优模型参数的不确定性最优模型参数不确定性带来的问题约束模型参数的方法从图像角度观察从拉格朗日求解角度观察关于常数

静静的喝酒·2023-04-08 17:09

机器学习笔记之正则化(二)权重衰减角度(直观现象)

机器学习笔记之正则化——权重衰减角度[直观现象]引言回顾：拉格朗日乘数法角度观察正则化过拟合的原因：模型参数的不确定性正则化约束权重的取值范围L1L_1L1正则化稀疏权重特征的过程权重衰减角度观察正则化场景构建权重衰减的描述过程权重衰减与过拟合之间的联系总结引言上一节介绍了从拉格朗日乘数法角度观察正则化

静静的喝酒·2023-04-08 17:09

机器学习笔记5：Softmax分类器的logistic回归

在logistic回归模型中，我们只是讲了二分类问题，但是在我们的实际分类应用中，还涉及多分类问题，那么，这个时候，就需要用到softmax分类器了。如下图：有绿三角、红叉和蓝矩形三个类别要分类，我们是通过三个分类器先分别将绿三角、红叉、蓝矩形分类出来，这样处理多分类问题的，所以对每个类别c，训练一个logistic回归分类器fwc(x)f_{\textbf{w}}^{c}(\textbf{x})

陆撄宁·2023-04-08 15:23

机器学习笔记 temperature+Softmax

1介绍带temperature的Softmax，用公式描述，可以表示为直观感受一下importnumpyasnpdefexp_tem(x,tau):returnnp.exp(x/tau)/sum(np.exp(x/tau))print(exp_tem(np.array([1,2,3]),2))#[0.186323720.307195890.50648039]print(exp_tem(np.arr

UQI-LIUWJ·2023-04-08 15:18

机器学习笔记：t-SNE

0前言t-SNE（t-DistributedStochasticNeighborEmbedding）是一种非常常用的数据降维，常用于数据可视化t-SNE/SNE的基本原理是：在高维空间构建一个概率分布拟合高维样本点间的相对位置关系在低维空间，也构建一个概率分布，拟合低维样本点之间的位置关系通过学习，调整低维数据点，令两个分布接近1SNE随机邻域嵌入（StochasticNeighborEmbedd

UQI-LIUWJ·2023-04-08 15:18

机器学习笔记——多分类与softmax

机器学习笔记——多分类与softmax一、多分类问题1.问题简述2.“一对一”OvO3.“一对多”OvR4.

AgentSmart·2023-04-08 15:36

机器学习笔记03 -- GBDT回归、二分类、多分类问题

一、GBDT回归1偏差方差，过拟合欠拟合偏差bias：是用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异。方差Variance：是不同的训练数据集训练出的模型输出值之间的差异。想要结果偏差小，就要让模型复杂，参数多，但这样模型的学习能力会过强，导致方差大，在测试集上表现差，表现为过拟合。想要结果方差小，就要让模型简单，参数少，但这样会导致模型学习能力弱，导致偏差大，

wafq·2023-04-08 15:36

机器学习-吴恩达

机器学习-吴恩达P6-2logistic(sigmoid)functionP6-3决策边界(decisionboundary)P6-4代价函数P6-5简化代价函数与梯度下降P6-6高级优化P6-7多元分类

卓卓世界·2023-04-08 13:46

机器学习入门大纲

基本上所有人入门机器学习都是从看吴恩达（AndrewNg）在Coursera上的MachineLearning开始，在花了大概2周看完这个后，本人转向看视觉方向的东西，这领域的经典视频是Stanford

一叶之坤·2023-04-07 19:48

我的机器学习笔记（三）--- 分类问题与K近邻算法

5.1K近邻算法的概念5.2K近邻算法的伪代码5.3K近邻算法的原理5.4K近邻算法的举例5.5K近邻模型的特点5.6K近邻模型的语法六、K近邻算法案例---鸢尾花分类6.1案例背景6.2案例实现我的机器学习笔记

离明zh·2023-04-07 14:49

我的机器学习笔记（二）--- 监督学习

文章目录一、监督学习的内容二、监督学习的定义三、监督学习的数学描述四、监督学习的常见任务我的机器学习笔记（二）—监督学习一、监督学习的内容；二、监督学习的定义；三、监督学习的数学描述；四、监督学习的常见任务

离明zh·2023-04-07 14:19

【机器学习】吴恩达机器学习Deeplearning.ai

机器学习已经强大到可以独立成为人工智能的一个子领域。可以通过对机器编程实现比如执行网络搜索、理解人类语言、通过x光诊断疾病，或制造自动驾驶汽车。机器学习定义一般来说，给一个算法学习的机会越多，它的表现就越好。机器学习的两种主要类型是监督学习和无监督学习（强化学习在课程中不细讲）监督学习是进步最快和创新最多的算法。在课程中会学习一些实践机器学习算法的实用技巧。监督学习如今，机器学习正在创造巨大的经济

Lotay_天天·2023-04-07 10:32

机器学习笔记-Anaconda与JupyterNotebook的简介与使用

Anaconda与JupyterNotebook的简介与使用一、Anaconda的简介二、Anaconda的下载三、Anaconda的安装四、关于conda五、关于创建虚拟环境六、JupyterNotebook1.概述2.使用一、Anaconda的简介Anaconda支持Linux，Mac,Windows，包含了众多流行的科学计算、数据分析的Python包。Anaconda和Jupyternote

Moonpie小甜饼·2023-04-07 09:25

机器学习笔记之降维(三)从最大投影方差角度观察主成分分析

机器学习笔记之降维——从最大投影方差角度观察主成分分析引言回顾：样本均值与样本方差的矩阵表示主成分分析最大投影方差基于最大投影方差的最优特征方向求解过程总结引言上一节介绍了高维空间中样本均值和样本方差的矩阵表示

静静的喝酒·2023-04-07 07:03

类LeNet-5网络的简单实现

概述先把一张非常经典的网络图搬上来：lenet-5.png下图摘自吴恩达老师在deeplearning.ai的讲义，之后代码中网络参数设定将以此为参考：cnn.JPG

林夕一场·2023-04-06 17:47

机器学习笔记----假设空间

假设空间转发自该博客：https://blog.csdn.net/zmdsjtu/article/details/52689392一些细碎的概念：1.归纳（induction）：是科学推理的两大基本手段之一，是从特殊到一般的泛化过程，也就是从具体的事实归纳出一般规律。2.演绎（deduction）：是科学推理的另一基本手段，也就是从基础原理推演出具体情况。3.归纳学习（inductivelearn

泛酸的桂花酒·2023-04-06 07:58

机器学习笔记-Logistic分类

机器学习笔记-Logistic分类作者：星河滚烫兮我们知道，回归模型一般是去根据已有的标记数据去预测新事物。Logistic回归模型因为历史原因有“回归”二字，但其实是一个分类模型。

星河滚烫兮·2023-04-05 22:07

scikit-learn机器学习笔记（11.22）

启言：机器学习通过使用过去的经验去指导未来的决策，它的基础目标是归纳，或者从一种未知规则的应用例子中归纳出未知规则。一、机器学习的定义一个程序：性能体现在“T”，衡量性能用“P”，提升性能通过经验“E”可视为：针对一些“T”类型，通过“P”来衡量性能的的任务，从经验“E”中进行学习二、从经验“E”中学习（监督下和无监督下）（1）监督学习：“对于输入数据X能预测变量Y”通过标记的输入和输出进行学习，

長路·2023-04-05 22:34

机器学习笔记-Logistic回归

0-回顾linearregressionlinear\regressionlinearregression如果使用平方错误的话，我们可以很方便的解析出最好的www是什么。即wbest=X†yw_{best}=X^{\dagger}ywbest=X†y1-逻辑斯蒂回归问题1.1-问题的提出从一个人的身体数据来判断这个人有没有心脏病，这是一个典型的二元分类问题。logisticregression\t

土肥宅娘口三三·2023-04-05 22:28

机器学习笔记（十三）：TensorFlow实战五（经典卷积神经网络： LeNet -5 ）

1-引言之前我们介绍了一下卷积神经网络的基本结构——卷积层和池化层。通过这两个结构我们可以任意的构建各种各样的卷积神经网络模型，不同结构的网络模型也有不同的效果。但是怎样的神经网络模型具有比较好的效果呢？下图展示了CNN的发展历程。经过人们不断的尝试，诞生了许多有有着里程碑式意义的CNN模型。因此我们接下来会学习这些非常经典的卷积神经网络LeNet-5AlexNetVGGInceptionResN

LiAnG小炜·2023-04-05 14:56

吴恩达深度学习（四）

设置优化问题第一课：规范化输入当训练神经网络时，有一种加速训练过程的方法，那就是对输入进行归一化。对输入归一化包含两个步骤：第一步是将减去均值，或者说将均值归零。第二部是将方差进行归一化。（使x1和x2这两个特征的方差都等于1）一个提示：如果你用这种方法来对数据进行缩放，那么务必对测试集和训练集都是用同样地u和б2。即不应该使用不同的方式去归一化训练集和测试集。因为你的所有数据包括训练和测试样本都

带刺的小花_ea97·2023-04-05 10:35

吴恩达深度学习笔记（3）-神经网络如何实现监督学习？

神经网络的监督学习(SupervisedLearningwithNeuralNetworks)（请注意文中粗体部分内容，划重点吶！）关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到目前几乎所有由神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习类别，让我们举例看看。在监督学习中你有一些输入x，你想学习到一个函数来映射到一些输出y，比如我们之前提到

极客Array·2023-04-05 00:56

李宏毅机器学习笔记——生成模型

介绍了三种方法，pixelRNN，VAE,GAN。笔记以VAE为主。pixelRNN比较容易理解，由已知推未知。这种方法还能应用到语音生成等领域在这里有个tips值得说一下，图的每个像素一般RGB三色，问题出在当RGB三个值相差不大时最终的结果像素点的颜色趋向灰色，于是乎，为了使生成的图像更加鲜亮，就需要拉高三个值的差距。简而言之，原本用三个数表示颜色，现在只用一个。VAE是一个相对复杂的东西，事

荆棘鸟》·2023-04-04 13:14

李宏毅机器学习笔记——概率模型

很有意思的一门课，但关于如何利用P(x)生成x还存在疑惑。在神经网络中y=w*x+b，为什么是这个形式？这门课将在最后归结到这一点上。举一个实际的例子，训练集中A类71个B类69个我们假定A类的71个点遵循gaussiondistribution，上图涉及的函数：输入一个点(代表一个实例的特征vector)，输出sample中该点的概率，在下文中即为P(x|A)与P(x|B)该函数有两个参数，μ与

荆棘鸟》·2023-04-04 13:43

机器学习笔记E5--决策树ID3、C4.5与CART

决策树思想特征选择信息增益与ID3信息增益率与C4.5基尼指数与CARTID3、C4.5与CART的对比决策树剪枝对连续值的处理对缺失值的处理多变量决策树两人去轩辕台路上遇雨，郭靖道：那么咱们快跑。黄蓉摇了摇头：靖哥哥，前面也下大雨，跑过去还不是一般的淋湿？郭靖笑道：正是。黄蓉心中却忽然想起了华筝之事：“前途既已注定了是忧患伤心，不论怎生走法，终究避不了、躲不开，便如长岭遇雨一般。”当下两人便在大

EL33·2023-04-04 07:35

机器学习笔记（一）

学习算法的任务：通过训练样本，选择或学习得到参数θ监督学习(SupervisedLearning)监督学习：通过已有训练样本进行训练，得到一个拟合效果最好的基本模型，再使用该模型，对新的训练样本计算出相应的输出结果，对输出结果进行判断实现分类的目的。并通过大量的迭代后，最后得到最终模型。简单来说：通过给算法提供一组标准答案，然后希望算法计算得到标准输入和标准输出之间的联系，然后返回更多的标准答案。

ZihouWong·2023-04-03 11:20

机器学习笔记10 -- 回归与聚类算法

回归和聚类线性回归：欠拟合与过拟合->岭回归分类算法：逻辑回归模型保存与加载无监督学习：K-means线性回归原理：回归问题：目标值为连续型的数据应用场景：房价预测，销售额度预测，金融类问题定义：函数关系：目标值--特征值——>线性模型广义线性模型：非线性关系自变量一次方参数一次方线性关系线性模型线性回归的损失和优化原理：目标：求模型参数，使得模型能够预测准确真实关系：随意假定：通过一种方法将两个

whurrican·2023-04-03 01:55

【西瓜书】第6章支持向量机 SVM

在这插入两幅图，是吴恩达讲课中的图，我感觉收获很大，原来一切的来源都是简单的问题

一杭oneline·2023-04-02 23:42

吴恩达-coursera-机器学习-week8

十三、聚类(Clustering)13.1无监督学习：简介13.2K-均值算法13.3优化目标13.4随机初始化13.5选择聚类数十四、降维(DimensionalityReduction)14.1动机一：数据压缩14.2动机二：数据可视化14.3主成分分析问题14.4主成分分析算法14.5选择主成分的数量14.6重建的压缩表示14.7主成分分析法的应用建议第8周十三、聚类(Clustering)

z-pan·2023-04-02 21:52

自学机器学习笔记（二十一）

K-均值聚类假设空间由N个点{Xi}，i=1，2，……N，我们把这N个点划分为K类，对每个点设置一个隐含变量{Zi}i=1，2，……N，Zi取值范围为1，2，……K。表示相应的Xi所属类别，我们要将同一类别的点的欧氏距离比较近，因此我们设置每一个类别的中心为C1，C2……CKK均值聚类的优化目标最小化：要合理选取每个点的类别和类别的中心，这是一个非连续的优化问题，我们把这类优化问题叫整数规划。问题

梦忆师·2023-04-02 21:10

LeCun、吴恩达带头反对

继LeCun之后，吴恩达、田渊栋等一众AI大牛也发文公开反对“千人联名”。

夕小瑶·2023-04-02 17:45

机器学习笔记--模型评估之二：准确率、精确率、召回率、F1Score与ROC

准确率（precision）P：其中，TP(真正，TruePositive)表示真正结果为正例，预测结果也是正例；FP(假正，FalsePositive)表示真实结果为负例，预测结果却是正例；TN（真负，TrueNegative）表示真实结果为正例，预测结果却是负例；FN（假负，FalseNegative）表示真实结果为负例，预测结果也是负例。显然，TP+FP+FN+TN=样本总数精确率（Prec

dudu妈·2023-04-02 10:18

李宏毅机器学习笔记

DataWhale–李宏毅老师机器学习P5-P8《误差来源》和《梯度下降法》学习笔记学习笔记本文是李宏毅老师B站–《机器学习》课程的学习笔记，在此非常感谢DataWhale提供的平台，希望大家加入到这个学习的大家庭中，共同成长。本文主要是关于误差来源及梯度下降法的介绍，是在老师的讲解视频和学习文档的基础上总结而来。一、误差来源在机器学习中，模型估计的误差可以分为两种，偏差（Bias）和方差（Var

learn_for_more·2023-04-02 06:26

【吴恩达】机器学习作业ex8--异常检测和推荐系统（Python）

一.前言此次作业也是分为俩大部分，第一部分是利用高斯分布来检测计算机中的异常行为，每个计算机有吞吐量和响应延迟俩个特征，此次数据集分为测试集和交叉验证集，交叉验证集中的yval集合是标注是否正常或者异常，测试集中并没有此标注，需要我们来找出异常，熟练之后，还要将其应用于更高维的数据集中，第二部分是推荐系统，给一个新用户推荐10部他有可能会喜欢的电影二.异常检测1.ex8data1.mat代码部分1

calmdownn·2023-04-02 06:20

吴恩达多分类逻辑回归与神经网络总结

吴恩达多分类逻辑回归与神经网络文章目录吴恩达多分类逻辑回归与神经网络前言一、多分类逻辑回归与神经网络1、多分类逻辑回归2、神经网络二、程序代码1.多分类逻辑回归1.1读取数据集1.2数据预处理1.3数据可视化

蓝色的紫·2023-04-02 06:12

deep learning

deeplearning的怀抱，因为早上看到一篇文献太振奋人心了，其实你跟柳叶刀只差一个巧妙的idea，工具就在那里，看你用不用，用到哪，哎，总是一些没用的感悟，赶紧学起来吧，持续更新中......先来整理些链接吴恩达网易公开课

又是一只小菜鸟·2023-04-02 00:23

学习笔记—1：多元线性回归模型，吴恩达2022Machine Learning

CSDN话题挑战赛第2期参赛话题：学习笔记一、公式部分线性模型：即两个变量之间是一次函数关系的模型预测，为一元线性回归模型；而当所选取的x为多元时（例如x为多元的情况：房屋价格要考虑，位置、面积、小区环境、卧室数量等等），则多元线性回归就要涉及到向量的概念。通常情况下，向量的表达形式更加简洁，而且向量运算的效率通常优于使用循环进行计算，故笔者通过使用Numpy和for循环的方式进行了相关的对比。线

某崔同学·2023-04-01 22:16

吴恩达深度学习课程笔记（精华版）--3.序列模型和自然语言处理NLP

本系列是编者学习吴恩达deeplearning.ai深度学习系列课程的笔记。编者有一定机器学习基础，也看过Andrew的机器学习课程。

Caucher·2023-04-01 06:58

吴恩达深度学习笔记(13)-多样本梯度下降和向量化处理多批次数据

m个样本的梯度下降(GradientDescentonmExamples)在之前的笔记中,已经讲述了如何计算导数，以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。首先，让我们时刻记住有关于损失函数就J(w,b)的定义。当你的算法输出关于样本y的a(i)，a(i)是训练样本的预测值，即：所以我们在前面展示的是对于任意单个训练样本，如何计算微分当你只有一个训练样本。因

极客Array·2023-04-01 05:06

吴恩达机器学习 - PCA

问题数据压缩数据图形化展示PCA算法奇异值分解(SingularValueDecomposition，以下简称SVD)数据恢复K的选择

YANWeichuan·2023-04-01 03:29

吴恩达Deep Learning第二课作业（第一周）

目录链接：吴恩达DeepLearning学习笔记目录 1.Initialization 2.Regularization 3.GradientChecking注：本文参考Initialization、Regularization

七月七叶·2023-04-01 03:59

机器学习深度学习 | 吴恩达李宏毅

机器学习-吴恩达【资源】中文笔记|Markdown|【记录】批量梯度下降(BGD|在每一次迭代时使用所有样本来进行梯度的更新)随机梯度下降(SGD|每次迭代使用一个样本来对参数进行更新，使得训练速度加快

우 유·2023-04-01 02:16

吴恩达《machine-learning-yearning》

Midorra·2023-04-01 00:03

在运行吴恩达线性回归模型测试显示No module named ‘ipympl‘

文章目录问题描述解决方法问题描述在运行吴恩达线性回归模型测试显示Nomodulenamed‘ipympl‘当时我使用pycharm中的setting添加ipympl,但是出现了如下错误：ERROR:CouldnotinstallpackagesduetoanEnvironmentError

虫本初阳·2023-04-01 00:20

推荐频道

机器学习笔记——吴恩达