吴恩达机器学习教程学习笔记（7/16）吴恩达教授（AndrewNg）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。

一.非线性假设相关:例:训练一个模型实现视觉对象的识别(例如识别图片上是否是一辆汽车),一种方法是利用很多汽车和非汽车图片，利用图片上的一个个像素值作为特征。假如我们只选用灰度图片，每个像素则只有一个值，我们可以选取图片上的两个不同位置上的两个像素，然后训练一个逻辑回归算法利用这两个像素的值来判断图片上是否是汽车。说明:即使采用50*50像素的小图片,并且将所有的像素是为特征，那么会有2500个特

吴恩达机器学习教程学习笔记（6/16）吴恩达教授（AndrewNg）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。

目录神经网络模型神经网络层（Neuralnetworklayer）更复杂的神经网络使用向前传播做预测（Inference_makingpredictions(forwardpropagation)）TensorFlow工具在TensorFlow中构建神经网络（Buildinganeuralnetwork）单层中的向前传播（Forwordpropinasinglelayer）神经网络矢量化（Vect

吴恩达机器学习第四个星期1.诱因和动机1.1非线性假设函数1.2神经元和大脑2.神经网络2.1模型表示(1)2.2模型表示(2)3.应用3.1示例和直觉（1）3.1示例和直觉（2）3.3多类别分类参考文献本文是在学习吴恩达老师机器学习课程的基础上结合老师的

一、非线性假设在之前学到的线性回归和逻辑回归中，存在一个缺点，即当特征数量很多时，计算的负荷会变得非常大。考虑一个例子，假设我们使用₁,₂的多项式进行预测，这时我们可以很好地应用非线性的多项式项，帮助建立更好的分类模型。特征爆炸问题：假设有大量特征，比如超过100个变量，我们希望用这些特征构建一个非线性的多项式模型，将导致大量惊人的特征组合。即便我们只采用两两特征的组合（如₁₂+₁₃+₁₄+...

吴恩达机器学习7-正则化1.正则化引入：首先给出房价线性回归预测的例子：第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质

过拟合问题看下面回归的例子第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质。而中间的模型似乎最合适在分类问题中：就以多项式理解，的次数越高，拟合的越好，但相应的预测的能力就可能变差正则化线性回归正则化线性回归的代价函数为：正则化线性回归的梯度下降算法为：可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有

文章目录1.过拟合2.正则化下的代价函数1.过拟合  包插线性回归和逻辑回归等的几种学习算法能够有效解决许多问题，但是当它们应用到某些特定的机器学习应用时，会遇到过度拟合的问题，导致它们表现欠佳。  概括地说过拟合问题将会在变量过多的时候出现，这时训练出的假设能很好地拟合训练集，但是会出现一条千方百计地拟合数据的曲线，导致它无法泛化到新的样本中。  类似的说法同样可以应用到逻辑回归：  过了解决过

欠拟合过拟合正则化模型训练过程中会出现“欠拟合”（Underfitting）“过拟合”(Overfitting)现象。（欠拟合又可以表示为“高偏差”，而过拟合又可以称为“高方差”，对于高误差和高方差的解释会在另一篇里解释。）如下图的线性回归函数和逻辑回归函数的第一个图形，就是欠拟合，即假设函数不能很好的拟合训练数据。而第三个图形就是过拟合的例子，即学习的假设能够完全拟合训练集的每一个数据，但不能推

吴恩达机器学习教程学习笔记（5/16）吴恩达教授（AndrewNg）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。

1过拟合（1）回归中的过拟合第一个模型是欠拟合，不能很好地适应训练集；第三个模型用四次方进行拟合，过于强调拟合原始数据，而丢失了预测新数据的能力。而中间的模型似乎最合适。（2）分类问题中的过拟合?的次数越高，拟合的越好，但相应的预测的能力就可能变差。（3）如何处理过拟合1）丢弃一些不能正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）2）正则化。保留所有的特

week3-4.SolvingtheProblemofOverfitting一、TheProblemofOverfittingunderfitting=highbias；overfitting=highvariance。避免过拟合的方法：二、CostFunction在代价函数J中对每个参数theta加入正则化项（罚函数），从而使所有的参数变小。但是不对theta0增加正则化项。若正则化项中的系数l

正则化线性回归、逻辑回归文章目录正则化线性回归、逻辑回归1、正则化线性回归2、正则化的逻辑回归模型1、正则化线性回归对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正规方程。正则化线性回归的代价函数为：如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对theta0进行正则化，所以梯度下降算法将分两种情形：对上面的算法中j=1，2，…,n时的更新式子进行调整可得：可

目录1.什么是过拟合？（1）过拟合介绍（2）解决过拟合可用的方法2.正则化（1）正则化介绍（2）正则化线性回归（3）正则化逻辑回归1.什么是过拟合？（1）过拟合介绍首先给出一个关于线性回归的例子：已知某房子面积与房价的训练集数据，通过下图给出：①将假设函数设为hθ(x)=θ0+θ1xh_{\theta}(x)=\theta_0+\theta_1xhθ(x)=θ0+θ1x则训练集与假设函数的曲线拟合

学习吴恩达的机器学习时，大家可能会对神经网络的正则化项不理解，在这里我阐述一下我自己的理解，如有错误，请大家批评指正对于多分类任务中神经网络的代价函数：这个大括号里面还好看一些，主要就是这个正则化项，这里大家可能被

一、过拟合的本质过拟合是指模型在训练集上表现良好，但在新数据上的泛化能力较差。考虑到多项式回归的例子，我们可以通过几个模型的比较来理解过拟合的本质。线性模型（欠拟合）：第一个模型是一个线性模型，它的拟合程度较差，不能充分适应训练集。四次方模型（过拟合）：第三个模型是一个四次方的模型，过于强调对训练集的拟合，失去了对新数据的泛化能力。中间模型（适中拟合）：中间模型似乎在拟合训练集和对新数据的泛化之间

本文来源于吴恩达老师的深度学习课程[1]和深度学习课程[2]笔记部分。作者：黄海广[3]备注：笔记和作业（含数据、原始作业文件）、视频都在github[4]中下载。

文章目录1.神经网络概述1.1基本组成1.2示例1.2.1.需求预测1.2.2.图像感知1.3网络层1.4.神经网络前向传播1.5Tensorflow中数据形式1.6构建神经网络的方法1.6.1.逐步1.6.2.构建神经网络密集负载1.7前向传播代码2Optional2.1.人工智能2.2向量化3.Tensorflow3.1模型训练步骤3.2激活函数3.2.1选择激活函数3.2.2为什么神经网络中

AI新闻马斯克的人工智能初创公司xAI推出首款AI助手Grok，并放入特斯拉的PremiumPlus套餐中摘要：本周，埃隆·马斯克发布了多篇帖子，宣布其人工智能初创公司xAI将推出首款AI助手Grok，并将其直接包含在特斯拉的PremiumPlus套餐中。Grok是自马斯克7月启动xAI以来推出的首款产品，相比其他生成式人工智能，Grok具备幽默感。它通过数十亿个来自公开数据的数据点进行训练，可以

注：在吴恩达老师讲的【机器学习】课程中，最开始介绍神经网络的应用时就介绍了含有一个隐藏层的神经网络可以解决异或问题，而这是单层神经网络（也叫感知机）做不到了，当时就觉得非常神奇，之后就一直打算自己实现一下

Datawhale干货作者：刘俊君，Datawhale成员完整课程：《吴恩达ChatGPT最新课程》Reasons&ImportanceImportantforresearch,discoveries,

1.问题和数据假设你要卖掉你的房子，你想知道一个好的市场价格是多少。其中一种方法是，首先收集最近出售的房屋的信息。在本部分的练习中，你将使用多元线性回归来预测房屋价格。数据ex1data2.txt内容为一个47行3列(47,3)的数据；其中第一列表示房子的面积(单位:平方英尺)，第二列表示卧室的数量，第三列是房子的价格。具体数据如下：2104,3,3999001600,3,3299002400,3

单变量线性回归2.1数据读取2.2特征构造2.3其他准备2.4线性回归主体2.4.1计算代价函数2.4.2梯度下降+拟合2.4.3实际调用并拟合线性回归参考文章单变量线性回归基本原理的python实现1、看了吴恩达机器学习课程关于线性回归的讲述

参考吴恩达机器学习视频，此为其线性回归作业。ex1_1假设回归函数为：选择参数：θ0，θ1。

一、代价函数逻辑回归的代价函数是用来度量模型预测与实际结果之间的差异的。与线性回归使用均方误差不同，逻辑回归使用的代价函数在数学上更为复杂。为了理解逻辑回归的代价函数，首先要明白逻辑回归的假设函数：ℎ()=1/(1+^(-^))这个函数将输入映射到0到1之间的概率值，表示属于正类别的概率。代价函数的定义如下：()=−1/∑[⁽ⁱ⁾log(ℎ(⁽ⁱ⁾))+(1−⁽ⁱ⁾)log(1−ℎ(⁽ⁱ⁾))]其

一、什么是分类问题？在分类问题中，我们试图预测的变量是离散的值，通常表示某种类别或标签。这些类别可以是二元的，也可以是多元的。分类问题的示例包括：判断一封电子邮件是否是垃圾邮件（二元分类）判断一次金融交易是否涉及欺诈（二元分类）区分肿瘤是恶性的还是良性的（二元分类）图像识别：将图像分为不同的类别（多元分类）分类问题在现实世界中无处不在，因此开发有效的分类算法至关重要。逻辑回归是其中一种应用最广泛的

为了能够提升专业技能，我跟着人工智能、机器学习领域国际上最权威的吴恩达教授学习，

并通过一层层的反向求导和迭代，找到最接近f(x)的w和b前言大二小白，看完吴恩达的深度学习后很感兴趣，但是理解很浅打算刷完

大家好，我是夕小瑶科技说编辑王二狗，最近AI圈大瓜不断，对此我表示吃的很是辛苦所以求大家帮我吃一些别只让我一个人吃！就在前天，YannLeCun作为图灵奖得主率先吵了起来，事情起因是酱婶儿的，Hinton，Benjio等人前几天联名在一封公开信中继续呼吁加强对于AI技术发展的监管。而LeCun则表示Bengio、Hinton等人呼吁AI灭绝论的观点是荒谬的。LeCun接着说道，DeepMind的C

人们在网络上执行搜索的时候，会弹出来一系列根据搜索的词汇产生的结果，而且能对这些结果根据新闻、资讯、视频进行分类；在网络上进行购物的时候，没有进行搜索可以根据用户的历史记录进行推荐；高层面的根据人脸信息分析出用户画像针对性地投放广告，这一切的操作都可以通过机器学习来完成。一般来说我们设计程序需要知道这整件事的逻辑，比如条件，执行方法，所需要的数据等。程序是愚蠢的只有我们告诉它要怎么做它才知道去怎么

我的参考资料1.课程，吴恩达xOpenAI的大概1小时视频课，B站上有翻译版。

一、正规方程基本思想正规方程是一种通过数学推导来求解线性回归参数的方法，它通过最小化代价函数来找到最优参数。代价函数J(θ)用于度量模型预测值与实际值之间的误差，通常采用均方误差。二、步骤准备数据集，包括特征矩阵X和目标向量y。特征矩阵通常包括一个全为1的常数列（截距项）。定义代价函数J(θ)，通常采用均方误差。推导代价函数J(θ)对参数θ的梯度，令梯度为零。将梯度为零的方程组转化为矩阵形式：X^

在深度学习和数值计算中，效率和性能是至关重要的。一个有效的方法是使用向量化技术，它可以显著提高计算速度，减少代码的复杂性。接下来将介绍向量化的概念以及如何在不同编程语言和工具中应用它，包括Octave、MATLAB、Python、NumPy、C和C++。一、什么是向量化？向量化是一种利用线性代数库和数值计算工具来优化代码的方法。它的核心思想是将数据视为向量和矩阵，而不是单个标量值。通过对整个向量或

1.报错：thresholdmustbenumericandnon-NAN,trysys.maxsizeforuntruncatedrepresentation2.原因：numpy版本的错误使用3.解决方法：导入sys包importsys将np.set_printoptions(threshold=np.nan)用np.set_printoptions(threshold=sys.maxsize)

本文是吴恩达老师的深度学习课程[1]笔记部分。

如果要对一个例子进行梯度下降，需要用公式算出dz,然后算出dw1、dw2、db，然后进行更新w1、w2、b我们关心得J（w,b）是一个平均函数，这个损失函数L。a^i是训练样本的预测值以上是对于单个例子的逻辑回归。我们可以初始化J=0，dw1dw2db都为0回顾我们正在做的细节，dw1、dw2、db作为累加器

加粗样式边学边记录，感谢莫烦大神的教学视频，获益良多，之前已经看完了吴恩达AndrewNg的视频，但对Tensorflow的使用还是有很多不懂的地方，还是要花些时间好好学学tensorflow和keras

作为一个还没找到编程工作的的伪程序员，我都不好意思自封非科班程序员。今年是2018年11月，基本上，这一年就算过去了。我是今年毕业，不过7月份头脑发热，转正一个月后就裸辞了。想想心也是真大，说辞就辞，完全不考虑今年这样恶劣的就业环境。这不，你们看，报应来了，到现在都没有工作，只能来写写文章，通过文字来排解内心的焦虑。我在辞职的那家公司工作了大概有半年，工作是产品助理，日常琐碎的事情较多，但也基本应

前言通俗易懂的讲解让人停不下来，与国内对于机器学习的讲解来说，少了一堆严格定义的特有名词充斥课堂，而是更多的不断用例子来说其核心概念。还有神经网络、支持向量机、无监督学习等模块还没有写，有空了再写1.初始机器学习机器学习的定义最常见的两类机器学习算法有监督学习：我们教会计算机做某件事情无监督学习：我们让计算机自己学习其他类型算法：强化学习、推荐系统有监督学习举例预测房价和推测乳腺癌良性与否的例子，

优化算法：指数加权平均在学习吴恩达的深度学习系列课程，优化算法部分，权重更新部分讲到指数加权平均，查找到下面博文。此博文看配图，举例，也是吴恩达课程的总结，故此转载。

男女老少都在学机器学习模型，分类器，神经网络和吴恩达。你也想成为一份子，但你该如何开始？

一、引入多维特征在多维特征中，我们考虑的不再是单一的特征，而是一组特征，例如房价模型中可能包括房间数、楼层等多个特征。这些特征将组成一个向量，表示为(₁,₂,...,ₙ)，其中代表特征的数量。每个特征都可以表示数据集中的不同属性。对于每个训练实例，我们使用向量表示特征，如()=[1416,3,2,40]，这里ⱼ()代表特征矩阵中第行的第个特征，也就是第个训练实例的第个特征。支持多变量的假设ℎ表示为

(zhihu.com)吴恩达：关于机器学习职业生涯以及阅读论文的一些建议https://www.youtube.com/watch?

get_completion2.辅助函数：get_completion_from_messages三、聊天机器人（Chatbot）1.一般聊天机器人1.1简单的例子1.2多轮对话2.订单机器人一、说明这是吴恩达

）1.翻译Translation2.语气转换ToneTransformation3.格式转换FormatConversion4.拼写或语法检查Spellcheck/Grammarcheck一、说明这是吴恩达

目录一、说明二、安装环境三、扩展（Expanding）1.自定义自动回复客户电子邮件2.提醒模型使用客户电子邮件中的详细信息3.参数temperature一、说明这是吴恩达《ChatGPTPromptEngineeringforDevelopers

HowtoreadaresearchpaperChooseAreaofInterest(saySpeechRecognition)Ingeneral,ifyouread15-20papers,yougetagoodunderstandingofanyfield/topic;whileifyouread50-100papers,yougetmasteryintheareaCompilethelist

Ref：【中英字幕|P01Introduction】2023吴恩达新课《面向开发者的提示词工程》_哔哩哔哩_bilibili对应的笔记ChatGPTPrompt-知乎本课程主要介绍指令微调LLM的最佳实践在大型语言模型或

为了学习编码器-译码器架构，可能需要涉及transformer，循环神经网络，序列到序列的知识，这里将循环神经网络作为起点进行学习，参考学习的是吴恩达深度学习课程。本文主要涉及单隐层循环