若想要理解上述注意力机制的来源，请学习和NLP和RNN相关的知识：吴恩达深度学习-序列模型，这是因为在计算机视觉

机器学习一、无监督学习二、K-Means算法三、优化目标四、随机初始化五、选取聚类数量提示：本文是基于吴恩达老师机器学习视频总结一、无监督学习回顾一下之前的监督，监督学习的数据都是有标记的数据，如下图所示

还是关注房价，假设有两个特征，和分别是size和numberofbedrooms已知，size是300-2000#bedrooms是0-5（可见一个特征的范围比较大，而另一个比较小）现有一组样本数据，size是2000，#bedrooms=5，而price是500k美元（即=2000，=5，=500)linearregressionmodel:()=*+*+b若=50=0.1b=50则()=50*

监督学习的最基本的类型——线性回归（LinearRegression）线性回归的最简单的一种——LinearRegressionwithOneVariable关于ModelRepresentation(代码）:(Learntoimplementthemodelforlinearregressionwithonevariabl)假设数据集中只有两个样本点：Python代码——线性回归模型1.导入nu

学习内容：1机器学习1.1机器学习定义①ArthurSamuel：在没有明确设置的情况下，使计算机具有学习能力的研究领域。e.g.跳棋游戏，使计算机与自己对弈上万次，使计算机学习到什么是好布局并获得丰富的下棋经验。②TomMitchell：计算机程序从经验E中学习解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高。e.g.跳棋游戏：经验E是程序与自己下几万次跳、任务T是玩跳棋

一个月前，DeepLearning.ai创始人吴恩达与OpenAI开发者IzaFulford联手推出了一门面向开发者的技术教程：ChatGPT提示工程。

8.3、模型表示I一、大脑神经网络的基本原理为了构建神经网络模型，首先需要理解大脑中的神经网络是如何运作的。每个神经元都可以被看作是一个处理单元或神经核，它包含多个输入（树突）和一个输出（轴突）。神经网络是由大量神经元相互连接，并通过电脉冲进行交流的复杂网络。神经元之间利用微弱的电流进行通信，这些电流被称为动作电位。当神经元要传递消息时，通过轴突发送微弱电流给其他神经元，形成一种信息传递的链条。这

本例子来自于吴恩达的Deeplearningai。图中所示的词汇表大小就是10

目录1--selfattention原理2--C++代码3--拓展3-1--maskselfattention3-2--crossattention1--selfattention原理直观来讲，就是每个token的Query去和其它token（包括自身）的Key进行dotproduct（点积）来计算权重weight，weight一般需要进行softmax归一化操作，然后将weight与每个toke

HALCON21.11：深度学习笔记(1)HALCON21.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。

HALCON20.11：深度学习笔记(2)HALCON20.11.0.0中，实现了深度学习方法。

HALCON20.11：深度学习笔记(1)HALCON20.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。

p=5&spm_id_from=pageDriver&vd_source=3b6cdacf9e8cb3171856fe2c07acf498视频中吴恩达老师所有的话语收录：机器学习初学者-AI入门的宝典(

吴恩达机器学习8-神经网络介绍1.神经网络引入无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。

吴恩达机器学习第8-9章第8章8-1非线性假设对于一个复杂的样本模型，如果用logistc回归算法的话，很容易产生过拟合，当特征数很大的时候，会使特征空间急剧膨胀，用增加特征数，来建立非线性分类器，并不是一个好做法

吴恩达机器学习教程学习笔记（7/16）吴恩达教授（AndrewNg）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。

一.非线性假设相关:例:训练一个模型实现视觉对象的识别(例如识别图片上是否是一辆汽车),一种方法是利用很多汽车和非汽车图片，利用图片上的一个个像素值作为特征。假如我们只选用灰度图片，每个像素则只有一个值，我们可以选取图片上的两个不同位置上的两个像素，然后训练一个逻辑回归算法利用这两个像素的值来判断图片上是否是汽车。说明:即使采用50*50像素的小图片,并且将所有的像素是为特征，那么会有2500个特

吴恩达机器学习教程学习笔记（6/16）吴恩达教授（AndrewNg）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。

目录神经网络模型神经网络层（Neuralnetworklayer）更复杂的神经网络使用向前传播做预测（Inference_makingpredictions(forwardpropagation)）TensorFlow工具在TensorFlow中构建神经网络（Buildinganeuralnetwork）单层中的向前传播（Forwordpropinasinglelayer）神经网络矢量化（Vect

吴恩达机器学习第四个星期1.诱因和动机1.1非线性假设函数1.2神经元和大脑2.神经网络2.1模型表示(1)2.2模型表示(2)3.应用3.1示例和直觉（1）3.1示例和直觉（2）3.3多类别分类参考文献本文是在学习吴恩达老师机器学习课程的基础上结合老师的

一、非线性假设在之前学到的线性回归和逻辑回归中，存在一个缺点，即当特征数量很多时，计算的负荷会变得非常大。考虑一个例子，假设我们使用₁,₂的多项式进行预测，这时我们可以很好地应用非线性的多项式项，帮助建立更好的分类模型。特征爆炸问题：假设有大量特征，比如超过100个变量，我们希望用这些特征构建一个非线性的多项式模型，将导致大量惊人的特征组合。即便我们只采用两两特征的组合（如₁₂+₁₃+₁₄+...

logistics回归，逻辑回归问题。图像在计算机中如何保存？要保存一张图像，要保存三个独立矩阵，对应三原色通道。如果输入图像大小是64×64大小的，那个矩阵的大小也是64×64的，而且是3个矩阵。要把矩阵中的像素值放到一个特征向量x中，这个x就表示了这张图像。向量x的总维度就是64×64×3。图片的特征向量x作为输入，预测输出的结果标签为y。用一个单独的(x,y)作为一个单独的输入样本。训练集由

目标检测任务及发展脉络图像处理三大任务：物体识别、目标检测、图像分割目标检测：给定一张图像，判断图像中是否存在指定类别的目标，若存在，则输出目标位置、类别及置信度。目标检测的任务：目标检测属于多任务，一个任务是目标分类，另一个是目标位置的确定，即分类与回归目标检测发展历程如下图基于深层伸进网络的目标检测的两种分类：双阶段（twostage）：第一级网络用于候选区域提取；第二级网络对提取的候选区域进

吴恩达机器学习7-正则化1.正则化引入：首先给出房价线性回归预测的例子：第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质

过拟合问题看下面回归的例子第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质。而中间的模型似乎最合适在分类问题中：就以多项式理解，的次数越高，拟合的越好，但相应的预测的能力就可能变差正则化线性回归正则化线性回归的代价函数为：正则化线性回归的梯度下降算法为：可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有

文章目录1.过拟合2.正则化下的代价函数1.过拟合  包插线性回归和逻辑回归等的几种学习算法能够有效解决许多问题，但是当它们应用到某些特定的机器学习应用时，会遇到过度拟合的问题，导致它们表现欠佳。  概括地说过拟合问题将会在变量过多的时候出现，这时训练出的假设能很好地拟合训练集，但是会出现一条千方百计地拟合数据的曲线，导致它无法泛化到新的样本中。  类似的说法同样可以应用到逻辑回归：  过了解决过

欠拟合过拟合正则化模型训练过程中会出现“欠拟合”（Underfitting）“过拟合”(Overfitting)现象。（欠拟合又可以表示为“高偏差”，而过拟合又可以称为“高方差”，对于高误差和高方差的解释会在另一篇里解释。）如下图的线性回归函数和逻辑回归函数的第一个图形，就是欠拟合，即假设函数不能很好的拟合训练数据。而第三个图形就是过拟合的例子，即学习的假设能够完全拟合训练集的每一个数据，但不能推

吴恩达机器学习教程学习笔记（5/16）吴恩达教授（AndrewNg）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。

1过拟合（1）回归中的过拟合第一个模型是欠拟合，不能很好地适应训练集；第三个模型用四次方进行拟合，过于强调拟合原始数据，而丢失了预测新数据的能力。而中间的模型似乎最合适。（2）分类问题中的过拟合?的次数越高，拟合的越好，但相应的预测的能力就可能变差。（3）如何处理过拟合1）丢弃一些不能正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）2）正则化。保留所有的特

week3-4.SolvingtheProblemofOverfitting一、TheProblemofOverfittingunderfitting=highbias；overfitting=highvariance。避免过拟合的方法：二、CostFunction在代价函数J中对每个参数theta加入正则化项（罚函数），从而使所有的参数变小。但是不对theta0增加正则化项。若正则化项中的系数l

正则化线性回归、逻辑回归文章目录正则化线性回归、逻辑回归1、正则化线性回归2、正则化的逻辑回归模型1、正则化线性回归对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正规方程。正则化线性回归的代价函数为：如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对theta0进行正则化，所以梯度下降算法将分两种情形：对上面的算法中j=1，2，…,n时的更新式子进行调整可得：可

目录1.什么是过拟合？（1）过拟合介绍（2）解决过拟合可用的方法2.正则化（1）正则化介绍（2）正则化线性回归（3）正则化逻辑回归1.什么是过拟合？（1）过拟合介绍首先给出一个关于线性回归的例子：已知某房子面积与房价的训练集数据，通过下图给出：①将假设函数设为hθ(x)=θ0+θ1xh_{\theta}(x)=\theta_0+\theta_1xhθ(x)=θ0+θ1x则训练集与假设函数的曲线拟合

学习吴恩达的机器学习时，大家可能会对神经网络的正则化项不理解，在这里我阐述一下我自己的理解，如有错误，请大家批评指正对于多分类任务中神经网络的代价函数：这个大括号里面还好看一些，主要就是这个正则化项，这里大家可能被

一、过拟合的本质过拟合是指模型在训练集上表现良好，但在新数据上的泛化能力较差。考虑到多项式回归的例子，我们可以通过几个模型的比较来理解过拟合的本质。线性模型（欠拟合）：第一个模型是一个线性模型，它的拟合程度较差，不能充分适应训练集。四次方模型（过拟合）：第三个模型是一个四次方的模型，过于强调对训练集的拟合，失去了对新数据的泛化能力。中间模型（适中拟合）：中间模型似乎在拟合训练集和对新数据的泛化之间

本文来源于吴恩达老师的深度学习课程[1]和深度学习课程[2]笔记部分。作者：黄海广[3]备注：笔记和作业（含数据、原始作业文件）、视频都在github[4]中下载。

文章目录1.神经网络概述1.1基本组成1.2示例1.2.1.需求预测1.2.2.图像感知1.3网络层1.4.神经网络前向传播1.5Tensorflow中数据形式1.6构建神经网络的方法1.6.1.逐步1.6.2.构建神经网络密集负载1.7前向传播代码2Optional2.1.人工智能2.2向量化3.Tensorflow3.1模型训练步骤3.2激活函数3.2.1选择激活函数3.2.2为什么神经网络中

AI新闻马斯克的人工智能初创公司xAI推出首款AI助手Grok，并放入特斯拉的PremiumPlus套餐中摘要：本周，埃隆·马斯克发布了多篇帖子，宣布其人工智能初创公司xAI将推出首款AI助手Grok，并将其直接包含在特斯拉的PremiumPlus套餐中。Grok是自马斯克7月启动xAI以来推出的首款产品，相比其他生成式人工智能，Grok具备幽默感。它通过数十亿个来自公开数据的数据点进行训练，可以

注：在吴恩达老师讲的【机器学习】课程中，最开始介绍神经网络的应用时就介绍了含有一个隐藏层的神经网络可以解决异或问题，而这是单层神经网络（也叫感知机）做不到了，当时就觉得非常神奇，之后就一直打算自己实现一下

Datawhale干货作者：刘俊君，Datawhale成员完整课程：《吴恩达ChatGPT最新课程》Reasons&ImportanceImportantforresearch,discoveries,

项目场景：做了一个图像处理的模型，之前使用的好好的，今天同事测试报了下面这个错误Input0oflayersequentialisincompatiblewiththelayer:expectedaxis-1ofinputshapetohavevalue3butreceivedinputwithshape[None,224,224,4]原因分析：怀疑是图片的问题，问同事拿了图片复现出了问题，发现同

1.问题和数据假设你要卖掉你的房子，你想知道一个好的市场价格是多少。其中一种方法是，首先收集最近出售的房屋的信息。在本部分的练习中，你将使用多元线性回归来预测房屋价格。数据ex1data2.txt内容为一个47行3列(47,3)的数据；其中第一列表示房子的面积(单位:平方英尺)，第二列表示卧室的数量，第三列是房子的价格。具体数据如下：2104,3,3999001600,3,3299002400,3

单变量线性回归2.1数据读取2.2特征构造2.3其他准备2.4线性回归主体2.4.1计算代价函数2.4.2梯度下降+拟合2.4.3实际调用并拟合线性回归参考文章单变量线性回归基本原理的python实现1、看了吴恩达机器学习课程关于线性回归的讲述

参考吴恩达机器学习视频，此为其线性回归作业。ex1_1假设回归函数为：选择参数：θ0，θ1。

一、代价函数逻辑回归的代价函数是用来度量模型预测与实际结果之间的差异的。与线性回归使用均方误差不同，逻辑回归使用的代价函数在数学上更为复杂。为了理解逻辑回归的代价函数，首先要明白逻辑回归的假设函数：ℎ()=1/(1+^(-^))这个函数将输入映射到0到1之间的概率值，表示属于正类别的概率。代价函数的定义如下：()=−1/∑[⁽ⁱ⁾log(ℎ(⁽ⁱ⁾))+(1−⁽ⁱ⁾)log(1−ℎ(⁽ⁱ⁾))]其

一、什么是分类问题？在分类问题中，我们试图预测的变量是离散的值，通常表示某种类别或标签。这些类别可以是二元的，也可以是多元的。分类问题的示例包括：判断一封电子邮件是否是垃圾邮件（二元分类）判断一次金融交易是否涉及欺诈（二元分类）区分肿瘤是恶性的还是良性的（二元分类）图像识别：将图像分为不同的类别（多元分类）分类问题在现实世界中无处不在，因此开发有效的分类算法至关重要。逻辑回归是其中一种应用最广泛的

为了能够提升专业技能，我跟着人工智能、机器学习领域国际上最权威的吴恩达教授学习，

数据操作[::3,::2]代表的是行每3行一跳，列是每两列一跳bold的代表向量，一个向量对一个向量的导数是一个矩阵：答：如果是凸函数有最优解，机器学习考虑的是NP问题，往往无法达到最优解。自动求导及实现自动求导区别符号计算与数值拟合pythorch实用计算图(有点像链式法则)显示构造就像小学的先化简再赋值:隐式构造就是让系统先记住值：两个计算方式：

并通过一层层的反向求导和迭代，找到最接近f(x)的w和b前言大二小白，看完吴恩达的深度学习后很感兴趣，但是理解很浅打算刷完

大家好，我是夕小瑶科技说编辑王二狗，最近AI圈大瓜不断，对此我表示吃的很是辛苦所以求大家帮我吃一些别只让我一个人吃！就在前天，YannLeCun作为图灵奖得主率先吵了起来，事情起因是酱婶儿的，Hinton，Benjio等人前几天联名在一封公开信中继续呼吁加强对于AI技术发展的监管。而LeCun则表示Bengio、Hinton等人呼吁AI灭绝论的观点是荒谬的。LeCun接着说道，DeepMind的C

人们在网络上执行搜索的时候，会弹出来一系列根据搜索的词汇产生的结果，而且能对这些结果根据新闻、资讯、视频进行分类；在网络上进行购物的时候，没有进行搜索可以根据用户的历史记录进行推荐；高层面的根据人脸信息分析出用户画像针对性地投放广告，这一切的操作都可以通过机器学习来完成。一般来说我们设计程序需要知道这整件事的逻辑，比如条件，执行方法，所需要的数据等。程序是愚蠢的只有我们告诉它要怎么做它才知道去怎么