----机器学习笔记第10页

机器学习笔记：梯度下降

机器学习的英文名称叫MachineLearning，简称ML，该领域主要研究的是如何使计算机能够模拟人类的学习行为从而获得新的知识和技能，并且重新组织已学习到的知和技能，使之在应用中能够不断完善自身的缺陷与不足。简单来说，机器学习就是让计算机从大量的数据中学习到相关的规律和逻辑，然后利用学习来的规律来预测以后的未知事物。（摘自：http://baijiahao.baidu.com/s?id=159

谌显·2023-02-06 07:31

01 前言 Andrew机器学习笔记

在2012年的时候，MOOC刚刚开始火爆，机器学习也逐渐热闹起来。当时学习了Andrew的相关课程，做了一些笔记，这里分享给大家，希望对大家有所启发。分为如下几个方面：02单变量线性回归03多变量线性回归04逻辑斯蒂回归05正则化06非线性假设之神经网络07实践指导08SVM09聚类10异常检测11推荐系统

逍遥小强·2023-02-05 13:13

机器学习笔记-理解支持向量机拉格朗日函数+对偶问题+KKT条件

理解支持向量机拉格朗日函数+对偶问题+KKT条件这章内容主要是对支持向量机中拉格朗日函数、对偶问题和KKT条件进行一个说明，虽然我们成功推导出支持向量机的对偶形式，也知道如何进行求解最优参数，但是具体为什么这样做，我们还是不得而知。为此，我觉得需要更加深入了解一下什么是KKT条件、为什么要构造拉格朗日函数，以及对偶问题又是什么？在深入了解之前，先分清楚对偶问题、拉格朗日函数、KKT条件，这

Pijriler·2023-02-05 07:09

机器学习笔记——支持向量机（3）——原问题和对偶问题

引言在上一节我们介绍了支持向量机svm解决非线性相关的问题。如何利用已知的K和未知的ψ去解决优化问题是关键。在这一节将针对原问题原对偶问题进行学习。优化理论原问题（PrimeProblem）最小化：f（ω）限制条件：①gi（ω）=0(i=1~K)最大化中的函数L在前面已经定义。inf称为求最小值，也就是求得后面括号中L的最小值。它在固定了α，β的情况下，便历所有的ω，求出L的最小值。因此我们每确定

Eugene丶SHAO·2023-02-05 07:09

机器学习笔记（三）支持向量机原型、对偶问题

零、摘要本篇文章讲述支持向量机的原型与他的拉格朗日对偶问题。主要参考资料：斯坦福大学CS229笔记吴恩达《机器学习》周志华《机器学习实战》peterHarrington《高等数学》同济大学《微积分学教程》【俄】菲赫金格尔茨维基百科支持向量机一、原型支持向量机（supportvectormachine）处理的是分类问题。首先，我们考虑这样一个问题，二维平面上有两个点集，要画一条一维直线把他们分开。如

weixin_41405111·2023-02-05 07:38

机器学习笔记

监督学习监督学习是已经知道数据的label，例如预测房价问题，给出了房子的面积和价格回归问题是预测连续值的输出，例如预测房价。分类问题是预测离散值输出，例如判断肿瘤是良性还是恶性无监督学习无监督学习是不知道数据具体的含义，比如给定一些数据但不知道它们具体的信息，对于分类问题无监督学习可以得到多个不同的聚类（聚类算法），从而实现预测的功能。单变量线性回归(LinearRegressionwithOn

Knows__·2023-02-04 12:35

吴恩达机器学习笔记（一）

文章目录引言1.1Welcome1.2Whatismachinelearning?1.3Supervisedlearning1.4Unsupervisedlearning引言1.1Welcome参考视频：P1Welcome总结：第一个视频主要讲述了什么是机器学习以及机器学习的一些应用，比如垃圾邮件识别、网页排序、产品推荐等等。1.2Whatismachinelearning?参考视频：P2What

cometsue·2023-02-04 10:22

机器学习笔记（25）一种简单的半监督目标检测框架（2）

上一章介绍了STAC的基础理论，接下来我们看一下具体实验操作和初步的试验结果。实验细节MS-COCO数据集的试验设置MS-COCO包含来自80个目标类别的超过118k个标记图像和850k个标记目标实例用于训练。此外，还有123k个未标记的图像可用于半监督学习。论文试验了两种SSL设置。第一种：随机抽取1、2、5和10%的已标记训练数据作为标记集，其余的已标记训练数据作为未标记集。对于这些实验，创建

是魏小白吗·2023-02-04 10:56

机器学习笔记 - 什么是联合概率分布？

1、什么是联合概率分布？双向频率表是显示两个分类变量的频率（或“计数”）的表。例如，下面的双向表显示了一项调查的结果，该调查询问了100人他们最喜欢哪种运动：棒球、篮球或足球。行显示受访者的性别，列显示他们选择的运动：在此示例中，有两个变量：Sports和Gender。联合概率分布简单地描述了给定个体对变量取两个特定值的概率。联合概率分布的重点是寻找两个变量之间的关系。“联合”这个词来自于我们对两

坐望云起·2023-02-03 07:48

机器学习笔记——入门篇

目录一.有监督式学习二.无监督式学习三.半监督学习四.侦查学习五.没有免费午餐定理一.有监督式学习（Supervisedlearing）监督式学习（英语：Supervisedlearning），是一个机器学习中的方法，可以由训练资料中学到或建立一个模式（函数/learningmodel），并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为

Eugene丶SHAO·2023-02-02 10:11

机器学习笔记——深度学习入门篇

前向传播与反向传播转载于:https://www.cnblogs.com/hdu-cpd/p/5988606.html

weixin_30240349·2023-02-02 10:10

【经典】吴恩达——机器学习笔记001

【经典】吴恩达——机器学习笔记001机器学习(MachineLearning)笔记001学习地址：[中英字幕]吴恩达机器学习系列课程文字版参考及PPT来源：Coursera-ML-AndrewNg-Notes

superME1226·2023-02-02 10:40

入门Python机器学习笔记01——机器学习概述及常用机器学习库的介绍

目录前言1、机器学习概述1.1机器学习与人工智能、深度学习关系1.2应用场景分析1.3定义2、机器学习算法分类3、机器学习开发流程前言关于python机器学习笔记整理01——机器学习概述及机器学习库的介绍

是故里吖·2023-02-02 10:34

机器学习笔记（15）— 基本概念batch、batchsize、epoch、iteration

本文主要介绍机器学习中的四个基本概念，batch、batchsize、epoch、iteration，这几个概念对于初学者来说容易混淆。因此在次记录一下。深度学习中的优化算法就是梯度下降算法，通过该算法来进行参数的优化，参数的优化过程是通过计算损失函数来实现的。但是计算损失函数时如果每次都遍历整个数据集，会影响运行效率。为了解决这个问题，目前使用较多的是mini-batch梯度下降法。（关于梯度下

开门儿大弟子·2023-02-02 08:23

机器学习笔记3——Batch和动量

Batch把训练数据分为几个批次为一组进行训练，而不是把所有数据都放在一起一次性进行。使用batch的优点Momentum动量如果加入动量就会避免一些局部最小值或者鞍点的发生。

hello everyone！·2023-02-02 08:22

机器学习笔记：Momentum

1为什么要引入Momentum上图代表了一个函数的等高线使用梯度下降的话，红色的方向是我们要走的方向。蓝色和绿色分别是两个坐标轴上对应的变化方向。这会存在一个问题，就是学习率不能太大，不然就会出现“overshoot”的问题于是我们的梯度下降路线是一个像九曲桥一样的路径不难发现，这样会导致收敛的速度很慢其中，我们要优化的这个函数f，对应的hessian矩阵的最大和最小特征值的比值（我们称为cond

UQI-LIUWJ·2023-02-02 08:22

李宏毅机器学习笔记第8周_批次与动量

文章目录一、Review：OptimizationwithBatch二、SmallBatchv.s.LargeBatch三、Momentum1.SmallGradient2.VanillaGradient3.GradientDescent+Momentum一、Review：OptimizationwithBatch在计算微分的时候，并不是把所有的data对计算出来的L做微分，而是把data分成一个

MoxiMoses·2023-02-02 08:52

机器学习笔记01---线性模型

线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于w直观表达了个属性在预测中的重要性，因此线性模型有很好的可解释性。欠采样法的时间开销通常远小于过采样法，因为前者丢弃了很多反例，使得分类器训练集远小于初始训练集，而过采样法增加了很多正例，其训练集大于初始训练集。注意的是，过采样法不能简单地对

一件迷途小书童·2023-02-02 08:05

小wind的机器学习笔记（一）：新手入门必须了解的重要概念

博客简介一直在做项目或者忙课程的事情，大学学习机器学习两年多的一些笔记和思考都一直还没来得及整理。于是我写下这个系列博客回顾一下自己学过的知识，为自己巩固基础，也最好能为广大机器学习初学者提供一些帮助。这篇文章先介绍一些新手入门必须了解的机器学习重要概念，博客参考到《Hands-OnMachineLearingwithScikit-Learn&Tensorflow》、周志华老师的西瓜书、吴恩达老师

风起86·2023-02-01 20:47

机器学习笔记（5）RNN

参考资料：https://zhuanlan.zhihu.com/p/30844905基本概念RNN对任意输入的输出，不仅和当前输入有关，还和上一输入的隐层状态有关。BRNN双向RNN，对任意输入的输出，不仅和当前输入有关，还和上一输入的隐层状态，以及下一输入的隐层状态有关。即对于一个序列正向计算一次隐层状态，再反向计算一次，最终得到输出LSTM（长短期模型）LSTM相比于RNN，主要解决的长依赖问

wyl2077·2023-02-01 17:06

多层感知机和神经网络的区别_百面机器学习笔记 | 第九章：前向神经网络 | 03 多层感知机...

大名鼎鼎多层感知机登场！多层感知机结构图我们来看一下这个结构。输入信号通过各个网络层的隐节点产生输出的过程称为前向传播，用以下符号表示：定义第层的输入为，输出为。在每一层中，首先利用和偏置计算仿射变换，然后利用激活函数作用于，得到。直接作为下一层的输入，也就是。设为m维的向量，和为n维的向量，则为维的矩阵。我们分别用表示其中第一个元素。在网络训练中，前向传播最终产生一个标量损失函数，反向传播算法（

weixin_39754411·2023-02-01 10:41

机器学习笔记之高斯分布(一)——使用极大似然估计计算最优参数

机器学习笔记之高斯分布——使用极大似然估计计算最优参数目录高斯分布介绍一维正态分布多维正态分布回顾：数据集合与概率模型使用极大似然估计计算高斯分布最优参数目录本节将介绍一个在统计机器学习中占据重要地位的分布

静静的喝酒·2023-02-01 09:28

论文笔记目录（ver2.0）

DiffusionConvolutionalRecurrentNeuralNetwork:Data-DrivenTrafficForecasting）_UQI-LIUWJ的博客-CSDN博客iclr2017使用双向扩散卷积+GRU，建模空间和时间依赖性机器学习笔记

UQI-LIUWJ·2023-02-01 09:28

[机器学习笔记] 判别模型与生成模型

监督学习方法可以分为生成方法和判别方法。判别模型直接从训练数据中学习条件概率分布P(Y|X)或决策函数Y=f(X)的方法为判别方法，学习到的模型是判别模型。基本思想是，有限样本条件下，建立判别函数，不考虑样本的产生模型，直接研究预测模型。学到了条件概率分布P(Y|X)或决策函数Y=f(X)，就可以用来判别新的输入X对应的输出Y。典型的判别模型有：感知机、K近邻、决策树、逻辑回归、支持向量机、提升方

勇敢的仙人掌·2023-02-01 09:55

机器学习笔记之生成对抗网络(一)逻辑介绍

机器学习笔记之生成对抗网络——逻辑介绍引言生成对抗网络——示例生成对抗网络——数学语言描述生成对抗网络——判别过程描述引言本节将介绍生成对抗网络的基本逻辑与数学语言描述。

静静的喝酒·2023-02-01 09:22

机器学习笔记 - Kaggle竞赛生成莫奈风格图像的GAN

一、比赛说明我们通过艺术家的独特风格来识别他们的作品，例如颜色选择或笔触。由于生成对抗网络（GAN），现在可以用算法模仿像克劳德莫奈这样的艺术家的“jenesaisquoi”。在这个入门比赛中，您将把这种风格带到您的照片中，或者从头开始重新创造这种风格！近年来，计算机视觉取得了长足的进步，GAN现在能够以非常令人信服的方式模仿物体。但创造博物馆级的杰作被认为是艺术而非科学。那么（数据）科学能否以G

坐望云起·2023-01-31 16:58

机器学习系列（吴恩达版）

机器学习笔记（0）常见概念&一些术语（随学习进度更新，部分个人理解）监督学习（SupervisedLearning）给定训练集后，通过算法让机器学习分类、标识等操作。

MDRG_Learning·2023-01-31 11:34

实用机器学习笔记-第五章-集成学习

一、集成学习1.统计学习中的衡量模型指标1.1偏差：学习到的模型和真实模型之间的位移1.2方差：学习到的东西差别有多大1.3示意图1.4偏差-方差公式泛化误差:Ed[(y−f^(x)2)]=Bias[f^]2+Var[f^]+σ2E_d[(y-\hat{f}(x)^2)]=Bias[\hat{f}]^2+Var[\hat{f}]+\sigma^2Ed[(y−f^(x)2)]=Bias[f^]2+V

11408考研休息室·2023-01-31 09:15

机器学习笔记-模型评估与选择

评估方法：西瓜书里面的几种方法：1.留出法。随机划分，拿大部分去训练，小部分去测试。存在的问题是划分会导致训练和测试的分布与真实分布产生偏差，不同划分可能对结果产生影响。2.交叉验证法多次划分取评估的平均值。特例：留1法，k=m。当m比较大时，成本太高。3.自助法在原样本D中有放回的采样m次，得到D',m为样本的数目。采集到的样本有些是重复的，而有些采样不到。约36.8%采不到。性能度量分类问题：

刘子非2046·2023-01-31 04:48

机器学习笔记week1(Andrew NG)

机器学习笔记week1(AndrewNG)martin机器学习笔记week1AndrewNGLinearRegressionwithoneVariable单变量线性回归ModelandCostFunction

ice_martin·2023-01-30 17:12

龙珠训练营机器学习笔记task02

龙珠训练营机器学习笔记task02本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/promotion/aicampml

book思议119·2023-01-30 16:29

龙珠训练营机器学习笔记task03

龙珠训练营机器学习笔记task02本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/promotion/aicampml

a_little_pig_·2023-01-30 16:53

机器学习笔记-分类器

计算社会科学讲习班机器学习：理论与实践模块Day2如果把机器学习归为两大类，那么主要的工作可以分为：分类和聚类。而分类任务基本上占整个机器学习或者是数据挖掘领域的70%。image.png1.逻辑回归回归的本质就是找参数，使得函数的值和样本的值最接近。即logit模型属于参数估计，是个有监督学习。2.判别分析主流的判别分析算法有三大类：费希尔(Fisher)判别主要讨论线性判别分析（LDA）、二次

凡有言说·2023-01-30 06:19

机器学习笔记3

李宏毅机器学习任务四】负责人：王佳旭课程设计人：王佳旭#任务时间#请于5月25日22:00前完成，逾期尚未打卡的会被清退学习视频内容：观看观看李宏毅课程内容：p8视频连接：https://www.bilibili.com/video/av35932863/?p=8学习Datawhale整理笔记https://datawhalechina.github.io/Leeml-Book/#/chapter

trying52·2023-01-29 18:05

机器学习笔记：GRU

1LSTM复习机器学习笔记RNN初探&LSTM_UQI-LIUWJ的博客-CSDN博客中，我们使用的是这样的一张图来说明LSTM：这里为了和GRU有一个比较，使用如下的图表示LSTM，意思是一样的，绿色和紫色的部分是二者的对照关系

UQI-LIUWJ·2023-01-29 14:17

机器学习笔记（12）图解LSTM与GRU的区别以及各单元公式推导

发现无论哪场面试，LSTM与GRU的细节区分被提问的概率都很高，今天简单分析一下参考资料：https://m.sohu.com/a/336551522_99979179https://www.jianshu.com/p/4b4701beba92LSTM公式为i的计算常被称为输入门，f的计算常被称为遗忘门，注意和tahn做运算的是输入门。简单说明LSTM的整个过程：1.首先输入为三个值，一个是此刻的

是魏小白吗·2023-01-29 14:47

随机森林算法实现

看到一篇超级详细的随机森林算法调参的文章，分享出来Python机器学习笔记：随机森林算法-战争热诚-博客园

Idie_·2023-01-29 12:38

【ML入门】李宏毅机器学习笔记01-Learning Map

【ML入门】李宏毅机器学习笔记01-LearningMap-知乎https://zhuanlan.zhihu.com/p/74377397

BG大龍·2023-01-28 03:10

机器学习笔记——4 广义线性模型的基本思想和各个常用的回归特例(附logistic模型的python实现)

广义线性模型(GeneralizedLinerModel)的基本思想和各个常用的回归特例(附logistic模型的python实现)为什么需要广义线性模型？“广义”和“线性”的含义是什么？首先我们需要解释线性的重要性。线性之所以如此重要，其本质原因在于两方面：线性形式相对是简单的，而且我们擅长处理线性问题，无论是在工程实现上还是在数学分析上。在线性的世界里，无论是对象本身的描述还是变换的描述，我们

_Volcano·2023-01-27 15:55

#吴恩达· 机器学习笔记（④ 多元梯度下降及正规方程）

DAY7多特征之前的视频是关于一个特征变量的（房屋面积对应房价）现在除了房屋面积还有诸如卧室数量、楼层数量等一系列的影响因素相较于传统的假设，现在的假设式如下：多元线性回归假设模型：多元梯度下降算法更新后的代码如下：DAY8特征缩放（出现这种原因是因为两个值（x、y）差别太大（一个是在0-2000，一个是在0-5））以1个特征来举例，如果椭圆越狭长，那么梯度下降时间就会越长而如果我们将其进行一个缩

人生苦短我愛Python·2023-01-27 14:11

机器学习笔记 - Java学习框架Deeplearning4j初体验

一、Deeplearning4j概述Deeplearning4j是一套用于在JVM上运行深度学习的工具。它是唯一一个允许您从java训练模型，同时通过我们的cpython绑定、模型导入支持以及其他运行时（如tensorflow-java和onnxruntime）的互操作的混合执行与python生态系统互操作的框架。用例包括导入和重新训练模型（Pytorch、Tensorflow、Keras）模型以

坐望云起·2023-01-27 13:23

机器学习笔记（十二）：TensorFlow实战四（图像识别与卷积神经网络）

1-卷积神经网络常用结构1.1-卷积层我们先来介绍卷积层的结构以及其前向传播的算法。一个卷积层模块，包含以下几个子模块：使用0扩充边界(padding)卷积窗口过滤器（filter）前向卷积反向卷积（可选）1.1.2-边界填充边界填充将会在图像边界周围添加值为0的像素点，如下图所示：使用0填充边界有以下好处：卷积了上一层之后的CONV层，没有缩小高度和宽度，这对建立更深的网络非常重要，否则在更深层

LiAnG小炜·2023-01-27 11:44

吴恩达机器学习笔记（自己学的过程进行记录）

吴恩达机器学习笔记（自己学着记）1.机器学习分类1.1监督学习1.1.1回归回归问题是在知道正确答案的基础上进行的，即给定的数据集是真实的一系列连续的值。

xiuyvshu·2023-01-27 02:19

李宏毅机器学习—机器学习介绍

李宏毅机器学习笔记github链接：https://github.com/datawhalechina/leeml-notes李宏毅机器学习笔记在线阅读链接：https://datawhalechina.github.io

修_远·2023-01-26 08:28

机器学习笔记三：经典算法

第三章：机器学习经典算法机器学习之经典算法第三章：机器学习经典算法一、KNN算法定义：距离计算公式：适用案例：算法优缺点：特征工程处理：skLearnAPI:sparkAPI:二、朴素贝叶斯分类算法原理：应用场景：优缺点：API:三、决策树分类原理：API优缺点：四、随机森林原理：API：优缺点：五、线性回归原理：目标：损失函数：最小二乘法优化方法：API：回归性能评估方法：两种线性回归方法对比：

roykingw·2023-01-25 15:42

机器学习笔记01 -- 决策树、随机森林、AdaBoost

一、决策树1决策树的优化：剪枝1.1预剪枝：每个节点在进行划分时进行估计，看该节点进行划分前后是否可以带来泛化能力上的提升，如果不能，则直接标记为叶子节点。1.2后剪枝：生成完整的决策树后，再自下而上去评估每个非叶子节点的划分是否带来了泛化能力的提升，如果不能，则将该节点的子树替换为叶子节点。要用验证集数据来判断。2属性划分纯度变化的计算方法2.1信息增益–ID3X：样本类别；A：一种特征x：一种

wafq·2023-01-25 15:07

【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2023-01-25 11:26

机器学习小白阅读笔记：深度学习时序预测模型 Temporal Fusion Transformers

机器学习笔记：深度学习时序预测模型TemporalFusionTransformers前言由于接触的时序预测问题基本都来自于数字化转型期的企业，我经常发现，在解决实际时序预测问题的时候，大部分时候还是用树模型结合特征工程的思路

MetLightt·2023-01-24 08:39

吴恩达机器学习笔记：手搓线性回归(梯度下降寻优)

概念就不介绍了，记录下公式推导和代码实现，以及与最小二乘的比较。吴恩达老师课程中使用一个参数theta保存两个变量，不过我好像没把中间变量的形状对齐，所以最后实现了两个参数的版本。代码：importtimeimportnumpyasnpimportpandasimportmatplotlib.pyplotasplt#随机种子rd=np.random.RandomState(round(time.t

七月是你的谎言..·2023-01-23 15:11

机器学习笔记 - 时间序列的趋势分量

一、什么是趋势？时间序列的趋势分量代表序列均值的持续、长期变化。趋势是一系列中移动最慢的部分，代表了最大时间尺度的重要性。在产品销售的时间序列中，随着越来越多的人知道该产品，市场扩张的影响可能是增加趋势。四个时间序列中的趋势模式。在这里，我们将关注均值趋势。更一般地说，一个序列中任何持续的和缓慢移动的变化都可能构成一个趋势——例如，时间序列通常在其变化中具有趋势。二、移动平均线图要查看时间序列可能

坐望云起·2023-01-22 10:32

推荐频道

----机器学习笔记