凸函数-不等式

【11】整数问题

(2)假设有整数，根据(1)，区间的左端点不为整数，所以：则：或上面不等式合并得：或(11.1.2)蕴含着，舍去。注意到：故，于是可以作带余除法：将之代入(11.1.1)得
备考999天·2022-09-03 18:16

非凸函数上，随机梯度下降能否收敛？能，但有条件，且比凸函数收敛更难

那么随机梯度下降能否收敛于非凸函数？针对这一问题，众多网友进行了一番讨论。
PaperWeekly·2022-08-26 07:13

机器学习几种常见凸函数的证明

摘要:证明几种常见的凸函数.参考链接:https://zhuanlan.zhihu.com/p/138334587https://blog.csdn.net/qq_40651017/article/details
闵帆·2022-08-26 07:37

机器学习最易懂之EM算法详解与python实现

文章目录0、前言1、EM算法引入2、具体的EM算法3、EM算法推导3.1Jensen不等式3.2EM推导3.3EM算法的收敛性4、EM算法在高斯混合模型中的应用4.1高斯混合模型4.2混合高斯分布模型python
Elenstone·2022-08-23 15:34

C++实现贪心算法的示例详解

目录区间问题区间选点最大不相交区间数量区间分组区间覆盖Huffman树合并果子排序不等式排队打水绝对值不等式货舱选址区间问题区间选点给定N个闭区间[ai,bi]，请你在数轴上选择尽量少的点，使得每个区间内至少包含一个选出的点
·2022-08-22 11:17

梯度下降法求解多元线性回归 — NumPy

下图为它的损失函数：它也是一个高维空间中的凸函数，因此也可以使用梯度下降法来求解。下图为它的权值更新算法：代入偏导数，可以得到最终的迭代公式：问题描述依然是房价预测的问题，这是一个二元线性回归问题。
xuechanba·2022-08-22 07:06

Pytorch 实战 LESSON 5 基本优化方法与最小二乘法

文章目录简单线性回归机器学习建模思路第一优化方法：最小二乘autograd求导简单线性回归凸函数最小值，就是凸优化的问题之一。最小二乘是最基础和经典的方法，求解目标函数最优化的问题的数学工具。
大叔爱学习.·2022-08-17 07:06

深度学习算法第三课——BP神经网络

结构如下：2.梯度下降法例：一元凸函数求极值在距离极值点比较远的地方，步长的取值大
路过Coder·2022-08-14 09:43

Chapter 11 EM算法

1复习Jensen不等式：假设f为凸函数：若，则若，则综上所述：2推导问题：若给定一组样本，已知它们来自于高斯分布，试估计参数。
桑之未落0208·2022-08-05 19:23

【机器学习】SVM支持向量机（详解）

什么是SVM最大间隔与分类对偶问题1.等式约束2.不等式约束的KKT条件3.KKTSMO高效优化算法编程求解线性SVM通过SMO-SVM实现对鸢尾花数据集的二分类总结什么是SVMSVM（全称SupportVectorMachine
打代码能当饭吃？·2022-07-24 07:49

SVM支持向量机原理及代码实现

文章目录序言1.数学知识补充1.1凸函数常见的凸函数1.2对偶问题强对偶slater条件弱对偶KKT条件1.3拉格朗日乘数法原公式以及对偶公式的由来拉格朗日乘数法的作用1.4多元函数求极值1.5.线性可分
追梦小凯·2022-07-24 07:04

西瓜书《机器学习》第三章重点总结（上，一元线性回归）

图片来自于电子书和B站datawhale）第三章课程大纲：1.机器学习的三要素：1.确定假设空间为正交回归：2.原理讲解（分别用最小二乘法和极大似然估计）3.求解最适合的w，b：（First，确定E是关于w和b的凸函数
learner.bear·2022-07-21 10:04

西瓜书《机器学习》第三章重点总结（中，多元线性回归）

(图片均来自于B站datawhale）1.本节课程大纲：2.多元线性回归的Ew的引入：3.使多元线性回归向量化（为了引入numpy更好计算）：把后者（竖着的）进行转化：4.证明Ew为凸函数，验证其海塞矩阵为正定矩阵
learner.bear·2022-07-21 10:04

【数模/数学规划模型】

数学规划的一般形式一般形式：minormaxf(x)s.t不等式约束目标函数：minz=6x1+3x2+4x3min\z=6x_{1}+3
智子、·2022-07-21 09:10

Task02：详读西瓜书+南瓜书第3章 线性模型

这里写目录标题机器学习三要素一元线性回归模型均方误差最小二乘法确定损失函数（策略）求解w和b（优化算法）为什么这么求w和b什么是凸函数梯度（多元函数的一阶导数）Hession（海塞）矩阵（多元函数的二阶导数
weixin_45592399·2022-07-14 07:42

机器学习之西瓜书+南瓜书：第三章 线性模型

机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集2周志华老师的《机器学习》1线性回归思路：（1）模型：建立一元一次方程y=wx+b（2）策略：采用均方误差或者极大似然估计函数作为损失函数（3）算法：证明凸函数
wonderball·2022-07-14 07:36

王树尧老师运筹学课程笔记 07 线性规划与单纯形法（标准型、基、基解、基可行解、可行基）

第7讲线性规划与单纯形法（标准型、基、基解、基可行解、可行基）线性规划问题的标准形式将约束条件由弱约束变为强约束，将不等式组变为了方程组，降低了求解的难度。
3077491278·2022-07-11 09:55

最全常用高数公式

文章目录1等价无穷小(x→0x\to0x→0)2常用公式2.1和式夹逼准则的两个思路2.2小基础2.3一元二次方程解3★\bigstar★常用展开公式★\bigstar★4常用不等式5三角变换6★\bigstar
全栈O-Jay·2022-07-06 07:02

机器学习西瓜书——第06章支持向量机

本文是关于周志华老师编写的机器学习书籍『西瓜书』的第六章支持向量机.主要的内容有:支持向量机的模型理解、支持向量、硬间隔与软间隔、在不等式约束下使用拉格朗日乘子法转化为对偶问题、KKT条件、支持向量回归等
grizzly00·2022-06-30 07:47

李沐-动手学深度学习（六）线性回归

因为线性模型，所以损失是一个凸函数，所以最优解是梯度为0的地方。
minlover·2022-06-18 14:42

Pytorch实践之梯度下降法

文章目录基本概念算法代码实践基本概念凸函数：在函数上任取两点，两点的线段均在这个函数的平面上。分治法：找到最近的，不断进行小方格划分，直到找到最优点。
_Kagome·2022-06-17 07:34

凸优化问题 & Minimum Snap

文章目录凸函数优化问题Closed-formSolutiontoMinimumSnap核心思想求C工程上解决问题的一些细节凸优化求解器的推荐数值稳定性时间分配总结凸函数函数像左边这样就是凸的，像右边那样就是凹的
_Kagome·2022-06-17 07:33

机器学习入门理论与前置知识

目录1、拉格朗日函数1.等式约束最优化（eg.llp）1.1无求和1.2有求和2.不等式约束最优化（eg.svm）3.无约束（eg.ls）2、范数1.F范数2.l2范数3.l1范数4.l2，1范数3、偏导梗概本博客用于记录机器学习理论学习与优化问题推导所需的各种前置知识
@李忆如·2022-06-16 07:35

C++图论之Bellman-Ford算法和SPFA算法的实现

Bellman-Ford算法例题：AcWing853.有边数限制的最短路算法步骤代码实现SPFA算法代码实现给定一张有向图，若对于图中的某一条边(x,y,z)，有dist[y]≤dist[x]+z成立，则称该边满足三角形不等式
·2022-06-14 17:21

比较三种梯度下降方式

  梯度下降是我们在机器学习中进行模型更新的一种常用方式，我们模型更新的目的往往是寻找最优解（对于凸函数而言）或者次优解，而对于高维的特征而言其过程往往是曲折的。  
小白学推荐·2022-06-13 07:13

线性规划简单理解（LP问题）

基本概念线性约束条件：由多个不等式形成的约束条件（在线性规划中，其约束条件一定为非严格不等式，即≤\le≤或≥\ge≥，不允许出现>>）线性目标函数：由多个变量x形成的函数线性规划问题：在线性约束条件下
小白学推荐·2022-06-13 07:12

机器学习——AdaBoosting

结合Hoeffding不等式的关系表达式为：P(F(x)≠f(x))=∑k=0⌊T/2⌋(Tk)(1−ϵ)
颜妮儿·2022-06-09 07:52

【算法学习笔记/图论】差分约束系统及例题

title:差分约束系统date:2022-5-18tags:ACM,图论author:Linno差分约束系统差分约束系统是一个特殊的n元一次不等式组，每项不等式约束条件都可以写成xi≤xj+ckx_i
RWLinno·2022-05-23 07:49

随机变量的数字特征——《概率论及其数理统计》第四章学习笔记

第四章学习笔记文章目录随机变量的数字特征——《概率论及其数理统计》第四章学习笔记前言MindMap数学期望定义离散型连续型函数期望的两个定理性质方差定义离散型连续型tips：变量标准化四个重要性质切比雪夫不等式协方差及相关系数定义协方差相关系数协方差性质相关系数的两个定理不相关与独立矩
物联黄同学·2022-05-22 07:17

Python 的优化问题 Scipy.optimize 和 CVXOPT

牛顿共轭梯度法有约束优化问题CVXOPT解二次规划问题投资组合中的应用importnumpyasnpimportscipy.optimizeasopt优化问题这里讨论的问题全部是凸优化问题，即目标函数为凸函数
Varalpha·2022-05-22 07:12

一次函数和一元一次不等式 - 草稿

什么为函数，函数的定义是，任意给定一个x值，总有一个唯一y值与其对应。比如说这个图像，他就不是个函数。这张图片上当任意给定一个x的值的值，与其对应的y值会有两个这张图片上给定一个x的值的时候，会有两个对应的y值出现，它就不是函数了。我们去店铺里买东西的时候，我们是否计算着让我们买几本的时候需要多少钱？可以买多少本？当我们卖东西的时候，也会想着，如果把这些全部卖完或者卖一本，可以赚多少钱？。这些都是
良子张·2022-05-13 20:09

凸优化学习（四）——凸优化问题

4凸优化问题利用凸函数和集合的定义，我们现在可以考虑凸优化问题。
冬之晓东·2022-05-13 07:43

最优化方法二：凸集、凸函数与凸优化

凸优化最基础的优化方法，设定凸函数、凸集合条件，满足该条件的优化问题可以方便地求解，同时非凸优化问题可以转化成凸优化问题求解，这是凸优化最有价值的地方。
LittleEmperor·2022-05-13 07:33

深度学习：网络优化之梯度下降

应用神经网络模型到机器学习时依然存在一些难点问题.主要分为两大类：（1）优化问题：神经网络模型是一个非凸函数，很难进行优化。（2）泛化问题：容易在训练集上产生过拟合。
DocPark·2022-05-11 07:39

[华为OD]判断一组不等式是否满足约束并输出最大差

#include#include#includeusingnamespacestd;//a11,a12,a13,a14,a15;a21,a22,a23,a24,a25;a31,a32,a33,a34,a35;x1,x2,x3,x4,x5;b1,b2,b3;s2i={{"=",2},{">",3},{"=b;case3:returna1*x1+a2*x2+a3*x3+a4*x4+a5*x5>b;ca
llewyn·2022-05-08 16:59

一次函数和一元一次不等式 - 草稿

什么为函数，函数的定义是，任意给定一个x值，总有一个唯一y值与其对应。比如说这个图像，他就不是个函数。这张图片上当任意给定一个x的值的值，与其对应的y值会有两个这张图片上给定一个x的值的时候，会有两个对应的y值出现，它就不是函数了。我们去店铺里买东西的时候，我们是否计算着让我们买几本的时候需要多少钱？可以买多少本？当我们卖东西的时候，也会想着，如果把这些全部卖完或者卖一本，可以赚多少钱？。这些都是
良子张·2022-05-04 15:57

精品帖—matlab求解存在多个非线性不等式约束的多元约束优化问题方法

这个matlab求解存在多个非线性不等式约束的多元约束优化问题方法真的很讨厌，经常看好多书和网页攻略也找不到合适的解法。
舞动的白杨·2022-05-02 10:05

一次函数、一元一次方程和一元一次不等式

在学习这一章之前的大浪漫是我们以前了解过的正比例关系。什么是正比例关系呢，其实这种关系也存在于我们的生活中。比如说数量与总价的关系。假如说我买了一支笔，它总价需要两块钱，如果我买了两支笔，总价就变成了两块钱。如下图在这个变化的过程中，我们可以发现有两个变化的量，一个变量是数量，一个变量是总价。那我们要如何去描述数量与总价之间的关系呢，有两种描述方法第一种是定性的描述：总价随着数量的变化而变化。第二
橄榄树张静宜·2022-04-29 13:05

差分约束.

1-a_2\leqk_1,a_2-a_3\leqk_2...a1−a2≤k1,a2−a3≤k2...这种，让你判断这一组方程是否有解，或者求一组合法解做法在最短路中，设有边u->v，边权为w，则有三角不等式
Coming Liu·2022-04-22 15:44

二次规划（QP）与OSQP求解器

一个优化问题包含：优化目标和约束条件（包含等式约束、不等式约束）。如果约束条件或目标函数包含非线性，则为非线性优化。二次规划是一种特殊的非线性规划，也是标准的凸优化问题，能够快速求解。
牛仔很忙吧·2022-04-20 07:07

Convolutional Neural Network Pruning with Structural Redundancy Reduction 公式解读

ConvolutionalNeuralNetworkPruningwithStructuralRedundancyReduction公式解读3，Claim3.1引入网络的五种剪枝情况3.2粗略证明文章的中心思想3.3详细比较五种情况3.3.1切比雪夫不等式
a578831363·2022-04-16 07:30

机器学习：优化方式：梯度下降（随机，批量），动量，adagrad,Adam /未完

一、梯度下降梯度下降是一种优化算法，通过迭代的方式寻找模型的最优参数；所谓最优参数指的是使目标函数达到最小值时的参数；当目标函数是凸函数时，梯度下降的解是全局最优解；但在一般情况下，梯度下降无法保证全局最优
work_coder·2022-04-14 07:28

各种梯度下降法原理与Dropout

机器学习目标函数，一般都是凸函数，什么叫凸函数？限于篇幅，我们不做很深的展开，在这儿我们做一个形象的比喻，凸函数求解问题，可以把目标损失函数想象成一口锅，来找到这个锅的锅底。
峰子_·2022-04-14 07:56

大数定律

接上一篇切比雪夫不等式，本篇讨论统计学上一个非常重要的理论，即大数定律，它是概率论的基本理论。
·2022-04-05 17:16

切比雪夫不等式

本篇讨论统计学中一个非常重要的不等式，切比雪夫（Chebyshev）不等式。
·2022-04-05 00:50

机器学习-一元线性回归与多元线性回归

机器学习的三要素二、线性模型的基本形式三、线性回归3.1一元线性回归3.1.1最小二乘法3.1.2极大似然估计3.1.3求解和3.1.4算法处理前的向量化3.2多元线性回归3.2.1最小二乘法导出3.2.2证明为凸函数
第三人称&寒飔·2022-04-03 07:30

机器学习1一元线性回归

机器学习1一元线性回归前言一、回归概念高尔顿(达尔文表兄)提出二、线性回归适用场景三、线性回归方程一元线性回归多元线性回归方程拟合直线的原则梯度下降算法凸函数和非凸函数梯度下降学习率例如代价函数一元函数梯度下降上代码实战
屿anglersking＇s THU·2022-04-03 07:26

机器学习之无监督学习---聚类学习

废话少说，开始上菜：1、KMeans1）KMeans是聚类经常用的方法，适用于凸函数，例如这样的图形：这样的：后面的几乎就一类了，看图好像没什么可分的哈。。。2）KMeans参数：sk
糖猫~~·2022-03-22 07:04

多传感器融合定位（1-3D激光里程计）1-前端里程计ICP

多传感器融合定位（1-3D激光里程计）1-前端里程计ICP机械激光雷达与固态激光雷达整体流程ICPpoint2pointICP推导把旋转和平移进行解耦去除与R无关项trace不等式证明
KaHoWong·2022-03-22 07:26

pytorch学习笔记（六）——pytorch进阶教程之属性统计

在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。范数又分为向量范数和矩阵范数，区别如
南风渐起·2022-03-21 07:19
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他