凸优化：ADMM

什么是凸函数以及如何判断函数是否为凸函数

五、Jensen不等式六、实际建模中如何判断一个最优化问题是不是凸优化问题七、非凸优化问题如何转化为凸优化问题的方法：参考链接：https://blog.csdn.net/qq_32171789/article
吃好多雪糕·2023-11-22 14:24

机器学习——支持向量机

机器学习——支持向量机一、定义二、基本概念1.线性可分2.分割超平面3.超平面4.点相对于分割面的间隔5.间隔6.支持向量三、寻找最大间隔1.分隔超平面2.如何决定最好的参数3.凸优化4.拉格朗日对偶①
Moonee_·2023-11-11 05:13

数学小抄系列:舒尔补/schur补

介绍舒尔补在机器学习中有着重要的作用,主要体现在多维高斯函数的边缘分布推导,以及条件分布推导的过程.在机器人学中的状态估计也有比较重要的作用.下文记录(抄写)一个个人来说比较好理解的叙述(非讲解,不证明),来自于上交大许志钦老师的凸优化课程公式叙述舒尔补主要是告诉我们
平凡矩阵·2023-11-10 11:52

第六章《凸优化核心过程:真正搞懂梯度下降过程》

优化问题可以分为凸优化问题和非凸优化问题，凸优化问题是指定义在凸集中的凸函数最优化的问题，典型应用场景就是目标函数极值问题的求解。
Mamong·2023-11-09 14:03

机器学习：Python中如何使用支持向量机(SVM)算法

其具有以下特征：(1)SVM可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局
勤奋的可乐·2023-11-07 01:48

《多目标进化优化》笔记

多目标优化的基础知识：《高等代数》、《矩阵分析》和《凸优化》等基础数学的内容。主要分为多目标进化优化基础、多目标帕累托最优解集构造方法、多目标进化群体的分布性、多目标进化算法的收敛性、多目标进化算
andy.wang0502·2023-11-06 06:42

凸优化 [2]：什么是凸函数——一阶与二阶条件

凸优化[2]：什么是凸函数——一阶与二阶条件定义：∀x,y∈X\forallx,y\inX∀x,y∈X，∀α∈[0,1]\forall\alpha\in[0,1]∀α∈[0,1]使得：f(αx+(1−α
CSJ_CH3COOK·2023-11-05 09:51

凸函数与凸优化

凸集：如果对于一个集合S中的任意两个点A和B，这两个点的连线AB也在S内，那么S就是一个凸集。换句话说，凸集不能有洞，不同有任何凹陷。凸函数：一个函数f满足（1）它的定义域是凸集（2）对于其定义域中的任意两点x1，x2，对任意0≤α≤1，f(αx1+(1−α)x2)≤αf(x1)+(1−α)f(x2)那么这个函数f就是凸函数。比如实数域上的f(x)=x2就是凸函数，f(x)=sinx就不是凸函数。
政在学习·2023-11-05 09:19

学习凸优化和线性代数

一、知识点1.plt.plot画图连接点是plot([x,y],[x1,y1]),结果画出来的图总是错误的，正确的操作应该是plot([x,x1],[y,y1])2.importscipy.optimizeassco有两个求最小值的函数，fminbound寻找给定范围内的最小值，fmin_bfgs寻找给定值的局部最小值3.scipy.optimize.brute(func,range，args=（
十块腹肌的小胡子·2023-11-04 08:36

机器学习数学基础--凸优化

机器学习数学基础--凸优化1.计算几何是研究什么的？2.计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？
One2332x·2023-11-02 23:39

《动手学》：卷积神经网络进阶_课后作业

2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。
木头杨_88f8·2023-11-01 17:29

通信工程导论（13）

网络的动态性引起不确定性随机过程，图论，概率论，博弈论，线性规划，凸优化，微分方程整合起来后，完成如何应对动态性不确定性对网络工程的挑战如何对资源进行调度规划分配，构成了与这些理论一个新的领域方向。
Edward_Ci·2023-10-31 09:54

压缩感知重构算法之基追踪(Basis Pursuit, BP)

除匹配追踪类贪婪迭代算法之外，压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法就是基追踪(BasisPursuit,BP)，
Anstrue·2023-10-31 01:24

近期微软重大论文----《通用人工智能的火花：GPT-4的早期实验》

他本人之前的研究主要集中在机器学习理论，凸优化，对抗鲁棒性方法，下面是该大佬的个人主页：虽然作者是做理论ML出身，但是这篇论文中却没有利用机器学习的方法来对GPT-4进行分析，而是从心理学，哲学的角度出发来探讨评估
小林猿~·2023-10-28 22:35

批量归一化和残差网络；凸优化；梯度下降 2020-02-25

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：批量归一化：这⾥ϵ>0
allen成·2023-10-26 18:47

深度学习网络——卷积神经网络

一方面，神经网络计算复杂，20世纪90年代没有像之后GPU那样的大量普及，因此训练一个多通道，多层和大量参数的卷积神经网络在当年很难完成；另一方面，当年研究者还没有大量深入研究参数初始化和非凸优化算法等诸多领域
追光者_GY(*>.<*)·2023-10-25 00:13

Sparse Array Beamformer Design via ADMM阅读笔记

该方法利用交替方向乘子法（ADMM），并承认在每个ADMM迭代的封闭形式的解决方案。通过证明增广拉格朗日函数的单调性和有界性，分析了算法的收敛性。
快把我骂醒·2023-10-23 05:33

神经网络的梯度优化方法

全局收敛性（在凸优化问题中）。缺点:可能收敛速度慢，特别是对于高度非凸的问题。学习率的选择通常需要仔细调整。原理:参数
Chen_Chance·2023-10-22 13:00

浅谈WQS二分/凸优化算法

只有二分出处论文：浅析一类二分方法第一次出现在2012年的国集的作业中，推广是在2015年，又是一个发明于中国国家队/集训队的算法（不得不说，中国信息竞赛的发展推动世界科学进步思想基本WQS二分，又叫凸优化
偶耶XJX·2023-10-21 21:17

DP优化：WQS二分 或 斜率凸优化 或 带权二分

标题说的三个玩意都差得不是很多。上论文:WQS二分例：在树上选k条路径使得权值和最大。。。形如这类选k个的问题，一般的做法是在DP中加一维表示已选了几条路径。但是，毒瘤一点的出题人就会把范围开到10^5，MLE+TLE这时就要用WQS二分这个小套路了。既然在DP中加一维不可取，我们只能直接DP。但是DP出来的结果并不一定是选了k个的。大佬开始了他的妄想，要是结果刚好是选了k个的那岂不美滋滋？蒟蒻说
Freopen·2023-10-21 21:46

最优化建模、算法与理论（四）—— 最优性理论

》文章目录1最优化问题解的存在性1.1Weierstrass定理1.2强拟凸函数1.3唯一性定理2无约束可微问题的最优性理论2.1一阶最优性条件2.2二阶最优性条件3无约束不可微问题的最优性理论3.1凸优化问题一阶充要条件
奶盖加芝士·2023-10-21 11:01

【电子书资源】数值方法&最优化理论&算法&凸优化 ---书籍调研（附网盘下载地址）...

随着计算机和计算方法的飞速发展，几乎所有学科都走向定量化和精确化，从而产生了一系列计算性的学科分支，如计算物理、计算化学、计算生物学、计算地质学、计算气象学和计算材料学等，计算数学中的数值计算方法则是解决“计算”问题的桥梁和工具。我们知道，计算能力是计算工具和计算方法的效率的乘积，提高计算方法的效率与提高计算机硬件的效率同样重要。科学计算已用到科学技术和社会生活的各个领域中。数值计算方法，是一种研
十年一梦实验室·2023-10-21 11:58

最优化：建模、算法与理论（最优性理论1

如果优化问题的解存在，再考虑如何设计算法求出最优解，一般的非凸优化问题可能存在很多局部极小解，但其往往也能够满足实际问题的要求。对于这些局部（全局）极小解的求解，最优性理论是至关重要的。
平平平安喔·2023-10-21 11:57

深度前馈神经网络--Apple的学习笔记

神经网络与机器学习的线性回归的主要区别在于基本都是处理非凸优化问题，所以会用神经网络。一般都使用交叉熵求loss，原因是处理接近饱和的梯度比较费时间。
applecai·2023-10-16 02:51

对于L1正则化和L2正则化的理解

在DL中，L1和L2正则化经常被使用到，因为大于1L的正则化都是凸优化的问题，是个简单问题，可以被解决。
ElE rookie·2023-10-10 04:44

第二期：关于十大数据相关问答汇总，关注持续更新中哦~

微积分（求导，极值，极限）线性代数（矩阵表示、矩阵计算、特征根、特征向量）概率论+统计（很多数据分析建模基于统计模型）、统计推断、随机过程线性规划+凸优化、非线性规划等*数值计算、数值线代等当然一开始只要有微
weixin_34126215·2023-10-10 00:13

最优化方法(学习笔记)-第四章凸优化问题

凸优化问题凸优化问题及其标准形式标准形式介绍最优化的取值----局部极值，或者全局极值标准形式中的隐式约束Implicitconstraint可行域feasibility问题凸优化问题局部最小值和全局最小值的问题可微函数的最优性条件无约束的优化问题等式约束的优化问题特殊优化问题等价凸优化问题消除等式约束引入等式约束不等式约束变成等式约束上凸形式
oliveQ·2023-10-09 14:36

mininum_snap笔记

概念value正比正比位置速度加速度角度（旋转）jerk角速度推力（移动平缓，易于视觉跟踪）snap角加速度推力导数（节约能源）凸优化算法convexoptimization凸优化（ConvexOptimization
Xuan-ZY·2023-10-08 01:42

电机-电力拖动-振动-应力分析-设备防护知识初步

1.涉及领域和课程：信号与系统现代自动化原理与应用频谱转换及振动分析材料学基础与应力分析数学建模、仿真与求解工程数学传感器机器学习与模式识别随机信号处理反馈系统文献学DSP应用机器视觉凸优化，数学物理方法
子正·2023-10-05 02:25

用于图像恢复的即插即用 ADMM：定点收敛和应用（Matlab代码实现）

本文目录如下：目录1概述2运行结果2.1算例12.2算例23参考文献4Matlab代码、数据、文献1概述乘法交替方向法（ADMM）是一种广泛使用的算法用于解决图像恢复中的约束优化问题。
长安程序猿·2023-10-03 00:52

【大规模 MIMO 检测】基于ADMM的大型MU-MIMO无穷大范数检测研究（Matlab代码实现）

我们的算法称为ADMIN，执行基于乘法器（ADMM）的无穷大范数约束均衡的交替方向方法。ADMI
长安程序猿·2023-10-01 08:51

【python数据建模】概述

符号计算库PandasNumpy基础上的数据分析库Matplotlib数据可视化库Scikit-learn机器学习库StatsmodelScipy统计函数的补充库NetworkX图论和复杂网络库cvxpy凸优化库
Rai Sokann·2023-10-01 07:51

【大规模 MIMO 检测】基于ADMM的大型MU-MIMO无穷大范数检测研究（Matlab代码实现）

我们的算法称为ADMIN，执行基于乘法器（ADMM）的无穷大范数约束均衡的交替方向方法。ADMI
然哥依旧·2023-10-01 04:31

十三、支持向量机SVM

SupportVectorMachines）近年已被深度学习所替代SVM寻找区分两类的超平面（hyperplane），使边际（margin）最大向量内积：范数：当时，可以求余弦相似度：算法推论：转化为凸优化问题
万物皆可代码·2023-09-26 05:12

Compositional Minimax Optimization学习之路

梯度最优化理论最优化基础---基本概念：凸优化、梯度、Jacobi矩阵、Hessian矩阵_哔哩哔哩_bilibili从图像来看：存在两点连线上的点不在集合内定义ax1+(1-a)x2其实就是两点连线上的点可用与函数围成的面积和与坐标轴围成的面积角度理解凸函数凸优化在定义域和
他不是混子QAQ·2023-09-25 04:49

【大规模 MIMO 检测】基于ADMM的大型MU-MIMO无穷大范数检测研究（Matlab代码实现）

我们的算法称为ADMIN，执行基于乘法器（ADMM）的无穷大范数约束均衡的交替方向方法。ADMIN是一种迭
程序猿鑫·2023-09-19 07:21

Windows安装凸优化库cvxpy

目录前期准备开始安装进入jupyternotebook测试在2023年4月尝试，成功安装并运行代码成功。cvxpy主要可以解决线性规划问题中的整数规划问题，所以进行安装应用。官网安装指南Install—CVXPY1.3documentation。前期准备（1）需要查看电脑是64位操作系统还是32位操作系统（我的电脑-右键“属性”可以查看）（2）在Anacondaprompt中查看自己电脑安装的版本
persistlau·2023-09-18 01:14

Anaconda 中python32位和64位并存，切换

4)退出虚拟环境4、安装64位版本的cvxpy（1）为了下载快速，改成清华镜像下载源（2）按照步骤下载cvxpy依赖库5、Jupyternotebook能用上虚拟环境1、背景在之前的Windows安装凸优化库
persistlau·2023-09-18 01:14

python3实现线性规划求解

Yalmip是一个MATLAB工具箱，用于建模和解决凸优化问题。它提供了一个简单的语法，使用户能够轻松地定义优化问题，并使用各种内置求解器求解这些问题。Cplex是一个
WaiSaa·2023-09-16 11:31

谈一谈凸优化问题

谈一谈凸优化问题看到好多人都在学习凸优化，但是有感觉有多少问题多符合凸优化条件的呢？为什么非得是凸优化这么重要？现有的优化方法不是都能解决吗？那凸优化又有什么用呢？
perfect Yang·2023-09-11 21:56

机器学习必备数学知识

由于编辑公式比较麻烦，本文通过截图展示，涉及微积分、概率论、线性代数和凸优化，篇幅较长，图片不要脸多，请在wifi在食用。
一梦到天涯·2023-09-09 09:42

支持向量机（一）

文章目录前言分析数据集线性可分情况下的支持向量机原始问题凸优化包解法对偶问题凸优化包解法数据集线性不可分情况下的线性支持向量机与软间隔最大化前言在支持向量机中，理论逻辑很简单：最大化最小的几何间隔。
赛文忆莱文·2023-09-05 05:44

机器学习-凸优化理论-课堂笔记

转载地址：http://blog.csdn.net/JoyceWYJ/article/details/51580139前言这节课主要介绍凸优化的入门知识，程博士推荐阅读Boyd的《凸优化》，最经典的凸优化的书
yuanshuaipeng·2023-09-04 10:54

机器学习（凸优化，SVM） 笔记整理

机器学习笔记（1）凸优化、SVM问题凸优化一个AI问题可以把它分解为模型加优化两部分构成，模型有DL、SVM、CNN等，优化有GD，SGD，Adam等等。机器学习的核心是优化问题。
polaris2ai·2023-09-04 10:54

学习笔记(09):机器学习之凸优化-工具包

立即学习:https://edu.csdn.net/course/play/5664/108570?utm_source=blogtoeduSVM工具包：LibSVM是业界使用最广泛的工具包，程序小、运用灵活、输入参数少，并且开源，易于扩展。LIblinear可使用于相对于大规模问题
weixin_42099203·2023-09-04 10:54

关于凸优化与机器学习理解笔记

同时满足这两个限制条件的最优化问题成为凸优化问题，这类问题有个非常好的性质，那就是局部最优解一定是
淘尽黄沙后·2023-09-04 10:52

机器学习笔记之最优化理论与方法(五)凸优化问题(上)

机器学习笔记之最优化理论与方法——凸优化问题[上]引言凸优化问题的基本定义凸优化定义：示例凸优化与非凸优化问题的区分局部最优解即全局最优解凸优化问题的最优性条件几种特殊凸问题的最优性条件无约束凸优化等式约束凸优化非负约束凸优化引言本节将介绍凸优化问题
静静的喝酒·2023-09-04 10:22

机器学习笔记之最优化理论与方法(二)凸集的简单认识(上)

机器学习笔记之最优化理论与方法——凸集的简单认识[上]引言凸优化问题与凸集合凸函数的关系凸优化问题简单示例凸集的简单示例基本定义：凸集关于凸集性质的等价条件，凸组合，凸包常见凸集引言本节将介绍关于凸集的基本信息
静静的喝酒·2023-08-31 07:32

北大「最优化：建模、算法与理论」新书, 附579页电子版与课件

通过本书的学习，掌握最优化的基本概念，最优性理论，典型的几类最优化问题（如凸优化，无约束优化，约束优化，复合优化等等）的建模或判别，相关优化问题的基本计算方法，并能熟练调用基于MATLAB或Python
小白学视觉·2023-08-30 04:04

交叉方向乘子法（ADMM）算法

ADMM是一个凸优化算法。交替方向乘子法（ADMM）是一种求解具有可分离的凸优化问题的重要方法，由于处理速度快，收敛性能好，ADMM算法在统计学习、机器学习等领域有着广泛应用。
卡卡fantic·2023-08-26 20:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他