【Optimization】

如果optimization失败怎么办？怎么把梯度下降做的更好。local minima & saddle point

（PPT9）如果optimization失败怎么办？怎么把梯度下降做的更好。如上图，当时loss值不变，则有可能参数对损失函数的微分为0，则梯度下降不会再对参数进行更新。
llllxn·2023-01-06 08:42

局部最小值(local minima)和鞍点(saddle point)

1、问题的引出：我们在做optimization的时候，会发现，随着参数的不断更新，你training的loss不会再下降(如下图所示)，但是你对这个loss并不满意，那这究竟是因为什么原因导致这个loss
YKbsmn·2023-01-06 08:40

多智能体强化学习之MAPPO理论解读

本文主要是结合文章JointOptimizationofHandoverControlandPowerAllocationBasedonMulti-AgentDeepReinforcementLearning
onlyyyyyyee·2023-01-05 21:28

论文阅读《Dual-Awareness Attention for Few-Shot Object Detection》

Background＆Motivation小样本分类模型分为两类：optimization-based的元学习方法和metric-based的度量学习方法。
不说话装高手H·2023-01-05 14:50

【随笔】使用pytorch训练Fashion mnist，注释全

个步骤从训练集中得到一批数据将数据传递给网络计算损失（这是网络返回的预测值与真实值之间的差异）lossfunction（损失函数）执行第三步计算受损失函数的梯度和网络的权值backpropagation（反向传播）执行第四步更新权重，使用梯度减少损失optimizationalgorithm
十一月...·2023-01-05 13:26

【跟着李沐学AI读书笔记】微积分

我们将拟合模型的任务分解为两个关键问题：1.优化(optimization):用模型拟合观测数据的过程。2.泛化：数学原理和实践者的智慧，能够指导生成有效性超出用于训练的数
贺长歌·2023-01-05 12:36

InvalidArgumentError: Each axis in Attr(axes) should be in the range of [0, -1]But current axis is:2

多次调用时出现如下报错：[12/16/2022-16:45:35][E][TRT]3:[executionContext.cpp::nvinfer1::rt::ExecutionContext::setOptimizationProfileInternal
高祥xiang·2023-01-05 02:56

Hierarchical Roofline Performance Analysis for Deep Learning Applications

考虑到分层Roofline这一概念已在先前的HierarchicalRooflineanalysisforGPUs:AcceleratingperformanceoptimizationfortheNERSC
图波列夫·2023-01-05 01:16

Towards Deep Learning Models Resistant to Adversarial Attacks(PGD adversarial training)

目录Introduction内容简介AnOptimizationViewonAdversarialRobustness内容介绍TowardsUniversallyRobustNetworksTheLandscapeofAdversarialExamplesNetworkCapacityandAdversarialRobustness
Libertaz·2023-01-04 20:06

FedProx论文阅读笔记

《FEDERATEDOPTIMIZATIONINHETEROGENEOUSNETWORKS》这篇文章提出了一个基于FedAvg的优化框架Fedprox，主要在于解决FedAvg未曾处理的联邦学习中的异构性问题
联邦学习小白·2023-01-04 18:35

联邦学习知识初探——FedProx

概要FederatedOptimizationinHeterogeneousNetworks一文中，针对我们最长使用的FedAvg提出了一些改进，使得面对边缘设备上数据不稳定等异构问题。
编程龙·2023-01-04 18:02

MLSys 2020 | FedProx：异质网络的联邦优化

目录前言I.FedAvgII.FedProxIII.实验IV.总结前言题目：FederatedOptimizationforHeterogeneousNetworks会议：ConferenceonMachineLearningandSystems2020
Cyril_KI·2023-01-04 18:00

联邦学习原始论文解读

目录前言AbstractIntroductionFederatedLearningPrivacyFederatedOptimizationTheFederatedAveragingAlgorithmExperimentalResultsIncreasingparallelismIncreasingcomputationperclientCanweover-optimizeontheclientda
Cyril_KI·2023-01-04 18:59

【联邦学习论文阅读】FedProx（2018）Federated Optimization in Heterogeneous Networks

【FedProx】论文链接：https://arxiv.org/abs/1812.06127摘要联邦学习面临两个关键挑战：系统异构性；统计异构性。本文的FedProx可以解决联邦学习的异构性，可看作FedAvg的泛化和再参数化。理论上保证了当数据为非独立同分布时模型的收敛性，同时通过允许每个参与设备执行可变的工作量，保证了设备级别的系统约束。实验证明，广义FedProx框架相对于FedAvg，在异
Momahe·2023-01-04 18:29

调参1——随机森林贝叶斯调参

贝叶斯调参教程请参考：https://blog.csdn.net/weixin_35757704/article/details/118480135安装贝叶斯调参：pipinstallbayesian-optimization
呆萌的代Ma·2023-01-04 16:46

随机森林调参_试试用贝叶斯优化调参(预测溶解度问题)

搬运一个无利益关系的地址:DaiZhongxiang：贝叶斯优化/BayesianOptimizationzhuanlan.zhihu.com总而言之就是两个字就是:好用!!
weixin_39795284·2023-01-04 16:46

Bandit算法学习[网站优化]01——Multiarmed Bandit 算法引入

Bandit算法学习[网站优化]01——MultiarmedBandit算法引入参考资料WhiteJ.Banditalgorithmsforwebsiteoptimization[M]."
雨落俊泉·2023-01-04 14:22

【cs231n Lesson3】Optimization, Gradient descent

个人学习笔记date：2023.01.03参考网站：cs231n官方笔记Optimization损失函数让我们知道权重矩阵W\boldWW的质量；优化的目的则是让我们找到合适的W\boldWW使得损失函数更小
我什么都不懂zvz·2023-01-04 11:58

强化学习PPO从理论到代码详解(1)--- 策略梯度Policy gradient

第0章闲聊吹水ProximalPolicyOptimization(PPO)近端策略优化，可以说是目前最稳定，最强的强化学习算法之一了，也是openAI默认的强化学习算法，有多叼不用我说了吧。
Bruce_Xing·2023-01-03 18:19

Ubuntu18.04上编译并跑通VINS-Fusion

VINS-Fusiongithub地址：GitHub-HKUST-Aerial-Robotics/VINS-Fusion:Anoptimization-basedmulti-sensorstateestimatorAnoptimization-basedmulti-sensorstateestimator-GitHub-HKUST-Aerial-Robotics
xywy2008·2023-01-03 13:30

matlab用relu函数优化逻辑回归_吴恩达老师课程笔记系列第 29节 -逻辑回归之高级优化 (5)...

第29节-逻辑回归之高级优化(5)参考视频:6-6-AdvancedOptimization(14min).mkv在上一个视频中，我们讨论了用梯度下降的方法最小化逻辑回归中代价函数J(θ)。
weixin_39607474·2023-01-03 12:44

【Mac安装基础数学运算包】

Mac安装基础数学运算包前言快速安装Python及科学计算工具包安装Python3.10添加环境变量科学计算工具包cvxopt凸优化(convexoptimization)PythonAutomationTest
flyweight_visitor·2023-01-03 10:00

MATH3161 matlab求解

THEUNIVERSITYOFNEWSOUTHWALESSCHOOLOFMATHEMATICSANDSTATISTICSMATH3161/MATH5165–OPTIMIZATIONCLASSTEST1TERM1,2020
·2023-01-02 16:15

7.1_optimization-intro

7.1优化与深度学习本节将讨论优化与深度学习的关系，以及优化在深度学习中的挑战。在一个深度学习问题中，我们通常会预先定义一个损失函数。有了损失函数以后，我们就可以使用优化算法试图将其最小化。在优化中，这样的损失函数通常被称作优化问题的目标函数（objectivefunction）。依据惯例，优化算法通常只考虑最小化目标函数。其实，任何最大化问题都可以很容易地转化为最小化问题，只需令目标函数的相反数
给算法爸爸上香·2023-01-02 16:45

基于压缩系数的粒子群优化和重力搜索算法用于多级图像阈值化matlab源码

一、基于压缩系数的粒子群优化和重力搜索算法用于多级图像阈值化1.1粒子群算法粒子群算法（ParticleSwarmOptimization,PSO）最早是由Eberhart和Kennedy于1995年提出
Matlab科研辅导帮·2023-01-02 11:20

【智能优化算法】基于觅食生境选择的改进粒子群算法(FHSPSO)附 Matlab代码

1内容介绍在标准粒子群算法的基础上,引入基于莱维飞行的觅食生境选择策略,提出了改进的基于觅食生境选择的粒子群算法(feedinghabitatselectionparticleswarmoptimization
Matlab科研工作室·2023-01-02 11:20

LIO_SAM LMOptimization公式推导

点到直线的距离理解如果点在法线一侧，则点到直线的距离可表示为：nT×x+D=0d=nT×(xi−x0)=nT×xi+D≥0n^T\timesx+D=0\\d=n^T\times(x_i-x_0)=n^T\timesx_i+D\ge0nT×x+D=0d=nT×(xi−x0)=nT×xi+D≥0这样的话就可以直接求导，不需要考虑绝对值的问题。所以在原代码中应该保证距离为正值，cornerOptimiz
qq_41093957·2023-01-01 23:14

文献翻译__人工智能时代医学图像重建中的凸优化算法（第4、5、6章）

文章下载–我的GiteeConvexoptimizationalgorithmsinmedicalimagereconstruction—intheageofAI人工智能时代医学图像重建中的凸优化算法人工智能时代医学图像重建中的凸优化算法文章下载
眰恦I·2023-01-01 17:18

文献翻译__人工智能时代医学图像重建中的凸优化算法(前3章)

文章下载–我的GiteeConvexoptimizationalgorithmsinmedicalimagereconstruction—intheageofAI人工智能时代医学图像重建中的凸优化算法文章下载
眰恦I·2023-01-01 17:17

精读论文：Multi-Task Learning as Multi-Objective Optimization(附翻译)

Multi-TaskLearningasMulti-ObjectiveOptimization本文只看到了MGDA前，没有仔细看实验部分和MGDAupperbound，是最近看过的最难的文章了，恰好看这篇论文的时候小孙感冒了
菜菜的小孙同学·2023-01-01 14:54

The object or library file 'xxx.obj' was created with an older compiler than other obj

解决方法：右键您的工程选择porperties，然后按以下路径操作C/C++/Optimization/WholeProgramOptimization:NoLinker/Optimization/LinkTimeCodeGeneration
dk_0228·2022-12-31 16:57

ChatGPT会成为下一代搜索引擎之王吗？SEO在哪里？

LLMO,LargeLanguageModelOptimization，即大
·2022-12-31 15:28

teb_local_planner编译

项目场景：ROS导航框架下的一个局部路径规划插件源码地址相关文献：C.Rösmann,F.HoffmannandT.Bertram:Integratedonlinetrajectoryplanningandoptimizationindistinctivetopologies
街亭·2022-12-31 12:40

2019 ICLR | Learning Multimodal Graph-to-Graph Translation for Molecular Optimization

github.com/wengong-jin/iclr19-graph2graph2019ICLR|LearningMultimodalGraph-to-GraphTranslationforMolecularOptimization
发呆的比目鱼·2022-12-31 08:19

【三维路径规划】基于模拟退火算法结合粒子群算法多无人机三维路径规划含Matlab源码

1简介粒子群优化算法(particleswarmoptimization,PSO)是Kennedy和Eberhart于1995年提出的一种群体智能仿生算法,在解决一些典型的函数优化问题时,能够取得比较好的优化结果
matlab科研助手·2022-12-31 07:45

【深度学习知识】常见的梯度下降算法原理

文章目录前言1.原始的梯度下降1.1Batchgradientdescent1.2SGD1.3Mini-batchGD1.4小结2.带冲量的梯度下降2.1Momentumoptimization2.2NesterovAcceleratedGradient
weiquan fan·2022-12-30 19:28

论文浅尝 | Relational schema optimization for RDF-based KGs

笔记整理：郑国鹏，天津大学硕士链接:https://www.sciencedirect.com/science/article/pii/S0306437921000223动机特征集（CS）根据与其主题节点相关的属性集来组织RDF三元组。它可以捕捉到RDF数据的隐含模式。虽然大多数基于CS的方法在空间和查询性能上有明显的改善，但在回答复杂查询工作负载时，CS的数量会变得非常大，最终影响系统性能。本文
开放知识图谱·2022-12-30 10:34

视觉里程计 第二部分：匹配、鲁棒、优化和应用

视觉里程计第二部分：匹配、鲁棒、优化和应用VisualOdometry：PartII:Matching,Robustness,Optimization,andApplicationsTaylorGuo,
新新大熊·2022-12-30 08:50

Backpropagation, Intuitions

原文地址：http://cs231n.github.io/optimization-2/#########################################################
编号1993·2022-12-30 03:41

文献阅读（234）

priorwork3算法和调度的表示3.1内在算法3.2调度3.2thefullyspecifiedprogram4编译器实现题目：DecouplingAlgorithmsfromSchedulesforEasyOptimizationofImageProcessingPipelines
tiaozhanzhe1900·2022-12-29 20:23

Nevergrad调参用

快速上手importnevergradasngdefsquare(x):returnsum((x-0.5)**2)#optimizationonxasanarrayofshape(2,)optimizer
Blossom Flight·2022-12-29 17:01

使用WebPageTest、Lighthouse和Chrome DevTools评估网站性能

、ChromeDevTools中使用三：使用ChromeDevTools分析性能一：使用WebPageTest评估网站性能进入网站首页WebPageTest-WebsitePerformanceandOptimizationTest
不想学习的打工人·2022-12-29 17:29

Optimization for DL

On-lineLearning:Onepairof(X,Y')atatimestep;Off-lineLearning:Pourall(X,Y')intothemodelateverytimestep;OPTIMIZATION
秀得水乱流·2022-12-29 15:31

Learning to Prompt for Vision-Language Models

受到NLP领域中promptlearning研究的启发，本文提出了ContextOptimization（CoOp），具体来说固定整个预训练模型的参数，然后对textencoder中的提示词
一直在路上的程序猿·2022-12-29 14:47

PPO算法详解

原文：ProximalPolicyOptimizationAlgorithms[arXiv][GitHub]1.PPO算法思想PPO算法是一种新型的PolicyGradient算法，PolicyGradient
半月夏微凉·2022-12-29 12:52

SLAM中位姿估计的图优化方法比较

AComparisonofGraphOptimizationApproachesforPoseEstimationinSLAM作者：AndelaJuric´,FilipKendeš,IvanMarkovic
Tom Hardy·2022-12-29 11:36

High Fidelity Semantic Shape Completion for Point Clouds using Latent Optimization

题目：利用潜在优化方法完成点云的高保真语义的形状补全摘要在3D计算机视觉中语义形状补全是一个具有挑战性的问题，这个任务是使用一个部分3D形状作为输入产生一个完整的3D形状。作者提出了一个基于学习的方法通过生成模型和潜在的流形优化来补全不完整的3D形状。作者的算法工作直接作用与点云上。作者使用一个自编码器和一个GAN网络来学习对象类点云的嵌入分布。首先将缺失区域的输入点云编码为特征向量，然后使用组合
CXY_freshman·2022-12-29 11:36

流形学习的数学基础

文章目录1OptimizationAlgorithmsonMatrixManifolds2Riemanniangradientdescent3一些流形优化的博客参考文献1OptimizationAlgorithmsonMatrixManifoldsOptimizationAlgorithmsonMatrixManifolds-FullOnlineTextP
潘欢 Panhuan·2022-12-29 11:06

cs231n 算svm 的loss 和dw

CS231nConvolutionalNeuralNetworksforVisualRecognition——optimization1.多类SVM的损失函数（MulticlassSVMloss）在给出类别预测前的输出结果是实数值
我已脱掉我的发脱掉了牵挂·2022-12-29 11:35

论文阅读：在Stiefel流形上的黎曼优化

原文：EFFICIENTRIEMANNIANOPTIMIZATIONONTHESTIEFELMANIFOLDVIATHECAYLEYTRANSFORMCiting:https://arxiv.org/pdf
塔_Tass·2022-12-29 11:34
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他