网络优化

曹健老师 TensorFlow2.1 —— 第二章 神经网络优化

第一章本章目的：学会神经网络优化过程，使用正则化减少过拟合，使用优化器更新网络参数。
JuicyPeachHoo·2022-12-31 07:12

从梯度下降到 Adam——一文看懂各种神经网络优化算法

二.详解各种神经网络优化算法梯度下降梯度下降的变体1.随机梯度下降(SDG)2.小批量梯度下降进一步优化梯度下降1.动量2.Nesterov梯度加速法3.Adagrad方法4.AdaDelta方法Adam
云深处见晓·2022-12-30 19:26

【5G网络优化工程师课程1——5G频段及栅格】

5G的频段及栅格介绍一、5G频谱资源3GPP协议定义了sub3G、C-band、毫米波的频谱由于射频器件不支持的原因，国内目前没有用毫米波，但国外毫米波早已应用移动：n28n41n79sub3Gsub6GC-band:3G-6G二、5G栅格目前配置频点：小区中心频点、SSB频点小区中心频点需要符合：全局栅格和信道栅格首先应该满足全局栅格公式，如果不能整除，选择信道栅格中靠近的频点号2.1频点栅格—
小羊爱青草·2022-12-30 13:54

【5G网络优化工程师课程2——5G空中接口协议栈介绍】

5G空中接口协议栈介绍空口协议栈概述层3：空口服务的使用者层2：服务于层3数据，对不同的层3数据进行区分，并提供不同的服务控制面：PDCP、RLC、MAC用户面：SDAP、PDCP、RLC、MAC层1：物理层PHY，为高层数据提供无线资源及物理层的处理5G网络的目的是建立一个端到端的连接，从终端到外部数据网，打电话的话就是IMS网络，上互联网的话移动就是CMnet网络。SM层的作用是PDU会话管理
小羊爱青草·2022-12-30 13:54

MATLAB群智能算法开源第二十八期-动态元启发式神经网络优化算法

1写在前面该系列为基础群智能优化算法，欢迎私信一起交流问题，更多的改进算法可查看往期的推文。有问题或者需要其他建议的话，非常欢迎后台私信交流，共同进步，如若出现违反学术道德的情况与本博客以及作者无关，所有资料仅做参考。推文仅做参考作用，具体原理以及数学模型自行学习改进或后台咨询！！！群体智能优化算法定义：主要模拟了昆虫、兽群、鸟群和鱼群的群体行为，这些群体按照一种合作的方式寻找食物，群体中的每个成
了不起的群智能-小C·2022-12-30 10:39

网络优化（六）——超参数优化

文章目录1.超参数优化概述2.网格搜索3.随机搜索4.贝叶斯优化5.动态资源分配6.神经架构搜索6.AutoML1.超参数优化概述在神经网络中，除了可学习的参数之外，还存在很多超参数。这些超参数对网络性能的影响也很大，不同的机器学习任务往往需要不同的超参数。常见的超参数有以下三类：网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等；优化参数，包括优化方法、学习率、小批量的
Suppose-dilemma·2022-12-29 12:02

PyTorch下的可视化工具（网络结构/训练过程可视化）

一、网络结构的可视化我们训练神经网络时，除了随着step或者epoch观察损失函数的走势，从而建立对目前网络优化
视学算法·2022-12-29 12:27

pytorch可视化教程：训练过程+网络结构

文|锦恢@知乎（已授权）源|极市平台一、网络结构的可视化我们训练神经网络时，除了随着step或者epoch观察损失函数的走势，从而建立对目前网络优化的基本认知外，也可以通过一些额外的可视化库来可视化我们的神经网络结构图
夕小瑶·2022-12-29 12:57

可视化工具 | PyTorch的网络结构/训练过程可视化

一、网络结构的可视化我们训练神经网络时，除了随着step或者epoch观察损失函数的走势，从而建立对目前网络优化的基本认知外，也可以通过一
机器学习与AI生成创作·2022-12-29 11:53

网络优化哪家强，还得看华为云CDN

随着网络安全形势日益严峻,CDN作为网络基础设施的重要组成部分，被广泛应用于各类行业。目前,CDN正逐步走向商业化，且随着AI技术在云服务中的应用,CDN也成为企业上云的一大选择。那么，在当前的市场环境下，在云市场里，有哪些服务能够满足企业上云需求呢？下面来看几个案例。2018年12月，华为云CDN业务取得重大突破，在技术赋能、商业模式创新层面，华为云CDN开启了企业级CDN的全新探索——为企业客
科技说·2022-12-28 04:16

神经网络基础知识总结与理解

np.random.RandomState.rand()3、np.vstack()4、np.mgrid[]+np.c_[]+array.ravel()二、常用概念1、复杂度2、学习率3、激活函数4、损失函数5、欠拟合和过拟合6、正则化7、神经网络优化器本文内容主要为学习北京大
lunat:c·2022-12-27 18:58

神经网络优化

提升深度神经网络：超参数调节，正则化，优化之前已经学习了如何构建神经网络，本章将继续学习如何有效运行神经网络，内容涉及超参数调优，如何构建数据以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。第一周首先说说神经网络机器学习中的问题，然后是正则化，还会学习一些确保神经网络正确运行的技巧。1训练-验证-测试集在配置训练集验证集和测试集的过程中做出正确决策会在很大程度上帮助大家创建高
开始King·2022-12-27 06:22

刷题记录:牛客NC20951网络优化

传送门:牛客题目描述:已知该游戏中共有n名用户，编号从1到n，服务器共有m条服务线，每个用户最多只能登陆一条线，第i条线最多可以容纳v[i]名用户同时在线，且只能给编号在[l[i],r[i]]范围内的用户提供服务。现在希望找出一种合理的资源分配方案，使得同时在线人数最大化，请输出这个最大人数。输入:53111242232输出:4这道题有很多解法,比如网络流加线段树,优先队列,甚至还可以使用贪心来解
yingjiayu12·2022-12-26 09:43

无线通信网络优化的自动路测系统设计（Matlab代码实现）

目录1概述2运行结果3参考文献‍4Matlab代码1概述无线通信网络是一个动态的网络，无线网络优化是一项贯穿于整个网络发展全过程的长期工程。
wlz249·2022-12-26 09:10

面向最大使用效益的充电站网络优化方法

针对充电站网络利用率低,存在大量冗余站点和电动汽车充电难等问题,提出了一种数据驱动的充电站网络优化方法。
宋罗世家技术屋·2022-12-26 04:31

利用官方torch版GCN训练并测试cora数据集

目录cora数据集Content文件Cites文件代码实现数据预处理和数据加载GCN网络优化器等加载训练和测试其他必须的函数输出结果参考链接cora数据集Cora数据集由2708份论文名称，及对应的特征向量组成
小风_·2022-12-25 09:38

粒子群优神经网络优化

文章目录前言1粒子群优化PSO2神经网络3将两者结合前言PSO-for-Neural-Nets大家知道，使用反向传播对神经网络进行训练是非常有效的。但如果网络参数的初始值设得不好时，各位可能也有过训练十分缓慢的经历。这里提供一种加快反向传播的算法，目的是在训练神经网络时不使用反向传播以及梯度下降算法，而是先使用粒子群优化算法（ParticleSwarmOptimization，PSO）对网络参数进
kooerr·2022-12-25 03:59

亚马逊云科技re:lnvent推出云上创新计算实例

工程师、研究人员和科学家使用AmazonEC2网络优化型实例（如C5n、R5n、M5n和C6gn）运行高性能计算工
m0_75092401·2022-12-24 08:21

TensorFlow2.0学习笔记 2.1：神经网络优化过程——函数知识

tf.where()np.random.RandomState.rand()np.vstack()
落雪wink·2022-12-23 18:47

小白笔记：深度学习之Tensorflow笔记（七：神经网络优化过程）

激活函数激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。引入非线性激活函数，可使深层神经网络的表达能力更加强大。简化模型：MP模型：优秀的激活函数：•非线性：激活函数非线性时，多层神经网络可逼近所有函数•可微性：优化器大多用梯度下降更新参数•单调性：当激活函数是单调的，能保证单层网络的损失函数是凸函数•近似恒等性：f(x)≈x当参数初始化为随机小值时，神经网络更稳定激活函数输出值的范围
my小马·2022-12-23 18:43

人工智能实践：Tensorflow笔记 Class 2：神经网络优化

目录2.1基础知识2.2复杂度学习率1.复杂度2.学习率2.3激活函数1.sigmoid函数2.tanh函数3.relu函数4.leaky-relu函数2.4损失函数1.均方误差2.自定义损失函数3.交叉熵损失函数4.softmax与交叉熵结合2.5缓解过拟合正则化2.6优化器1.SGD2.SGDM3.Adagrad4.RMSProp5.Adam2.1基础知识2.2复杂度学习率1.复杂度2.学习率
By4te·2022-12-23 18:41

Tensorflow学习笔记（二）：神经网络优化

文章目录一、预备知识1.条件判断和选择（where）2.[0,1)随机数（random.RandomState.rand）3.数组垂直叠加（vstack）4.网格生成（mgrid，ravel，c_）二、神经网络复杂度、学习率选取1.复杂度2.学习率更新（1）影响（2）更新策略三、激活函数、损失函数1.几种激活函数介绍(1)Sigmoid函数(2)tanh函数(3)ReLu函数(4)Leaky-Re
hhhuster·2022-12-23 18:35

tensorflow2.0 学习笔记：一、神经网络计算

求解问题时先把问题描述为表达式，再求解表达式（专家系统）连接主义：模拟神经元连接关系（神经网络）神经网络设计过程例如：图片的分类ifcase——专家系统神经网络：采集大量数据输入特征构成数据集，数据集送入神经网络网络优化参数得到模型
咸鸭蛋黄月饼·2022-12-21 22:30

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

文章目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比【选做题】总结心得体会参考链接7.3不同优化算
凉堇·2022-12-20 02:26

Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm总结

https://blog.csdn.net/qq_41997920/article/details/899459721.综述在入门深度学习时就深度学习中的一些概念做了一些介绍，但随着学习的不断深入，一些网络优化的技巧越来越多
DecafTea·2022-12-17 14:27

2.1神经网络优化之损失函数

损失函数(loss)：预测(y)与已知答案(y_)的差距神经网络优化的目标就是想找到某一套参数使损失函数最小主流的loss计算有三种均方误差mse(MeanSquaredError)自定义交叉熵ce(CrossEntropy
SuperBetterMan·2022-12-16 19:57

第二讲-神经网络优化-损失函数

5、损失函数损失函数是前向传播计算出的结果y与已知标准答案y_的差距。神经网络的优化目标，找出参数使得loss值最小。本次介绍损失函数有：均方误差（mse，MeanSquaredError）、自定义、交叉熵(ce,CrossEntropy)均方误差（y_表示标准答案，y表示预测答案计算值）tensorFlow:lose_mse=tf.reduce_mean(tf.square(y-y’))示例：预
loveysuxin·2022-12-16 19:56

Adam算法及python实现

它是神经网络优化中的常用算法，在收敛速度上比较快，比SGD对收敛速度的纠结上有了很大的改进。但是该算法的学习率是不断减少的，可能收敛不到真正的最优解，实践中经常是前期Adam，后期SGD进行优化。
zoujiahui_2018·2022-12-16 12:39

【深度学习】PyTorch下的可视化工具（网络结构/训练过程可视化）

新智元作者|锦恢来源|https://zhuanlan.zhihu.com/p/2204036741『网络结构的可视化』我们训练神经网络时，除了随着step或者epoch观察损失函数的走势，从而建立对目前网络优化的基本认知外
风度78·2022-12-16 10:30

MATLAB轻松入门、绘图可视化与神经网络优化

├─大仙带你学MATLAB绘图可视化专题（第一季）│1matlab绘图基本函数.mp4│2matlab子图绘制和坐标轴显示控制.mp4│3matlab网格线和边框设置.mp4│4matlab坐标轴的缩放.mp4│5matlab绘图中级技巧.mp4│6matlab图形手动编辑.mp4│7matlab坐标轴标题和图例.mp4│8matlab文本框标注.mp4│9matlab各类二维图的绘制.mp4│1
weixin_43557787·2022-12-16 08:04

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

NNDL实验八网络优化与正则化（3）不同优化算法比较7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性
叶雨柳光·2022-12-16 02:38

CVPR_2021_Riggable 3D Face Reconstruction via In-Network Optimization

为了实现这一目标，我们设计了一个嵌入可微网络优化的端到端可训练网络。该网络首先通过神经解码器将人脸识别器参数化为一个紧凑的潜在代码，然后通过可学习优化估计潜在码和每幅图像的参数。
Nicholas Sc·2022-12-15 22:49

从流量控制算法谈网络优化-TCP核心原理理解

hi，大家好，又是新的一周，周末在朋友圈读到一篇网络优化的文章，感觉文章比较接地气，有实验测试，有数据分析，想分享给大家，让我们再次加强对TCP以及网络优化的理解。
极客重生·2022-12-15 14:45

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3.4.1构建一个三维空间中的被优化函数【选做题】7.3不同优化算法的比较分析除了批大小对模型
_Gypsophila___·2022-12-15 09:22

NNDL 作业12：第七章课后题

试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中，说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中，权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立全面总结网络优化习题
uvuvuvw·2022-12-15 09:33

NNDL 实验八 网络优化与正则化（3）

目录7.3不同优化算法的比较7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3.4.1构建一个三维空间中的被优化函数【选做题】总结7.3不同优化算法的比较除了批大小对模型收敛
uvuvuvw·2022-12-15 09:30

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络优化的重要因素。
weixin_51715088·2022-12-14 23:51

NNDL 作业12：第七章课后题

试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中，说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中，权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立全面总结网络优化习题
喝无糖雪碧·2022-12-14 23:50

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比参考：7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网
喝无糖雪碧·2022-12-14 23:49

让样本不一样重要-A Dual Weighting Label Assignment Scheme for Object Detection

CVPR2022论文链接：https://arxiv.org/abs/2203.09730个人理解：样本的重要性是不同的，分类和回归之间一致性较高的锚点十分重要，而一些难以被网络优化的负样本应该有更低的重要性
^如昼·2022-12-14 16:46

贝叶斯神经网络BNN

反向传播网络在优化完毕后，其权重是一个固定的值，而贝叶斯神经网络把权重看成是服从均值为μ，方差为δ的高斯分布，每个权重服从不同的高斯分布，反向传播网络优化的是权重，贝叶斯神经网络优化的是权重的均值和方差
HHHHGitttt·2022-12-13 22:27

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比参考7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络
五元钱·2022-12-13 15:01

实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比编程实现下面的动画并添加Adam7.3不同优化算法
岳轩子·2022-12-13 15:30

神经网络模糊pid控制算法,模糊神经网络应用实例

学习算法是模糊神经网络优化权系数的关键。对于逻辑模糊神经网络，可采用基于误差的学习算法，也即是监视学习
小六oO·2022-12-13 11:07

《神经网络与深度学习》算法伪代码汇总

目录第三章线性模型算法3.1两类感知器的参数学习算法算法3.2一种改进的平均感知器参数学习算法算法3.3广义感知器参数学习算法第四章前反馈神经网络算法4.1使用反向传播算法的随机梯度下降训练过程第七章网络优化与正则化算法
是一个小迷糊吧·2022-12-12 18:06

第7章 网络优化与正则化

搭建神经网络的两个难点：（1）优化问题：首先，神经网络的损失函数非凸，找到全局最优解通常比较困难．其次，深度神经网络的参数非常多，训练数据也比较大，因此也无法使用计算代价很高的二阶优化方法，而一阶优化方法的训练效率通常比较低．此外，深度神经网络存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效．（2）泛化问题：由于深度神经网络的复杂度比较高，并且拟合能力很强，容易在训练集上产生过拟合．因此需要
Finch4422·2022-12-12 18:01

神经网络与深度学习（八）网络优化与正则化（3）不同优化算法比较

7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络优化的重要因素。
冰冻胖头鱼·2022-12-12 18:55

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络优化
HBU_Hbdwhb·2022-12-12 18:24

神经网络优化中的Weight Averaging

©PaperWeekly原创·作者｜张子逊研究方向｜神经网络剪枝、NAS在神经网络优化的研究中，有研究改进优化器本身的（例如学习率衰减策略、一系列Adam改进等等），也有不少是改进normalization
PaperWeekly·2022-12-12 15:07

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

NNDL实验八网络优化与正则化（3）不同优化算法比较7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性
Perfect(*^ω^*)·2022-12-12 12:37
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他