梯度稀疏

pytorch之优化器、学习率函数学习

大多数常用的方法都已经支持，并且接口足够通用，因此将来也可以轻松集成更复杂的方法1、如何使用优化器要使用，torch.optim您必须构造一个优化器对象，该对象将保存当前状态并根据计算的梯度更新参数。
qq_41627642·2023-12-15 17:33

机器学习顶会 NeurIPS 2023 6篇获奖论文速览

主要涉及机器学习、深度学习、CV、优化方法、神经网络与认知科学、稀疏理论等细分方向。本次大会共公布了6篇获奖论文及1篇时间检验奖，分别为2篇杰出论文，2篇杰出论文（亚军），1篇杰出
深度之眼·2023-12-15 15:17

Mistral AI 推出高质量的稀疏专家混合AI人工智能模型——SMoE，有望超越ChatGPT3.5

他们发布了Mixtral8x7B，这是一个高质量的稀疏专家混合模型（SMoE），拥有开放权重，该模型的性能在大多数基准测试中优于Llama270B，推理速度提高了6倍。
喜好儿aigc·2023-12-15 13:22

使用 PyTorch FSDP 微调 Llama 2 70B

完全分片数据并行(FullyShardedDataParallelism，FSDP)是一种训练范式，在该范式中优化器状态、梯度和模型参数都会被跨设备分片
Python算法实战·2023-12-15 13:46

HBase-架构与设计

HBase架构与设计一、背景二、HBase概述1.设计特点2.适用场景2.1海量数据2.2稀疏数据2.3多版本数据2.4半结构或者非结构化数据三、数据模型1.表逻辑结构2.RowKey3.ColumnFamily4
临江蓑笠翁·2023-12-15 13:15

使用 PyTorch FSDP 微调 Llama 2 70B

完全分片数据并行(FullyShardedDataParallelism，FSDP)是一种训练范式，在该范式中优化器状态、梯度和模型参数都会被跨设备
Hugging Face·2023-12-15 12:35

机器学习笔记：linear scaling learning rate （学习率 和batch size的关系）

batchsize训练的模型与小batchsize训练的模型相比，验证准确率会减小——>提出了linearscalinglearningrate在mini-batchSGD训练时，增大batchsize不会改变梯度的期望
UQI-LIUWJ·2023-12-15 12:59

【EMNLP 2023】面向垂直领域的知识预训练语言模型

通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀疏，局部稠密的特点。为了补足全局稀疏特点，将垂直领域中分层语义信息通过双曲空间注入到预训练模型中。
阿里云大数据AI技术·2023-12-15 10:59

【代码学习】voxel 或者 pillar，稀疏张量 转 稠密张量 的代码理解，理解了很久

需要feature和对应的坐标coordsdebug：转置，不然维度不匹配！对应的代码，向量化应该比for循环快defvoxel_indexing(self,sparse_features,coords):#sparse_features:[N,C],coords:[N,4]dim=sparse_features.shape[-1]dense_feature=Variable(torch.zero
联系丝信·2023-12-15 08:11

Clickhouse RoaringBitmap

blog.csdn.net/penriver/article/details/119736050https://juejin.cn/post/7179956435806076988BitMap适合连续密集的正整数存储，对于稀疏的正整数存储
TaiKuLaHa·2023-12-15 08:41

数据结构复盘——第六章：图

文章目录第一部分：图的一些专业术语1、有向图和无向图2、简单图和多重图3、完全图（也称简单完全图）4、稠密图和稀疏图5、邻接点6、连通，连通图和连通分量7、强连通，强连通图和强连通分量8、路径，路径长度和回路
时生丶·2023-12-15 07:24

亿赛通电子文档安全管理系统 SQL注入漏洞复现

防止内部员工泄密和外部人员非法窃取企业核心重要数据资产，对电子文档进行全生命周期防护，系统具有透明加密、主动加密、智能加密等多种加密方式，用户可根据部门涉密程度的不同（如核心部门和普通部门），部署力度轻重不一的梯度式文档加密防护
OidBoy_G·2023-12-15 06:21

LSTM和GRU的介绍以及Pytorch源码解析

上次上一篇文章介绍了RNN序列模型，但是RNN模型存在比较严重的梯度爆炸和梯度消失问题。本文介绍的LSTM模型解决的RNN的大部分缺陷。
有梦的人心态要好·2023-12-15 05:36

7-2 三元组顺序表表示的稀疏矩阵转置运算Ⅰ(PTA - 数据结构)

三元组顺序表表示的稀疏矩阵转置。输入格式:输入第1行为矩阵行数m、列数n及非零元素个数t。按行优先顺序依次输入t行，每行3个数，分别表示非零元素的行标、列标和值。
FellAveal·2023-12-15 05:18

夜晚的咖啡馆

街边的咖啡馆里，稀稀疏疏地坐了客人，熟识的、陌生的，彼此聊着天。街上有街上的清静，咖啡馆有咖啡馆的热闹。清静与热
黎黎黎·2023-12-15 04:44

权威认证！景联文科技入选杭州市2023年第二批省级“专精特新”中小企业认定名单

根据工业和信息化部《优质中小企业梯度培育管理暂行办法》（工信部企业〔2022〕63号）和《浙江省经济和信息化厅关于印发浙江省优质中小企业梯度培育管理实施细则（暂行）的通知》（浙经信企业〔2022〕197
景联文科技·2023-12-15 02:47

12-07 周四 Pytorch 使用Visdom 进行可视化

简介 在完成了龙良曲的Pytroch视频课程之后，楼主对于pytroch有了进一步的理解，比如，比之前更加深刻的了解了BP神经网络的反向传播算法，梯度、损失、优化器这些名词更加熟悉。
思影影思·2023-12-15 01:15

不回家的人

大街小巷里贴满了春联红福，临近春节，人流日渐稀疏，显得冷冷清清。路经公交站旁，看到的情景却相反，长长的出租车排得望不到边。没有客人乘车时，两三司机斜倚车门抽着烟。
这个男人姓王·2023-12-15 00:55

【图论笔记】克鲁斯卡尔算法（Kruskal）求最小生成树

【图论笔记】克鲁斯卡尔算法（Kruskal）求最小生成树适用于克鲁斯卡尔适合用来求边比较稀疏的图的最小生成树简记：将边按照升序排序，选取n-1条边，连通n个顶点。
Urf_read·2023-12-14 23:23

【深度学习】重要概念

反向传播：指的是计算神经网络参数梯度的方法。简言之，该方法
盛世隐者·2023-12-14 22:59

机器学习---线性回归案例

1、梯度下降法调节参数2、模拟过拟合训练模型都会将数据集分为两部分，一般会将0.8比例的数据集作为训练集，将0.2比例的数据集作为测试集，来训练模型。
30岁老阿姨·2023-12-14 22:25

基于TD3的电动汽车复合电源能量管理策略研究

为了实现复合电源系统能耗损失的最小化，设计了一种基于双延迟深度确定性策略梯度（TD3）算法的能量管理策略。与深度确定性策略梯度（DDPG）算法相比，该算法解决了Q值过高估计问题，能耗损失更小。
罗思付之技术屋·2023-12-14 22:15

一种边缘梯度插值的双分支deeplabv3+语义分割模型

摘要:针对deeplabv3+解码器采用双线性插值的单一分支结构易导致图像的高频分量损失、语义分割精度不高的问题，采用索伯(Sobel)算子计算各像素点沿不同方向的边缘梯度值并结合双三次插值算法，提出一种边缘梯度插值方法
罗思付之技术屋·2023-12-14 22:45

MATLAB稀疏矩阵

概念稀疏矩阵是相对于满矩阵或者稠密矩阵来说的，非0数据比较多的时候称为满矩阵或者稠密矩阵，0比较多的时候称为稀疏矩阵。
不吃鱼的羊·2023-12-14 21:39

神经网络和深度学习（四）—梯度下降算法

姓名：吴丞楚学号：20012100032学院：竹园三号书院【嵌牛导读】对梯度下降法的具体应用【嵌牛鼻子】深度学习神经网络梯度下降【嵌牛提问】如何将梯度下降算法应用到神经网络说了这么多，你可能会以为接下来我将介绍牛顿定理
吴丞楚20012100032·2023-12-14 21:16

opencv的图像直方图处理

bin的数值可以是梯度、方向、色彩或任何其他特征。直方图可以帮助我们更好地理解数据的分布特征，包括集中趋势、离散程度等。直方图在许多领域有重要的应用，包括统计学、图像处理、数据分析
智慧医疗探索者·2023-12-14 21:46

深度学习（1）以目标跟踪阐述深度学习相关模型原理及特征提取方式详解

1.目标跟踪综述一般包含：特征表达、跟踪模型、搜索策略跟踪方法分类2.特征表达2.1传统特征表达主要包括HOG、LBP、Harr-like、SIFT和颜色统计1.HOG:图像局部区域梯度加权直方图，一般针对灰度图像
明月醉窗台·2023-12-14 21:44

文学家成长之路（其一）：增加词汇量，不断提升遣词造句能力（4）

头发：白发苍苍满头银发两鬓染霜头发乌润蓬松的短发头发稀疏满头青丝披肩长发柔软的头发齐眉的刘海披头散发蓬头垢面鼻子：高鼻梁蒜头鼻鹰钩鼻酒糟鼻朝天鼻塌鼻梁又扁又平的鼻子又高又直的鼻子尖尖的鼻子宽鼻阔嘴鼻似弯钩挺鼻如峰鼻子端正鼻子扁阔鼻尖扁平鼻头微钩鼻孔饱满鼻孔朝天鼻青脸肿细巧挺秀端正阔大挑梁大鼻鼻梁挺直脸
xiaolang读书·2023-12-14 21:20

逝者如斯

极远的天边，几颗稀疏的星子高高悬挂在天空。打开窗子，迎面吹来一阵微风，觉得已有几分秋意了。六点多钟，一行人就坐在开往天水的路上了。
出涧·2023-12-14 21:47

千万不要和任何人熟得太快

就像秋风乍起的时候，随风飘落的那些树叶，一样稀疏零落，一样松散平淡。我们都要懂得，千万不要跟任何人熟得太快、走得太近。那是对别人心理距离的侵犯，更有可能没有办法保护自己
月色沉思·2023-12-14 20:11

深度学习——第5章 神经网络基础知识

第5章神经网络基础知识目录5.1由逻辑回归出发5.2损失函数5.3梯度下降5.4计算图5.5总结在第1课《深度学习概述》中，我们介绍了神经网络的基本结构，了解了神经网络的基本单元组成是神经元。
曲入冥·2023-12-14 20:52

ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders

1.关于稀疏卷积的解释：https://zhuanlan.zhihu.com/p/3823658892.答案：在深度学习领域，尤其是计算机视觉任务中，遮蔽图像建模（MaskedImageModeling
橙黄橘绿时_Eden·2023-12-14 19:48

[PyTorch][chapter 7][李宏毅深度学习][深度学习简介]

TensorFlowtorchtheanocaffeDSSTNEmxnetlibdnnCNTK目录：1：深度学习发展历史2：DeepLearning工程简介3：DNN简介一发展历史二DeepLearning工程简介深度学习三大步：定义映射函数（神经网络）定义损失函数通过梯度更新
明朝百晓生·2023-12-14 17:01

开源大模型超越GPT-3.5！爆火MoE实测结果出炉

并且由于是稀疏模型，处理每个token仅用了12.9B参数就做到了这般成绩，其推理速度和成本也与12.9B的密集模型相当。消息一出，再次在社交媒体上掀起讨论热潮。OpenAI创始成员AndrejK
richerg85·2023-12-14 17:45

梳子

带着牛角梳与梦境相互摩擦的电流你背着光卸下盔甲，发丝垂下来轮廓被点燃，像极了昨夜缠绵的火焰带露的花枝梳理着清晨你说：时光静好，该有一曲流水的小调绕过窗口，又绕回心头你迎着风打开自己，梳子斜插在头上，梳齿间横渡的岁月有点稀疏
望秦·2023-12-14 16:45

一念成深（连载）

昨夜雨点稀疏，滴滴坠地，风儿劲吹不停，吹斜了细雨，吹落了满院海棠花。木兮让侍女烧一壶热酒，独自小酌一杯，无奈不胜酒量，滴酒便微醉。1102年，满院海棠花沐浴在阳光下灿烂夺目，无与伦比。
蜜姬咯·2023-12-14 16:11

【知识】稀疏矩阵是否比密集矩阵更高效？

转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn]问题提出有些地方说，稀疏图比密集图的计算效率更高，真的吗？
小锋学长生活大爆炸·2023-12-07 01:29

三维重建 影像匹配 密集匹配三者的关系

接着看一下影像匹配的分类进行匹配像点的相对数目：1稀疏匹配:稀疏的视差矩阵；2稠密匹配（密集匹配）：深度图匹配元素：
JJC妖妖君·2023-12-07 00:26

各器官的求救信号……

行走困难或平衡失调④头晕、头痛⑤一过性意识丧失血脂高的4个信号：1.黄色瘤①肌腱黄色瘤②手掌黄色瘤③结节性黄色瘤④丘疹性黄色瘤2.掌纹改变3.出现耳褶4.角膜老年环身体早衰的10个信号：早衰信号1：头发稀疏早衰信号
健康顾问陈宝鑫·2023-12-07 00:18

VSCode之C++ & CUDA入门：reduce的N+1重境界

背景Reduce是几乎所有多线程技术的基础和关键，同样也是诸如深度学习等领域的核心，简单如卷积运算，复杂如梯度聚合、分布式训练等，了解CUDA实现reduce，以及优化reduce是理解CUDA软硬件连接点的很好切入点
qq_37172182·2023-12-07 00:23

batch_size太大和太小的优缺点分别是什么？

确保收敛性：大批次可以更好地平均梯度，减少梯度更新的噪声，可能有助于收敛到较好的局部最小值。缺点：内存需求高：较大的批次需要更多的内存空间，如果系统资源受限，可能会
BugMaker2002·2023-12-06 23:36

经典GAN简明原理：LSGAN

但是，在训练学习过程中这种损失函数的使用可能会导致梯度消失。为了克服这个问题，最小二乘生成对抗网络（LSGAN）采用最小二乘的损失来缓解。实际上，LSGAN的目标函数将本质上是最小化Pea
机器学习与AI生成创作·2023-12-06 23:25

题都城南庄

秋日青枫江上孤帆远远飘去，白帝城边黄叶飘零古木稀疏。圣明朝代如今定会多施雨露，暂时分手希望你们不要踌躇。
修源正本·2023-12-06 23:40

R语言|绘制典范对应分析CCA图

redundancyanalysis,RDA）是基于对应分析（correspondenceanalysis,CA）发展而来的一种排序方法，将对应分析与多元回归分析相结合，每一步计算均与环境因子进行回归，又称多元直接梯度分析
维凡生物·2023-12-06 21:27

【OpenCV】边缘检测：梯度，sobel算子的理解

在这一讲中我们来学习一下opencv中最基本的边缘检测的知识，首先我们来介绍一下图像梯度1.图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导：图像梯度:梯度算子Gradientoperators
zxl6646761·2023-12-06 20:19

啜泣的柳树

秋天的柳树哭了簌簌掉落的树叶的声音是它们嘤嘤啜泣的哭声呜呜呜的风声把它们的哭声传得老远老远纷纷扬扬掉落的树叶是它们嘤嘤啜泣流下的黄色的眼泪眼泪把大街当作河床汇成了股股溪流黄色的溪流沿河床随风流淌溪流流过大街从稀稀疏疏的人们的脚边流过从冷冰冰的建筑物旁流过从人的心上流过流过整个秋季向寒冷的冬季流去秋天到了柳树一家无论老的小的高的矮的都未逃此厄运厄运让它们经受着空前巨大而又绝望的洗礼它们哭过秋季向寒冷
wcgc·2023-12-06 18:31

其实，被治愈有时真的只是一瞬间的事情

这样一来，身后的人就稀疏了起来。不一会儿，身后传来了嘀嘀咕咕地小声说话声。声音虽小，但耳朵里不想听也得听。隐隐约约地一个语速较快的声音：“什么工作都给我，晋升却没有我，你说这有多么不公平。我这
榴一一·2023-12-06 17:20

2018-12-10

聊到这位漂亮的姐姐时，我纳闷说“当时她那个男朋友相貌与她般配得很，郎才女貌，可后来跟这大十来岁，头发稀疏的中年男士结婚了，想不通啊。”小介来了句“他是师长的儿子。”
贺西由·2023-12-06 16:05

c++数据结构与算法

目录面向对象程序设计复杂度分析链表单向链表双向链表循环链表跳跃链表稀疏表栈和队列栈：（后进的先出）队列：（先进的先出）用两个栈实现队列用两个队列来实现栈递归阶乘的递归实现迭代求n的阶乘回溯二叉树基本概念
逗×·2023-12-06 14:34

CVPR 2023 精选论文学习笔记：Differentiable Shadow Mapping for Efficient Inverse Graphics

这允许使用梯度优化方法来找到最能解释输入数据的参数。可微渲染已被证明对于各种任务有效，包括图像重建、形状优化和材料估计。非可微渲染：非可微渲染是渲染的传统方法，不允许使用梯度优化。这
结构化文摘·2023-12-06 12:04
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他