权重衰退

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

LoRA(Low-RankAdaptation)是一种高效的微调方法，它通过引入少量可训练参数，固定预训练模型的权重，从而在保持性能的同时大大减少了计算开销。

kakaZhui·2025-02-02 13:14

[250125] DeepSeek 发布开源大模型 R1，性能比肩 OpenAI o1 | 希捷推出高达 36TB 的硬盘

DeepSeek发布开源大模型R1，性能比肩OpenAIo1DeepSeek正式发布了DeepSeek-R1大模型，并同步开源了模型权重，其性能对标OpenAIo1正式版。

x-cmd·2025-02-02 09:13

spring cloud netflix笔记

Ribbon可以通过配置文件制定负载均衡的规则默认使用轮训算法来实现负载均衡根据响应时间做权重两个自动装配类RibbonAutoConfiguration和LoadBalancerAutoConfiguration

精神病院丶吴院长·2025-02-02 05:16

自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

2.2Transformer的输入2.2.1InputEmbeding2.2.2PositionalEncoder2.2.3Transformer的输入2.3Transformer的自注意力机制2.3.1注意力机制2.3.2权重矩阵

这个男人是小帅·2025-02-01 18:33

大模型迎来2025开年大作：deepseek-R1与deepseek-R1-Zero

2025-01-20正式发布DeepSeek-R1，并同步开源模型权重。DeepSeek-R1遵循MITLicense，允许用户通过蒸馏技术借助R1训练其他模型。

Funny_AI_LAB·2025-02-01 18:02

AI协助探索AI新构型的自动化创新概念

扩展结点、增加参数，是另一种外延式的实现复杂性的方式，这种方式，也可以看作是有限结点、动态连接形式，是等效的，当连接权重置值0，就相当于连接消除，连接构型中相当于没

liron71·2025-02-01 09:15

深度学习训练模型损失Loss为NaN或者无穷大（INF）原因及解决办法

数据预处理问题6.数据标签与输入不匹配7.模型初始化问题8.优化器设置问题9.数值问题==10.模型结构设计缺陷==二、调试步骤三、常见预防措施一、可能原因1.学习率过高原因：学习率过高可能导致梯度爆炸，权重更新幅度过大

余弦的倒数·2025-02-01 05:17

模型高效推理--剪枝基础

1.按照剪枝粒度分类(粗➡️细)A.结构化剪枝a.隐藏层剪枝（LayerPruning）b.通道剪枝（ChannelPruning）c.卷积核剪枝（KernelPruning）B.非结构化剪枝a.核内权重剪枝

绒绒毛毛雨·2025-02-01 05:16

阿里最全面试116题整理

1.junit用法，before,beforeClass,after,afterClass的执行顺序2.分布式锁3.nginx的请求转发算法，如何配置根据权重转发4.用hashmap实现redis有什么问题

数据存储张·2025-02-01 05:10

用engine引擎文件在Jetson上面进行推理（YOLOv8）

1.pt文件，推理在Jetson上可以通过predict.py脚本用.pt权重文件进行推理脚本如下：importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif

薇憨·2025-02-01 03:29

通过TenSorRT转换后的engine引擎文件进行验证的脚本

importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif__name__=='__main__':model=YOLO('/best.pt')#权重文件路径

薇憨·2025-02-01 03:28

python 求导实现_python – NumPy中的Softmax导数接近0(实现)

这是如何以更加矢量化的numpy方式计算softmax函数的导数的答案.然而,偏导数逼近零的事实可能不是数学问题,并且只是学习率或复杂深度神经网络的已知死亡权重问题.像ReLU这样的图层有助于防止后一问题

非凡运营笔记·2025-01-31 23:22

DeepSeek 系列之构建我自己的 DeepSeek Janus Pro Web 界面：使用 Gradio 进行本地实验

知识大胖·2025-01-31 20:28

DeepSeek 系列之无需互联网即可在本地运行 DeepSeek R1

知识大胖·2025-01-31 19:21

深度学习过程是什么

问：深度学习是：一组原始数据，经过线性变换、非线性变换、偏差加和等操作后得到一组预测数据，再根据损失函数计算预测数据和原始数据的差值，用差值数据对权重和偏差求偏导，这里的偏导数的值也就是使得损失减小的最佳方向

小松要进步·2025-01-31 01:15

【练习】PAT 乙 1031 查验身份证

校验码的计算规则如下：首先对前17位数字加权求和，权重分配为：{7，9，10，5，8，4，2，1，6，3，7，9，10，5，8，4，2}；然后将计算的和对11取模得到值Z；最后按照以下关系对应Z值与校验码

柠石榴·2025-01-30 16:27

大数据技术在数据安全治理中的应用

该技术可以发现系统中潜在的权限影响因素，并可从多个角度衡量不同含义的权重影响力，识别结果可解释性强。

罗思付之技术屋·2025-01-30 11:17

Haproxy入门学习二

haproxy的调度算法分为静态和动态调度算法，其中有些算法可以根据参数在静态和动态算法中相互转换3.静态算法：按照事先定义好的规则轮询公平调度不关心后端服务器的当前负载、连接数和响应速度等并且不可以实时修改权重

DawnEillen·2025-01-30 06:08

附修改后的代码和PSNR最优的模型权重文件！

超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等）修改后代码和权重文件下载见文末链接

十小大·2025-01-29 16:47

【算法思考】Radial basis function interpolation （RBF）插值法

目录什么是插值什么是Radialbasisfunction如何基于Radialbasisfunction中建立插值计算插值的权重基于插值权重求解新采样点函数值代码实现参考文献什么是插值假设我们有n个采样点

Kross Sun·2025-01-29 11:27

空间权重矩阵——理论介绍（第一期）

空间权重矩阵的介绍在进行空间数据分析时，空间权重矩阵是一个重要的工具。它用于表示不同地理位置之间的空间关系。本文将详细介绍空间权重矩阵的定义、构建方法以及在空间计量分析中的应用。什么是空间权重矩阵？

我也可以是流浪诗人584·2025-01-29 10:45

空间权重矩阵总结

前言建立空间计量模型的前提，一般要引入空间权重矩阵WWW来表达nnn个位置的空间区域邻近关系。

Wency(王斯-CUEB)·2025-01-29 10:13

python3+TensorFlow 2.x（四）反向传播

目录反向传播算法反向传播算法基本步骤：反向中的参数变化总结反向传播算法反向传播算法（Backpropagation）是训练人工神经网络时使用的一个重要算法，它是通过计算梯度并优化神经网络的权重来最小化误差

刀客123·2025-01-29 07:53

【计算机视觉】图像滤波

函数模糊类型特点使用场景cv.blur均值模糊简单快速，所有像素权重相等基础平滑和降噪cv.GaussianBlur高斯模糊中心权重

油泼辣子多加·2025-01-28 21:52

神经网络及其架构和模型的关系

它由**多个神经元（节点）**和连接权重组成，这些神经元组织成不同的层，通过输入数据进行学习和预测。

爱吃瓜的猹z·2025-01-27 23:44

运用python进行多任务学习过程中，手动调整权重时，如何选择项目并确定合适的权重值？

在手动调整多任务学习中不同任务的损失权重时，确定合适的权重值是一个需要细致考虑的问题。

大懒猫软件·2025-01-27 13:02

利用MMDetection进行模型微调和权重初始化

目录模型微调修改第一处：更少的训练回合Epoch修改第二处：更小的学习率LearningRate修改第三处：使用预训练模型权重初始化实际使用案例init_cfg的具体使用规则初始化器配置汇总本文基于MMDetection

MickeyCV·2025-01-27 07:27

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

文章目录关于模型列表&数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1

伊织产研·2025-01-27 00:07

Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理

在本文中，我们将重点讨论如何执行只权重量化（WOQ）来压缩8B参数模型并改

lichunericli·2025-01-27 00:37

Diffusion中guidance_scale 的理解

它的含义和使用与论文Imagen:PhotorealisticText-to-ImageDiffusionModelswithComposableConditions中的公式(2)的引导权重类似。

不当菜鸡的程序媛·2025-01-26 18:50

深度学习中高斯噪声：为什么以及如何使用

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来源：DeepHubIMBA本文约1800字，建议阅读8分钟高斯噪声是深度学习中用于为输入数据或权重添加随机性的一种技术。

小白学视觉·2025-01-26 05:38

6 回归集成：xgb、lgb、cat

这个代码是从kaggle上拷贝过来的：如何使用三个树模型模块化训练；文本特征如何做，如何挖掘；时间特征的处理；模型权重集成；importpandasaspdimportmathimportnumpyasnpimportjoblibimportoptunafromlightgbmimportLGBMRegressorfromcatboostimportCatBoostRegressorfromxgb

汀沿河·2025-01-26 02:41

【深度学习|变化检测孪生网络】基于共享权重的双流 U-Net 变化检测网络架构，附代码（一）

【深度学习|变化检测孪生网络】基于共享权重的双流U-Net变化检测网络架构，附代码（一）【深度学习|变化检测孪生网络】基于共享权重的双流U-Net变化检测网络架构，附代码（一）文章目录【深度学习|变化检测孪生网络

努力学习的大大·2025-01-25 22:43

springcloud nacos 负载均衡权重

springcloudnacos负载均衡权重项目搭建代码在这里https://blog.csdn.net/weixin_45730866/article/details/128930496?

牛马狗猪猴·2025-01-25 21:02

Nacos负载均衡

常见的负载均衡策略随机、hash、轮询、权重、最小连接数、最快响应速度适用场景1、在短连接中因为连接快速建立销毁因为数据延时容易造成堆积效应，随机、hash、轮询、权重四种方式大致能够保持整体是均衡的，

平凡人笔记·2025-01-25 20:58

C#List排序多权重、自定义

一、对基础类型排序初始化一个list：Listlist=newList(){1,3,2,8,6};方法一：调用sort方法，如果需要降序，进行反转：list.Sort();//升序排序list.Reverse();//反转顺序方法二：使用lambda表达式，在前面加个负号就是降序了list.Sort((x,y)=>x.CompareTo(y));//升序list.Sort((x,y)=>-x.Co

秋漓·2025-01-25 17:04

神经网络|(三)线性回归基础知识

西猫雷婶·2025-01-25 16:56

InternLM: LMDeploy 量化部署进阶实践

大模型缓存推理本章的前半部分主要讲量化，包括KV-Cache量化、权重量化、激活值量化。

dilvx·2025-01-25 06:42

stable diffusion 模型和lora融合

SuperMerger插件学习-哔哩哔哩接下来学习的插件名字叫做SuperMerger，它的作用正如其名，可以融合大模型或者LoRA，一般来说会结合之前的插件LoRABlockWeight使用，在调整完成LoRA模型的权重后使用改插件进行重新打包

Kun Li·2025-01-25 05:06

2025数学建模美赛——神经网络预测模型详解

2025数学建模美赛——神经网络预测模型详解一、神经网络预测模型基础1.1、神经网络概述神经网络是一种模拟人脑神经元工作方式的计算模型，它由大量的节点（或称为神经元）组成，这些节点通过连接权重相互连接。

前程算法屋·2025-01-25 02:11

Transformer的linear和softmax

权重矩阵：线性层内部有一

编码浪子·2025-01-24 21:04

DeepSeek 公开新的模型权重

除特定受限应用（军事、伤害未成年人、生成虚假信息等）外，模型权重开源，可在线下载。

数据分析能量站·2025-01-24 19:22

智源社区AI周刊：Hinton预测破解大脑机制时间；Gary Marcus批判追捧深度学习风潮；谷歌发布Imagen...

观点“我们会在未来的五年内破解这些（人脑的）程序......现有的一切人工智能，都是建立在与大脑高层次上所做的事情完全不同的基础上......假设有数十亿的参数，这些神经元间的权重在大量训练实例的基础上去调整

智源社区·2025-01-24 18:46

python调用tensorflow模型_python下tensorflow模型的导出

一基本流程1.python脚本中定义自己的模型，训练完成后将tensorflowgraph定位导出为protobuf的二进制文件或者文本文件(一个仅有tensor定义但是不含有权重参数的文件)；2.python

weixin_39663602·2025-01-24 13:06

y98.第六章微服务、服务网格及Envoy实战 -- 集群管理(九)

集群管理8.0本节话题集群管理器与服务发现机制主动健康状态检测与异常点探测负载均衡策略分布式负载均衡负载均衡算法：加权轮询、加权最少连接、环哈希、磁悬浮和随机等；区域感知路由全局负载均衡位置优先级位置权重均衡器子集熔断和连接池

Raymond运维·2025-01-24 08:53

F1. Omsk Metro (simple version)

，其中“+”代表将一个权重为xi的新节点添加到vi(xi,vi,见输入介绍)；“？”

L_M_TY·2025-01-24 04:16

高斯混合模型（GMM）：用“高斯家族”描绘数据的“模样”

2.算法原理2.1模型结构GMM的核心组成包括：混合权重：每个高斯分量

ningaiiii·2025-01-23 15:45

深度学习中的通道(Channel)概念详解

2.大语言模型中的通道2.1全连接层的通道概念2.1.1基本结构输入：[batch_size,input_features]权重：[input_features,output_features]输出：[

小·恐·龙·2025-01-23 09:33

联邦学习中客户端发送的梯度是vector而不是tensor

在联邦学习中，当本地使用神经网络或深度学习模型时，训练的梯度通常是与模型参数（权重和偏置）相对应的梯度数据。

wzx_Eleven·2025-01-22 18:33

美国采取行动扩大人工智能出口限制

新规创建三级体系，对不同国家区别对待，并首次限制大型AI模型封闭权重出口。规则运作方式意见征询与生效：新规在媒体曝光后发布，设120天公众意见征询期，供新政府参考调整，预计一年后生效。

数据分析能量站·2025-01-22 16:08

推荐频道