权重衰减第3页

深度学习｜表示学习｜Batch Normalization 详解：数学、代码与经验总结｜22

BN通过对mini-batch数据进行归一化，使每层的输入数据分布保持稳定，从而缓解梯度消失/爆炸问题，同时减少对权重初始化的敏感性。

漂亮_大男孩·2025-02-11 08:56

【Python】网格策略回测（日内高频数据）

策略思路：传统网格策略需要设定参数为网格间距、仓位权重。相当于把收盘价分成数个网格、价格移动到下个网格则成交。传统网格策略需提前设置格子数量、若价格走到无格子的位置时则不产生交易。

Yolimia·2025-02-11 06:38

面试官：如何在千万级数据中查询 10W 的数据，都有什么方案？

前言在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过10W的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现3次）。

搬山道猿·2025-02-10 13:55

神经网络的训练过程详解

参数每个连接之间都有权重和偏置，用来调整信息传递强度和初始偏置值。二、训练过程概述初始化随机初始化权重和偏置，

西洲啊·2025-02-10 10:31

AI大模型：一文搞懂大模型文件存储格式新宠GGUF

在日常AI模型训练过程中，训练好的模型权重通常需要以一种格式存储在磁盘中。

Llama-Turbo·2025-02-10 01:37

CNN-day11-注意力机制

通过注意力机制，模型可以做到对图像中不同区域、句子中的不同部分给予不同的权重，从而增强感兴趣特征，并抑制不感兴趣区域。2注意力应用注意力机制最初应用于机器翻

谢眠·2025-02-09 19:26

深度学习-数学基础-01

学习神经网络需要以下数学基础：线性代数向量与矩阵神经网络中的数据通常以向量（如输入特征向量）和矩阵（如权重矩阵）的形式表示。理解向量的点积、加法、减法等运算，以及矩阵的乘法、转置等操作至关重要。

·2025-02-09 18:35

从零开始构建一个大语言模型-第六章第一节

第六章目录6.1不同类型的微调6.2准备数据集6.3创建数据加载器6.4用预训练权重初始化模型6.5添加分类头6.6计算分类损失和准确率6.7在有监督数据上微调模型6.8将大语言模型用作垃圾邮件分类器本章内容涵盖介绍不同的大语言模型微调方法为文本分类准备数据集修改预训练大语言模型以进行微调使用微调后的大语言模型对新数据进行分类到目前为止

释迦呼呼·2025-02-09 18:17

nginx常用负载均衡策略及使用场景

目录1.轮询（RoundRobin）2.权重（WeightedRoundRobin）3.最少连接（LeastConnections）4.IP哈希（IPHash）5.一致性哈希（Hash）1.轮询（RoundRobin

Biturd·2025-02-09 12:39

《探秘卷积神经网络的核心—卷积核》

卷积核中的每个元素都是一个权重参数，这些参数会在网络训练过程

·2025-02-08 19:57

【深度学习】L1损失、L2损失、L1正则化、L2正则化

（L1Loss）2.L2损失（L2Loss）3.L1正则化（L1Regularization）4.L2正则化（L2Regularization）5.总结5.1为什么L1正则化会产生稀疏解L2正则化会让权重变小

小小小小祥·2025-02-08 15:31

【YAMAHA-MG16 调音台操作方法】

2.PAD26db：衰减，当信号输入过大时使用（例如接电吉他等）。3.HPF80Hz：低切高通滤波，声音感觉浑浊时使用，该功能会切掉80Hz以下的信号，声音会变得干净很多。

叫我小虎就行了·2025-02-08 13:22

图论- DFS/BFS遍历

遍历深度优先搜素(DFS)Vertex模版-遍历所有节点为什么成环会导致死循环呢临接矩阵和临接表版-遍历所有节点遍历所有路径-临接矩阵和临接表版广度优先搜索(BFS)不记录遍历步数的需要记录遍历步数的需要适配不同权重边的深度优先搜素

左灯右行的爱情·2025-02-07 11:22

《集群、权重、时间戳回眸一识》

人物：王浩田时间：2016年9月11日地点：万达二楼玻璃屋主题：memcached分布式存储开篇之言通过演讲者王浩田在讲述的过程中，我发现有几个名词是之前听过但并未了解的新鲜事物，特写此篇来浅析集群、权重

杨晓风-linda·2025-02-07 09:08

在本地运行DeepSeek Janus 系列，DeepSeek Janus 系列用于图像理解和生成的统一多模态 AI

知识大胖·2025-02-07 02:54

空间注意力模块（SAM）和时间注意力模块（TAM）详解及代码复现

这种机制通过动态分配权重，突出重要特征，抑制无关信息，从而提高图像识别的准确性和效率。

清风AI·2025-02-06 21:47

“AI界拼多多”发布Deepseek R1，AI顿悟时刻出现

就在昨晚，距离DeepSeekAPP上线十天左右的时间，DeepSeek终于在官宣了DeepSeek-R1发布，并同步开源模型权重。

小敢摘葡萄·2025-02-06 16:14

从零开始构建一个大语言模型-第五章第五节

第五章目录5.1评估生成文本模型5.2训练一个LLM5.3控制随机性的解码策略5.4在PyTorch中加载和保存模型权重5.5从OpenAI加载预训练权重5.5从OpenAI加载预训练权重此前，我们使用一个由一本短篇小说集组成的有限数据集训练了一个小型

释迦呼呼·2025-02-06 15:41

Python-玩转数据-凸优化

一、说明最优化问题目前在机器学习，数据挖掘等领域应用非常广泛，因为机器学习简单来说，主要做的就是优化问题，先初始化一下权重参数，然后利用优化方法来优化这个权重，直到准确率不再是上升，迭代停止，那到底什么是最优化问题呢

人猿宇宙·2025-02-06 02:35

【深度学习】权重衰减

权重衰减前一节我们描述了过拟合的问题，本节我们将介绍一些正则化模型的技术。我们总是可以通过去收集更多的训练数据来缓解过拟合。但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。

熙曦Sakura·2025-02-06 02:33

2024前端笔试题（vue2/vue3/react）

一、$HTML，HTTP，web综合问题1、前端需要注意哪些SEO（搜索引擎优化）合理的title、description、keywords：搜索对着三项的权重逐个减小，title值强调重点即可，重要关键词出现不要超过

字符敲击手·2025-02-06 00:16

昆仑万维官宣开源2000亿稀疏大模型Skywork-MoE

开源地址：Skywork-MoE的模型权重、技

TMT星球·2025-02-05 16:50

运行 Deepseek 视觉模型的方法

知识大胖·2025-02-05 13:30

DeepSeek 微调变得简单：使用 Python 创建自定义 AI 模型学习针对所有用例微调 DeepSeek R1 模型

知识大胖·2025-02-04 22:09

【漫话机器学习系列】079.超参数调优（Hyperparameter Tuning）

1.超参数的定义超参数是控制学习过程的外部参数，不同于模型参数（例如权重和偏置），超参数不通过训练过程自动优化。常见的超参数包括：学习

IT古董·2025-02-04 11:44

机器学习笔记20241017

文章目录torchvisiondataloadernn.module卷积非线性激活模型选择训练误差泛化误差正则化权重衰退的基本概念数学表示权重衰退的效果物理解释数值稳定性（GradientVanishing

tt555555555555·2025-02-04 03:11

Sklearn 中的线性回归模型

θ0+θ1x1h_\theta(x)=\theta^Tx=\theta_0+\theta_1x_1hθ(x)=θTx=θ0+θ1x1这里的θ0\theta_0θ0就是偏置，而θ1\theta_1θ1就是权重

Cacciatore->·2025-02-03 23:40

动态图最短路径的实时优化：应对边权重频繁更新的工程实践

在处理动态图中的最短路径问题时，尤其是面对边权重频繁更新的情况，传统的静态图算法如Dijkstra算法或Bellman-Ford算法可能不再适用或效率低下。

热爱分享的博士僧·2025-02-03 23:07

【机器学习BDT】python代码实现(下)

实现导入库分类树主体代码回归树主体代码输出函数完整代码后续可能添加的功能BDT(BootstrapDecisionTree)python实现代码仅供参考导入库importCART树_自己写importnumpy其中一个库之前写的分类树主体代码在原始数据权重基础上使用更新的数据权重以更新

mcoc132·2025-02-03 22:05

Floyd 算法

Floyd算法是一种在具有正或负边缘权重（但没有负周期）的

ん贤·2025-02-03 11:03

SAP Portfolio Analyzer 中夏普比率（Sharpe Ratio）计算

其中，年华组合收益可以使用时间权重（Time-weightedrateofreturn(TWRR)），或者金钱权重（Money-weightedrateofreturn(MWRR)）或者Modi

cuiyan6458·2025-02-02 23:22

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

LoRA(Low-RankAdaptation)是一种高效的微调方法，它通过引入少量可训练参数，固定预训练模型的权重，从而在保持性能的同时大大减少了计算开销。

kakaZhui·2025-02-02 13:14

嵌入式工程师必学（111）：示波器带宽和采样率

带宽是系统可以精确测量或通过而不会有明显衰减的频率范围，以Hz为单

芯片-嵌入式·2025-02-02 10:22

[250125] DeepSeek 发布开源大模型 R1，性能比肩 OpenAI o1 | 希捷推出高达 36TB 的硬盘

DeepSeek发布开源大模型R1，性能比肩OpenAIo1DeepSeek正式发布了DeepSeek-R1大模型，并同步开源了模型权重，其性能对标OpenAIo1正式版。

x-cmd·2025-02-02 09:13

spring cloud netflix笔记

Ribbon可以通过配置文件制定负载均衡的规则默认使用轮训算法来实现负载均衡根据响应时间做权重两个自动装配类RibbonAutoConfiguration和LoadBalancerAutoConfiguration

精神病院丶吴院长·2025-02-02 05:16

自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

2.2Transformer的输入2.2.1InputEmbeding2.2.2PositionalEncoder2.2.3Transformer的输入2.3Transformer的自注意力机制2.3.1注意力机制2.3.2权重矩阵

这个男人是小帅·2025-02-01 18:33

大模型迎来2025开年大作：deepseek-R1与deepseek-R1-Zero

2025-01-20正式发布DeepSeek-R1，并同步开源模型权重。DeepSeek-R1遵循MITLicense，允许用户通过蒸馏技术借助R1训练其他模型。

Funny_AI_LAB·2025-02-01 18:02

AI协助探索AI新构型的自动化创新概念

扩展结点、增加参数，是另一种外延式的实现复杂性的方式，这种方式，也可以看作是有限结点、动态连接形式，是等效的，当连接权重置值0，就相当于连接消除，连接构型中相当于没

liron71·2025-02-01 09:15

深度学习训练模型损失Loss为NaN或者无穷大（INF）原因及解决办法

数据预处理问题6.数据标签与输入不匹配7.模型初始化问题8.优化器设置问题9.数值问题==10.模型结构设计缺陷==二、调试步骤三、常见预防措施一、可能原因1.学习率过高原因：学习率过高可能导致梯度爆炸，权重更新幅度过大

余弦的倒数·2025-02-01 05:17

模型高效推理--剪枝基础

1.按照剪枝粒度分类(粗➡️细)A.结构化剪枝a.隐藏层剪枝（LayerPruning）b.通道剪枝（ChannelPruning）c.卷积核剪枝（KernelPruning）B.非结构化剪枝a.核内权重剪枝

绒绒毛毛雨·2025-02-01 05:16

阿里最全面试116题整理

1.junit用法，before,beforeClass,after,afterClass的执行顺序2.分布式锁3.nginx的请求转发算法，如何配置根据权重转发4.用hashmap实现redis有什么问题

数据存储张·2025-02-01 05:10

用engine引擎文件在Jetson上面进行推理（YOLOv8）

1.pt文件，推理在Jetson上可以通过predict.py脚本用.pt权重文件进行推理脚本如下：importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif

薇憨·2025-02-01 03:29

通过TenSorRT转换后的engine引擎文件进行验证的脚本

importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif__name__=='__main__':model=YOLO('/best.pt')#权重文件路径

薇憨·2025-02-01 03:28

python 求导实现_python – NumPy中的Softmax导数接近0(实现)

这是如何以更加矢量化的numpy方式计算softmax函数的导数的答案.然而,偏导数逼近零的事实可能不是数学问题,并且只是学习率或复杂深度神经网络的已知死亡权重问题.像ReLU这样的图层有助于防止后一问题

非凡运营笔记·2025-01-31 23:22

DeepSeek 系列之构建我自己的 DeepSeek Janus Pro Web 界面：使用 Gradio 进行本地实验

知识大胖·2025-01-31 20:28

DeepSeek 系列之无需互联网即可在本地运行 DeepSeek R1

知识大胖·2025-01-31 19:21

深度学习过程是什么

问：深度学习是：一组原始数据，经过线性变换、非线性变换、偏差加和等操作后得到一组预测数据，再根据损失函数计算预测数据和原始数据的差值，用差值数据对权重和偏差求偏导，这里的偏导数的值也就是使得损失减小的最佳方向

小松要进步·2025-01-31 01:15

【练习】PAT 乙 1031 查验身份证

校验码的计算规则如下：首先对前17位数字加权求和，权重分配为：{7，9，10，5，8，4，2，1，6，3，7，9，10，5，8，4，2}；然后将计算的和对11取模得到值Z；最后按照以下关系对应Z值与校验码

柠石榴·2025-01-30 16:27

大数据技术在数据安全治理中的应用

该技术可以发现系统中潜在的权限影响因素，并可从多个角度衡量不同含义的权重影响力，识别结果可解释性强。

罗思付之技术屋·2025-01-30 11:17

Haproxy入门学习二

haproxy的调度算法分为静态和动态调度算法，其中有些算法可以根据参数在静态和动态算法中相互转换3.静态算法：按照事先定义好的规则轮询公平调度不关心后端服务器的当前负载、连接数和响应速度等并且不可以实时修改权重

DawnEillen·2025-01-30 06:08

推荐频道

权重衰减