pytorch分布式训练第17页

【PyTorch】torch.nn.functional.cross_entropy() 函数：分类任务的交叉熵损失函数

torch.nn.functional.cross_entropytorch.nn.functional.cross_entropy是PyTorch中用于分类任务的交叉熵损失函数，用于衡量预测概率分布与真实类别分布之间的差异

彬彬侠·2025-03-14 23:24

图神经网络学习笔记—高级小批量处理（专题十四）

小批量（mini-batch）的创建对于让深度学习模型的训练扩展到海量数据至关重要。与逐条处理样本不同，小批量将一组样本组合成一个统一的表示形式，从而可以高效地并行处理。

AI专题精讲·2025-03-14 23:52

医学文本分析中的命名实体识别：从理论到实践

1.数据预处理数据预处理是医学命名实体识别系统的基础步骤，其质量直接影响模型的训练效果和最终性能。数据预处理主要包括医学文本的标注、清洗以及数据增强三个方面。

软件职业规划·2025-03-14 23:51

每天五分钟玩转深度学习PyTorch：基于GoogLeNet完成CAFIR10分类

本文重点前面我们终于使用pytorch搭建了GoogLeNet，本文我们使用该网络模型解决一个实际问题，也就是使用它完成CAFIR10分类，其实就这些任务而言，我们只要搭建好模型，然后把数据喂进去就行了

每天五分钟玩转人工智能·2025-03-14 23:50

Deepseek:物理神经网络PINN入门教程

一、物理信息网络（PINN）的概念与原理1.定义与来源物理信息网络（Physics-InformedNeuralNetworks,PINN）是一种将物理定律（如偏微分方程、守恒定律等）嵌入神经网络训练过程的深度学习方法

天一生水water·2025-03-14 23:50

基于Transformer的医学文本分类：从BERT到BioBERT

Transformer模型，尤其是BERT及其变体，通过预训练和微调的方式，能够有效捕捉医学文本中的语义信息，为医学文本分类提供了强大的工具。本文将探讨Transfor

Evaporator Core·2025-03-14 23:17

算力网络技术创新驱动生态协同发展

当前技术创新主要聚焦三大维度：在架构层面，通过异构计算、量子计算与神经形态计算的融合，突破传统芯片制程限制；在调度层面，依托分布式计算与流批处理技术，实现跨边缘节点、工业互联网平台与超算中心的资源动态编排

智能计算研究中心·2025-03-14 22:14

A800架构设计与实战

全书以分布式运算优化原理为切入点，通过对核心模块的层级化拆解，深入剖析多节点协同计算中的资源分配、任务调度及通信瓶颈突破方法。

智能计算研究中心·2025-03-14 22:43

H100解锁生成式AI算力新纪元

其创新性设计聚焦三大技术支柱：第三代TensorCore通过稀疏计算与混合精度支持，显著提升矩阵运算效率；显存带宽优化技术结合HBM3高带宽内存，将数据吞吐量提升至3.35TB/s，有效缓解大规模模型训练中的显存墙问题

智能计算研究中心·2025-03-14 22:43

Batch Normalization理解

来说输入的就是满足某一分布的特征矩阵，但对于Conv2而言输入的featuremap就不一定满足某一分布规律了（注意这里所说满足某一分布规律并不是指某一个featuremap的数据要满足分布规律，理论上是指整个训练

zhimengxiang·2025-03-14 22:13

深度学习项目--基于DenseNet网络的“乳腺癌图像识别”，准确率90%+，pytorch复现

本文为365天深度学习训练营中的学习记录博客原作者：K同学啊前言如果说最经典的神经网络，ResNet肯定是一个，从ResNet发布后，很多人做了修改，denseNet网络无疑是最成功的一个，它采用密集型连接

羊小猪~~·2025-03-14 22:08

从零到一：Transformer模型的原理与实战之旅

1.2自注意力机制的核心1.3Transformer的结构2.实战：构建Transformer模型2.1任务目标2.2环境准备2.3数据准备2.4模型构建2.5模型训练3.推理实战：完整示例与输出结果3.1

樽酒ﻬق·2025-03-14 21:06

CAP 公理解析：分布式系统中的一致性、可用性与分区容错性

文章目录1.CAP公理的核心概念1.1一致性（Consistency）1.2可用性（Availability）1.3分区容错性（PartitionTolerance）2.CAP公理的三种选择2.1CA（一致性+可用性）2.2CP（一致性+分区容错性）2.3AP（可用性+分区容错性）3.CAP公理的实际应用3.1CP系统（一致性+分区容错性）示例1：ZooKeeper示例2：etcd3.2AP系统（

Vitalia·2025-03-14 21:33

边缘计算（Edge Computing）

边缘计算（EdgeComputing）是一种分布式计算范式，它将数据处理和存储功能从传统的集中式云端转移到靠近数据源的网络边缘设备（如路由器、网关、本地服务器或终端设备）。

Dream Algorithm·2025-03-14 21:01

PyTorch 深度学习实战（13）：Proximal Policy Optimization (PPO) 算法

我们将使用PyTorch实现PPO算法，并应用于经典的CartPole问题。一、PPO算法基础PPO是OpenAI提出的一种强化学习算法，旨在解决策略梯度方法中的训练不稳定问题。PPO通过

进取星辰·2025-03-14 19:47

机器学习(二) 本文(2.5万字) | KNN算法原理及Python复现 |

KDTree7.1构造KDtree7.2KDtree查找最近邻八KNN特点九KNN算法实现案例一案例二1.机器学习2.深度学习与目标检测3.YOLOv54.YOLOv5改进5.YOLOv8及其改进6.Python与PyTorch7

小酒馆燃着灯·2025-03-14 19:11

电力行业中实现“电力一张图” 可行方案

以下是具体的技术实现方案：一、系统架构设计采用分层架构，涵盖数据采集、通信、处理、可视化及应用层：感知层设备部署：在变电站、杆塔、线路、分布式能源等节点部署智能传感器（如温湿度传感器、振动传感器、电流互感器

小赖同学啊·2025-03-14 19:09

笔记:代码随想录算法训练营day39:LeetCode 198.打家劫舍,213.打家劫舍II,337.打家劫舍III

学习资料:代码随想录198.打家劫舍力扣题目链接思路：有点像贪心，是一个不断比较取最大路径的思路定义：偷到下标为i的这家，能偷到的最大值递推公式：选当前这家偷能得到的钱和不偷当前这家的钱作比较，选能偷到的最大金额。因为这个金额是逐一递推过来的，所以是能够代表最大值的。初始化：把第一家和第二家初始化，简单来说，因为递推公式需要i-1和i-2遍历顺序：顺着偷打印：//五部曲//定义:dp[i]为偷到第

jingjingjing1111·2025-03-14 18:07

软件架构师--数据库系统

一、分布式数据库1.分片透明性分片透明性：分不分片，用户感受不到（不关心如何分片存储）。位置透明性：数据存放在哪里，用户不用管（用户无需知道数据存放的物理位置）复制透明性：不关心结点的复制情况。

一蓑烟雨*任平生·2025-03-14 18:05

Redis 分布式锁

Redis分布式锁是一种在分布式系统中实现互斥访问共享资源的机制。它利用Redis的高性能和原子性操作来确保在多个节点之间安全地获取和释放锁。下面是对Redis分布式锁的原理讲解和源码剖析。

DebugDiver代码深处潜水员·2025-03-14 18:02

【大模型LLM面试合集】分布式训练_总结

9.总结1.数据并行数据并行，由于其原理相对比较简单，是目前使用最广泛的分布式并行技术。数据并行不仅仅指对训练的数据并行操作，还可以对网络模型梯度、权重参数、优化器状态等数据进行并行。

X.AI666·2025-03-14 17:28

【vLLM 学习】使用 TPU 安装

HyperAI超神经·2025-03-14 17:26

浅显易懂——连接池、分布式系统、微服务等概念

文章目录连接池比喻技术层面关键参数实际应用示例分布式系统概念实现方式实际应用场景关键概念分布式会话管理分布式计数器分布式锁分布式事务（DistributedTransaction）分布式追踪集群环境比喻优缺微服务架构比喻优缺实际场景服务间通信负载均衡服务发现连接池比喻想象你是一家餐厅的顾客

十五春会·2025-03-14 17:25

2025年渗透测试面试题总结-阿里巴巴-阿里云安全（二面）（题目+回答）

目录阿里巴巴-阿里云安全二面一、职业方向与技术偏好1.安全研究vs安全研发的定位二、云安全与身份认证2.云上PKI与身份认证的关注方向三、项目实践与成果3.字节跳动训练营项目四、攻防技术深度解析4.SQL

独行soc·2025-03-14 17:25

python笔记：进程和线程—分布式进程

一、分布式进程Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。

zyckhuntoria·2025-03-14 17:24

SpringBoot项目集成分布式任务调度平台XXL-JOB

一、概述XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

樱花语·2025-03-14 17:54

python任务调度平台界面_分布式任务调度平台XXL-JOB

一、简介1.1概述XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司

weixin_39572764·2025-03-14 16:21

KNN算法实例_手写识别系统

数据集我们将使用MNIST数据集，它包含60000个训练样本和10000个测试样本。每个样本是一个28x28像素的灰度图像，表示0-9之间的手写数字。

V文宝·2025-03-14 16:47

Python进程与线程：分布式进程

通过managers模块，我们可以轻松编写分布式多进程程

梧桐树0429·2025-03-14 16:45

Python 进程与线程-分布式进程

目录分布式进程小结分布式进程在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU

赔罪·2025-03-14 16:15

大模型高效优化技术全景解析：微调、量化、剪枝、梯度裁剪与蒸馏

Quantization）剪枝（Pruning）梯度裁剪（GradientClipping）知识蒸馏（KnowledgeDistillation）技术对比与协同策略总结与趋势1.微调（Fine-tuning）核心思想在预训练模型

时光旅人01号·2025-03-14 15:40

推理大模型：技术解析与未来趋势全景

ReasoningLLMs）是专门针对复杂多步推理任务优化的大型语言模型，具备以下核心特性：输出形式创新展示完整逻辑链条（如公式推导、多阶段分析）任务类型聚焦擅长数学证明、编程挑战、多模态谜题等深度逻辑任务训练方法升级融合强化学习

时光旅人01号·2025-03-14 15:10

LibreTranslate的本地部署与应用服务开发

最近在关注大模型预训练文章和应用服务开发，有时候需要借助翻译工具，使用起来都不太方便，就找了一下类似的常见语言的翻译方案，无意中看到一个开源翻译方案（即LibreTranslate），对于通用和计算机类内容的翻译效果还是不错的

一望无际的大草原·2025-03-14 15:08

【AI论文】TPDiff：时序金字塔视频扩散模型

基于这一洞见，我们提出了TPDiff，一个统一的框架，用于提高训练和推理效率。通过将扩散过程分为几个阶段，我们的框架在扩散过程中逐步增加帧率，仅在最后阶段采用全帧率，从而优化计算效率。

东临碣石82·2025-03-14 14:31

DeepSeek 面试题精选

以下是针对DeepSeek面试的精选问题及解答，涵盖技术原理、模型架构、训练方法和应用场景等方面，供面试准备参考：一、DeepSeek模型架构与技术原理1.请简述DeepSeek-V3模型的总体架构和主要创新点

CarlowZJ·2025-03-14 14:00

30.代码随想录算法训练营第三十天|452. 用最少数量的箭引爆气球,435. 无重叠区间,763. 划分字母区间

30.代码随想录算法训练营第三十天|452.用最少数量的箭引爆气球,435.无重叠区间,763.划分字母区间452.用最少数量的箭引爆气球-力扣（LeetCode）有一些球形气球贴在一堵用XY平面表示的墙面上

白鹭鸣鸣！·2025-03-14 14:00

从LayerNorm到RMSNorm：深度学习归一化技术的进化！qwen2.5的技术。

（RootMeanSquare,RMS）来进行归一化，避免了传统归一化方法中均值和方差的计算1.LayerNorm（层归一化）LayerNorm（层归一化）是一种用于深度学习的归一化技术，主要用于稳定训练过程

KangkangLoveNLP·2025-03-14 13:29

RocketMQ中事务消息的实现机制

在分布式系统中，确保消息与本地事务的一致性是一个关键问题。RocketMQ通过事务消息提供了对这种需求的支持，其核心思想是通过两阶段提交来确保消息和本地事务的原子性。

啊sen丶·2025-03-14 13:59

十种处理权重矩阵的方法及数学公式

1.权重归一化（WeightNormalization）目的：通过分离权重向量的范数和方向来加速训练。

阳光明媚大男孩·2025-03-14 13:26

【Agent实战】发票信息识别提取专家（AI +OCR技术结合ChatGPT4o能力+结构化prompt（CoT、One-shot等）+Knowledge - RAG+API工具Agent项目实践）

本文原创作者：姚瑞南AI-agent大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。

姚瑞南·2025-03-14 13:55

【从零开始学习计算机科学】数据库系统（十一）云数据库、NoSQL 与 NewSQL

【从零开始学习计算机科学】数据库系统（十一）云数据库、NoSQL与NewSQL云数据库云服务器的服务云数据库和传统的分布式数据库的异同NoSQLNoSQL数据库的特点CAP定理NoSQL的特性NoSQL

贫苦游商·2025-03-14 13:24

【漫话机器学习系列】137.随机搜索（Randomized Search）

随机搜索（RandomizedSearch）详解在机器学习和深度学习的模型训练过程中，超参数调优（HyperparameterTuning）是至关重要的一环。

IT古董·2025-03-14 12:50

医学人工智能影像诊断数据收集与整理

为了训练这些模型，需要大量的高质量标注数据。下面我会给出一个简单的示例流程，介绍如何收集、整理和准备医学影像数据集，并提供一些基础的Python代码示例。数据收集首先，你需要收集包含医学影像的数据集。

V搜xhliang0246·2025-03-14 12:18

Spring Cloud Alibaba RocketMQ 消息队列

作者：禅与计算机程序设计艺术1.简介RocketMQ是一款开源、高性能、分布式消息中间件，它具备以下主要特征：支持海量消息堆积能力，支持发送10万+TPS，且不受单机容量限制；提供灵活的消息过滤机制，支持按照标签

AI天才研究院·2025-03-14 12:47

Redis 部署方式有哪些

以下是Redis主从复制和分布式部署的详细方法和步骤：1.Redis主从复制部署架构主从复制是Redis最基本的分布式机制，通过将数据从主节点（Master）复制到多个从节点（Slave），实现读写分离和数据备份

十五001·2025-03-14 11:11

GAN生成对抗网络小记

生成对抗网络（GAN）深入解析：数学原理与优化生成对抗网络（GenerativeAdversarialNetwork,GAN）是一个基于博弈论的深度学习框架，通过生成器（G）和判别器（D）之间的对抗训练

文弱_书生·2025-03-14 11:38

Deepseek 你喜欢我不

**Deepseek的“情感”机制**-**输入**：你的问题“你喜欢我不”被解析为文本向量；-**处理**：通过预训练

太翌修仙笔录·2025-03-14 10:27

目前人工智能的发展，判断10年、20年后的人工智能发展的主要方向，或者带动的主要产业

中国通过DeepSeek等技术创新（如MLA注意力机制、FP8混合精度训练）突破算力瓶颈，实现与美国顶尖模型性能对标，成本降低至558万美元/项目。技术突破：量子

meisongqing·2025-03-14 09:23

一文读懂强化学习：从基础到应用

就像训练小狗，小狗做对了动作（比如坐下），就给它零食（奖励），做错了就没有零食（惩罚），慢慢地小狗就知道怎么做能得到更多零食，也就是学会了最优行为。强

LHTZ·2025-03-14 08:51

深度学习之优化器Optimizer介绍

优化器(Optimizer)是深度学习训练中非常关键的组件,它负责根据损失函数的梯度来更新模型参数,从而使模型性能不断提升。1.优化器的作用和重要性优化器是训练深度学习模型的核心组件之一。

yueguang8·2025-03-14 08:19

推荐频道

pytorch分布式训练