分布式训练

彻底解决分布式环境下Redisson消息队列监听重复执行问题

问题现象：测试环境单台部署，没有问题，生产环境多台部署订单都是2条重复数据。问题描述：我们把每个服务都部署了2台，订单产生后，有redisson的mq发布，如果MQListener监听到就会执行后面的业务逻辑。现实的问题是2台MQListener都会监听到，会重复处理我们的逻辑，插入数据库或修改数据库或写入ES等都会执行2遍。本文的DEMO中使用的是redisson的mq来测试的，同时Rabbit
renkai721·2025-03-19 13:22

MNIST数据集&手写数字识别

它提供了一种基于数据流图的编程模型，用于构建和训练机器学习模型。TensorFlow的核心概念是张量（Tensor）和流图（Graph）。
Zoro｜·2025-03-19 13:18

Codeforces Round 995 (Div. 3)

在这第iii天，如果Monocarp准备训练，那么他将完成aia_iai题，同样的，如果Stereocarp也在这天准备训练，那么他将完成bib_ibi题。
polarours·2025-03-19 13:17

三分钟让你搞懂云计算中的CDN是什么？

它是一种分布式的网络架构，通过将网站的静态资源（如图片、视频、JavaScript文
云上的阿七·2025-03-19 12:16

5G时代新基建：边缘节点如何将云计算响应速度提升300%“

边缘计算的核心优势边缘计算（EdgeComputing）是一种分布式
云上的阿七·2025-03-19 12:46

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

MapReduceSparkStormFlink解析：Hadoop的核心组件是HDFS（分布式文件系统）和MapReduce（分布式计算框架）。
苍曦·2025-03-19 12:43

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。
kkk1622245·2025-03-19 12:41

算力技术创新驱动多场景应用演进

在工业互联网场景中，边缘计算通过分布式节点实现毫秒级响应，支撑智能制造产线的实时控制；智能安防系统依托深度学习模型与流计算技术，完成海量视频数据的动态解析；而科学计算领域通过分布式计算与模型压缩技术，将基因测序
智能计算研究中心·2025-03-19 11:06

医疗影像联邦学习可解释性算法研究

本研究以跨机构医疗影像协作场景为核心，系统性探讨联邦学习框架下可解释性算法的创新路径，重点解决医疗AI模型在分布式训练中的透明度缺失问题。
智能计算研究中心·2025-03-19 11:36

【Python】测试数据生成工具 --- Faker

Faker的应用不仅限于测试，它还广泛应用于数据分析、机器学习训练集的准备以及任何需要大量样本数据的场景。Faker安装前提：已安装python、pip安装命令如下：pipinst
·2025-03-19 11:00

算力未来演进与多场景创新

从技术架构层面来看，异构计算通过整合CPU、GPU、FPGA等多元芯片实现性能跃升，边缘计算则借助分布式节点降低时延并提升响应效率，而量子计算在特定领域的指数级加速潜力已进入验证阶段。
智能计算研究中心·2025-03-19 11:06

融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践

本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训
·2025-03-19 11:59

深度学习框架PyTorch——从入门到精通（4）数据转换

转换（Transforms）很多时候，数据并不总是以训练机器学习算法所需的最终处理形式出现。所以我们需要使用变换对数据进行一些处理，使其适合训练。
Fansv587·2025-03-19 11:01

深度学习框架PyTorch——从入门到精通（5）构建神经网络

构建神经网络获取训练设备定义类模型层nn.Flattennn.Linearnn.ReLUnn.Sequentialnn.Softmax模型参数补充说明argmax神经网络是由一些层或者模块组成的，这些层和模块会对数据进行各种操作
Fansv587·2025-03-19 11:58

大语言模型的训练数据清洗策略

目录大语言模型的训练数据清洗策略1.数据去重与标准化问题解决方案示例代码（Python实现数据去重）：2.过滤有害内容问题解决方案示例代码（基于关键词过滤有害内容）：3.纠正数据不均衡问题解决方案示例代码
gs80140·2025-03-19 10:23

如何实现一个分布式单例对象?什么场景需要分布式单例?

在分布式系统中，无论是单台机器多个实例，还是多台机器多个实例，每个实例通常运行在独立的进程中，分布式单例是在这些多进程环境中，确保某个类的实例对象在整个分布式系统中是唯一的，即所有进程访问的都是同一个对象实例
空说·2025-03-19 10:18

Megatron-LM训练框架和Deepspeed训练框架最主要的异同和优劣是什么

核心异同点并行策略Megatron-LM核心：以张量并行（TensorParallelism）和流水线并行（PipelineParallelism）为主，结合数据并行。张量并行通过切分模型层（如注意力头、MLP块）到不同设备，利用NVLink高速通信提升效率。流水线并行将不同层分配到不同设备，通过P2P通信协调。DeepSpeed核心：ZeRO优化技术（ZeroRedundancyOptimize
强化学习曾小健·2025-03-19 09:15

Seata：分布式事务的终极解决方案

Seata（SimpleExtensibleAutonomousTransactionArchitecture）作为阿里巴巴开源的分布式事务解决方案，提供了优雅的解决思路。
斗-匕·2025-03-19 09:43

Seata：分布式事务的终极解决方案与深度实践

Seata：分布式事务的终极解决方案与深度实践在微服务架构中，订单支付需调用支付服务、库存服务和积分服务，若其中一个服务失败，如何保证数据的一致性？
斗-匕·2025-03-19 09:43

分布式节点池：群联云防护抗DDoS的核心武器

一、节点池的核心作用与架构设计1.全球分布式节点布局物理层防御：根据产品文档，群联在全球部署“海量分布式节点”，每个节点具备独立清洗能力，攻击流量被分散至不同区域节点处理。
群联云防护小杜·2025-03-19 09:42

分布式事务原理深度解析：从ACID到BASE的架构演进

这就是分布式事务要解决的核心问题。本文将深入剖析分布式事务的原理，揭示其背后的设计哲学。
斗-匕·2025-03-19 09:10

C#网络通信实战：从零打造高性能Socket编程与TCP/IP协议栈应用

网络通信是现代软件开发中不可或缺的一部分，特别是在分布式系统和互联网应用中。C#提供了丰富的网络编程接口，尤其是基于Socket的TCP/IP协议栈编程，可以实现高性能的网络通信。
墨瑾轩·2025-03-19 09:40

OctoTools：一个具有复杂推理可扩展工具的智体框架

现有方法使用外部工具增强大语言模型(LLM)，但仅限于专业领域、有限的工具类型或需要额外的训练数据。本文的OctoTools，是一个无需训练、用户友好且易于扩展的
三谷秋水·2025-03-19 09:09

微服务 vs 单体架构：你应该选择哪种模式？

今天，当“云原生”、“容器化”、“分布式”成为行业热词，微服务被推上了神坛。然而，单体架构真的过时了吗？微服务就注定是未来的唯一解法吗？如果你仍然在为“选择哪种架构”而困惑，这篇文章将带你跳
测试者家园·2025-03-19 07:52

深度学习框架PyTorch——从入门到精通（5）自动微分

使用torch.autograd自动微分张量、函数和计算图计算梯度禁用梯度追踪关于计算图的更多信息张量梯度和雅可比乘积在训练神经网络时，最常用的算法是反向传播。
Fansv587·2025-03-19 06:20

案例驱动的 IT 团队管理：创新与突破之路：第二章 团队组建：从人才画像到生态构建-2.2.1星型架构 vs 网状架构对比

点击关注不迷路点击关注不迷路点击关注不迷路文章大纲星型架构vs网状架构：IT团队结构创新的双模选择引言：从网络拓扑到组织设计的范式迁移一、架构解析：技术原理与管理哲学的融合1.1星型架构：中心化控制体系1.2网状架构：分布式协作网络二
言析数智·2025-03-19 06:47

标签转换脚本 - VOC格式转COCO格式，即voc2coco，xml2json 附VOC及COCO标签格式详解

专栏目录：YOLO训练/写作脚本目录一览|涉及标签转换、数据扩充、热力图、感受野、精度曲线、数量统计等近百个脚本文件专栏地址：YOLO训练/写作脚本——丰富文章内容，增强实验信服力，助力发文！！！
Limiiiing·2025-03-19 04:57

标签转换脚本 - VOC格式转YOLO格式，即voc2yolo，xml2txt 附VOC及YOLO标签格式详解

专栏目录：YOLO训练/写作脚本目录一览|涉及标签转换、数据扩充、热力图、感受野、精度曲线、数量统计等近百个脚本文件专栏地址：YOLO训练/写作脚本——丰富文章内容，增强实验信服力，助力发文！！！
Limiiiing·2025-03-19 04:26

Debezium系列之：使用Debezium采集oceanbase数据库

Debezium采集oceanbase数据库一、oceanbase数据库二、安装OceanBase三、安装oblogproxy四、基于Docker的简单采集案例五、生产实际应用案例Debezium是一个开源的分布式平台
快乐骑行^_^·2025-03-19 03:14

自建智能算力中心 vs 第三方算力租赁：AI企业的算力博弈与最优解

从ChatGPT到DeepSeek，从自动驾驶到智能医疗，AI模型的训练和推理需求呈现指数级增长。在这场技术革命中，算力已成为企业竞争的“命脉”。
·2025-03-19 03:50

RAG 在多模态数据处理中的应用探索：结合图像与文本生成

目录引言多模态数据处理的挑战与需求数据异质性与融合难题多样化应用场景的需求RAG在图像与文本生成中的应用架构图像检索与文本生成协同跨模态特征融合与生成关键技术与实现细节图像特征提取与表示文本检索与语义理解跨模态生成模型训练应用案例分析智能设计辅助医疗影像报告生成结论引言随着信息技术的飞速发展
hy098543·2025-03-18 22:40

如何计算一个7B的模型训练需要的参数量以及训练时需要的计算资源

计算理论过程见：transformer中多头注意力机制的参数量是多少？1.模型参数量的计算7B参数模型的总参数量是70亿（7billion）。这些参数主要分布在以下几个部分：Transformer层：多头注意力机制（Multi-HeadAttention）前馈神经网络（Feed-ForwardNetwork）嵌入层（EmbeddingLayer）：词嵌入（TokenEmbeddings）位置编码（
yxx122345·2025-03-18 20:59

程序员必看！DeepSeek全栈开发实战指南：从代码生成到性能优化

这两项技术突破对程序员群体意义重大：通信效率飞跃：DeepEP通过NVLink优化实现GPU间158GB/s传输速度，后端开发者训练大模型时可节省60%集群资源推理性能突破：R1模型在H
AI创享派·2025-03-18 20:59

MM-RAIT：多模态检索增强生成（RAG）的认知革命

多模态检索增强生成（RAG）领域迎来了一项里程碑式的突破——MM-RAIT框架通过“评估-训练”双轮驱动，显著提升了主流视觉语言模型的RAG性能，增幅达27%至34%。
花生糖@·2025-03-18 20:58

Pandas与PySpark混合计算实战：突破单机极限的智能数据处理方案

本文将揭示如何构建Pandas+PySpark混合计算管道，在保留Pandas便捷性的同时，借助Spark分布式引擎实现百倍性能提升，并通过真实电商用户画像案例演示全流程实现。
Eqwaak00·2025-03-18 19:52

五、AIGC大模型_05模型的vLLM部署与LangChain调用

0、概述要搭建一个大模型应用服务，通常需要包含以下五层结构，即：基础环境、模型层、推理层、对外接口、外挂应用在了解了模型的微调训练之后，本文将以vLLM、OpenAI、LangChain为例，介绍大模型的推理部署以及对外接口开放调用
学不会lostfound·2025-03-18 19:20

PyTorch 深度学习实战（17）：Asynchronous Advantage Actor-Critic (A3C) 算法与并行训练

本文将介绍强化学习领域的重要里程碑——AsynchronousAdvantageActor-Critic(A3C)算法，并展示如何利用PyTorch实现并行化训练来加速学习过程。
进取星辰·2025-03-18 19:17

谷粒商城学习笔记，第七天：性能压测+缓存+分布式锁

谷粒商城学习笔记，第七天：性能压测+缓存+分布式锁一、性能压测我们希望通过压测发现其他测试更难发现的错误：内存泄漏、并发与同步。
「已注销」·2025-03-18 18:44

DeepSeek 3FS 与 JuiceFS：架构与特性比较

在AI业务中，企业需要处理大量的文本、图像、视频等非结构化数据，还需要应对数据量的爆炸式增长，分布式文件系统因此成为AI训练的关键存储技术。
·2025-03-18 18:07

HarmonyNext实战：基于ArkTS的分布式任务调度系统开发

HarmonyNext实战：基于ArkTS的分布式任务调度系统开发引言在HarmonyNext生态系统中，分布式任务调度是一个复杂且关键的需求。
·2025-03-18 18:06

分布式电商项目 谷粒商城 学习笔记＜4＞

文章目录十五、压力测试1.一些基本概念2.JVM内存机制3.压测记录4.Nginx动静分离5.优化三级分类查询十六、redisson分布式锁与缓存1.概念2.redis3.缓存失效缓存穿透缓存雪崩缓存击穿互斥锁
怎么又有bug单·2025-03-18 18:39

DeepSeek 训练数据模板生成指南

DeepSeek训练数据模板生成指南（一次生成多条高质量数据集）一、核心数据格式规范1.基础结构（JSONL格式）每条数据需包含prompt（输入指令）和completion（期望输出）两个核心字段，采用单行
He.Tech·2025-03-18 18:39

鸿蒙Next开发与未来发展的变革：全场景操作系统的全新纪元

应用开发模式对比2.1.1元服务（MetaService）定义2.2开发工具链升级（DevEcoStudio4.0）2.2.1核心功能增强2.2.2工程结构变革三、关键技术突破3.1方舟编译器深度优化3.2分布式能力增强
北辰alk·2025-03-18 17:02

yolov4

V4贡献：亲民政策，单GPU就能训练的非常好，接下来很多小模块都是这个出发点两大核心方法，从数据层面和网络设计层面来进行改善消融实验，感觉能做的都让他给做了，这工作量不轻全部实验都是单GPU完成，不用太担心设备了
zzh-·2025-03-18 16:28

【pytorch(cuda)】基于DQN算法的无人机三维城市空间航线规划（Python代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、DQN算法概述三、基于DQN的无人机三维航线规划方法1.环境建模2.状态与动作定义3.奖励函数设计4.深度神经网络训练5.航线规划四、研究挑战与展望
wlz249·2025-03-18 16:28

yolov8的第一次实验报告

datasets]数据集大小:[2.68Gb]数据集描述:[数据集主要分两个类别：zdjy_ld,zdjy_gd]注释：占道经营流动，占道经营固定3.模型配置3.1基础配置·模型类型:YOLOv8·预训练模型
算法宇宙·2025-03-18 16:55

李开复：AI 2.0 时代的机遇

然而，深度学习模型的训练成本高、数据依赖性强、可解释性差等问题仍然制约着AI技术的进一步发展。李开复先生在《AI2.0时代的机遇》
AGI大模型与大数据研究院·2025-03-18 15:52

YOLOv8n-OBB使用C#在windows10进行部署（CPU）

1.训练YOLOv8-OBB模型1.1数据集制作所用标注工具：X-AnyLabeling下载链接：https://github.com/CVHub520/X-AnyLabeling/releases/download
cd_Ww777·2025-03-18 15:21

YOLOv8 的简介 及C#中如何简单应用YOLOv8

端到端训练：可以直接从图像输入端到分类结果输出，简化了训练和部署过程。改进的架构：包括更深的网络结构、更复杂的特征提取方法以及更高效的
码上有潜·2025-03-18 14:46

GraphQL 联邦架构：构建可扩展的分布式 API 生态系统

GraphQL联邦架构：构建可扩展的分布式API生态系统前言随着微服务架构在企业级应用中的广泛应用，各个服务需要独立演进与部署，API层的设计逐渐成为开发者面临的重要挑战。
全栈探索者chen·2025-03-18 14:44
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他