pytorch分布式训练第10页

MMScan数据集：首个最大的多模态3D场景数据集，包含层次化的语言标注

数据集的建立，不仅推动了3D场景理解的研究进展，还为训练和评估多模态3D感知模型提供了宝贵的资源。

·2025-03-19 21:28

按照时间排序的分布式游标分页

即分页查询是统一的，而数据存储是分布式的。方案由于是在高并发的场景下，

像云~·2025-03-19 20:47

深度革命：ResNet 如何用 “残差连接“ 颠覆深度学习

更令人震撼的是，ResNet将神经网络的深度推至152层，彻底打破了"深层网络无法训练"的魔咒。这场革命的核心，正是一个简单

安意诚Matrix·2025-03-19 20:46

深入探索 dubbo-rpc-jsonrpc：跨语言服务调用的高效桥梁

适合用于在应用程序中处理分布式服务。项目地址:https://gitcode.com/gh_mirrors/dub

郁铎舒·2025-03-19 20:14

Apache storm

Apachestorm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。它是一个流数据框架，具有很高的摄取率，无状态。

赵世炎·2025-03-19 19:09

【etcd】

一、ETCD简介etcd是一个由CoreOS团队开发的开源项目，旨在提供一个高可用的、分布式的、一致的键值存储，用于配置共享和服务发现。

茉菇·2025-03-19 19:09

Apache Storm实时流处理的核心技术

1.引言ApacheStorm是一个开源的、分布式的实时计算系统，专为处理流式数据而设计。它能够处理大量数据流并在极低的延迟下提供实时的结果。

Hello.Reader·2025-03-19 19:09

基于PyTorch和ResNet18的花卉识别实战（附完整代码）

本文使用PyTorch框架，基于ResNet18模型实现了102种花卉的分类任务。完整代码可直接复制运行，最终验证集准确率达8.2%，文中同步分析性能瓶颈与优化方案。

意.远·2025-03-19 19:36

使用 DingoDB 创建自查询检索器的实战演示

DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库，它结合了数据湖和向量数据库的特点，能够存储任何类型和大小的数据（如Key-Value、PDF、音频、视频等）。

fgayif·2025-03-19 19:34

A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第9部分——应用

应用尽管预训练为大型语言模型（LLMs）赋予了强大的基础能力，但在部署于专业领域时，LLMs仍经常遇到持续的限制，包括上下文长度受限、容易产生幻觉（hallucination）、推理能力欠佳和固有的偏见

王金-太想进步了·2025-03-19 19:31

Apache Storm：实时数据处理的闪电战

ApacheStorm原理拓扑结构数据流处理容错机制官网链接基础使用安装与配置编写拓扑提交与运行高级使用状态管理窗口操作多语言支持优点高吞吐量低延迟可扩展性容错性总结ApacheStorm是一个开源的分布式实时计算系统

Aaron_945·2025-03-19 18:01

Spring Boot 整合 Elasticsearch 实践：从入门到上手

引言Elasticsearch是一个开源的分布式搜索引擎，广泛用于日志分析、搜索引擎、数据分析等场景。

遇见伯灵说·2025-03-19 18:27

Yolov8训练自己的数据集(脱离ultralytics库)

比如在使用v8的时候需要安装ultralytics库，然后再调用YOLO进行训练或者预测，那么就有这几个问题：问题1：安装了ultralytics库后如何使用YOLO呢

爱吃肉的鹏·2025-03-19 17:22

面试官问：什么是分布式定时任务调度？

任务调度的背景在业务系统中有很多这样的场景：1、账单日或者还款日上午10点，给每个信用卡客户发送账单通知，还款通知。如何判断客户的账单日、还款日，完成通知的发送？2、银行业务系统，夜间要完成跑批的一系列流程，清理数据，下载文件，解析文件，对账清算、切换结算日期等等。如何触发一系列流程的执行？3、金融机构跟人民银行二代支付系统对接，人民银行要求低于5W的金额（小额支付）半个小时打一次包发送，以缓解并

鸡米花不花·2025-03-19 17:48

迁移学习基础知识

简介使用迁移学习的优势：1、能够快速的训练出一个理想的结果2、当数据集较小时也能训练出理想的效果。注意：在使用别人预训练的参数模型时，要注意别人的预处理方式。

zhooooooou·2025-03-19 16:44

迁移学习入门

迁移学习1迁移学习的概念预训练模型定义:简单来说别人训练好的模型。

EmbodiedTech·2025-03-19 16:14

HarmonyNext实战：基于ArkTS的跨设备文件同步与冲突解决案例详解

HarmonyOSNext提供了强大的分布式文件系统和冲突解决机制，帮助开发者实现高效、可靠的跨设备文件同步。本文将深入探讨如何在HarmonyOSNext中使用ArkTS实现跨设备文件同步与冲突

·2025-03-19 16:47

【Go基础】Go入门与实践资源帖

看到好的持续更新……Go系统教程从语法讲起：李文周博客七天快速上手项目Go测试驱动开发博客孔令飞项目开发实战课程，孔令飞图文教程《Go语言高级编程》书籍Go算法刷题模板Go实战项目KV系统crawlab分布式爬虫平台

小超人冲鸭·2025-03-19 16:41

HarmonyOS Next 用户认证应用

随着HarmonyOSNext的不断发展，其用户认证功能在安全性、个性化和分布式场景中的应用展现了强大的扩展性和适应性。

·2025-03-19 16:12

YashanDB资源类型

ashanDB资源管理通过配置物理资源（CPU、内存等）的分配规则，以满足不同用户或程序对资源的需求：CPU资源管理适用于单机部署（非级联备）和分布式部署，且适用于LINUX和ARM平台，不适用于docker

·2025-03-19 16:12

Git 的基本概念和使用方式

Git是一种分布式版本控制系统，广泛用于协作开发和追踪代码变更历史。以下是Git的基本概念和使用方式：仓库（Repository）：Git仓库是存储代码和版本历史的地方。

成风693·2025-03-19 15:05

ubuntu20.04系统安装zookeeper简单教程

Ubuntu系统中安装和配置Zookeeper的完整指南ApacheZookeeper是一个开源的分布式协调服务，广泛用于分布式应用程序中管理配置、提供命名服务、分布式同步以及组服务等。

楼下创了电瓶车·2025-03-19 15:04

Dify知识库构建流程及示例

3.向量化（Embedding）嵌入模型：调用预训练

cqbelt·2025-03-19 14:54

彻底解决分布式环境下Redisson消息队列监听重复执行问题

问题现象：测试环境单台部署，没有问题，生产环境多台部署订单都是2条重复数据。问题描述：我们把每个服务都部署了2台，订单产生后，有redisson的mq发布，如果MQListener监听到就会执行后面的业务逻辑。现实的问题是2台MQListener都会监听到，会重复处理我们的逻辑，插入数据库或修改数据库或写入ES等都会执行2遍。本文的DEMO中使用的是redisson的mq来测试的，同时Rabbit

renkai721·2025-03-19 13:22

PyTorch 深度学习博客

PyTorch深度学习博客欢迎来到我的PyTorch深度学习博客！在这里，我将分享使用PyTorch学习和实践深度学习项目的点滴经验。

Zoro｜·2025-03-19 13:19

深入探索 PyTorch 在语音识别中的应用

深入探索PyTorch在语音识别中的应用在本篇博客中，我将分享如何使用PyTorch进行语音识别任务，重点围绕环境配置、数据预处理、特征提取、模型设计以及模型比较展开。

Zoro｜·2025-03-19 13:19

MNIST数据集&手写数字识别

它提供了一种基于数据流图的编程模型，用于构建和训练机器学习模型。TensorFlow的核心概念是张量（Tensor）和流图（Graph）。

Zoro｜·2025-03-19 13:18

Codeforces Round 995 (Div. 3)

在这第iii天，如果Monocarp准备训练，那么他将完成aia_iai题，同样的，如果Stereocarp也在这天准备训练，那么他将完成bib_ibi题。

polarours·2025-03-19 13:17

三分钟让你搞懂云计算中的CDN是什么？

它是一种分布式的网络架构，通过将网站的静态资源（如图片、视频、JavaScript文

云上的阿七·2025-03-19 12:16

5G时代新基建：边缘节点如何将云计算响应速度提升300%“

边缘计算的核心优势边缘计算（EdgeComputing）是一种分布式

云上的阿七·2025-03-19 12:46

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

MapReduceSparkStormFlink解析：Hadoop的核心组件是HDFS（分布式文件系统）和MapReduce（分布式计算框架）。

苍曦·2025-03-19 12:43

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。

kkk1622245·2025-03-19 12:41

算力技术创新驱动多场景应用演进

在工业互联网场景中，边缘计算通过分布式节点实现毫秒级响应，支撑智能制造产线的实时控制；智能安防系统依托深度学习模型与流计算技术，完成海量视频数据的动态解析；而科学计算领域通过分布式计算与模型压缩技术，将基因测序

智能计算研究中心·2025-03-19 11:06

AI模型技术前沿与跨场景应用实践

应用层面，TensorFlow与PyTorch框架在医疗影像诊断、金融时序预测等领域的实战案例，验证了深度学习模型在垂直行业的泛化能力。值得关注的是，工具链整合已成为技术落地的关键环节，MXNet与

智能计算研究中心·2025-03-19 11:36

医疗影像联邦学习可解释性算法研究

本研究以跨机构医疗影像协作场景为核心，系统性探讨联邦学习框架下可解释性算法的创新路径，重点解决医疗AI模型在分布式训练中的透明度缺失问题。

智能计算研究中心·2025-03-19 11:36

【Python】测试数据生成工具 --- Faker

Faker的应用不仅限于测试，它还广泛应用于数据分析、机器学习训练集的准备以及任何需要大量样本数据的场景。Faker安装前提：已安装python、pip安装命令如下：pipinst

·2025-03-19 11:00

算力未来演进与多场景创新

从技术架构层面来看，异构计算通过整合CPU、GPU、FPGA等多元芯片实现性能跃升，边缘计算则借助分布式节点降低时延并提升响应效率，而量子计算在特定领域的指数级加速潜力已进入验证阶段。

智能计算研究中心·2025-03-19 11:06

融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践

但是Pytorch的最近几次的更新可以有效利用异构计算集群，实现对所有可用GPU资源的充分调度，不受制于供应商限制。本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训

·2025-03-19 11:59

深度学习框架PyTorch——从入门到精通（4）数据转换

转换（Transforms）很多时候，数据并不总是以训练机器学习算法所需的最终处理形式出现。所以我们需要使用变换对数据进行一些处理，使其适合训练。

Fansv587·2025-03-19 11:01

深度学习框架PyTorch——从入门到精通（5）构建神经网络

构建神经网络获取训练设备定义类模型层nn.Flattennn.Linearnn.ReLUnn.Sequentialnn.Softmax模型参数补充说明argmax神经网络是由一些层或者模块组成的，这些层和模块会对数据进行各种操作

Fansv587·2025-03-19 11:58

大语言模型的训练数据清洗策略

目录大语言模型的训练数据清洗策略1.数据去重与标准化问题解决方案示例代码（Python实现数据去重）：2.过滤有害内容问题解决方案示例代码（基于关键词过滤有害内容）：3.纠正数据不均衡问题解决方案示例代码

gs80140·2025-03-19 10:23

如何实现一个分布式单例对象?什么场景需要分布式单例?

在分布式系统中，无论是单台机器多个实例，还是多台机器多个实例，每个实例通常运行在独立的进程中，分布式单例是在这些多进程环境中，确保某个类的实例对象在整个分布式系统中是唯一的，即所有进程访问的都是同一个对象实例

空说·2025-03-19 10:18

Megatron-LM训练框架和Deepspeed训练框架最主要的异同和优劣是什么

核心异同点并行策略Megatron-LM核心：以张量并行（TensorParallelism）和流水线并行（PipelineParallelism）为主，结合数据并行。张量并行通过切分模型层（如注意力头、MLP块）到不同设备，利用NVLink高速通信提升效率。流水线并行将不同层分配到不同设备，通过P2P通信协调。DeepSpeed核心：ZeRO优化技术（ZeroRedundancyOptimize

强化学习曾小健·2025-03-19 09:15

Seata：分布式事务的终极解决方案

Seata（SimpleExtensibleAutonomousTransactionArchitecture）作为阿里巴巴开源的分布式事务解决方案，提供了优雅的解决思路。

斗-匕·2025-03-19 09:43

Seata：分布式事务的终极解决方案与深度实践

Seata：分布式事务的终极解决方案与深度实践在微服务架构中，订单支付需调用支付服务、库存服务和积分服务，若其中一个服务失败，如何保证数据的一致性？