分布式云原生第29页

【笔记】使用 Pytorch 进行分布式训练

本文原文以CCBY-NC-SA4.0许可协议发布于技术相关｜使用Pytorch进行分布式训练，转载请注明出处。

LittleNyima·2025-02-14 23:49

PyTorch Lightning多GPU分布式日志介绍

分布式日志是指在分布式系统中，多个节点（如多台机器或多个GPU）协同工作时，对系统运行状态、错误信息、性能指标等进行记录的过程。

qq_27390023·2025-02-14 23:48

mysql sql脚本雪花算法

雪花算法是一种生成唯一ID的算法，广泛应用于分布式系统中。雪花算法流程首先，我们通过一个表格来展示雪花算法的实现流程：步骤描述1创建雪花算法表2插入初始数据3生成唯一ID4使用唯一ID雪花算法

梦空细雨·2025-02-14 23:45

搭建Kubernetes集群之私有云安装指南

作者：禅与计算机程序设计艺术1.简介背景在分布式系统中，Kubernetes是最流行的容器编排调度工具。它是一个开源的、全面性的解决方案，提供了跨主机、跨云平台的部署环境。

AI天才研究院·2025-02-14 23:45

python 并行框架_基于python的高性能实时并行机器学习框架之Ray介绍

前言加州大学伯克利分校实时智能安全执行实验室(RISELab)的研究人员已开发出了一种新的分布式框架，该框架旨在让基于Python的机器学习和深度学习工作负载能够实时执行，并具有类似消息传递接口(MPI

weixin_39778582·2025-02-14 20:54

python使用ray框架改进原有代码，实现多进程与分布式

安装依赖：pipinstall-ihttps://mirrors.aliyun.com/pypi/simple/'ray[default]'ray框架可以在几乎不改变现有代码的基础上实现分布式与并行计算

呆萌的代Ma·2025-02-14 20:54

1.1、Ray-关键概念Key Concepts

这些基元协同工作，使Ray能够灵活地支持广泛的分布式应用。任务TasksRay使任意的函数能够在独立的Python工作者上异步执行。这些异步的Ray函数被称为“任务”。

MaxCode-1·2025-02-14 20:23

分布式事务-at模式

模式通常指的是二阶段提交协议中的一种模式，即补偿事务（CompensatingTransaction）模式，也被称为AT模式，以下从基本概念、实现机制、应用场景等方面为你详细介绍：基本概念AT模式是在分布式事务处理中

薛定谔的猫1982·2025-02-14 20:23

Python 魔法学院 - 第24篇：Python 解释器优化 ⭐⭐⭐

1.1.2Cython的简单示例1.1.3Cython的适用场景1.2PyPy1.2.1PyPy的优势1.2.2PyPy的简单示例1.2.3PyPy的适用场景1.3Cython与PyPy的对比2.并行计算与分布式计算

星核日记·2025-02-14 16:57

活动邀请 | SonarQube×创实信息即将亮相2024 GOPS全球运维大会-上海站，分享代码质量与安全提升策略

大会为期2天，侧重大模型、DevOps、SRE、AIOps、BizDevOps、云原生及安全等热门技术领域。

创实信息·2025-02-14 16:50

分布式光纤传感器行业：市场潜力巨大，技术革新引领未来

引言：市场增长背后的技术革命分布式光纤传感器，以其独特的传感机制和高灵敏度的监测能力，正迅速成为众多行业不可或缺的监测工具。

QYR_11·2025-02-14 15:49

开源 APM 性能检测系统与架构

目前市面的系统基本都是参考Google的Dapper（大规模分布式系统的跟踪系统）来做的。

老黄浅谈质量·2025-02-14 15:17

SpringCloud之老版本（旧版）

SpringCloud微服务实践第一章：微服务架构概述1-1.系统进化理论概述在系统架构与设计的实践中，经历了两个阶段，一个阶段是早些年常见的集中式系统，一个阶段是近年来流行的分布式系统；集中式系统：集中式系统也叫单体应用

wangleidong711·2025-02-14 15:15

警告accumulate and all-reduce gradients in fp32 for bfloat16 data type

这条警告信息是关于分布式训练中的通信优化策略的，具体涉及流水线并行（PipelineParallelism）和点对点通信（P2PCommunication）。

NLstudy33·2025-02-14 14:36

Go语言的微服务架构实战：构建高效、可扩展的分布式系统

随着云计算和分布式系统的普及，微服务架构（MicroservicesArchitecture）成为了现代软件开发的主流模式。

威哥说编程·2025-02-14 13:29

阿一网络安全学院课堂作业——ActiveMQ 反序列化漏洞 (CVE-2015-5254)

属于消息队列组件(消息队列组件：分布式系统中的重要组件，主要解决应⽤耦合、异步消息、流量削峰等)。

网安大队长阿一·2025-02-14 12:25

【Git 命令大全：从零开始，轻松玩转版本控制】

Git的基本使用和命令前言Git是目前最流行的分布式版本控制系统，广泛应用于软件开发中。掌握Git的基本使用和命令，对于开发者来说至关重要。

程序员远仔·2025-02-14 12:24

SpringCloud AWS S3 对象存储

作者：禅与计算机程序设计艺术1.简介SpringCloud为开发人员提供了快速构建分布式系统的一些工具，其中包括配置管理、服务发现、消息总线等等。

AI天才研究院·2025-02-14 11:45

AI系统微服务架构原理与代码实战案例讲解

AI系统微服务架构原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：微服务架构，API网关，分布式系统，SOA，RESTfulAPI1

AI天才研究院·2025-02-14 11:45

从0到1带大家搭建spring cloud alibaba 微服务大型应用框架（九）文件服务篇（1）：minio 单机与集群搭建

为什么需分布式文件服务单机时代初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。

峡谷电光马仔·2025-02-14 10:43

基于AWS的证券交易系统架构设计与核心技术实践

作者注：本文深度剖析证券行业数字化转型痛点，结合AWS云原生技术栈，为高频交易、行情分发、风控系统等核心场景提供可落地的解决方案。

AWS官方合作商·2025-02-14 10:41

分布式训练三大并行策略：数据、模型与流水线并行的本质解析

分布式训练通过多维度并行策略实现：算力维度：聚合多卡计算能力存储维度：分布式参数存储通信维度：优化数据传输路径本文将深入剖析三大并行策略的数学本质。

WHCIS·2025-02-14 10:07

【云原生技术】 YAML 配置管理、部署架构和灾备方案三个方面介绍一下如何在上海浦东新区和松江两个机房间实现容器部署和容灾

云部署灾备一、YAML配置管理二、部署架构和灾备策略三、故障场景下的应急预案四、总结一、YAML配置管理在实际生产环境中，为了达到高可用、快速灾备的目标，通常需要在YAML配置管理和部署架构上都做出专门设计。下面我从YAML配置管理、部署架构和灾备方案三个方面介绍一下如何在上海A区和B区两个机房间实现容器部署和容灾。【1.YAML配置管理】由于两个机房可能在硬件选型（如存储类、节点标签、网络配置）

阿寻寻·2025-02-14 10:36

2024-2025年主流的开源向量数据库推荐

2.Weaviate特点：云原生开源向量数据库，支持多模态数据（文本、

大囚长·2025-02-14 09:32

20250213 隨筆雪花算法

雪花算法（SnowflakeAlgorithm）雪花算法（Snowflake）是Twitter在2010年開發的一種分布式唯一ID生成算法，它可以在高併發場景下快速生成全局唯一的64-bit長整型ID，

靈臺清明·2025-02-14 09:31

【OceanBases系列文章】OceanBase集群架构

OceanBase核心技术能力完全自主研发：代码级可控，大规模金融场景10年可靠性验证原生分布式：全量数据校验实现数据一致性、数据不丢失、高可用、平滑扩展单机分布式一体化：一体化架构突破高性能和高可用，

学弟Craze·2025-02-14 09:30

深度解析Python校园自动化：合规爬虫、反反爬策略与高并发抢课系统设计

摘要：本文将呈现一个校园自动化系统的实现方案，包含面向对象设计、多协议适配、分布式任务队列、混合验证码破解等核心模块，提供经过压力测试的代码和技术文档。

WHCIS·2025-02-14 09:29

Redis 作者 Antirez 讲如何实现分布式锁？Redis 实现分布式锁天然的缺陷分析&Redis分布式锁的正确使用姿势！...

Redis分布式锁基本原理采用redis实现分布式锁，主要是利用其单线程命令执行的特性，一般是setnx，只会有一个线程会执行成功，也就是只有一个线程能成功获取锁；看着很完美。

AI天才研究院·2025-02-14 09:57

云原生AI Agent应用安全防护方案最佳实践（上）

当下，AIAgent代理是一种全新的构建动态和复杂业务场景工作流的方式，利用大语言模型（LLM）作为推理引擎。这些Agent代理应用能够将复杂的自然语言查询任务分解为多个可执行步骤，并结合迭代反馈循环和自省机制，利用工具和Agent背后的API生成最终结果，返回给终端用户。这种方法需要评估Agent应用的鲁棒性，尤其是对于那些可能存在对抗攻击或有害内容的用户场景。亚马逊云科技BedrockAgen

佛州小李哥·2025-02-14 08:56

技术分享 | 《云原生下的IAST落地实践》

云原生技术成为近年来炙手可热的话题，是业务创新发展的重要驱动力。

悬镜安全·2025-02-14 08:25

grafana tempo 分布式追踪框架应用

环境准备（基于docker-compose运行）docker-compose文件version:"3"services:tempo:image:grafana/tempo:latestcommand:-"-storage.trace.backend=local"#telltempowheretopermanentlyputtraces-"-storage.trace.local.path=/tmp

风情客家__·2025-02-14 07:44

局域网基本概念和体系结构

、同轴电缆）进行联网，数据传输率高（10Mb/s～10Gb/s)，当数据率更高时，往往需要光纤作为传输媒体，通信延迟时间短，误码率低，可靠性较高共享信道，众多用户能够合理而方便地共享通信媒体资源多采用分布式控制和广播式通信

唧唧歪歪的newsoul·2025-02-14 06:38

写给开发者的软件架构实战：微服务架构的实施与优化

微服务架构又称SOA（Service-OrientedArchitecture），它是一种分布式架构模式，将单体应用转变成一组小型服务。

AI天才研究院·2025-02-14 05:58

十年前提出去IOE的阿里云，如何做到全球云原生领先？

十年过去了，今天的阿里云已经是世界三大公共云IaaS厂商之一；如今，阿里云再次全面拥抱云原生计算，以世界级的领先态势，再次主导下一波云产业趋势。阿里云智能总裁张建锋

阿川2015·2025-02-14 05:25

web3是什么，最简单的介绍

Web3是指第三代互联网技术，也被称为分布式互联网。它是在传统互联网（Web2.0）基础上发展出来的一种新技术体系，旨在通过区块链技术来重新定义人们访问和使用网络服务的方式。

Cliproxy海外住宅代理·2025-02-14 04:24

DeepSeek底层揭秘——知识图谱与语料库的联邦学习架构

知识图谱与语料库的联邦学习架构(1)定义“知识图谱与语料库的联邦学习架构”是一种结合知识图谱（KnowledgeGraph,KG）、语料库（Corpus）和联邦学习（FederatedLearning,FL）的分布式学习框架

9命怪猫·2025-02-14 02:51

Git 安全与权限管理

作为一款分布式版本控制系统，Git以其卓越的特性，为开发者们搭建了高效协作与代码管理的坚实桥梁。

计算机毕设定制辅导-无忧学长·2025-02-14 01:48

安科瑞ADL400N导轨式多功能电能表外置互感器UL、CE、MID、ROHS、UKCA认证户储光伏并网系统

具有对电力参数进行采样计量和监测，逆变器或者能量管理系统（EMS）与之进行通讯，根据实时功率及累计电能实现防逆流、调节发电量、电池充放电等功能，可双向计量，实现户用分布式光伏能量管理。

安科瑞华楠·2025-02-14 00:42

分布式数据库面试整理

5.3.1redis面试专题1、redis和memcached什么区别？为什么高并发下有时单线程的redis比多线程的memcached效率要高？区别：mc可缓存图片和视频。rd支持除k/v更多的数据结构；rd可以使用虚拟内存，rd可持久化和aof灾难恢复，rd通过主从支持数据备份;3.rd可以做消息队列。原因:mc多线程模型引入了缓存一致性和锁，加锁带来了性能损耗。2、redis主从复制如何实现

Necther·2025-02-13 22:28

Web3 的虚实融合之路：从虚拟交互到元宇宙构建

它依托于区块链、分布式存储等技术，实

dingzd95·2025-02-13 22:55

saga模式的选择基于命令还是基于事件的Saga实现方式？

Saga模式通常有基于命令和基于事件这两种实现方式，以下是它们的详细介绍：基于命令的Saga实现方式核心原理：以命令为驱动来协调分布式事务中的各个子事务执行。

薛定谔的猫1982·2025-02-13 19:37

DeepSeek教unity------MessagePack-01

性能在诸如游戏、分布式计算、微服务或数据缓存等应用中尤为重要。这个库通过NuGet分发。也有特殊的Unity支持。我们针对.NETStandard2.0进行了优化，特别适用于.NET8+和

Edision_li·2025-02-13 18:01

安科瑞分布式光伏发电监测系统解决方案-Susie 周

1、概述“十四五”期间，随着“双碳”目标提出及逐步落实，本就呈现出较好发展势头的分布式光伏发展有望大幅提速。

Acrel18701808662·2025-02-13 18:01

全方位剖析Docker:架构、原理与实践

引言:随着云原生技术的飞速发展,容器技术正成为软件交付和部署的关键基础设施。而Docker凭借其简单易用的特性,已经成为容器技术的代名词。

寂夜了无痕·2025-02-13 18:58

【云原生技术】微服务架构中如何实现高效调用远程方法

微服务架构中如何实现高效调用远程方法1.使用轻量级通信协议2.异步和非阻塞调用3.负载均衡和服务发现4.缓存和数据预取5.异常处理和重试机制6.使用合适的技术栈和工具示例在微服务架构中，高效调用远程方法是至关重要的，因为微服务通常分布在不同的网络位置和物理机器上。以下是一些策略和技术，可以帮助实现高效的远程方法调用（RPC）：1.使用轻量级通信协议选择合适的通信协议：使用轻量级的通信协议，如HTT

阿寻寻·2025-02-13 18:28

【DeepSeek 行业赋能】从金融到医疗：探索 DeepSeek 在垂直领域的无限潜力

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO

网罗开发·2025-02-13 18:27

本地缓存与分布式缓存的区别及实现详解

本文将详细介绍本地缓存与分布式缓存的区别，并深入探讨本地缓存的实现方式及其扩展概念——近端缓存。1.什么是本地缓存？本地缓存指的是存储在应用程序本地内存中的缓存数据。

星辰@Sea·2025-02-13 17:24

基于分布式架构的毕业设计题目50例

基于分布式架构的毕业设计题目1-10题1、基于分布式架构的网络考试系统的设计2、基于分布式架构的融合客户数据中心探讨3、基于分布式架构的内网监控系统的应用与研究4、基于分布式架构的铁路企业社会保障管理信息系统设计

love_java_code·2025-02-13 17:23

Java中性能瓶颈的定位与调优方法

Java中性能瓶颈的定位与调优方法Java作为一种高效、跨平台的编程语言，广泛应用于企业级应用、服务器端开发、分布式系统等领域。

向哆哆·2025-02-13 17:51

Java后端微服务架构下的数据库分库分表：Sharding-Sphere

Sharding-Sphere作为一个分布式数据库中间件，提供了数据库分库分表的能力，帮助开发者解决数据水平拆分的问题。数据库分库分表概述数据库分库分表是将数据分布到不同的数据库和表中，以

微赚淘客机器人开发者联盟@聚娃科技·2025-02-13 16:49

推荐频道

分布式云原生