分布式架构设计第40页

SpringCloud-搭建Eureka服务模块

在构建分布式微服务体系中，搭建Eureka服务模块是实现服务注册与发现的关键一步。SpringCloud作为领先的微服务框架，通过Eureka为我们提供了高效的服务治理能力。

Damon小智·2024-02-05 16:41

Java代码生成器2.0（重制版）

引言：随着微服务架构的流行和分布式系统的发展，JavaSpringBoot应用程序变得越来越复杂。开发者经常寻找能够提高效率、减少重复工作的工具，而代码生成器就是其中的佼佼者。

奇遇少年·2024-02-05 16:30

分布式序列化机制分析

java本身自带序列化机制Serialize接口的缺陷：序列化结果比较大，传输效率比较低不能跨语言对接XML编码格式的对象序列化机制成为了主流HTTPRESTful开始成为实际应用场景下的风格序列化机制包含很多方式：MessagePackProtocolBuffersDubboHessionkryo恰当的序列化协议不仅可以提高系统的通用性、强壮性、安全性、优化性能。同时还能让系统更加易于调试和扩展

猿日记·2024-02-05 16:52

项目管理: Maven 让事情变得简单 - IBM - developerWorks 中国

Charles的兴趣包括分布式系统、高性能计算、国际化和软件设计模式。在业余时间，他为开放源码社区撰稿。可以通过[email protected]与Cha

makunyuan123·2024-02-05 16:01

Helm 部署微服务 Spring Cloud

Dockerfile标准配置二、微服务部署1.微服务配置1.1.注册中心（eureka-server）1.2.网关（msa-gateway）1.3.流量控制（Sentinel）1.4.调用链监控（Zipkin）1.5.分布式任务调度平台

IoTHub - 物联网开源技术社区·2024-02-05 15:54

系统架构评估

其主要目的在于确保系统的架构设计能够有效地支撑业务发展，并在未来可能出现的变化中保持足够的灵活性和稳健性。

qyhua·2024-02-05 14:27

论文阅读-CARD：一种针对复制元数据服务器集群的拥塞感知请求调度方案

：CARD:ACongestion-AwareRequestDispatchingSchemeforReplicatedMetadataServerCluster摘要复制元数据服务器集群（RMSC）在分布式文件系统中非常高效

向来痴_·2024-02-05 14:54

为什么ECS更适合深度学习，而轻量型不适合，而且他们说ECS适合集群部署，轻量型为什么就不适合

高性能网络和存储：深度学习任务通常需要高带宽和低延迟的网络传输，以便在分布式训练或数据处理过程中进行高效的通信。ECS服务器提供了高性能的

Fairy要carry·2024-02-05 14:23

《向量数据库指南》——Milvus Cloud集群」生产环境永远推荐使用集群模式

MilvusCloud是一个分布式的向量数据库，“分布式”是它的一个核心特点。目前

LCHub低代码社区·2024-02-05 14:13

网络通信模块

网络通信1、获取一个算法在本地运行所需的数据2、共享信息时间分布式处理3、管理云服务ipaddress模块ipaddress模块提供了一些类来验证、比较和处理IPv4/IPv6网络地址，用于查找网络上的地址和主机

颜大哦·2024-02-05 14:31

SpringCloud中服务间通信(应用间通信)-亲测有效-源码下载-连载2

本案例采用springBoot3.1.7+springCloud2022.0.4版本测试本案例使用springboot2.7.x版本测试代码相同1、微服务是分布式架构，那么为什么要需要使用分布式架构？

雾林小妖·2024-02-05 13:10

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

学习BigData·2024-02-05 13:01

使用deepspeed继续训练LLAMA

模型载入3.优化器设置4.DeepSpeed设置5.DeepSpeed初始化6.模型训练LLAMA模型子结构：1.数据训练配置利用PyTorch和Transformers库创建数据加载器，它支持单机或多机分布式训练环境下的数据加载与采样

samoyan·2024-02-05 13:58

LLaMA 模型中的Transformer架构变化

Pre-normalization）2.RMSNorm归一化函数3.SwiGLU激活函数4.旋转位置嵌入（RoPE）5.注意力机制优化6.GroupQueryAttention7.模型规模和训练超参数8.分布式模型训练前置归一化与后置归一化的区别前置归一化

samoyan·2024-02-05 13:57

使用boost::asio 模拟JMeter做分布式压测网络部分框架

本例使用boost::asio模拟jmeter做分布式压测网络部分的原理，虽然比较简单，但基本可以实现分布式压测的效果。

FredricZhu·2024-02-05 12:22

2023.1.31 关于 Redis 分布式锁详解

目录引言分布式锁引入分布式锁引入setnx引入过期时间引入校验机制引入lua脚本引入过期时间续约（看门狗）引入redlock算法结语引言在一个分布式系统中，可能会涉及到多个节点访问同一个公共资源的情况此时就需要通过锁来进行互斥控制

茂大师·2024-02-05 12:05

SpringCloud-消息驱动(Stream、生产者、消费者)

的诞生是为了解决各种消息中间件之间的兼容性问题，学习过消息中间件的同学都知道现在市面上流行的消息中间件有ActiveMQ、RabbitMQ、RocketMQ、Kafka它们之间的部署于使用都有较大的差异，那么若分布式系统下同时用到了多种消息中间件

JolyouLu·2024-02-05 12:30

揭秘Elasticsearch：一文读懂分布式搜索与分析引擎的核心概念

Elasticsearch是一个开源、分布式、实时搜索和分析引擎，专门用于处理大规模数据的快速检索与分析。

超越不平凡·2024-02-05 12:00

面试官：分布式事务了解吗？你们是如何解决分布式事务问题的？

面试官心理分析只要聊到你做了分布式系统，必问分布式事务，你对分布式事务一无所知的话，确实会很坑，你起码得知道有哪些方案，一般怎么来做，每个方案的优缺点是什么。

Java码农那些事·2024-02-05 12:34

【JMeter】使用技巧

如何使用英文界面的jmeter如何使用镜像服务器Jmeter分布式测试启动Debug日志记录搜索功能线程之间传递变量如何使用英文界面的JMeterJmeter启动时会自动判断操作系统的locale并选择合适的语言启动

.咖啡加剁椒.·2024-02-05 11:20

【分布式】雪花算法学习笔记

雪花算法学习笔记来源https://pdai.tech/md/algorithm/alg-domain-id-snowflake.html概述雪花算法是推特开源的分布式ID生成算法，以划分命名空间的方式将

少写代码少看论文多多睡觉·2024-02-05 11:26

Hadoop3.x单机安装教程

以最小化的成本学习和测试Hadoop；搭建基于Hadoop的上层应用，比如单机Spark环境需要先拥有单机的Hadoop；如果需要搭建分布式集群环境的Hadoop环境，请参考另外一篇：Hadoop3.x

文景大大·2024-02-05 10:06

架构篇33：传统的可扩展架构模式-分层架构和SOA

高可用架构模式在最近几十年的迅猛发展来说，可扩展架构模式的发展可以说是步履蹒跚，最近几年火热的微服务模式算是可扩展模式发展历史中为数不多的亮点，但这也导致了现在谈可扩展的时候必谈微服务，甚至微服务架构都成了架构设计的银弹

星猿杂谈·2024-02-05 10:32

Feign调用出现权限问题 feign.FeignException$Unauthorized: [401] during [GET] to[....]

报错讯息使用SpringCloud+SpringSecurityOauth2.0+JWT做分布式认证的时候，内部微服务调用的时候出现权限问题。

Janice幾時開個唱·2024-02-05 09:09

kafka高可用(集群)

kafka的分布式和高可用kafka的一个基本架构：多个broker组成，一个broker是一个节点；你创建一个topic，这个topic可以划分成多个partition，每个parttition可以存在于不同的

GoslingWu·2024-02-05 09:13

消息队列三｜Kafka 如何做到高可用？

副本是分布式系统对数据和服务提供的一种冗余方式。Kafka从0.8版本开始为分区引入了多副本的机制，通过增加副本数量来提升数据容灾的能力。

不落叶的榕树·2024-02-05 09:11

Kafka的高可用机制

ApacheKafka是一个分布式流处理平台，它通过复制数据和分布式系统的一系列特性来提供高可用性。以下是Kafka高可用性机制的关键方面，以及它们是如何在源码中实现的。

辞暮尔尔-烟火年年·2024-02-05 09:37

第十篇【传奇开心果短博文系列】鸿蒙开发技术点案例示例：深度解读鸿蒙全场景适配

传奇开心果短博文系列系列短博文目录鸿蒙开发技术点案例示例系列短博文目录前言一、鸿蒙全场景适配实现介绍二、统一核心示例代码三、设备驱动框架示例代码四、统一界面框架示例代码五、自适应布局示例代码六、分布式能力示例代码七

传奇开心果编程·2024-02-05 09:06

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算

monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据-Spark系列《三》-加载各种数据源创建RDD-CSDN博客目录Spark分布式运行原理

王哪跑nn·2024-02-05 08:54

RocketMQ之事务消息原理

文章目录前言传统XA事务方案：性能不足基于普通消息方案：一致性保障困难基于ApacheRocketMQ分布式事务消息：支持最终一致性功能原理事务消息整体流程使用限制使用示例使用建议前言RocketMQ的事务消息是为了解决分布式事务的问题

倜傥村的少年·2024-02-05 08:19

【下一代分布式追踪】将Trace扩展到网络设备

下一代分布式追踪—将Trace扩展到网络设备一、技术背景二、研究动机三、方法数据采集：数据整合：路径重建：可视化与分析：Foxhound，Foxhound四、典型案例五、结论一、技术背景随着云计算和微服务的普及

沐风—云端行者·2024-02-05 08:15

83.如何设计高可用系统

高可用与微服务架构微服务天生具有分布式特性，有利于构建高

百里守约学编程·2024-02-05 08:42

85.如何设计高并发系统（缓存、限流、熔断、降级）

文章目录一：简介二：什么是高并发1、高并发的定义2、高并发的特点3、高并发场景和应用4、高并发的影响三：高并发应对策略四：缓存1、浏览器缓存2、客户端缓存3、CDN缓存4、反向代理缓存5、本地缓存6、分布式缓存

百里守约学编程·2024-02-05 08:40

HarmonyOS应用/服务发布：打造多设备生态的关键一步

app文件上架.app文件到AGC结束语前言随着智能设备的快速普及和多样化，以及编程语言的迅猛发展，构建一个无缝连接的多设备生态系统已经成为当前技术发展的大趋势，而HarmonyOS作为华为自主研发的分布式操作系统

三掌柜666·2024-02-05 08:35

docker 安装minio

MinIO是一款高性能、分布式的对象存储系统.它是一款软件产品,可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。

会飞的大鱼吃小鱼·2024-02-05 08:29

kafka基本原理

一、kafka概述1、定义kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越2、消息队列【1】应用场景用于异步、削峰、解耦【2】两种模式（1）点对点模式一对一，消费者主动拉取数据

会飞的大鱼吃小鱼·2024-02-05 08:59

impala与kudu进行集成

概要Impala是一个开源的高效率的SQL查询引擎，用于查询存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口，允许用户使用SQL语言

shandongwill·2024-02-05 07:44

(二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能

fastdfs是一个轻量级的分布式文件系统，也是我们文件存储中常常使用的组件之一，主要包括文件存储、文件同步、文件访问，实现了文件存储和负载均衡的问题。

厉害哥哥吖·2024-02-05 07:07

(十四)ATP应用测试平台——使用docker-compose一键式安装ATP应用测试平台的依赖服务

不过由于依赖的增多，项目的服务也随之多了起来，例如为了测试mysql的主从集群读写分离，需要安装mysql的主从服务器，为了测试redis的哨兵模式及分布式锁机制，需要安装一套redis集群，为了测试消息中间键

厉害哥哥吖·2024-02-05 07:06

分布式延时消息的另外一种选择 Redisson （推荐使用）

前言目录前言基本使用内部数据结构介绍基本流程发送延时消息获取延时消息初始化延时队列总结因为工作中需要用到分布式的延时队列，调研了一段时间，选择使用RedissonDelayedQueue，为了搞清楚内部运行流程

漫走云雾·2024-02-05 07:41

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。

二当家的素材网·2024-02-05 06:38

Spring Boot+RocketMQ 实现多实例分布式环境下的事件驱动

目录1为什么要使用MQ？2整合RocketMQ依赖版本引入RocketMQ依赖解决SpringBoot3+不兼容spring.factories参考配置文件3RocketMQ使用解决SpringBoot3+不支持spring.factories的问题RocketMQ操作工具定义RocketMQ消费者定义测试类发送消息4测试1为什么要使用MQ？在SpringBootEvent这篇文章中已经通过Gua

漫走云雾·2024-02-05 06:07

云原生数据库 GaiaDB 的核心技术演进和解析

新的技术架构带来新的问题和挑战，百度智能云的云原生数据库GaiaDB采用Quorum分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。

大数据和云计算技术·2024-02-05 06:23

云计算关键技术

目录一、云计算关键技术概述1.1概述二、关键技术内容2.1虚拟化技术2.2分布式数据存储技术2.3资源管理技术2.4云计算平台管理技术2.5多租户隔离技术2.5.1多租户技术下SaaS特征2.5.2多租户技术面临的技术难题

夜夜流光相皎洁_小宁·2024-02-05 06:51

大数据框架(分区，分桶，分片)

前言在大数据分布式中，分区，分桶，分片是设计框架的重点。此篇就来总结各个框架。

坨坨的大数据·2024-02-05 06:29

AI大模型开发架构设计（7）——人人都需要掌握的AI编程及应用案例实战

文章目录人人都需要掌握的AI编程及应用案例实战1AI代码生成模型与AI编程助手介绍程序设计方式的发展自动代码生成AI编程工具2AI编程助手的代码生成模型架构剖析以CodeGeeX为例-发展过程以CodeGeeX为例-训练过程以CodeGeeX为例-大规模代码数据处理以CodeGeeX为例-模型架构以CodeGeeX为例-模型训练框架及算力以CodeGeeX为例-如何评估代码生成模型的性能?3AI编

讲文明的喜羊羊拒绝pua·2024-02-05 05:32

Skywalking 应用笔记

概念Skywalking是一款分布式的系统性能监视工具，专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。

KEEPMA·2024-02-05 05:29

Solo 开发者周刊（第2期）：一站式解决各类办公绘图问题

Solo 社区·2024-02-05 05:23

Solo开发者社区-重新思考云原生应用的开发模式

当前云原生应用的开发模式在FaaS环境下存在挑战，本文提出一种开发模式构想：“单体式编程，编译时拆分，分布式执行”，旨在简化云应用开发，提升开发效率和应用性能。

Solo 社区·2024-02-05 05:53

推荐频道

分布式架构设计