分布式架构相关第35页

docker 安装minio

MinIO是一款高性能、分布式的对象存储系统.它是一款软件产品,可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。

会飞的大鱼吃小鱼·2024-02-05 08:29

kafka基本原理

一、kafka概述1、定义kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越2、消息队列【1】应用场景用于异步、削峰、解耦【2】两种模式（1）点对点模式一对一，消费者主动拉取数据

会飞的大鱼吃小鱼·2024-02-05 08:59

impala与kudu进行集成

概要Impala是一个开源的高效率的SQL查询引擎，用于查询存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口，允许用户使用SQL语言

shandongwill·2024-02-05 07:44

(二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能

fastdfs是一个轻量级的分布式文件系统，也是我们文件存储中常常使用的组件之一，主要包括文件存储、文件同步、文件访问，实现了文件存储和负载均衡的问题。

厉害哥哥吖·2024-02-05 07:07

(十四)ATP应用测试平台——使用docker-compose一键式安装ATP应用测试平台的依赖服务

不过由于依赖的增多，项目的服务也随之多了起来，例如为了测试mysql的主从集群读写分离，需要安装mysql的主从服务器，为了测试redis的哨兵模式及分布式锁机制，需要安装一套redis集群，为了测试消息中间键

厉害哥哥吖·2024-02-05 07:06

分布式延时消息的另外一种选择 Redisson （推荐使用）

前言目录前言基本使用内部数据结构介绍基本流程发送延时消息获取延时消息初始化延时队列总结因为工作中需要用到分布式的延时队列，调研了一段时间，选择使用RedissonDelayedQueue，为了搞清楚内部运行流程

漫走云雾·2024-02-05 07:41

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。

二当家的素材网·2024-02-05 06:38

Spring Boot+RocketMQ 实现多实例分布式环境下的事件驱动

目录1为什么要使用MQ？2整合RocketMQ依赖版本引入RocketMQ依赖解决SpringBoot3+不兼容spring.factories参考配置文件3RocketMQ使用解决SpringBoot3+不支持spring.factories的问题RocketMQ操作工具定义RocketMQ消费者定义测试类发送消息4测试1为什么要使用MQ？在SpringBootEvent这篇文章中已经通过Gua

漫走云雾·2024-02-05 06:07

云原生数据库 GaiaDB 的核心技术演进和解析

新的技术架构带来新的问题和挑战，百度智能云的云原生数据库GaiaDB采用Quorum分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。

大数据和云计算技术·2024-02-05 06:23

云计算关键技术

目录一、云计算关键技术概述1.1概述二、关键技术内容2.1虚拟化技术2.2分布式数据存储技术2.3资源管理技术2.4云计算平台管理技术2.5多租户隔离技术2.5.1多租户技术下SaaS特征2.5.2多租户技术面临的技术难题

夜夜流光相皎洁_小宁·2024-02-05 06:51

大数据框架(分区，分桶，分片)

前言在大数据分布式中，分区，分桶，分片是设计框架的重点。此篇就来总结各个框架。

坨坨的大数据·2024-02-05 06:29

Skywalking 应用笔记

概念Skywalking是一款分布式的系统性能监视工具，专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。

KEEPMA·2024-02-05 05:29

Solo 开发者周刊（第2期）：一站式解决各类办公绘图问题

Solo 社区·2024-02-05 05:23

Solo开发者社区-重新思考云原生应用的开发模式

当前云原生应用的开发模式在FaaS环境下存在挑战，本文提出一种开发模式构想：“单体式编程，编译时拆分，分布式执行”，旨在简化云应用开发，提升开发效率和应用性能。

Solo 社区·2024-02-05 05:53

日志追踪-Tracing

1.前言分布式链路跟踪中有两个重要的概念：跟踪（trace）和跨度（span)。

孤雨蝉鸣·2024-02-05 04:34

CAP & BASE理论

Consistency）:所有节点访问同一份最新的数据副本可用性（Availability）:非故障的节点在合理的时间内返回合理的响应（不是错误或者超时的响应）分区容错性（PartitionTolerance）:分布式系统出现网络分区的时候

孤雨蝉鸣·2024-02-05 04:32

5个.NET开源且强大的快速开发框架（帮助你提高生产效率）

集成统一认证授权、事件总线、数据验证、分布式雪花Id、分布式缓存、分布式事务、IP限流、性能分析、集成测试、健康检

追逐时光者·2024-02-05 04:23

一文正确理解分层架构系统的接入层设计，以及接入层设计常见的问题和解决方案（雪崩、降级、限流、熔断）

分层架构系统之接入层分布式架构设计之接入层1、定义2、优势3、技术方案3.1、考虑的问题（负载均衡和高可用）3.2、设计方式3.2.1、单个IP地址接入3.2.2、多个IP地址随机接入3.2.2、单IP

JMW1407·2024-02-05 04:16

什么是区块链？

一种去中心化的分布式账本数据库，没有中心，数据存储的每个节点都会同步复制整个账本，信息透明难以篡改近几年，越来越多的机构开始重视并参与区块链技术研发。

1ff5311fa1f6·2024-02-05 03:10

git 从安装到常用操作命令讲解，一文教会你使用git

1、简介git是一个开源的分布式版本控制系统，其操作主要流程如下：2、git下载安装配置2.1、下载#1、下载（https://git-scm.com/）yum-yinstallcurl-develexpat-develgettext-developenssl-develzlib-develgccperl-ExtUtils-MakeMaker

知其_所以然·2024-02-05 03:25

一文讲透微服务下如何保证事务的一致性

文章目录从本地事务到分布式事务的演变强一致性解决方案2.1.二阶段提交协议2.2.三阶段提交协议最终一致性解决方案3.1.TCC模式3.2.补偿模式3.3.可靠事件模式开源项目的分布式事务实现解读4.1

chen_chen_chen_·2024-02-05 03:11

程序员思想——版本控制，常见面试题和知识点

面试当中的git和SVN的内容：git是分布式版本控制系统，SVN是集中式版本控制系统。

alcohol和cat·2024-02-05 02:15

OpenAI Gym 高级教程——分布式训练与并行化

PythonOpenAIGym高级教程：分布式训练与并行化在本篇博客中，我们将深入探讨OpenAIGym高级教程，特别关注分布式训练与并行化的方法。

Echo_Wish·2024-02-05 02:20

Elasticsearch内核剖析

Elasticsearch内核剖析-知乎大家都知道Elasticsearch是一个开源的分布式搜索和分析引擎，也是一种NoSQL数据库。

大叶子不小·2024-02-05 02:11

全局唯一ID优缺点总结

❤️文章目录全局唯一ID（分布式ID）1、UUID2、数据库自增ID3、数据库集群模式ID4、Redis自增ID5、雪花算法（SnowFlake）全局唯一ID（分布式ID）1、

欧克小奥·2024-02-05 02:40

ElasticSearch 应用实践笔记

概述介绍ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储，检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

KEEPMA·2024-02-05 00:44

MongoDB 事务

使用分布式事务，可以跨多个操作、集合、数据库、文档和碎片使用事务。许多实际用例对多文档事务的需求。1.事务API以下示例突出显示了t

木西爷·2024-02-04 23:27

MongoDB安装手册

1.MongoDB介绍MongoDB是一个基于分布式文件存储的数据库，用C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

小屁孩cmq·2024-02-04 23:24

分布式组件（做成依赖版）

我在做分布式组件时需要将写好的文件上传组件上传到maven私服，现在比较常用的maven私服有Artifactory搭建maven私服，Nexus搭建maven私服，ApacheAr-chiva搭建maven

蛋皮皮652·2024-02-04 23:56

观察复杂系统内部情况的秘密武器-可观测性详解

可观测性的实现方法实现可观测性技术栈可观测性的最佳实践小结可观测性是现代软件系统和分布式架构中的核心概念，涵盖了对系统内部状态、行为以及外部影响的全面了解和分析能力。

路多辛·2024-02-04 23:34

Zookeeper相关面试准备问题

Zookeeper介绍Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper

大数据左右手·2024-02-04 22:52

DDoS攻击：分布式拒绝服务攻击的威胁与对策

DDoS攻击：分布式拒绝服务攻击的威胁与对策随着互联网的快速发展，网络安全威胁也在不断增加。

爱编程的鱼·2024-02-04 21:08

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager

china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192

china-zhz·2024-02-04 21:33

深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之行存（一）

Elasticsearch，作为一款强大的分布式搜索和分析引擎，正是为了满足这些需求而诞生的。它之所以能够在海量数据中实现毫秒级的搜索响应，以及灵活的数据分析，要归功于其内部精妙的数据结构和机制。

地瓜伯伯·2024-02-04 21:49

6个.NET开源且强大的快速开发框架（帮助你提高生产效率）

集成统一认证授权、事件总线、数据验证、分布式雪花Id、分布式缓存、分布式事务、IP限流、性能分析、集成测试、健康检

液态不合群·2024-02-04 21:47

开源|LightGBM基本原理，以及调用形式

久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM知乎上有近千人关注“如何看待微软开源的LightGBM？”

噶噶~·2024-02-04 21:15

学python好还是Java好？

Java在95年推出，源自C和C++的技术体系，Java是专门给程序员设计大型的复杂分布式应用而设计。Java语言作为静态面向对象编程

程序员鑫港·2024-02-04 19:46

springboot类型、可运行jar、bat的定时重启、宕机重启策略

场景：就算能力再牛逼，架不住开发时间有限，架不住部署环境恶略（软件是分布式架构，但可惜客户就给一台服务器），12g的内存，跑了七八个服务。。。。服务

放学后的泡泡·2024-02-04 19:41

软件系统架构黄金法则16：海量结构化数据的扩展架构法则

本文将介绍一种基于分布式系统和数据分片技术的海量结构化数据扩展架构法则，该法则可以帮助企业和组织高效地存储、处理和分析海量结构化数据，提高

禅与计算机程序设计艺术·2024-02-04 19:21

C#面：.NET Remoting 的工作原理是什么

.NETRemoting是一种用于在分布式应用程序中进行远程通信的技术。它允许在不同的应用程序域之间进行对象的传输和通信。.

那个那个鱼·2024-02-04 18:37

使用注解实现redis分布式锁毕设方案

1.业务背景2.分析流程加锁超时问题解决方案:增加一个续时3.设计方案4.实操相关属性类配置核心切面拦截的操作5.开始测试6.总结1.业务背景在系统的开发过程中，我们发现有些业务请求是耗时的操作，需要对数据库进行操作，因此需要进行加锁操作，以防止后续的并发操作对之前的业务造成影响。同时，我们还实现了基于SpringBoot+MyBatisPlus+Vue&Element的后台管理系统和用户小程序，

永钊源码·2024-02-04 18:36

分布式搜索引擎-

数据聚合聚合（aggregations）可以让我们极其方便的实现对数据的统计、分析、运算。例如：什么品牌的手机最受欢迎？这些手机的平均价格、最高价格、最低价格？这些手机每月的销售情况如何？实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果。聚合的种类聚合常见的有三类：桶（Bucket）聚合：用来对文档做分组TermAggregation：按照文档字段值分组，例

weixin_57107855·2024-02-04 17:32

【Python之Git使用教程001】Git简介与安装

一、简介Git其实就是一个分布式版本的控制系统，在分布式版本的控制系统，大家都拥有一个完整的版本库，不需要联网也可以提交修改，所以中心服务器就显得不那么重要。

江湖小张·2024-02-04 17:26

redis学习笔记--redis分布式锁

Redis实现分布式锁锁的处理单应用中使用锁：单进程多线程synchronize、Lock分布式应用中使用锁：多进程分布式锁的实现方式数据库的乐观锁基于zookeeper的分布式锁基于redis的分布式锁分布式锁的注意事项互斥性

xsg6509·2024-02-04 17:52

分布式学习笔记-基于lua实现Redis分布式锁

redis分布式锁的底层原理我们先通过一张图来对Redis分布式锁有一个只管的感受加锁的机制我们先来看上面的流程图，现在客户端1需要加锁，通过jedis访问redis资源，然后发送lua脚本到redis

panda_parallel·2024-02-04 16:47

Redis学习笔记---Redis的分布式锁框架Redisson

Redis学习笔记—Redis的分布式锁框架RedissonRedisson是架设在Redis基础上的一个Java驻内存数据网格（In-MemoryDataGrid）。

馒头太帅了·2024-02-04 16:47

Redis学习笔记（四）-- 高并发分布式锁

Redis学习笔记（四）--高并发分布式锁高并发分布式锁在我们平时写代码过程中，会遇到很多高并发的场景，比如双十一的秒杀场景，本文就以此举例分析SpringBoot整合Redis锁代码1、引入依赖org.springframework.bootspring-boot-starter-weborg.springframework.bootspring-boot-starter-data-rediso

「已注销」·2024-02-04 16:47

Redis 中的原子操作(3)-使用Redis实现分布式锁

Redis中的分布式锁如何使用分布式锁的使用场景为了保证我们线上服务的并发性和安全性，目前我们的服务一般抛弃了单体应用，采用的都是扩展性很强的分布式架构。

ikyrxbxfas·2024-02-04 16:16

【Redis分布式锁】学习笔记

1、常见的分布式运用架构nginx–>app1,app2->>redis2、单体运用的代码@RestControllerpublicclassIndexController{@ResourceStringRedisTemplatestringRedisTemplate

Wade__Hao·2024-02-04 16:15

推荐频道

分布式架构相关