分布式架构设计第35页

【架构】K8s中部署轻量级日志系统Loki

它的设计初衷是为了解决在大规模分布式系统中，处理海量日志的问题。Loki采用了分布式的架构，并且与Prometheus、Grafana密切集成，可以快速地处理大规模的日志数据。

奔向理想的星辰大海·2024-02-07 15:54

【SpringBoot篇】解决Redis分布式锁的误删问题和原子性问题

文章目录Redis的分布式锁误删问题解决方法代码实现原子性问题Lua脚本⭐利用Java代码调用Lua脚本改造分布式锁代码实现Redis的分布式锁Redis的分布式锁是通过利用Redis的原子操作和特性来实现的

在下小吉.·2024-02-07 14:05

分布式锁4 ：数据库DB实现分布式锁的悲观锁和乐观锁，unique实现方式

一方案1使用悲观锁解决冲突1.1使用悲观锁原理1.1.1使用悲观锁的原理1.悲观锁：在select的时候就会加锁，采用先加锁后处理的模式，虽然保证了数据处理的安全性，但也会阻塞其他线程的写操作。在读取数据时锁住那几行，其他对这几行的更新需要等到悲观锁结束时才能继续。select...forupdate悲观锁适用于写多读少的场景，因为拿不到锁的线程，会将线程挂起，交出CPU资源，可以把CPU给其他线

健康平安的活着·2024-02-07 14:31

架构篇34：深入理解微服务架构 - 银弹 or 焦油坑？

文章目录微服务与SOA的关系微服务的陷阱小结微服务是近几年非常火热的架构设计理念，大部分人认为是MartinFowler提出了微服务概念，但事实上微服务概念的历史要早得多，也不是MartinFowler

星猿杂谈·2024-02-07 14:27

云计算运维1

分布式：多台服务器在一起作不同的事。

mpp__mvp·2024-02-07 14:55

Kubernetes 生产环境部署微服务 Spring Cloud

创建私有镜像密钥Secret3.微服务配置3.1.注册中心（eureka-server）3.2.网关（msa-gateway）3.3.流量控制（Sentinel）3.4.调用链监控（Zipkin）3.5.分布式任务调度平台

IoTHub - 物联网开源技术社区·2024-02-07 13:01

整合RabbitMQ实现消息异步发送

消息队列中间件消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。

刚满十八工地搬砖·2024-02-07 12:13

分布式锁简记

分布式锁：跨进程跨物理节点需要一把公共的锁，单机锁并不能应对这种场景。

背帆·2024-02-07 12:09

Elasticsearch 通信模块的分析

Elasticsearch通信模块的分析-知乎Elasticsearch是一个基于Lucene的分布式实时搜索框架，它本身能够接受用户发来的http请求，集群节点之间也会有相关的通信。

大叶子不小·2024-02-07 12:02

2022软考高级你需要了解这些！

科目介绍：软考高级有五个科目，分别是信息系统项目管理师、系统分析师、系统架构设计师、网络规划设计师、系统规划与管理师。软考高级科目适合的人群：系统分析师：适合IT行业的工作者

学霸宝典·2024-02-07 12:32

Elasticsearch单个索引数据量过大的优化

为了优化和应对大索引的挑战，可以考虑以下策略：1.使用分片和副本分片（Sharding）：ES自动将索引分成多个分片，分布式地存储和处理数据。

围城客·2024-02-07 11:46

Elasticsearch 中的索引的分区(Shards)和副本(Replicas)的使用

Elasticsearch是一个高性能的、分布式的搜索与数据分析引擎，广泛用于全文搜索、结构化搜索、分析以及这三者的组合场景。

围城客·2024-02-07 11:12

Redis缓存学习笔记

举例：缓存session、token、图片地址、分布式锁1.2ListRedis中的List其实就是链表数

2301_79190746·2024-02-07 11:10

MxNet源码解析(1) KVStore，pslite源码解析

因此，今天将我一直以来的学习过程中的心得和收获总结在这里，也为以后对MxNet的继续学习做一个铺垫2.MxNet构成MxNet作为一个深度学习框架，它最大的特点应该是分布式训练的支持了。

Junr_0926·2024-02-07 11:37

dolphinscheduler海豚调度（一）简介&快速体验

1、简介ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

大数据_苡~·2024-02-07 10:26

关于发布部署的简述实践和若干思考

文章目录1背景描述1.所处位置2.概念简述3.分析目标2部署方式简述及实践2.1手动部署2.2自动化部署2.3智能化部署3部署模式简述3.1单机部署3.2分布式部署3.3容器云部署4若干思考4.1整体基于三点进行考虑

安晓狸狸·2024-02-07 10:54

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机

小童同学_·2024-02-07 10:08

牛逼哄哄的消息队列到底有什么用？

但在大型分布式应用中，系统间的RPC交互繁杂，一个功能背后要调用上百

Java机械师·2024-02-07 10:13

【性能测试】使用Locut性能测试， RPS为啥一直上不去？

优势：Locust具有开源性、分布式、支持高并发，支持webUI的操作方式。劣势：Locust的图表功能较弱，只展示了很少的数据；Locust不支持监控服务端的状态

一只往上爬的蜗牛·2024-02-07 09:18

otter,阿里巴巴分布式数据库同步系统

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注otter官网介绍项目背景otter文档地址https://github.com/alibaba/otter/wikiotter项目地址https://github.com/alibaba/otter阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国

大数据左右手·2024-02-07 09:04

Days 23 ElfBoard 板git版本管理工具

git的结构是分布式的资源库，特点是没有严格的服务器概念，每个单体都可作为资源库。这个特点就让我们人人有自己的git仓库这件事变得容易实现。

chriss854·2024-02-07 09:30

Elasticsearch三节点集群搭建

Elasticsearch三节点集群搭建1、Elasticsearch简介Elasticsearch是一款近实时的分布式搜索、分析引擎，可以动态横向扩展以应对数据的增长。

TSLONG_TSL·2024-02-07 09:18

使用分布式锁启动 cronjob, 保证只有一个服务执行 cronjob

使用分布式锁启动cronjob,保证只有一个服务执行cronjobpackagecronjobimport("context""time""github.com/robfig/cron/v3"goredislib"github.com

不正经写文章的我·2024-02-07 09:17

git文档

2019-10-22Git知识体系版本管理工具介绍svn和git都是版本管理工具,用于团队协同开发.其中svn是集中式管理,git是分布式管理,这两者的区别是:集中式依赖于远程服务器，在没有网络的情况下无法提交所有开发者都共享一个远程服务器分布式直接进行本地存储

欣简书·2024-02-07 09:57

java面试题：分布式和微服务的区别

1分布式和微服务概念不同微服务架构是架构设计方式，是设计层面的东西，一般考虑如何将系统从逻辑上进行拆分，也就是垂直拆分。

不死鸟.亚历山大.狼崽子·2024-02-07 09:10

云计算 - 弹性计算技术全解与实践

传统的计算模型通常局限于单一的、物理的位置和有限的资源，而云计算则通过分布式的资源和服务，为计算能力带来了前所未有的"弹性"。

快乐非自愿·2024-02-07 08:19

【Git教程】（一）基本概念：—— 工作流、分布式版本控制、版本库 ~

Git教程·基本概念1️⃣为什么要用Git2️⃣为什么要用工作流3️⃣分布式版本控制4️⃣版本库5️⃣简单的分支创建与合并总结在本章中，将介绍一个分布式版本控制系统的设计思路，以及它与集中式版本控制系统的不同之处

小山code·2024-02-07 08:11

亚马逊认证考试系列 - 知识点 - VPC Peering介绍

在云计算环境中，构建和管理虚拟私有云（VPC）是企业基础架构设计的重要一环。AWS（AmazonWebServices）的VPCPeer技术为不同VPC间建立安全连接提供了强大的工具。

customservice·2024-02-07 07:23

Spring Cloud Neflix Hystrix入门使用

1.概述Hystrix是Netflix开源的一个针对分布式系统容错处理的组件，Netflix公司的项目里大量用到了Hystrix，Hystrix单词意为：“豪猪”，浑身有刺来保护自己。

NullzzZ·2024-02-07 07:25

一步步带你了解Tomcat中的连接器是如何设计的

一、Tomcat的整体架构设计Tomcat有2个核心功能：1、处理Socket连接，负责网络字节流与Request和Response对象的转化。

NullzzZ·2024-02-07 07:53

大龄码农的业余作品：升讯威在线客服系统：系统架构设计

本系列文章详细介绍使用.netcore和WPF开发升讯威在线客服与营销系统的过程。本产品已经成熟稳定并投入商用，并提供了多国语言版本，服务了一些海外客户。本篇主要介绍系统的技术架构，从较高的抽象层次上解释我是怎样设计实现这样一套系统的。首先我们先粗略的提出一些技术要求和技术指标：支持多租户。也就是云服务的形式，不同的客户拥有互不干涉的域，各自管理自己的站点和数据。系统可以横向扩展，具备弹性扩容的能

升讯威在线客服系统·2024-02-07 07:39

架构（十三）动态本地锁

一、引言加锁大家都知道，但是目前提供动态锁的基本都是分布式锁，根据订单或者某个收费款项进行加锁。比如这个1订单要收刷卡费用，那就OREDER_1做为key丢到redis进行分布式加锁。

胖当当技术·2024-02-07 06:53

本体ont初步分析-第35天

什么是本体本体是新一代公有基础链项目&分布式信任协作平台。本体提供新一代高性能基础公有链，包括完整的分布式账本、智能合约体系支持。

追梦者wang·2024-02-07 06:16

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算

HanhahnaH·2024-02-07 06:03

2021 年回顾：GPU 支持之路

今年，我们不仅推出了AkashNetwork，一个分布式点对点的云计算市场，也是大型科技公司计算解决方案的第一个替代方案，而且我们稳定和优化了网络，确保它准备好扩大规模，并在此过程中找到匹配的产品与市场

Akash社区·2024-02-07 06:28

解密 ARMS 持续剖析：如何用一个全新视角洞察应用的性能瓶颈？

尽管经过过去十几年的发展，分布式系统与之对应的可观测技术快速演进，在一定程度上解决了很多问题，但有一些问题定位起来仍

阿里云云原生·2024-02-07 06:51

Ray on ACK 实践探索之旅 - RayCluster 篇

Ray是一个开源框架，专为构建可扩展的分布式应用程序而设计，旨在通过提供简单直观的API，简化分布式计算的复杂性，让开发者能够便捷高效地编写并行和分布式Python应用程序。

阿里云云原生·2024-02-07 06:50

【分布式技术专题】「Zookeeper中间件」Paxos协议的原理和实际运行中的应用流程分析

Paxos产生背景Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。

洛神灬殇·2024-02-07 06:45

一篇带你了解私有仓库 Harbor 的搭建

Harbor是由VMware公司开源的企业级的DockerRegistry管理项目，相比docker官方拥有更丰富的权限权利和完善的架构设计，适用大规模docker集群部署提供仓库服务。

AAA小肥杨·2024-02-07 05:32

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

文章目录一、实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3.Windows和Linux系统间的文件传输3.1安装FileZillaClient3.2打开并传输文件测试4.CentOS6上安装Hadoop

-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize

Clearlove灬Star·2024-02-07 05:01

【实验2】在Hadoop平台上部署WordCount程序

文章目录实验内容一、实验环境：二、实验内容与步骤（过程及数据记录）：5.分布式文件系统HDFS上的操作5.1利用Shell命令与HDFS进行交互5.2利用Web界面管理HDFS6.分布式文件系统HDFS

-借我杀死庸碌的情怀-·2024-02-07 05:27

EDAS再升级！全面支持Spring Cloud应用

摘要：近日，阿里中间件（Aliware）的企业级分布式应用服务EDAS宣布再次升级，全面支持SpringCloud应用。

猫耳呀·2024-02-07 05:48

2019-04-25重新理解区块链

对区块链的理解，一开始是分布式记账，后来是每个人都是贡献者，每个人都可以或得价值，今天的理解是，利用区块链建生态，在生态内交易，实现人人创造价值。

知识迭代·2024-02-07 05:11

关于mango

mango的中文名是“芒果”，它是一个极速分布式ORM框架。目前已有十多个大型线上项目在使用mango，在某一支付系统中，更是利用mango，承载了每秒12万的支付下单请求。

非文666·2024-02-07 05:41

资深P7架构师详解淘宝服务端高并发分布式架构演进之路

1.概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。

小白不想上班·2024-02-07 04:53

k8s+docker集群整合搭建（完整版）

Kubernetes系列之介绍篇1、背景介绍云计算飞速发展IaaSPaaSSaaSDocker技术突飞猛进一次构建，到处运行容器的快速轻量完整的生态环境2、什么是kubernetes首先，他是一个全新的基于容器技术的分布式架构领先方案

928-y·2024-02-07 04:16

阿里首席架构师科普RPC框架

目前，主流的平台中都支持各种远程调用技术，以满足分布式系统架构中不同的系统之间的远程通信和相互调用。远程调用的应用场景极其广泛，实现的方式也各式各样。

Java架构·2024-02-07 04:26

为什么免费ip代理不适用于分布式爬虫？

然而，这些免费IP代理并不适用于分布式爬虫的使用，原因如下：1.不稳定性免费IP代理通常是由个人或组织提供的，没有稳定的维护和管理机制。

2301_77578770·2024-02-07 03:00

python爬虫需要什么HTTP代理？为什么使用了高匿代理IP还是被封？

在爬取网站时，使用HTTP代理可以帮助我们隐藏IP地址，减少被目标网站封禁的概率，同时也可以实现分布式爬虫等功能。

2301_77578770·2024-02-07 03:29

推荐频道

分布式架构设计