【分布式专题】

分布式专题-数据库分库分表之Mycat01-数据库性能优化方案

目录导航前言为什么要分库分表数据库性能瓶颈主要原因数据性能优化方案SQL与索引表与存储引擎架构配置操作系统与硬件架构演进与分库分表单应用单数据库多应用单数据库多应用独立数据库什么时候分表？读写分离分库分表垂直拆分水平拆分单库水平分表多库水平分表多案分库分表带来的问题跨库关联查询分布式事务分布式事务有几种常见的解决方案排序、翻页、函数计算问题全局主键避重问题全局主键避重解决方案多数据源/读写数据源的

✎ℳ๓₯㎕...雲淡風輕·2024-01-24 18:08

分布式专题-分布式缓存技术之Redis04-Redis的应用实战

目录导航前言RedisJava客户端介绍客户端支持差异对比Jedis-Sentinel原理分析源码分析Jedis-Cluster原理分析源码分析Redisson客户端的操作方式Redis实战分布式锁的实现Redisson实现分布式锁Redisson实现分布式锁的原理原理分析Jedis实现分布式锁管道模式使用方法Redis的应用架构Redis缓存与数据一致性问题关于缓存雪崩的解决方案缓存雪崩解决方式

✎ℳ๓₯㎕...雲淡風輕·2023-12-20 10:54

分布式专题-NIO框架之Netty05 - Netty核心之Pipeline与EventLoop

目录导航前言Pipeline设计原理Channel与ChannelPipeline再探ChannelPipeline的初始化ChannelInitializer的添加自定义ChannelHandler的添加过程给ChannelHandler命名ChannelHandler默认命名规则Pipeline的事件传播机制Outbound事件传播方式Inbound事件传播方式Pipeline事件传播小结Ha

✎ℳ๓₯㎕...雲淡風輕·2023-11-19 17:48

分布式专题-NIO框架之Netty06 - Netty性能调优与设计模式

目录导航前言设计模式在Netty中的应用单例模式源码举例策略模式源码举例装饰者模式源码举例观察者模式源码举例迭代器模式源码举例责任链模式源码举例工厂模式源码举例Netty高性能并发调优Netty应用程序性能调优单机百万连接调优解决思路后记前言本节我们就需要基于Netty开发（已熟练掌握Netty操作API的）的人群，谈谈Netty的性能调优。Netty共计分为六节，分别是：01JavaIO演进之路

✎ℳ๓₯㎕...雲淡風輕·2023-11-19 17:48

ZooKeeper分布式专题(二) -- zookeeper应用场景及数据模型

ZooKeeper分布式专题与Dubbo微服务入门zookeeper基本数据类型zookeeper是一个树形结构,类似于前端开发中的tree.js组件;image.pngzk的数据模型也可以理解为linux

郝小永·2023-10-29 21:39

MinIO分布式专题（第二章、MinIO分布式部署）

上个章节简单介绍了下单机和纠删码的部署，也对一些最基础的API进行了实现，本章进入分布式部署讲解。本章节我们就讲述以下几个内容：1、MinIO如何进行纠删码部署2、MinIO分布式部署场景实战3、分布式场景扩容方案如何落地1、MinIO如何进行纠删码部署上个章节我介绍了下纠删码模式的特点，本节重点介绍下纠删码的部署和使用。1.1、什么是纠删码erasurecode?对于纠删码模式，其实就是一种数据

风清扬逍遥子·2023-10-22 21:53

ZooKeeper分布式专题(四)--使用ZooKeeper原生Java API进行客户端开发

使用ZooKeeper原生JavaAPI进行客户端开发ZooKeeper分布式专题与Dubbo微服务入门建立客户端与zk服务端的链接zk会话重连机制同步异步创建zk节点修改zk节点数据同步异步删除zk节点

郝小永·2023-10-10 16:51

分布式专题——详解Google levelDB底层原理

本文始发于个人公众号：TechFlow，原创不易，求个关注今天是分布式专题的第10篇文章，我们继续来聊聊LSMT这个数据结构。LSMT是一个在分布式系统当中应用非常广泛，并且原理直观简单的数据结构。

TechFlow·2023-10-05 11:07

错过这个，我将会为你感到惋惜-zookeeper分布式专题完整解析

ZookeeperZooKeeper本身就是一个分布式程序（只要半数以上节点存活，ZooKeeper就能正常服务）。为了保证高可用，最好是以集群形态来部署ZooKeeper，这样只要集群中大部分机器是可用的（能够容忍一定的机器故障），那么ZooKeeper本身仍然是可用的。ZooKeeper将数据保存在内存中，这也就保证了高吞吐量和低延迟（但是内存限制了能够存储的容量不太大，此限制也是保持znod

553299dc1d46·2023-09-12 14:44

分布式专题｜都说netty入门很难，那是因为你没有看我的文章！

在写代码之前，我们先看下netty的线程模型，这比那固定格式的代码将会更有趣，看完线程模型，你就知道netty写的那几段固定代码的意义了。线程模型图在这里插入图片描述这个线程模型图里面大概包含了这几个组件：bossGroup,workGroup,selectot(accept),selector(读写),pipline,NioSocketChannel,NioServerSocketChannel

AI码师·2023-09-11 00:17

分布式专题 - LevelDB

简介LevelDb是由JeffDean和SanjayGhemawat（2个大佬的简介里面有很多高质量的论文）发起的开源项目。LevelDb是能够处理十亿级别规模Key-Value型数据持久性存储的C++程序库，不支持结构化的数据查询，只支持api调用。也就是说它就是一个典型的我们常说的noSQL数据引擎库。它最早由google开发并且开源，Facebook在此基础上进行优化，推出了更普及的Rock

哲米·2023-08-29 09:58

云事业群CTO线技术晋升考核机试题-分布式专题-B 分布式事务参考答案

2023年（Q3财年）技术部门CTO线技术人员晋升考核机试题分布式篇-B分布式事务*参考答案*出题人：湖北TL田超凡答案制定：湖北TL田超凡*****试卷启用前绝密****1什么是事务？事务的特性有哪些？答：事务的定义：事务是最小的数据处理单元，主要作用是保证数据库数据状态的一致性。事物的特性：ACID特性，指的是：A原子性：每个事务都是最小的事务处理单元，不可再分B一致性：事务提交和回滚前后数据

田超凡·2023-07-18 17:30

云事业群CTO线技术晋升考核机试题-分布式专题-G 分布式幂等架构设计

2023年（Q3财年）技术部门CTO线技术人员晋升考核机试题分布式篇-G分布式幂等架构设计*参考答案*出题人：湖北TL田超凡答案制定：湖北TL田超凡*****试卷启用前绝密****1幂等的基本概念答：幂等指的是同一块业务逻辑重复多次执行时，只能令其生效一次，防止重复执行。2幂等的发生场景答：RPC调用接口的幂等性问题MQ消费者防止重复消费的幂等性问题定时任务防止重复执行的幂等性问题3RPC调用接口

田超凡·2023-07-17 14:28

云事业群CTO线技术晋升考核机试题-分布式专题-F 分布式服务链路动态追踪

2023年（Q3财年）技术部门CTO线技术人员晋升考核机试题分布式篇-F分布式服务链路动态追踪*参考答案*出题人：湖北TL田超凡答案制定：湖北TL田超凡*****试卷启用前绝密****1分布式服务链路动态追踪产生的背景答：在分布式微服务系统中，随着业务的发展，系统的规模也越来越大，服务和服务之间的调用关系也越来越复杂。比如一次HTTP请求可能会在多个服务和服务之间进行多次组合调用，在这个过程中，当

田超凡·2023-07-15 18:13

云事业群CTO线技术晋升考核机试题-分布式专题-D 分布式数据同步

2023年（Q3财年）技术部门CTO线技术人员晋升考核机试题分布式篇-D分布式数据同步*参考答案*出题人：湖北TL田超凡答案制定：湖北TL田超凡*****试卷启用前绝密****1缓存一致性产生背景答：当需要频繁访问数据库的时候，虽然数据库底层基于B+索引检索数据，但是仍然会十分消耗磁盘IO资源，导致数据库访问压力增加。此时可以基于缓存设计来减轻数据库访问压力。2多级缓存架构设计方案答：多级缓存架构

田超凡·2023-07-15 03:21

云事业群CTO线技术晋升考核机试题-分布式专题-E 分布式日志采集

2023年（Q3财年）技术部门CTO线技术人员晋升考核机试题分布式篇-E分布式日志采集*参考答案*出题人：湖北TL田超凡答案制定：湖北TL田超凡*****试卷启用前绝密****1传统日志采集存在哪些问题答：在传统项目的生产环境中，服务器集群中存在多个不同的服务器，当生产环境需要根据服务器日志发现和定位问题的时候，只能在每台服务器上基于传统命令的方式依次查询日志，效率低下；尤其是当服务器集群中的服务

田超凡·2023-07-14 12:07

云事业群CTO线技术晋升考核机试题-分布式专题-C 分布式任务调度

2023年（Q3财年）技术部门CTO线技术人员晋升考核机试题分布式篇-C分布式任务调度*参考答案*出题人：湖北TL田超凡答案制定：湖北TL田超凡*****试卷启用前绝密****1传统的定时任务存在那些缺点答：传统定时任务的缺点：定时任务逻辑和业务逻辑在一个服务中，是强耦合的，没有实现完全解耦，当定时任务逻辑出现问题，也会影响业务逻辑的执行。定时任务非常消耗cpu资源，可能会影响业务线程的执行。服务

田超凡·2023-07-14 07:33

mysql主从同步面试问题_分布式专题｜面试官问我了解Mysql主从复制原理么，我能说不会么？...

搭建Mysql主从同步之前，我们先来说他们之间同步的过程与原理：同步复制过程献上一张图，这张图诠释了整个同步过程在这里插入图片描述主从复制过程：slave节点与主节点进行连接，建立主从关系，并把从哪开始同步，及哪个日志文件都一并发送到mastermaster将修改的数据保存到binlog中master开启binlogdump线程，将binlog日志推送到连接的slave中slave接受到推送的bi

weixin_39866487·2023-04-12 12:23

分布式专题（4）- Dubbo

什么是Dubbo？总结一句话，就是：Dubbo是一款高性能、轻量级的开源JavaRPC框架，它提供了面向接口的远程方法调用、集群容错和负载均衡、以及服务自动注册和发现的功能。从这句话我们可以知道Dubbo的基本定位是RPC框架，另外Dubbo也作为一个分布式服务治理框架，除了能够提供通用RPC框架的远程方法调用功能外，还能提供负载均衡、服务注册与发现等功能。为什么选择Dubbo?RPC（Remot

Java程序员YY·2023-04-09 17:17

分布式专题 - Rocksdb

1.RocksDB简介RocksDB是由Facebook基于LevelDB开发的一款提供键值存储与读写功能的数据库软件，旨在充分实现快存上存储数据的服务能力。RocksDB是一个c++库，可以用来存储keys和values，且keys和values可以是任意的字节流，支持原子的读和写；RocksDB是一个基于LSM-Tree存储引擎实现的数据库架构，LSM通过将磁盘的随机写转化为顺序写来提高写性能

哲米·2023-04-05 01:54

微服务的演变(单体服务、集群服务、Session共享、服务化)

分布式系统为什么现在都说微服务，微服务到底解决了什么问题，一个应用服务是如何进行发展演变的从单机到集群再到现在的微服务通过该文章，表示我们就要进入分布式专题了，该文章是接下来分布式文章的前置知识分布式的演变单体服务简介单体服务

JolyouLu·2023-03-31 00:55

ZooKeeper分布式专题(六)-- Dubbo入门到重构服务

ZooKeeper分布式专题与Dubbo微服务入门本项目地址Dubbo入门到重构服务本文将以原理+实战的方式，首先对“微服务”相关的概念进行知识点扫盲，然后开始手把手教你搭建这一整套的微服务系统。

郝小永·2023-03-15 23:28

ZooKeeper分布式专题(五)-- Apache Curator客户端的使用

ZooKeeper分布式专题与Dubbo微服务入门ApacheCurator客户端的使用zk原生api的不足之处超时重连,不支持自动,需要手动操作watch注册一次会失效不支持递归创建节点apachecurator

郝小永·2023-03-15 11:42

分布式专题（十三）：缓存的那些事

缓存和它的那些淘汰算法们为什么我们需要缓存？很久很久以前，在还没有缓存的时候……用户经常是去请求一个对象，而这个对象是从数据库去取，然后，这个对象变得越来越大，这个用户每次的请求时间也越来越长了，这也把数据库弄得很痛苦，他无时不刻不在工作。所以，这个事情就把用户和数据库弄得很生气，接着就有可能发生下面两件事情：１.用户很烦，在抱怨，甚至不去用这个应用了（这是大多数情况下都会发生的）２.数据库为打包

江湖上最后一块奶酪·2023-01-26 20:29

MinIO分布式专题（第一章、一文教你搭建MinIO单机版）

市面上有很多的分布式存储方案，比如FastDFS，MongoDB，或者目前云厂商的存储比如阿里云，腾讯云，华为云等等，但是对于很多企业不愿意上云，于是业内就出现了很多的方案，而本章讲述的MinIO，一定是你看了就绝壁拍手称赞的！目录1、分布式文件系统应用场景1.1、MinIO介绍1.2、MinIO基础概念1.3、纠删码2、MinIO环境搭建2.1、单机部署3、Springboot集成MinIO基础

风清扬逍遥子·2023-01-14 07:46

手撕分布式技术：限流、通讯、缓存，全部一锅端走送给你

注意：下面分享的全部分布式专题面试+解析01分布式限流：Nginx+ZooKeeper1.1分布式限流之Nginx请解释一下什么是Nginx?

跟着我学Java·2022-10-29 07:49

史上最全MongoDB之Mongo Shell使用

MongoDB之MongoShell使用如果本文对你们的开发之路有所帮助，请帮忙点个赞，您的支持是我坚持写博客的动力扫描文章底部二维码获取电子书和最新面试资料前言本系列课程将带着大家以面试题的方式深入分布式专题之

janyxe·2022-06-24 17:11

zookeeper dubbo php,ZooKeeper分布式专题与Dubbo微服务入门 (完整版)

```python第1章分布式系统概念与ZooKeeper简介对分布式系统以及ZooKeeper进行简介，使得大家对其有大致的了解1-1zookeeper简介1-2什么是分布式系统1-3分布式系统的瓶颈以及zk的相关特性第2章ZooKeeper安装如何安装ZooKeeper以及对ZooKeeper最基本的数据模型进行剖析2-1JDK的安装2-2zookeeper下载、安装以及配置环境变量2-3zo

残荷余俞·2022-06-20 01:13

收藏（作为java开发我值得拥有）

文章目录一、学习提升码云最高Javastarjavaguide（java面试指导）面试扫盲（分布式专题）多线程Mybaits(Plus)阿里巴巴druidjava8redissionsentinel文档

今天你敲代码了吗？·2022-06-20 01:50

二、Kafka核心架构原理

分布式专题Kafka一、Kafka入门及部署二、Kafka核心架构原理Kafka核心架构图Kafka消息存放1、Kafka是根据offset获取对应的消息，消费者获取到消息之后不会像RabbitMQ一样移除

jany xe·2022-06-04 04:25

一、Kafka 入门及部署

分布式专题Kafka一、Kafka入门及部署二、Kafka核心架构原理前言本文主要详细的介绍Kafka基础概念以及搭建部署,Kafka常见命令,SpringBoot集成Kafka等内容Kafka概念Kafka

jany xe·2022-06-04 04:54

「分布式专题」docker+shell脚本快速部署项目

shell脚本本质是一个文件，文件里面存放的是特定格式的指令，系统可以使用脚本解析器翻译或解析指令并执行（它不需要编译）shell既是应用程序又是一种脚本语言（应用程序解析脚本语言）shell命令解析器：系统提供shell命令解析器：shashbashshell：大体含义就是把多个命令放到一起执行。前提公司有自己的harbor也可以注册公共barbor账号推送到中央harbor中结合dockerf

_Louie·2022-04-11 15:28

分布式专题（四）RPC实现原理

分布式RPC框架实现现在大部分的互联网公司都会采用微服务架构，但具体实现微服务架构的方式有所不同，主流上分为两种，一种是基于Http协议的远程调用，另外一种是基于RPC方式的调用。两种方式都有自己的代表框架，前者是著名的SpringCloud，后者则是有阿里巴巴开源的Dubbo，二者都被广泛的采用。今天这篇文章，我们就一起来了解一下RPC，并且和大家一起动手实现一个简单的RPC框架的Demo。什么

苏启豪·2022-03-13 02:50

献给迷惘的Java架构工程师

1.工程化专题（团队大于3个人之后，你需要去考虑团队合作，科学管理）2.源码分析专题（好的程序员，一行代码一个设计就能看出来,源码分析带你品味代码，感受架构）3.高性能及分布式专题（跟上技术节奏，扩宽技术视野

程序员技术圈·2021-05-19 01:24

ZooKeeper分布式专题(一) -- zookeeper安装以及介绍

ZooKeeper分布式专题与Dubbo微服务入门概述zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。

郝小永·2021-04-21 14:13

分布式专题-NIO框架之Netty01-Java IO 演进之路

目录导航前言JavaIO阻塞(Block)和非阻塞(Non-Block)同步(Synchronization)和异步(Asynchronous)JavaBIO与JavaNIOJavaBIO(BlockIO)JavaNIO(Non-BlockIO)面向流与面向缓冲阻塞与非阻塞选择器的问世NIO和BIO如何影响应用程序的设计JavaAIO（AsynchronousIO）AIO基本原理AIODEMO后记

✎ℳ๓₯㎕...雲淡風輕·2021-03-06 12:28

分布式专题｜纠结了两天，还是决定把这篇文章放出来（小白必看netty入门教程，图很多）

快速预览线程模型图流程讲解快速上手添加依赖服务端代码创建自定义的处理器，写我们自己的业务逻辑客户端代码创客户端自定义处理器netty相关面试知识拓展什么是拆包和粘包名词解释解释下什么是零拷贝在写代码之前，我们先看下netty的线程模型，这比那固定格式的代码将会更有趣，看完线程模型，你就知道netty写的那几段固定代码的意义了。线程模型图这个线程模型图里面大概包含了这几个组件：bossGroup,w

AI码师·2021-01-23 18:12

mysql不用科学记数法_MySQL不香吗，为什么还要有noSQL？

今天是分布式专题的第14篇文章，我们一起来看看NoSQL数据库。其实我很早就想写写分布式数据库相关的文章，既是我现在正在学习的，也是我很感兴趣的内容。

weixin_39978257·2020-12-17 15:32

分布式专题｜面试官问我了解Mysql主从复制原理么，我能说不会么？

搭建Mysql主从同步之前，我们先来说他们之间同步的过程与原理：同步复制过程献上一张图，这张图诠释了整个同步过程主从复制过程：slave节点与主节点进行连接，建立主从关系，并把从哪开始同步，及哪个日志文件都一并发送到mastermaster将修改的数据保存到binlog中master开启binlogdump线程，将binlog日志推送到连接的slave中slave接受到推送的binlog，slav

AI码师·2020-11-22 21:01

C#/.NET 分布式专题（SOA【面向服务】WebApi的使用)

.NETMVC/.NETCOER下WebApi基本使用如下//[RoutePrefix("api/Values/")]//action就可以去掉这一节；如果某个方法又不要了，可以在路由前面加个~[Route("~api/Values/{id:int}")]publicclassValuesController:ApiController{//GETapi/values[HttpGet]public

2b勿扰·2020-09-17 02:47

分布式专题1-了解分布式

前言我是一名工作时间不长但是也不短的java民工。因为在小城市发展，所以程序开发仅仅是单机就能搞定一切业务啦。这也导致自己能力停滞不前。写这个专栏不仅仅是为了拓宽视野，同时也希望能够增长一些知识。本专栏是我一边不断学习一边总结的结果，可能有不对的地方，如有发现请及时告知，万分感激！因为也是作为初学者，所以专栏对于新手来说可能较为友好，我会将我学习过程中遇到的疑问一一列出来，尽自己全力进行解答。如今

巫师大人·2020-09-13 00:16

Java高级架构师系统进阶线路

.>>> 作为自己学习路线的参考.工程化专题（团队大于3个人之后，你需要去考虑团队合作，科学管理）2.源码分析专题（好的程序员，一行代码一个设计就能看出来,源码分析带你品味代码，感受架构）3.高性能及分布式专题

在路上2017·2020-08-18 22:30

最牛Java架构师进阶路线

1.工程化专题（团队大于3个人之后，你需要去考虑团队合作，科学管理）2.源码分析专题（好的程序员，一行代码一个设计就能看出来,源码分析带你品味代码，感受架构）3.高性能及分布式专题（跟上技术节奏，扩宽技术视野

weixin_34056162·2020-08-11 14:19

分布式专题｜吐血整理Redis 十四大知识点，帮助小白从0到1蜕变

文章目录摘要环境搭建redisDocker方式安装使用源码方式安装redis一、五种基本数据类型的操作与应用场景string字符串类型基本指令应用场景hash(哈希)基本操作指令应用场景list（链表）基本指令应用场景set(集合)基本指令应用场景zset(有序列表)基本指令扩展知识二、如何使用redis实现附近的人的功能基本指令三、布隆过滤器实现原理布隆过滤器的安装(docker方式)基本指令布

AI码师·2020-08-03 21:54

2019最新java架构师全套vip实战项目

2018年视频+源码+素材共92G下载地址：百度网盘00.学习计划01.工程化专题02.源码分析专题03.分布式专题04.小马哥微服务架构05.性能优化06.大数据前篇之分布式搜索引擎规则07.BAT面试课程

weixin_44254754·2020-07-10 11:42

2018最新JAVA架构师全套vip培训(附笔记、源码)

2018年视频+源码+素材共92G00.学习计划01.工程化专题02.源码分析专题03.分布式专题04.小马哥微服务架构05.性能优化06.大数据前篇之分布式搜索引擎规则07.BAT面试课程08.Python

weixin_43751460·2020-07-10 10:56

分布式专题-漫谈分布式架构02-分布式架构设计

目录导航前言主流架构模型-SOASOA所解决的核心问题微服务架构SOA和微服务架构的差别领域驱动设计及业务驱动划分领域驱动设计的概念为什么需要DDD领域模型追本溯源总结分布式架构的基本理论CAP、BASE以及应用关于分布式一致性问题CAP理论BASE理论分布式架构下的高可用设计避免单点故障应用的高可用性分布式架构下的可伸缩设计加速静态内容访问速度的CDN什么情况下用CDN灰度发布后记前言本节我们来

✎ℳ๓₯㎕...雲淡風輕·2020-07-09 22:46

分布式专题-漫谈分布式架构01-分布式架构的演进过程

目录导航前言分布式架构的发展历史分布式架构发展的里程碑分布式系统的意义分布式架构的常见概念集群分布式节点副本机制中间件架构的发展过程阶段一，单应用架构阶段二，应用服务器和数据库服务器分离阶段三，应用服务器集群阶段四，数据库压力变大，数据库读写分离阶段五，使用搜索引擎缓解读库的压力阶段六，引入缓存机制缓解数据库的压力阶段七，数据库的水平/垂直拆分阶段八，应用的拆分分布式系统的难点后记前言从本专题我们

✎ℳ๓₯㎕...雲淡風輕·2020-07-09 08:01

ZooKeeper分布式专题(三) --zookeeper客户端命令行学习

zk常用命令行操作通过./zkCli.sh打开zk的客户端进行命令行后台进入zookeeper安装的bin目录,ls会看到如下:image.png键入:zkCli.sh,出现如图说明已经是连接状态image.pngls与ls2命令lspath[watch]ls2path[watch]键入:ls/image.png会看到有dubbo,zookeeper,test,这里我们吧dubbo和test先忽略

郝小永·2020-06-29 15:07

C#/.NET 分布式专题（SOA【面向服务】WebService的使用)

对于分布式框架，微服务专题后续会介绍到。分布式框架主要有（zookeeper，dubbo，ocelot/consul）WebService:寄宿在IIS，也就是必须在网站项目Http协议SOAP协议1Http传输信道，A服务器到B服务器，数据是什么格式传递的2XML的数据格式—Http传输解析得到的有用数据3SOAP协议—封装格式：在分布式的环境中，描述了如何做数据交换的一个轻量级协议4WSDL：

2b勿扰·2020-06-29 01:44

推荐频道