分布式系列

搞定分布式系列：缓存 热key 问题解决方案

在分布式缓存中，面对高并发要求有两个问题非常重要：热key问题（hotkey）和大value（bigkey）问题。热key问题：是指缓存集群中的某个key在瞬间被数万甚至十万的并发请求打爆。大value问题：是指某个key对应的value可能有gb级别的大小，导致查询value的时候会引发网络相关的故障问题。不管是hotkey，还是bigkey都有可能是压垮服务的最后一根稻草。本节我们重点看下缓存
技术大咖秀·2020-06-26 09:26

【分布式系列01期】常见的分布式ID生成方案浅析及大厂方案调研

PS:本文已收录到1.4K+Star数的开源项目《大厂面试指北》，如果想要了解更多，可以访问Github项目主页：https://github.com/NotFound9/interviewGuide建了一个技术交流群，欢迎大家进群一起玩耍，一起学习进步！进群还获取我自己原创的《大厂面试指北》PDF版在日常的业务开发中，通常需要对一些数据做唯一标识，例如为大量抓取的文章入库时分配一个唯一的id，为
NotFound9·2020-06-24 18:27

程序员进阶很慢？七点java程序员进阶必备技能，让你少走弯路

CAS等，多纬度提升架构基础，并发编程高级进阶，JVM性能深度调优，网络编程与高效IO，深入Tomcat底层，Mysql深度优化实战，架构师必备Linux二、分布式方案及团队协作工具分布式环境下应该知道的分布式系列问题
Tyloo_wdnmd·2020-06-22 07:37

淘东电商项目（44） -Docker下搭建ElasticSearch集群

引言本文代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop之前我写过在Linux下安装ElasticSearch以及搭建集群：《分布式系列教程
杨林伟·2020-04-02 17:47

分布式系列文章——分布式系统的特点及问题

随着数据量越来越大，计算机需要处理的业务越来越复杂，单机已经无法满足需求。一个有效的解决方案是把众多廉价的计算机整合起来，共同提供服务，这就是分布式系统。接下来介绍分布式系统的定义、特点，以及分布式环境中存在的问题和挑战。分布式系统定义在《分布式系统概念与设计》一书中，对分布式系统做了如下定义：分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。也
Jeffbond·2020-02-29 20:55

【软帝学院】七点java程序员进阶必备技能

CAS等，多纬度提升架构基础，并发编程高级进阶，JVM性能深度调优，网络编程与高效IO，深入Tomcat底层，Mysql深度优化实战，架构师必备Linux二、分布式方案及团队协作工具分布式环境下应该知道的分布式系列问题
王囧草·2019-12-26 20:00

分布式系列文章——从ACID到CAP/BASE

原文：http://mp.weixin.qq.com/s/epksv_GNCTrZ5-3cGlxewA本文先介绍传统关系数据库中事务的ACID特性，再介绍分布式系统中的经典理论——CAP定理和BASE理论。事务事务的定义：事务（Transaction）是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元（Unit），狭义上的事务特指数据库事务。事务的作用：当多个应用程序并发访问数
Jeffbond·2019-12-20 03:39

分布式系列教程（30） -SpringBoot整合ElasticSearch

1.引言代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/SpringBoot-ElasticSearch-Demo2.SpringBoot整合ElasticSearch1.新建Maven项目Spring-ElasticSearch-Demo2.添加maven依赖：org.springframework.bootspring-boot
杨林伟·2019-12-17 20:49

分布式系列教程（23） -分布式事务解决方案(实践篇)

1.SpringCloud集成LCN框架目前LCN版本已经升级为4.0了，但是官方没有SpringCloud2.0的demo案例。因为LCN本身是开源的，网上有大牛对LCN框架源码做修改，可以支持SpringCloud2.0版本。下面来讲解下SpringCloud2.0集成LCN框架的步骤：1.添加maven依赖com.codingapitransaction-springcloud4.1.2or
杨林伟·2019-12-07 16:42

搞定分布式系列：分布式理论基础

分布式架构，需要的理论基础。一、CAP理论CAP理论是指在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性），三者不可兼得。C(Consistency)，一致性：数据在分布式系统中的多个副本之间保持一致的特性。在数据一致的某个时间点，执行更新操作后，也要求系统各部分数据是一致的。A(Availability)，
技术大咖秀·2019-11-29 17:11

分布式系列教程（03） -分布式Redis缓存(SpringBoot整合Redis)

代码已上传至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/SpringBoot-Redis-Demo在上一篇博客中《分布式系列教程（02）-分布式
杨林伟·2019-11-21 16:07

面试官：兄弟，说说 Spring Cloud 的核心架构原理吧

最近在补一些分布式系列的面试内容，提前几个月做做准备吧，你们懂的，也跟大家分享分享。现在分布式系统基本上都是标配了，如果你现在还在玩儿单机，没有接触过这些东西的话，权当是为你打开一扇新的大门吧。
Android小安·2019-09-17 10:07

面试官：兄弟，说说 Spring Cloud 的核心架构原理吧

最近在补一些分布式系列的面试内容，提前几个月做做准备吧，你们懂的，也跟大家分享分享。现在分布式系统基本上都是标配了，如果你现在还在玩儿单机，没有接触过这些东西的话，权当是为你打开一扇新的大门吧。
Android小安·2019-09-17 10:07

面试官：兄弟，说说 Spring Cloud 的核心架构原理吧

最近在补一些分布式系列的面试内容，提前几个月做做准备吧，你们懂的，也跟大家分享分享。现在分布式系统基本上都是标配了，如果你现在还在玩儿单机，没有接触过这些东西的话，权当是为你打开一扇新的大门吧。
javageektech·2019-08-22 08:00

聊聊分布式

欢迎关注公众号：java4all↓↓↓分布式系列目录，点击直接进入文章↓↓↓，也可进入专栏：1.分布式锁系列–01分布式锁入门介绍2.分布式锁系列–02Redis实现分布式锁3.分布式锁系列–03关于分布式锁的选型分析
IT云清·2019-03-30 15:06

分布式系列-分布式通信协议

1.网络协议在分布式中地位分布式环境下重要的特点：任务分解和网络通信，其中网络协议在分布式环境中承担着不可缺少的部分，不管是系统与系统之间的通信，或者是中间件之间的通信都与网络协议有着密不可分的关系。2.网络模型2.1.OSI模型OSI七层模型分别是：应用层网络服务与最终用户的一个接口。协议有：HTTPFTPTFTPSMTPSNMPDNSTELNETHTTPSPOP3DHCP表示层数据的表示、安全
老街码屋·2019-03-17 15:28

【原创】分布式之elk日志架构的演进

引言好久没写分布式系列的文章了，最近刚好有个朋友给我留言，想看这方面的知识。其实这方面的知识，网上各种技术峰会的资料一抓一大把。博主也是凑合着写写。感觉自己也写不出什么新意，大家也凑合看看。
专注java开发·2018-10-16 08:00

【原创】分布式之elk日志架构的演进

引言好久没写分布式系列的文章了，最近刚好有个朋友给我留言，想看这方面的知识。其实这方面的知识，网上各种技术峰会的资料一抓一大把。博主也是凑合着写写。感觉自己也写不出什么新意，大家也凑合看看。
孤独烟·2018-10-16 08:00

分布式系列：什么是分布式系统1

什么是分布式系统：原来有一个20多万行代码的系统，现在拆分成20个小系统，每个小系统1万多行代码。原本代码之间都是直接基于spring调用，现在拆开来了，20个小系统部署在不同的机器上，得基于分布式服务框架（比如dubbo）搞一个rpc调用，接口与接口之间通过网络通信来请求和响应。分布式系统可以大概分成两类。1、底层的分布式系统。比如hadoophdfs（分布式存储系统）、hadoopmapred
一只阿木木·2018-06-04 18:00

分布式系列 - dubbo服务telnet命令

阅读更多dubbo服务发布之后，我们可以利用telnet命令进行调试、管理。Dubbo2.0.5以上版本服务提供端口支持telnet命令，下面我以通过实例抛砖引玉一下：1.连接服务测试对应IP和端口下的dubbo服务是否连通，cmd命令如下telnetlocalhost20880正常情况下，进入telnet窗口，键入回车进入dubbo命令模式。2.查看服务列表查看服务dubbo>lscom.tes
一眉道人77·2017-06-26 15:00

分布式系列 - dubbo服务telnet命令

阅读更多dubbo服务发布之后，我们可以利用telnet命令进行调试、管理。Dubbo2.0.5以上版本服务提供端口支持telnet命令，下面我以通过实例抛砖引玉一下：1.连接服务测试对应IP和端口下的dubbo服务是否连通，cmd命令如下telnetlocalhost20880正常情况下，进入telnet窗口，键入回车进入dubbo命令模式。2.查看服务列表查看服务dubbo>lscom.tes
一眉道人77·2017-06-26 15:00

分布式一致性算法：Raft 算法（Raft 论文翻译）

如果对Paxos算法感兴趣，可以看我的另一篇文章：分布式系列文章——Paxos算法原理与推导摘要Raft是用来管理复制日志（replicatedlog）的一致性协议。
ponpon_·2017-02-20 09:57

分布式一致性算法：Raft 算法（Raft 论文翻译）

如果对Paxos算法感兴趣，可以看我的另一篇文章：分布式系列文章——Paxos算法原理与推导摘要Raft是用来管理复制日志（replicatedlog）的一致性协议。它跟multi-Paxos
Jeffbond·2017-02-19 17:03

后端分布式系列：分布式存储－HDFS NameNode 设计实现解析

接前文分布式存储-HDFS架构解析，我们总体分析了HDFS架构的主要构成组件包括：NameNode、DataNode和Client。本文首先进一步解析HDFSNameNode的设计和实现要点。元数据持久化NameNode将所有元信息以特定的数据结构组织存放在内存中，对于namespace和replicationfactor的信息会进行持久化，而映射关系则不会持久化。因为映射关系是通过DataNod
qwq998492·2015-11-05 18:10

后端分布式系列：分布式存储－MySQL 数据库事务与复制

好久没有写技术文章了，因为一直在思考「后端分布式」这个系列到底怎么写才合适。最近基本想清楚了，「后端分布式」包括「分布式存储」和「分布式计算」两大类。结合实际工作中碰到的问题，以寻找答案的方式来剖解技术，很多时候我们都不是在创造新技术，而是在应用技术。为了更有效率与效果的用好技术，我们需要了解一些技术的原理与工作方式。带着问题从使用者的角度去剖析技术原理，并将开源技术产品和框架作为一类技术的参考实
mindfloating·2015-11-03 22:00

后端分布式系列：分布式存储－MySQL 数据库事务与复制

好久没有写技术文章了，因为一直在思考「后端分布式」这个系列到底怎么写才合适。最近基本想清楚了，「后端分布式」包括「分布式存储」和「分布式计算」两大类。结合实际工作中碰到的问题，以寻找答案的方式来剖解技术，很多时候我们都不是在创造新技术，而是在应用技术。为了更有效率与效果的用好技术，我们需要了解一些技术的原理与工作方式。带着问题从使用者的角度去剖析技术原理，并将开源技术产品和框架作为一类技术的参考实
BradyZhu·2015-11-03 22:00

后端分布式系列：分布式存储－HDFS 与 GFS 的设计差异

「后端分布式系列」前面关于HDFS的一些文章介绍了它的整体架构和一些关键部件的设计实现要点。我们知道HDFS最早是根据GFS（GoogleFileSystem）的论文概念模型来设计实现的。
mindfloating·2015-10-13 20:00

后端分布式系列：分布式存储－HDFS 与 GFS 的设计差异

「后端分布式系列」前面关于HDFS的一些文章介绍了它的整体架构和一些关键部件的设计实现要点。我们知道HDFS最早是根据GFS（GoogleFileSystem）的论文概念模型来设计实现的。
·2015-10-13 08:00

后端分布式系列：分布式存储－HDFS 与 GFS 的设计差异

「后端分布式系列」前面关于HDFS的一些文章介绍了它的整体架构和一些关键部件的设计实现要点。我们知道HDFS最早是根据GFS（GoogleFileSystem）的论文概念模型来设计实现的。
·2015-10-13 00:00

后端分布式系列：分布式存储－HDFS 异常处理与恢复

在前面的文章《HDFSDataNode设计实现解析》中我们对文件操作进行了描述，但并未展开讲述其中涉及的异常错误处理与恢复机制。本文将深入探讨HDFS文件操作涉及的错误处理与恢复过程。读异常与恢复读文件可能发生的异常有两种：读取过程中DataNode挂了读取到的文件数据损坏HDFS的文件块多副本分散存储机制保障了数据存储的可靠性，对于第一种情况DataNode挂了只需要失败转移到其他副本所在的Da
mindfloating·2015-09-02 10:00

后端分布式系列：分布式存储－HDFS Client 设计实现解析

前面对HDFSNameNode和DataNode的架构设计实现要点做了介绍，本文对HDFS最后一个主要构成组件Client做进一步解析。流式读取HDFSClient为客户端应用提供一种流式读取模型，就像访问本机文件系统一样来访问HDFS。将复杂的分布式文件系统读取细节隐藏，简化了上层应用的使用难度。写过读取本机文件的程序员想必都很熟悉流式读取的编程模型，就不多说了。错误处理相比读取本机文件系统，从
mindfloating·2015-09-01 15:00

后端分布式系列：分布式存储-HDFS 异常处理与恢复

在前面的文章《HDFSDataNode设计实现解析》中我们对文件操作进行了描述，但并未展开讲述其中涉及的异常错误处理与恢复机制。本文将深入探讨HDFS文件操作涉及的错误处理与恢复过程。读异常与恢复读文件可能发生的异常有两种：读取过程中DataNode挂了读取到的文件数据损坏HDFS的文件块多副本分散存储机制保障了数据存储的可靠性，对于第一种情况DataNode挂了只需要失败转移到其他副本所在的Da
·2015-09-01 08:00

后端分布式系列：分布式存储-HDFS 异常处理与恢复

在前面的文章《HDFSDataNode设计实现解析》中我们对文件操作进行了描述，但并未展开讲述其中涉及的异常错误处理与恢复机制。本文将深入探讨HDFS文件操作涉及的错误处理与恢复过程。读异常与恢复读文件可能发生的异常有两种：读取过程中DataNode挂了读取到的文件数据损坏HDFS的文件块多副本分散存储机制保障了数据存储的可靠性，对于第一种情况DataNode挂了只需要失败转移到其他副本所在的Da
·2015-09-01 00:00

后端分布式系列：分布式存储－HDFS DataNode 设计实现解析

前文分析了NameNode，本文进一步解析DataNode的设计和实现要点。文件存储DataNode正如其名是负责存储文件数据的节点。HDFS中文件的存储方式是将文件按块（block）切分，默认一个block64MB（该大小可配置）。若文件大小超过一个block的容量可能会被切分为多个block，并存储在不同的DataNode上。若文件大小小于一个block的容量，则文件只有一个block，实际占
mindfloating·2015-08-26 10:00

后端分布式系列：分布式存储－HDFS NameNode 设计实现解析

接前文分布式存储-HDFS架构解析，我们总体分析了HDFS架构的主要构成组件包括：NameNode、DataNode和Client。本文首先进一步解析HDFSNameNode的设计和实现要点。元数据持久化NameNode将所有元信息以特定的数据结构组织存放在内存中，对于namespace和replicationfactor的信息会进行持久化，而映射关系则不会持久化。因为映射关系是通过DataNod
mindfloating·2015-08-25 10:00

后端分布式系列：分布式存储－HDFS 架构解析

本文以Hadoop提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在《分布式存储-概述》一文中描述的几个关注方面么？分布式文件系统属于分布式存储中的一种面向文件的数据模型，它需要解决单机文件系统面临的容量扩展和容错问题。所以HDFS的架构设计目标就呼之欲出了：面向超大文件或大量的文件数据集自动检
mindfloating·2015-08-21 21:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他