分布式技术

「分布式技术专题」时钟系列一：事件的因果和逻辑时钟

随着数据量的上升，传统单机架构存在的瓶颈已不能满足对性能和容量的要求，从而分布式系统变得越来越火热，但另一方面，分布式也带来了很多相对于单机架构不同的问题。其中一个问题就是多节点的时间同步问题：不同节点上的物理时钟难以同步，导致无法区分在分布式系统中多个节点的事件顺序。早在1978年，Lamport在《Time,ClocksandtheOrderingofEventsinaDistributedS
国产数据库Hubble·2023-10-09 06:52

促进分布式技术创新交流 BSN创新合作沙龙合肥站成功举行

安徽省电子商务协会、合肥市元宇宙产业协会以及星河社区共同主办的“BSN创新合作沙龙——合肥站”成功举行，本次活动邀请了BSN的多家合作伙伴，以及众多对区块链行业和Web3领域拥有浓厚兴趣的企业，共同就分布式技术与创新的发展方向
区块链服务网络（BSN）·2023-10-07 12:02

搞懂分布式技术10：LVS实现负载均衡的原理与实践

负载均衡的原理这是1998年一个普通的上午。一上班，老板就把张大胖叫进了办公室，一边舒服地喝茶一边发难：“大胖啊，我们公司开发的这个网站，现在怎么越来越慢了？”还好张大胖也注意到了这个问题，他早有准备，一脸无奈地说：“唉，我昨天检查了一下系统，现在的访问量已经越来越大了，无论是CPU，还是硬盘、内存都不堪重负了，高峰期的响应速度越来越慢。”顿了一下，他试探地问道：“老板，能不能买个好机器？把现在的
wrr-cat·2023-10-07 11:38

大数据市场千帆竞发，IPFS&Filecoin发展迎来新际遇！

在互联网金融迅速发展的时代里，IPFS技术的问世带来了一场革命性的创造，同时IPFS也是区块链分布式技术的典型代表，也被人们称为将引领区块链走向3.0时代的典型代表。
IPFS星际荧光·2023-10-06 02:58

华为十年架构师实战经验总结：大规模分布式系统架构与设计实战

前言本篇是从程序员到首席架构师十多年职业生涯的实战经验总结，系统讲解构建大规模分布式系统的核心技术与实现方法，包含开源的Fourinone系统的设计与实现过程，手把手教你掌握分布式技术。
程序员阿远·2023-09-27 05:11

《ArchSummit深圳2014大会》参会笔记

大会完整讲稿下载：http://sz2014.archsummit.com/构建大型云计算平台分布式技术的实践(阿里巴巴)章博士每次演讲都干货实足，各种解决问题的思路和方法，非常值得我们深思和借鉴1.可靠性
wangym·2023-09-21 20:34

解决高并发问题

可以通过优化数据库查询、增加缓存机制（如集成Redis）、使用分布式技术（如分布式缓存、分布式锁）、使用消息队列等方式来提高系统的并发处理能力。
Denial_learn·2023-09-21 00:29

Web 3.0 安全风险，您需要了解这些内容

Web3.0简介Web3.0是互联网的下一代，将构建在区块链、分布式技术和智能合约等新兴技术之上。它旨在实现去中心化、更加隐私保护和用户控制的互联网体验。这意味着
云长歌·2023-09-15 04:41

区块链技术与人工智能如何相互赋能

而区块链是一种分布式技术，可以用于创建更加安全和透明的应用程序。作为当今科技发展的两大重要方向，它们之间的交叉有可能通过提高安全性、透明度和整体效率为各行各业带来变革。区块链能够为人工智
区块链服务网络（BSN）·2023-09-14 18:13

分布式笔记4-分布式通信

分布式通信整理分布式技术学习的笔记贴出来方便查阅和共享，继续更新中......分布式通信.png
小狼星I·2023-09-11 04:44

浅谈高并发分布式架构演进路径

前言一直很想写一篇能覆盖分布式方面的文章，但当写的时候发现分布式技术发展到现在阶段，有太多的最佳实践和方法论，网上的文章也特别多，根本无从下手。
HelloGeekCsdn·2023-09-09 17:20

银行核心系统的新思考——核心会消失吗？

随着瘦核心被越来越多的银行采用后，核心的功能简化为“账户的集合体”，在分布式技术的影响下，不同产品的账户被打散到各个应用系统之中的趋势越发明显，那么核心会消失吗？
CS1026·2023-09-04 04:26

面试官如何考察与CAP相关的理论？

在互联网技术面试中，考察分布式技术已经是面试的标配了。很多招聘信息中，你能发现，一线互联网公司在对候选人的要求中都有“分布式系统设计”这一关键词。无论你是程序员，还是架构师，都要掌握分布式系统设计。
小熊学Java·2023-09-04 01:50

「分布式技术专题」SQL 解析的 AP/TP 判别

通常SQL语句可以分为分为四大类：数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。但在数据的操作上，可以根据SQL对于IO、CPU、内存等资源的消耗可以分为AP的SQL和TP的SQL。通常情况下单个TP的SQL语句对于资源的消耗是非常的少的。而AP的SQL会消耗量的IO、内存、CPU等资源。过程如下图：ap_tp_decideSQL的判别可以从几个点入手：1）基于规
国产数据库Hubble·2023-09-04 01:31

五分钟学后端技术：如何学习分布式系统和相关技术

/www.cnblogs.com/dudu0614/p/8821811.html什么是分布式系统分布式这一概念，一直都是后端工程师绕不过去的一个坎，今天，我们就一起来看看到底什么是分布式系统，又有哪些分布式技术世我们需要学习的
程序员黄小斜·2023-09-02 08:18

深入理解分布式技术 - 限流

文章目录Pre常见限流算法计数器法+滑动窗口算法漏桶和令牌桶算法不同限流算法的比较Pre在分布式高可用设计中，限流应该是应用最广泛的技术手段之一，今天一起来讨论一下，为什么需要限流，以及常见的限流算法都有哪些。常见限流算法限流是服务降级的一种手段，
小小工匠·2023-09-02 02:29

SpringBoot - 优雅的实现【流控】

限流算法我们先简单捋一捋限流算法并发编程-25高并发处理手段之消息队列思路+应用拆分思路+应用限流思路深入理解分布式技术-限流计数器限流漏桶算法把水比作是请求，漏桶比作是
小小工匠·2023-09-02 02:29

每日一博 - 漫谈流控小妙招

文章目录Pre概述实现方式固定窗口算法（计数器法）定义实现滑动窗口算法定义实现漏桶算法定义实现令牌桶算法定义实现每秒产生5个令牌应对突发流量平滑预热网关限流流量整形中间件限流Pre深入理解分布式技术-限流并发编程
小小工匠·2023-09-02 02:57

《分布式技术原理与算法解析》学习笔记Day22

哈希与一致性哈希在分布式系统中，哈希和一致性哈希是数据索引或者数据分布的常见实现方式。数据分布设计原则在分布式数据存储系统中，做存储方案选型时，一般会考虑以下因素：数据均匀数据稳定节点异构性隔离故障域性能稳定性数据均匀有两重含义：不同存储节点中存储的数据要尽量均衡，避免让某一个或者某几个节点存储压力过大，而其他节点几乎没有什么数据。用户访问也要做到均衡，避免出现某一个或者某几个节点的访问量很大，但
技术修行者·2023-09-02 02:02

数据库国产化应用改造实践

近年来，随着国产化大潮不断推进和数据库分布式技术趋势发展，越来越多的企业开始选择国产数据库替换原有数据库。然而，核心数据库迁移又是“令人闻风丧胆”的IT操作，稍有不慎就有“删库跑路”的巨大破坏性。
鲸品堂·2023-09-01 22:21

HarmonyOS“一次开发，多端部署“优秀实践——玩机技巧，码上起航

随着终端设备形态日益多样化，分布式技术逐渐打破单一硬件边界，一个应用或服务，可以在不同的硬件设备之间按需调用、互助共享，让用户享受无缝的全场景体验。
HarmonyOS开发者·2023-08-31 19:31

HarmonyOS“一次开发，多端部署“优秀实践——玩机技巧，码上起航

随着终端设备形态日益多样化，分布式技术逐渐打破单一硬件边界，一个应用或服务，可以在不同的硬件设备之间按需调用、互助共享，让用户享受无缝的全场景体验。
·2023-08-30 17:42

分布式技术

常见的分布式技术有发号机制、分布式数据库、分布式数据库事物、基于Redis的分布式缓存、分布式会话、分布式安全认证。1、发号机制在数据库（关系数据库）中，主键往往是一条记录的唯一标识，它具备唯一性。
元维时代·2023-08-29 11:20

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

Minio的元数据数据存储MinIO对象存储系统没有元数据数据库，所有的操作都是对象级别的粒度的，这种做法的优势是:个别对象的失效，不会溢出为更大级别的系统失效。便于实现"强一致性"这个特性。此特性对于机器学习与大数据处理非常重要。数据管理元数据与数据一起存放在磁盘上：数据部分纠删分片以后存储在磁盘上，元数据以明文形式存放在元数据文件里（xl.json）。假定对象名字为obj-with-metad
夏壹-10分分享·2023-08-29 08:13

【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构

MinIO背景介绍MinIO创始者是AnandBabuPeriasamy,Harshavardhana（戒日王）等人，Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO，Harshavardhana曾经是GlusterFS的开发人员，直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训，系统复杂度上作了大量简化。MinI
夏壹-10分分享·2023-08-26 09:52

【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator

UidGenerator是什么UidGenerator是百度开源的一款分布式高性能的唯一ID生成器，更详细的情况可以查看官网集成文档uid-generator是基于Twitter开源的snowflake算法实现的一款唯一主键生成器(数据库表的主键要求全局唯一是相当重要的)。要求java8及以上版本。snowflake算法Snowflake算法描述：指定机器&同一时刻&某一并发序列，是唯一的。据此可
夏壹-10分分享·2023-08-23 08:04

分布式技术 3：高并发系统的设计思路以及C++ 实现

Hello，大家好，欢迎来到“自由技艺“的学习小馆。今天我们来聊一聊软件系统中的高并发，具体内容包括高并发的设计思路、高并发的关键技术以及高并发实践。本文内容信息量比较大，涉及负载均衡、缓存、流控等技术，还有部分C++代码实现，需要读者慢慢消化。1什么是高并发“并发”一词最早来源于操作系统领域，指一段时间内多任务交替执行的现象。后来，高并发用来指大流量、大规模业务请求的场景，比如春运抢票、电商“双
自由技艺·2023-08-13 22:06

火力全开 | 区块链从概念走向实体

该文件将区块链技术纳入北京“金融科技”发展规划的范畴，提到在具体规划路径上，将一方面将积极推动影响金融科技功能应用的底层技术发展，完善各类技术市场设施，包括人工智能、大数据、互联技术（移动互联、物联网）、分布式技术
细说区块链·2023-08-13 05:50

【AI底层逻辑】——篇章7（上）：海量运算背后的算力支持

目录引入一、计算机芯片1、芯片的制造2、复杂指令集&精简指令集3、并行计算的GPU二、协作计算1、分布式技术“三论文”2、不可兼得的CAP定理3、故障类型续下篇...往期精彩：引入早在2016年DeepMind
柯宝最帅·2023-08-12 14:18

「分布式技术专题」外部接口

外部接口(提供给第三方使用的接口)。提供外部JAVA服务来进行调用，如:JDBC、ODBC.原理外部接口目前采用JDBC和ODBC，提供外部系统对数据库的操作访问，JDBC（JavaDataBaseConnectivity,java数据库连接）是一种用于执行SQL语句的JavaAPI，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更
天云数据·2023-08-10 21:35

【分布式技术专题】RocketMQ延迟消息实现原理和源码分析

痛点背景业务场景假设有这么一个需求，用户下单后如果30分钟未支付，则该订单需要被关闭。你会怎么做？之前方案最简单的做法，可以服务端启动个定时器，隔个几秒扫描数据库中待支付的订单，如果(当前时间-订单创建时间)>30分钟，则关闭订单。方案评估优点：是实现简单，缺点呢？*缺点：定时扫描意味着隔个几秒就得查一次数据库，频率高的情况下，如果数据库中订单总量特别大，这种高频扫描会对数据库带来一定压力，待付款
夏壹-10分分享·2023-08-09 19:47

【分布式技术专题】「OSS中间件系列」Minio的Server端服务的架构和实战搭建

Minio的介绍说明Minio是目前githug上star最多的ObjectStorage框架，这里ObjectStorage我目前的理解就是数据存储，minio可以用来搭建分布式存储服务Minio是ApacheLicensev2.0下发布的对象存储服务器。它与AmazonS3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM映像。对象的大小可以从几KB到最大5TB
洛神灬殇·2023-08-09 00:37

分布式笔记5-分布式协调与同步

分布式协调与同步整理分布式技术学习的笔记贴出来方便查阅和共享，继续更新中......分布式协调与同步.png
小狼星I·2023-08-07 16:12

大数据学习笔记（一）

大数据技术主要解决存储和分析计算问题.1.4V特征-A.Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)-B.Velocity 高速 分布式技术(N台计算机同时运算.)
加油牛牛·2023-08-07 04:29

Spring Boot 2.x 实战--第一个Spring Boot程序

并自定义返回数据和HTTP返回码、以及给API接口传入数据，下一小节将实战SpringBoot整合Log4j2与Slf4j实现日志打印和输出到文件：SpringBoot2.X实战我是小先，一个专注大数据、分布式技术的非斜杠青年
摘星星种星星·2023-08-03 02:34

【分布式技术专题】「架构设计方案」盘点和总结RBAC服务体系的功能设计及注意事项技术体系

盘点和总结权限认证服务的功能设计及注意事项技术体系前言介绍权限模型RBAC0模型角色出现的原因权限的种类介绍RBAC1模型RBAC2模型RBAC3模型用户组用户组的分类具有上下级关系的用户组（组织）总结介绍前言介绍权限管理是后台系统的重要组成部分，主要目的是控制不同人对资源的访问权限，以避免操作错误和隐私数据泄露等风险问题。我在公司负责权限管理，对该领域的设计很熟悉。公司采用微服务架构，因此权限系
洛神灬殇·2023-08-02 10:17

搞懂分布式技术1：分布式系统的一些基本概念

该系列博文会告诉你什么是分布式系统，这对后端工程师来说是很重要的一门学问，我们会逐步了解常见的分布式技术、以及一些较为常见的分布式系统概念，同时也需要进一步了解zookeeper、分布式事务、分布式锁、
低调使人进步·2023-07-27 23:18

Hbase 基于HDFS分布式列存储Nosql数据库(一) 概念及原理介绍

技术背景起源于谷歌旧三篇论文中bigtable设计目的为了解决大数据环境中海量结构化数据的实时读写问题为了弥补hadoop生态中没有实时存储的缺陷设计思想分布式技术本质概念：分布式列存储nosql数据库解释
章云邰·2023-07-26 22:25

**干货推荐**

干货推荐1.史上最强Java中高级面试题整理2.史上最强SpringBoot&Cloud教程整理3.史上最强架构设计分布式技术干货整理
沉默羔羊121·2023-07-22 15:06

2. MongoDB分片集群架构实战-----MongoDB分片集群和多文档事务详解

分布式技术MongoDB1.分片简介2.MongoDB分片集群架构3.环境搭建3.1分片集群搭建3.2使用mtools搭建分片集群4使用分片集群5.分片策略5.1什么是chunk5.2分片算法5.3哈希分片
俺就是菜得很·2023-07-21 01:16

MySQL生产环境高可用架构实战

分布式技术MongoDB1.MySQL高可用集群介绍1.1数据库主从架构与分库分表1.2MySQL主从同步原理2.动手搭建MySQL主从集群2.1基础环境搭建2.2安装MySQL服务2.2.1初始化MySQL2.2.2
俺就是菜得很·2023-07-15 15:57

【分布式技术专题】「缓存解决方案」一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战（多级缓存设计分析）

一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战（多级缓存设计分析）多级缓存设计案例多级缓存处理流程缓存意义及总结彩蛋案例多级缓存设计案例从用户发出请求到最底层的数据库，实际上会经过多个节点。因此，在整个链路上都可以设置缓存。根据缓存最近原则，将缓存放置在离用户最近的位置可以最大限度地提高系统响应效率，并明显提升系统的吞吐量，从而大大降低对后端的压力。在整个链路流程中，可以添加
洛神灬殇·2023-07-14 01:48

【分布式技术专题】「分布式技术架构」实践见真知，手把手教你如何实现一个属于自己的RPC框架（架构技术引导篇）

手把手教你如何实现一个属于自己的RPC框架RPC是什么RPC的应用RPC的技术要点RPC的实现案例自己开发一个RPC框架的实现RPC技术方案选择RPC通信技术RPC通信技术实现方案BIO网络通信模型NIO网络通信模型AIO网络通信模型RPC的设计模式服务端本地方法调用单纯反射机制加强版反射技术方法类型句柄Java的内省机制服务端服务注册服务调用拦截器解析器模式内部工具选择基础工具组件整合框架技术难
洛神灬殇·2023-07-14 01:37

「分布式技术专题」两种向量化执行引擎的实现方法

向量化执行引擎在三种常见的数据库查询引擎执行模型中我们讲到了向量化执行引擎本质上是一种批处理模型。批处理思想在计算机的世界里经常闪闪发光。高并发场景中，可以把大量的请求合并，改为调用批量接口；大数据下读取分布式文件系统时，如果要读取大量的小文件，可以将这些小文件打成tar包，或者批量一次打开100~500个文件；数据库插入数据时，修改单条插入为批量插入等。批处理减少了cpu的中断次数，可以更加合理
国产数据库Hubble·2023-06-24 10:20

什么是HarmonyOS？HarmonyOS系统架构

1：代表智能手机8：代表PC，平板，手表，智慧屏，AI音箱，耳机，AR/VR眼镜，车机N：代表loT生态产品对于开发者而言，HarmonyOS通过多种分布式技术，整合不同终端硬件能力，行程一个虚拟的超级终端
提起裙摆做女王i·2023-06-23 05:51

Storm--简介(一)

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点
无剑_君·2023-06-22 22:42

从Paxos到Raft

Paxos算法Paxos算法是分布式技术大师Lamport提出的，主要目的是通过这个算法，让参与分布式处理的每个参与者逐步达成一致意见。用好理
游杜渐·2023-06-19 04:40

第二届BSN全球技术创新发展峰会将于6月9日在武汉召开

以区块链技术为代表的分布式技术是数字技术的重要组成部分，也是助推数字经济的关键技术之一。过去四年，在国家信息中心的指导下，在各地政府的支持下，在生态合作伙伴的通力合作下，BSN持续对分布式
区块链服务网络（BSN）·2023-06-18 18:49

PolarDB-X 面向 HTAP 的混合执行器

但今时不同往日，由于硬件水平的高速发展，分布式技术的日益成熟，执行器在大数据量的加速优化也越来越被重视，而我们的PolarDB-X执行器也就是在这个背景下不断迭代成长起来的。目前PolarDB-
阿里云数据库·2023-06-12 21:16

Hash表的资料

Hashtable)Hash、分布式Hash与一致性哈希（ConsistentHashing）介绍哈希表的原理与实现（二）哈希表（HashTable）唠唠数据结构——哈希表哈希表原理及应用一致性Hash分布式技术
小南家的青蛙·2023-06-11 14:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他