分布式架构设计第29页

kafka基础概念

简介Kafka是一个分布式、支持分区的（partition）、多副本的（replication）的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

大河院开心鸭·2024-02-11 12:37

Kafka 概念，安装，常用命令（一）

Kafka有点像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异，首先，Kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩。

响彻天堂丶·2024-02-11 12:06

Kafka

第一章：Kafka的概述1.1、kafka是一个分布式的基于发布/订阅模型的消息队列，主要用于大数据实时处理领域。

小白鼠捉大猫咪·2024-02-11 12:06

RocketMQ 分布式事务消息

一、什么是事务事务是将一次执行过程中所涉及的所有操作纳入到一个不可分割的执行单元，组成事务的所有操作只有在所有操作均能正常执行的情况下才能提交，只要其中任一操作执行失败，都将导致整个事务的回滚。一句话来说，就是保证多个操作要么都做，要么都不做。同时一旦事务提交，则其所做的修改会永久保存到数据库。二、事务的四个特性（ACID）A:原子性(Atomicity)一个事务(transaction)中的所有

AYSAML·2024-02-11 12:13

Java面试题之：Kafka 概念

Java面试题之：Kafka概念Kafka概念Kafka概念 Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目

faramita_of_mine·2024-02-11 12:06

WebSocketServer+redis实时更新页面数据

redis实现发布订阅功能具体实现_redisconvertandsend-CSDN博客主要看上面这个使用redis做websocket分布式消息推送服务_websocketredis-CSDN博客ClassCastException

奋豆来袭·2024-02-11 12:34

关于DNS不得不说的一些事

所谓域名系统（DomainNameSystem缩写DNS，DomainName被译为域名）是因特网的一项核心服务，它作为可以将域名和IP地址相互映射的一个分布式数据库,可以balabala..省略一万字不表

码农小光·2024-02-11 12:12

Elasticsearch中的模板：定义、作用与实践

Elasticsearch，作为一款开源的分布式搜索和分析引擎，以其强大的全文搜索、结构化搜索和分析能力而广受好评。在处理大规模数据时，如何有效地管理和维护索引成为了一个关键问题。

地瓜伯伯·2024-02-11 11:11

移植美团 leaf 从 java 到 golang

引言关于生成分布式ID服务的方案有很多，基本上都是基于twitter的snowflake来实现，而美团的leaf则把snowflake和号段模式给集成到一起。

DigitMagic魔数实验室·2024-02-11 11:44

边缘人工智能的发展 —— 边缘AI图形化开发

边缘计算是一种分布式计算范式，它将计算任务和数据存储从中心化的云端推向网络的边

初心不忘产学研·2024-02-11 10:41

WWW 万维网

·万维网是分布式超媒体(hypermedia)系统。是超文本(hypertext)系统的扩充。·超文本：由多个信息源链接成。是万维网的基础。·超媒体与超

山间未相见·2024-02-11 10:02

在Windows QT下使用ZeroMQ

zeroMQ作为一个嵌入式消息队列系统，以其轻便灵活的使用方式，极为适合应用程序分布式通讯处理，或者是一种有效的代替常规saocket通讯的方法。

weixin_30578677·2024-02-11 09:30

大数据技术之 Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

骚戴·2024-02-11 09:34

FLUME-NG 使用总结

FLUME-NG使用总结1、Flume-NG概述2、Flume-NG架构设计要点3、FlowPipeline4、FlumeNG三个组件概要4.1、FlumeSource4.2、FlumeChannel4.3

.道不虚行·2024-02-11 09:34

【大数据】Flume-1.9.0安装➕入门案例

hive.log）到HDFS案例4.实时读取目录文件到HDFS案例5.实时监控目录下多个追加文件总结前言大数据解决的无非是海量数据的采集、存储、计算，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集

欧叶冲冲冲·2024-02-11 09:34

大数据Flume--入门

安装部署安装地址安装部署Flume入门案例监控端口数据官方案例实时监控单个追加文件实时监控目录下多个新文件实时监控目录下的多个追加文件FlumeFlume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集

泛黄的咖啡店·2024-02-11 09:04

ZooKeeper分布式锁

ZooKeeper是一个开源的分布式协调服务，它主要用于维护配置信息、提供分布式同步、命名服务等。

辞暮尔尔-烟火年年·2024-02-11 08:22

Clickhouse 优点与缺点（个人测评）

4、高效实用CPU,并行处理单个查询，充分利用多核，在多个服务器山分布式处理。5、开源的列存储，支持线性扩展，简单方便，高可用容错。缺点1

u013250861·2024-02-11 08:48

clickhouse常见部署图及LowCardinality低基数类型优缺点

clickhouse使用jdbc进行查询插入数据操作的部署图一.读sql的核心是读分布式表的数据（分布式表可以读取互为副本的本地表的数据，起到容灾的目的），然后使用nginx作为负载均衡器和反向代理，代理后端

lixia0417mul2·2024-02-11 08:46

ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化

1.什么是clickhouse:提供了sql结构化的查询语言;clickhouse是一款分布式数据库;clickhouse可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题

晓晓很可爱·2024-02-11 08:15

python web 框架Django学习笔记

2018年5月pythonweb框架Django学习笔记Django架站的16堂课MVC架构设计师大部分框架或大型程序项目中一种软件工程的架构模式，把程序或者项目分为三个主要组成部分，Model数据模型

ersaijun·2024-02-11 08:13

分布式锁实现

在分布式系统中，一个应用部署在多台机器中，在某些场景下，为了保证数据一致性，要求在同一时刻，同一任务只在一个节点上运行，即保证某个行为在同一时刻只能被一个线程执行；在单机单进程多线程环境，通过锁很容易做到

码<>农·2024-02-11 07:11

波奇学Linux：git和gdb调试

(去中心化分布式管理)client和server一体意味着远程仓库和本地仓库是平等地位，远程仓库是特殊的仓库而已，我们的clone远程仓库，某种意义上相当于远程仓库的push的操作git本质上是操作系统

社交达人波奇酱·2024-02-11 07:41

【SpringBoot】Redis集中管理Session和自定义用户参数解决登录状态及校验问题

浩泽学编程·2024-02-11 07:36

Netty应用(一) 之 NIO概念 & 基本编程

目录第一章概念引入1.分布式概念引入第二章Netty基础-NIO1.引言1.1什么是Netty？1.2为什么要学习Netty？

etcEriksen·2024-02-11 07:01

flinkcdc 3.0 架构设计学习

本文将会了解到flinkcdc3.0版本的架构设计,从一个宏观层面来学习flinkcdc3.0带来的新特性这也是作者目前觉得学习一项技术的思路和方法,就是首先先把demo跑起来体验一下,然后整体了解一下架构设计

Antgeek·2024-02-11 07:56

Redisson分布式锁原理 + 运用记录

Redisson分布式锁简单入门pomorg.redissonredisson3.13.6配置类packagecom.hmdp.config;importorg.redisson.Redisson;importorg.redisson.api.RedissonClient

憨憨小江·2024-02-11 07:47

RabbitMQ学习笔记

但在高并发情况下效率较低，不适用与并发Kafka高吞吐、速度快，但不支持事务，不能保证消息的可靠性一般用于日志传输，不适用于事务场景RocketMQ阿里开发的商业性MQ，商业版收费高吞吐、高可用适用于大规模分布式

努力变优秀的Z·2024-02-11 06:05

RabbitMQ

MQ衡量指标：服务性能、数据存储、集群架构二、KafkaKafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项

~Maple~·2024-02-11 06:05

RocketMQ 源码分析 —— 集成 Spring Boot

中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中间件

公众号-芋道源码·2024-02-11 06:33

分布式搜索引擎 elasticsearch

分布式搜索引擎elasticsearch第一部分1.初识elasticsearch1.1.了解ES1.1.1.elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能

KYGALYX·2024-02-11 05:12

CMU15-440-P0:Implementing a key-value messaging system

15-440是CMU的一个分布式课程http://www.cs.cmu.edu/~15-440/syllabus.html，其实之前在学校的时候就上过分布式的课程，当时用的MIT6.824的课件，可惜当时很多

sdj222555·2024-02-11 05:03

国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming

wwxy261·2024-02-11 05:03

RocketMQ使用

文章目录简介专业术语消息生产方式生产普通消息可靠同步发送(reliablesynchronous)可靠异步发送(reliableasynchronous)单向发送(one-waytransmission)生产顺序消息分布式事务消息延时发送消息批量发送使用

Chocolyte·2024-02-11 04:13

微服务组件

分布式跟踪和监控-记录并跟踪服务调用过程，以便监控和故障排查。消息队列-服务间的异步通信机制。容器化和编

辞暮尔尔-烟火年年·2024-02-11 03:31

基于 ShardingSphere 的分布式数据库负载均衡架构搭建实战

本文主要分为3部分，将依次介绍：基于ShardingSphere的分布式数据库「负载均衡架构搭建」要点结合实际的「用户问题案例」，介绍引入「负载均衡」的影响介绍并展示ShardingSphere分布式数据库在云上的

ShardingSphere·2024-02-11 03:22

elasticSearch使用场景深入详解

Elasticsearch是一个基于Lucene的搜索引擎，它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTPWeb接口和无模式JSON文档。

人生万事须自为，跬步江山即寥廓。·2024-02-11 03:50

分布式存储系统学习笔记(三)—分布式键值系统(1)—Amazon Dynamo

Dynamo通过组合P2P的各种技术打造了线上可运行的分布式键值系统，下表列出了Dynamo设计时面临的问题及最终采取的解决方案：2.数据分布Dynamo采用一致性哈希将数据分布到多个存储节点中(博文：

不会算命的赵半仙·2024-02-11 02:34

Amazon Dynamo学习总结

AmazonDynamo主要技术概要三、数据划分算法四、数据复制五、版本控制六、故障处理七、成员和故障检测一、AmazonDynamo的问世AmazonDynamo是由亚马逊在2007年开发的一种高度可扩展和分布式的键值存储系统

张彦峰ZYF·2024-02-11 02:33

MFS 分布式存储

MFS分布式存储MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个副本，然而对于访问MFS的客户端或者用户来说，整个分布式文件系统集群看起来就像一个资源一样

中门对狙·2024-02-11 01:30

2022-01-14 HDC2021技术分论坛：新能力让数据多端协同更便捷，数据跨端迁移更高效！

作者：yijian，终端OS分布式文件系统专家；gongashi，终端OS分布式数据管理专家HarmonyOS作为分布式操作系统，其分布式数据管理能力非常重要。

麻酱不会打麻将·2024-02-11 01:59

git

版本控制介绍版本控制系统之前如何维护文档的版本集中式和分布式集中式版本控制集中式版本控制，版本库是集中存放在中央服务器的，用的都是自己的电脑干活，所以要先从中央服务器取得最新的版本，然后再开始干活，干完活了

运维开发_西瓜甜·2024-02-11 00:25

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。

管理大亨·2024-02-10 22:27

Java高并发秒杀系统总结

项目框架搭建：1.SpringBoot环境搭建2.集成thymeleaf，封装公共返回beanRespBean3.MybatisPlus分布式会话：1.用户登录a.设计数据库b.明文密码二次MD5加密c

成为更好的qyk嘻嘻·2024-02-10 22:56

JAVA 秒杀系统总结

项目要点另一种角度分析：高性能：静态资源，CDN一致性：分布式锁，减库存的几种方式高可用：集群，哨兵，流量控制，消息队列1、库存扣除未加任务处理的下单请求，极有可能在高并发环境下造成超卖。

肥牛火锅·2024-02-10 22:26

2023年全球软件架构师峰会（ArchSummit上海站）：核心内容与学习收获（附大会核心PPT下载）

随着云计算和分布式系统的普及，越来越多的企业开始采用微服务架构来构建他们的应用。微服务架构可以将一个大型的应用拆分成多个小型的服务，每个服务都独立部署、独立运行，并通过轻量级的通信协议进行交互。

百家峰会·2024-02-10 21:56

Git和SVN的区别

一个分布式，一个是集中式：所谓分布式和集中式的区别主要就是版本的信息保存的位置不同。

高乔人·2024-02-10 21:24

区块链系统

Keyliva·2024-02-10 20:43

Kafka教程

1.kafka概况消息队列的好处：解耦，可恢复性，缓冲，峰值处理能力，异步通讯概念：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。

July2333·2024-02-10 20:42

推荐频道

分布式架构设计