Kafka架构设计

项目压测优化实践思路

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:52

设计一个简易版本的分布式任务调度系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个简单的规则引擎

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个抽奖系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:20

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

下图是flink-cdc最新支持的数据源类型：对有记录事务操作的kafka数据源通过flink-cdc实现实时数据同步kafka的数据源要通过flink-cdc
木棉庭·2024-01-17 18:09

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。
OkGogooXSailboat·2024-01-17 18:36

RocketMQ架构设计之NameServer实现

消息中间件的设计思路一般基于主题的订阅发布机制消息生产者（Producer）发送某一主题的消息到消息服务器，消息服务器负责该消息的持久化存储，消息消费者(Consumer）订阅感兴趣的主题，消息服务器根据订阅信息（路由信息）将消息推送到消费者（PUSH模式）或者消息消费者主动向消息服务器拉取消息（PULL模式），从而实现消息生产者与消息消费者解调。为了避免消息服务器的单点故障导致的整个系统瘫痪，通
先生zeng·2024-01-17 16:36

常用的消息队列和中间件都有哪些

Kafka：Kafka是一个高吞吐量的分布式发布订阅消息系统，由Apache开发。它主要用于处理大规模的实时数据流，具有高性能和可扩展性。
酷爱码·2024-01-17 16:08

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

鸿蒙开发的前景趋势及薪资水平展望

一、鸿蒙开发的技术优势与市场机遇鸿蒙系统采用全新的分布式架构设计，能够实现跨设备、跨场景的无缝协同，为用户提供更加流畅、一致的使用体验。这一技术优势使得鸿蒙系统在物联
OpenHarmony_小贾·2024-01-17 16:17

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

架构设计流程：详细方案设计

笔记选方案进行细化，使得备选方案变成一个可以落地的设计方案。简单来说，详细方案设计就是将方案涉及的关键技术细节给确定下来。详细设计方案阶段可能遇到的一种极端情况就是在详细设计阶段发现备选方案不可行，一般情况下主要的原因是备选方案设计时遗漏了某个关键技术点或者关键的质量属性。这种情况可以通过下面方式有效地避免：架构师不但要进行备选方案设计和选型，还需要对备选方案的关键细节有较深入的理解。通过分步骤、
空谷幽心·2024-01-17 15:30

DolphinDB 高可用集群迁移指南

这种架构设计提供了更强大的容错能力和可靠性，是业务规模扩大后的理想选择。因此，在业务可行并确
DolphinDB智臾科技·2024-01-17 15:19

Java架构师笔记丨老板让你抗住千万级流量，如何做架构设计？

老板让你抗住千万级流量，如何做架构设计？首先，要在我们架构设计的时候建立一些原则。最后，如果大家如果在自学遇到困难，想找一个java的学习环境，可以加入我们的java学习圈，点击我加入吧，会节约很
代码人生sl·2024-01-17 14:34

Linux环境下kafka 2.7.0的安装

1下载kafka安装包官方下载地址http://kafka.apache.org/downloadsimage.png使用镜像地址下载,https://mirrors.bfsu.edu.cn/apache
FyK_21f8·2024-01-17 13:22

关于kafka中的tcp连接

生产者建立连接时机启动在创建KafkaProducer实例时，生产者应用会在后台创建并启动一个名为Sender的线程，该Sender线程开始运行时首先会创建与Broker的连接。
kar_joe·2024-01-17 12:35

【后端】架构演进方案分析与落地实践

第2步:架构设计:a.单机、SOA、微服务、ServiceMesh第3步:架构选型:a.语言技术栈的选型第4步:落地实现2.架构思维模型:(1).结合场景将静态的知识使用思维模型动态的来运用实践.①.如什么样的场景用什么样的数据库
小崽崽1·2024-01-17 12:43

软件工程：软件架构设计

任何做要是想做从技术方向发展的程序员来说，都想成为架构师，那是几乎是技术的巅峰状态。但要成为一个架构师，并不是那么容易，光对现在流行的框架的深入理解，就已经让人头疼了，熟悉优秀的软件框架设计，能够帮助更好的设计架构，同时在业务方面，在某一个领域虽然不是完全必要的知道一些细节，但至少也能识别业务的风险，以及业务的大概逻辑，这些下来，一般的架构师，至少也得5年以上的工作经验，才能在业务上和技术上有一定
扫地专业高级研究生·2024-01-17 11:35

游戏架构 游戏架构设计(10)

原文地址:https://blog.csdn.net/erlib/article/details/24302385一种简单实用的网络游戏服务器架构下图中每个方框表示一个独立的进程APP组件，每个服务进程如果发生宕机会影响部分用户，整体服务但不会全部中断。在宕机进程重启后，又可以并入整体，全部服务得以继续。1.pnggls：gameloginserver，游戏登录服务器，某种程序上，其不是核心组件，
Caiaolun·2024-01-17 10:33

《从零开始学习架构》读书笔记之计算高性能

作者认为，高性能架构设计主要集中在两个方面：1.尽量提升单服务器的性能，将单服务器的性能发挥到极致；2.如果单服务器无法支撑性能，则设计服务器集群方案。
蘑菇均·2024-01-17 09:08

单节点部署 Gpmall 商城系统

目录实验中使用的技术实验过程实验中使用的技术JavaRedisElasticsearch（先不用）NginxMariaDBZooKeeperKafka实验过程1.Xnode1克隆虚拟机gpmallCRT
守丘·2024-01-17 09:25

kafka-ui通过docker部署

创建docker-compose.yamlservices:kafka-ui:container_name:kafka-uiimage:provectuslabs/kafka-ui:latestports
weixin_43169720·2024-01-17 09:23

Kafka 的架构

实验过程1.三个虚拟机中解压kafka软件包tar-zxvfkafka_2.11-1.1.1.tgz2.修改3个节点配置文件在zookeeper节点，进入kafka_2.11-1.1.1/config目录下
守丘·2024-01-17 09:52

Hive架构设计

我们知道MapReduce和Spark它们提供了高度抽象的编程接口便于用户编写分布式程序，它们具有极好的扩展性和容错性，能够处理超大规模的数据集。这些计算引擎提供了面向高级语言（比如Java，Python等）的编程接口，然而，考虑到分布式程序编写的复杂性，直接使用这些编程接口实现应用系统（比如报表系统）无疑会提高使用门槛，降低开发效率。考虑到SQL仍然是一种非常主流的数据分析语言，开源社区在分布式
跟着大数据和AI去旅行·2024-01-17 08:12

Linux 安装 Apache Kafka

一、安装下载kafka，下载地址，只是使用的话下载Binary版本就行。
South_BJ·2024-01-17 08:10

kafka简单介绍和代码示例

“这是一篇理论文章，给大家讲一讲kafka”简介在大数据领域开发者常常会听到MQ这个术语，该术语便是消息队列的意思，Kafka是分布式的发布—订阅消息系统。
necessary653·2024-01-17 07:53

Restful Api

1.定义直接看REST作者的经典论文吧，《架构风格与基于网络的软件架构设计(中文修订版)》。2.为什么要使用通常给我们的api或者我们自己设计api大部分是面向过程的，即RPC(Re
残芒碎翼·2024-01-17 07:23

Kafka学习

Kafka的消息通过主题（topic）进行分类主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性消息以追加的方式写入分区，然后以先入先出（FIFO）
error0318·2024-01-17 07:37

Kafka 简介

目录1、概念介绍Kafka由来ZooKeeperKafka特性Kafka使用场景Kafka复制备份2、Kafka架构BrokerTopicProducerPartitionConsumersConsumerGroupDistribution1
HuaLuLemon·2024-01-17 07:03

Kafka 集群部署

目录1、环境准备2、搭建ZooKeeper集群配置文件节点标记环境变量启动集群数据同步测试故障测试3、搭建Kafka集群配置文件环境变量配置其他机器启动服务4、集群测试创建Topic显示Topic配置创建
HuaLuLemon·2024-01-17 07:03

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。
happystudy_neu·2024-01-17 07:32

Kafka详解及常见面试问题解析（值得珍藏）

1.定义Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
孤蓬&听雨·2024-01-17 07:29

springboot2.x整合kafka【详细】

文章目录一、中间件部署1.环境2.版本选择依据3.解压安装3.1zookeeper安装部署3.2kafka安装部署二、springboot整合1.pom.xml添加依赖2.application.yml
喵王叭·2024-01-17 06:16

UVM项目之二：验证计划的编写

ZhangshuhuaiV2.02021/8/24内部模块ahb_slave_if的验证Zhangshuhuai1.2参考文档名称日期作者基于AHB总线的SRAM控制器设计的需求分析.doc未知未知基于AHB总线的SRAM控制器架构设计
IC_SH·2024-01-17 06:06

Spark面试

它支持从多种数据源读取数据，比如Kafka、Flume、Twitte
lune_Lucky·2024-01-17 05:30

【Kafka】log4j2漏洞不影响集群安全

1.背景最近发现不少文章提到log4j的远程代码执行漏洞会影响Kafka，在此向大家说明Kafka采用的版本是log4j1.2.17且不受此事件影响2.详情打开GitHub-apache/kafka默认主分支
扬_帆_起_航·2024-01-17 04:40

HDFS 机架感知配置导致数据不均衡

HDFS机架感知介绍HDFS机架感知是一种逻辑上的网络架构设计，它主要是用来区分不同节点的网络拓扑情况下，保证数据是能够高性能写入和查询的一种机制，毕竟跨网络的数据读写是有网络带宽消耗的，当没有配置机架信息时
KubeData·2024-01-17 02:41

springboot集成kafka消费数据

springboot集成kafka消费数据文章目录springboot集成kafka消费数据1.引入pom依赖2.添加配置文件2.1.添加KafkaConsumerConfig.java2.2.添加KafkaIotCustomProperties.java2.3
这名字应该不会重复吧·2024-01-17 02:33

武理多媒体信息共享平台的架构设计与实现

✍✍计算机编程指导师⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码武理多媒体信息共享平台-研究
计算机编程指导师·2024-01-17 02:30

服务端高并发分布式架构演进之路

11900000186261631.概述本文以淘宝作为例子，介绍从一百个到千万级并发情况下的服务端的构架的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则
不知踟蹰丶·2024-01-17 01:04

【算法Hot100系列】全排列

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-17 01:21

kafka内外网配置

看此文档，需要首先会安装kafka集群，zookeeper集群；熟悉组件命令；三台kafka集群（设置加密通道）：192.168.1.86:9092外网IP:19092192.168.1.87:9092
窦再兴·2024-01-17 00:16

flume

Kafka网络端口数据1.2Flume基础架构1.
添柴少年yyds·2024-01-17 00:55

业务数据技术中台概念与相互关系

同时，正好最近在做顶层设计和数字化转型整体应用架构设计，就梳理了一下中台发展历程，中台是阿里巴巴在2015年最早提出来的（所谓的大中台、小前台）。
一马平川的大草原·2024-01-17 00:41

08 | 可复用架构案例（一）：如何设计一个基础服务？

在上一讲中提到过，在架构设计中，要实现业务上的复用，一个比较可行的做法是，把各个基础业务封装成共享服务，供上层所有应用调用。所以今天，就来聊一聊，如何从头开始，落地这样一个典型的共享服务。
_Rye_·2024-01-16 23:35

一文看懂区块链架构设计

转自：http://www.8btc.com/ebook-blockchain前言区块链作为一种架构设计的实现，与基础语言或平台等差别较大。
Sandwichsauce·2024-01-16 22:10

Kafka-RecordAccumulator分析

前面介绍过，KafkaProducer可以有同步和异步两种方式发送消息，其实两者的底层实现相同，都是通过异步方式实现的。
Andy技术支援·2024-01-16 22:52

大型网站性能优化之服务器端性能优化总结

之前我们总结了，网站的架构设计中需要关注的五点架构要素，分别是性能、高可用、伸缩性、拓展性、安全性，前面我们已经总结了网站性能测试中，需要测试的几点性能指标，我们通过性能测试得出指标后，就需要去优化性能
先生zeng·2024-01-16 22:00

SpringBoot Caffeine+Redisson配置二级缓存

问题说明在高性能的服务架构设计中，缓存是一个不可或缺的环节。在实际的项目中，我们通常会将一些热点数据存储到Redis或MemCache这类缓存中间件中，只有当缓存的访问没有命中时再查询数据库。
酒醉的胡铁·2024-01-16 21:30

怎样去做好架构设计？（二）

怎样去做好架构设计？（二）。技术架构是对某一技术问题（需求）解决方案的结构化描述，由构成解决方案的组件结构及之间的交互关系构成。
代码讲故事·2024-01-16 21:41
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他