E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka集群搭建
第七篇——Apache
Kafka
的设计与实现
作者:禅与计算机程序设计艺术1.简介Apache
Kafka
是Apache软件基金会推出的一个开源分布式流处理平台,它最初由LinkedIn开发并于2011年9月正式发布,目前已成为Apache项目之一,
禅与计算机程序设计艺术
·
2024-02-10 06:23
Python实战
深度学习实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Kafka
原理
一、producer设计原理发消息的流程1.计算分区根本key和value的配置对消息进行序列化,如果指定了分区,就发送到指定的分区,如果没有指定,就用key%topic的分区数目,如果key也没有,就随机生成一个counter,用counter%topic的分区数目,这个counter每次使用完之后递增。2.发送到batch,唤醒sender线程根据分区获取到对应的batchs,然后将消息app
一只小星_
·
2024-02-10 02:30
DolphinScheduler-3.2.0
集群搭建
本篇文章主要记录DolphinScheduler-3.2.0集群部署流程。注:参考文档:DolphinScheduler-3.2.0生产集群高可用搭建_dophinscheduler3.2.0使用说明-CSDN博客文章浏览阅读1.1k次,点赞25次,收藏23次。DolphinScheduler-3.2.0生产集群高可用搭建,DolphinScheduler原数据存储mysql设置,分布式存储采用h
爱吃辣条byte
·
2024-02-10 01:23
任务调度
大数据
数据仓库
2021BTAJ面试真题详解,
kafka
查看topic数据内容
一、分布式架构学习路线图据统计,人的阅读时间在20分钟以内是能够达到全身心投入的,顾文章单张篇幅以后会尽量缩短,但更新会尽量相应频繁一些。二、计算机软件发展历史首先我们了解下计算机软件的发展历史,大概总结概括,分为c/s时代,web1.0时代和web2.0时代。**c/s时代:**富客户端方案。卖软件可赚钱。例如qq、影音、游戏。**1.0时代:**主要是单向信息的发布,即信息门户—广大浏览器客户
莫晓前端资料
·
2024-02-09 22:14
程序员
面试
后端
java
Kafka
系列之:
kafka
集群管理工具Know Streaming安装详细步骤
Kafka
系列之:
kafka
集群管理工具KnowStreaming安装详细步骤一、安装JDK-11二、安装mysql数据库详细步骤三、安装Elasticsearch数据库详细步骤四、安装KnowStreaming
最笨的羊羊
·
2024-02-09 15:41
Kafka
Kafka系列
kafka集群管理工具
Know
Streaming
安装详细步骤
Kafka
系列之:Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
Kafka
系列之:UnexpectedhandshakerequestwithclientmechanismPLAIN,enabledmechanismsare[]一、完整报错二、错误原因三、解决方法一
最笨的羊羊
·
2024-02-09 15:41
Kafka
Kafka系列
PLAIN
mechanisms
深入浅出理解
kafka
原理系列之:自动提交和手动提交
深入浅出理解
kafka
原理系列之:自动提交和手动提交一、
kafka
消费者提交的内容二、自动提交三、自动提交代码示例四、手动提交五、手动同步提交代码示例六、手动异步提交代码示例一、
kafka
消费者提交的内容消费组
最笨的羊羊
·
2024-02-09 15:40
日常分享专栏
Kafka
kafka
深入理解kafka原理
自动提交和手动提交
深入浅出理解
kafka
原理系列之:
kafka
消费者参数设置
深入浅出理解
kafka
原理系列之:
kafka
消费者参数设置1.max.poll.records2.max.poll.interval.ms3.enable.auto.commit4.heartbeat.interval.ms5
最笨的羊羊
·
2024-02-09 15:10
日常分享专栏
Kafka
深入理解kafka原理
kafka消费者参数设置
Kafka
系列之:
Kafka
集群同时设置基于时间和日志大小两种方式保存Topic的数据
Kafka
系列之:
Kafka
集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是
最笨的羊羊
·
2024-02-09 15:09
Kafka
Kafka系列
Kafka集群
基于时间和日志大小
保存Topic的数据
初识
kafka
[TOC]
Kafka
起初是由Linkedin公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现己被捐献给Apache基金会。
tracy_668
·
2024-02-09 14:07
69.Kudu、Spark2、
Kafka
安装—CDH
69.1演示环境介绍CDH集群运行正常操作系统版本为:CentOS6.5CM和CDH版本为:5.12.1CM管理员为:admin用户操作系统用户为:root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包:http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒
·
2024-02-09 14:55
spring boot 怎样集成
kafka
SpringBoot可以使用SpringforApache
Kafka
库来集成
Kafka
。
low sapkj
·
2024-02-09 12:34
spring
boot
kafka
java
spring
mybatis
Spring Boot 集成
Kafka
SpringBoot作为主流微服务框架,拥有成熟的社区生态。市场应用广泛,为了方便大家,整理了一个基于springboot的常用中间件快速集成入门系列手册,涉及RPC、缓存、消息队列、分库分表、注册中心、分布式配置等常用开源组件,大概有几十篇文章,陆续会开放出来,感兴趣同学请提前关注&收藏消息通信有两种基本模型,即发布-订阅(Pub-Sub)模型和点对点(PointtoPoint)模型,发布-订阅
互联网全栈架构
·
2024-02-09 12:34
分布式
kafka
java
大数据
spring
ELK环境搭建
Windows8.1elasticsearch:5.5.1logstash:2.0.0kibana:5.5.1注:由于实验性搭建,选择windows系统,但选择Linux系统效果更佳二、部署方案1.ELK+Redis2.ELK+
Kafka
枯木风
·
2024-02-09 12:08
k8s,1.14.2
集群搭建
(3):metric server
简介如何查看pod的CPU,内存等资源占用情况?那就需要metricserver。借用官网的例子使用kubectltop命令查看mem-example中memory-demo的资源使用情况。kubectltoppodmemory-demo--namespace=mem-example结果类似如下:NAMECPU(cores)MEMORY(bytes)memory-demo162856960安装运行
Java程序员YY
·
2024-02-09 10:01
腾讯AI大佬详解Apache
Kafka
实战
内容简介1.Apache
Kafka
简介:Apache
Kafka
是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。
Kafka
最初是由LinkedIn开发,并于2011年初开源。
笑起来真好看LQQ
·
2024-02-09 08:53
Ubuntu搭建计算集群
同时
集群搭建
可以分为硬件和软件两部分,硬件可以参考北京科音自然科学研究中心内容,这里仅是
xk6891
·
2024-02-09 08:56
ubuntu
linux
运维
Kafka
消息传递的可靠性
kafka
拥有以下可靠性保证:可以保证分区消息的顺序。
阿猫阿狗Hakuna
·
2024-02-09 07:14
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661
kafka
1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661
kafka
1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
linux 消息发布工具-
kafka
下载地址:https://mirrors.cnnic.cn/apache/
kafka
一、系统构成在整个消息发布流程中,
kafka
作为一个中间件对系统的运行提供了解耦、削峰、异步处理的能力。
强壮的向阳花
·
2024-02-09 05:53
linux系统常用工具
linux
kafka
运维
【云原生进阶之PaaS中间件】第三章
Kafka
-4.3.2-broker网络模型
1
kafka
网络模型运行原理
kafka
broker在启动的时候,会根据你配置的listeners初始化它的网络组件,用来接收外界的请求,这个listeners你可能没配置过,它默认的配置是listeners
江中散人
·
2024-02-09 05:19
云原生进阶-PaaS专栏
云原生
paas
中间件
kafka
broker
【云原生进阶之PaaS中间件】第三章
Kafka
-4.3.3-broker的leader和follower工作机制
1leader和follower1.1
kafka
的副本
kafka
副本的作用就是提高数据的可靠性,系统默认副本数量是1,生产环境一般配置数量是2个,保证数据可靠性;否则副本太多会增加磁盘的存储空间,增加网络上的数据传输
江中散人
·
2024-02-09 05:19
云原生进阶-PaaS专栏
后端
云原生
paas
中间件
kafka
2024最新Java面试题及答案!( 2024年 1 月最新版,持续更新)
面试题大全~这套互联网Java工程师面试题包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、
Kafka
程序一逸
·
2024-02-09 05:00
开发语言
java
后端
面试
程序员
多线程
JVM
redis
集群搭建
redis
集群搭建
在开始redis
集群搭建
之前,我们先简单回顾一下redis单机版的搭建过程下载redis压缩包,然后解压压缩文件;进入到解压缩后的redis文件目录(此时可以看到Makefile文件)
角角_d216
·
2024-02-09 03:44
Kafka
入门介绍
目录一.前言二.使用场景三.分布式的流平台四.
Kafka
的基本术语4.1.主题和日志(Topic和Log)4.2.分布式(Distribution)4.3.异地数据同步技术(Geo-Replication
流华追梦
·
2024-02-09 00:43
Kafka
kafka
主题Topic
分区Partition
生产者Producer
消费者Consumer
副本Replication
消费者组Group
Elasticsearch: 非结构化的数据搜索
singleDoc#《olap/clickhousekeeper一致性协调服务》),
kafka
->redpanda(https://www.
SakamataZ
·
2024-02-08 22:48
elasticsearch
大数据
搜索引擎
centos7搭建集群过程
集群搭建
过程第一步:ping测试第二步:修改主机名第三步:修改IP地址与域名映射关系第四步:重启reboot第五步:关闭防火墙第六步:关闭SELinux第七步:免密登录第八步:时钟同步第九步:安装JDK
妖怪书生
·
2024-02-08 21:06
linux新手学习
linux
hadoop
centos
Zookeeper
集群搭建
(3台)
准备工作1、提前安装好hadoop102、hadoop103、hadoop104三台机器,参照:CentOS7集群环境搭建(3台)-CSDN博客2、提前下载好Zookeeper安装包并上传到/opt/software上、安装包,链接:https://pan.baidu.com/s/1Ta9DH6FHm2pO4vQw_5wC4A?pwd=6666安装Zookeeper一、解压安装1、解压Zookee
在下区区俗物
·
2024-02-08 21:35
zookeeper
linux
分布式
Kafka
实战(五) -
Kafka
的秘技"坂本"之争
只有顺应版本,才能成就王者不败神话也是能否用好
Kafka
的关键。
JavaEdge
·
2024-02-08 20:50
k8s1.20 搭建-抛弃docker使用containerd
其他相关文档:《k8s-1.21高可用
集群搭建
》文章目录前言:1.环境准备1.1关闭无用服务1.2环境和网络1.3依赖安装1.4系统优化2.安装Containerd2.1安装2.2修改配置文件2.3启动
玄德公笔记
·
2024-02-08 19:00
#
02-k8s集群安装
k8s
kubernetes
容器
运维
k8s集群安装
消息中间件:Puslar、
Kafka
、RabbigMQ、ActiveMQ
消息队列消息队列:它主要用来暂存生产者生产的消息,供后续其他消费者来消费。它的功能主要有两个:暂存(存储)队列(有序:先进先出从目前互联网应用中使用消息队列的场景来看,主要有以下三个:异步处理数据系统应用解耦业务流量削峰消息队列模型点对点模式多个生产者可以向同一个消息队列发送消息,一个消息只能被一个消费者消费,在被消费成功后,这条消息会被移除。如果消费者处理消息失败了,那么这条消息会重新被消费。发
Kingairy
·
2024-02-08 18:33
kafka
activemq
分布式
一探究竟,详解
Kafka
生产者和消费者的工作原理!
主题和日志对于每个主题,
Kafka
群集都会维护一个分区日志,如下所示:image.png每个分区(Partition)都是有序的(所以每一个Partition内部都是有序的),不变的记录序列,这些记录连续地附加到结构化的提交日志中
废柴程序员
·
2024-02-08 17:42
Docker Swarm集群仓库和可视化管理
DockerSwarm集群仓库和可视化管理1背景2环境3安装操作3.1registary部署3.1.1下载3.1.2部署3.2portainer部署3.2.1下载3.2.2部署1背景本篇是上篇《DockerSwarm
集群搭建
水步天
·
2024-02-08 16:54
服务器环境搭建
docker
容器
运维
flink消费
kafka
源
后来一通折腾,发现我当时消费的配置,是用Flink
Kafka
Consu
MinaLing
·
2024-02-08 16:14
K8s环境下rook-v1.13.3部署Ceph-v18.2.1集群
operator2.5部署Ceph集群2.6强制删除命名空间2.7验证集群3.Ceph界面1.K8s环境搭建参考:CentOS7搭建k8s-v1.28.6集群详情,把K8s集群完成搭建,再进行Ceph
集群搭建
@TangXin
·
2024-02-08 14:26
Ceph
Kubernetes
kubernetes
ceph
rook
kubernetes
集群搭建
(二进制方式)
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令完成一个kubernetes集群的部署:#创建一个Master节点$kubeadminit#将一个Node节点加入到当前集群中$kubeadmjoin1.安装要求在开始之前,部署Kubernetes集群机器需要满足以下几个条件:一台或多台机器,操作系统CentOS7.x-86_x64硬件配置:2GB
萧兮_瑾琛
·
2024-02-08 14:59
2.
Kafka
生产过程
三、
Kafka
生产过程分析1.写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高
chongweiLin
·
2024-02-08 12:56
Redis核心技术与实战【学习笔记】 - 30.番外篇:Redis学习资料、运维说明及使用规范建议
1.1经典书籍在学习Redis时,场景的需求有三个方面:日常使用操作:比如常见的命令和配置,
集群搭建
等关键技术原理:比如IO模型、AOF和RDB机制等在实际使用时的经验教训,比如Redis响应变慢了怎么办
陈建111
·
2024-02-08 10:20
Redis核心技术学习
redis
学习
Spark streaming batch运行时间过长问题02
继续排查发现,在用Spark读取
Kafka
数据之后,由于数据通过
Kafka
读取后是逗号分隔的字符串,但是为了解决字符串某些字段中还有逗号的问题,只能使用正则表达式匹配,导致性能过慢。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
Flink Checkpoint过程
Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理(尚未Checkpoint)如下图,Topic有两个分区,并行度也为2,根据奇偶数我们假设任务从
Kafka
的某个Topic中读取数据
orange大数据技术探索者
·
2024-02-08 09:49
#
flink迁移
flink
大数据
Checkpoint
Flink Format系列(2)-CSV
Flink的csv格式支持读和写csv格式的数据,只需要指定'format'='csv',下面以
kafka
为例。
sf_www
·
2024-02-08 09:48
flink
flink
大数据
storm整合
kafka
maven4.0.0storm-
kafka
-mysqlstorm-
kafka
-mysql0.0.1-SNAPSHOTjarstorm-
kafka
-mysqlUTF-8javaxjavaee-api8.0providedorg.glassfish.webjavax.servlet.jsp.jstl1.2.2org.apache.stormstorm-core0.9.5provided
piziyang12138
·
2024-02-08 09:01
如何查看
kafka
的topic的消费者组有没有积压
Kafka
自带的命令行工具
kafka
-consumer-groups.sh来查看消费者组的消费情况,包括是否有积压。具体步骤如下:打开命令行终端,进入
Kafka
安装目录下的bin文件夹。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
中间件
kafka
java
分布式
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,
Kafka
,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
zookeeper安装
1.0Zookeeper教程|菜鸟教程(runoob.com)1.0Zookeeper教程2.0Zookeeper安装配置3.0Zookeeperlinux服务端
集群搭建
步骤4.0ZookeeperJava
riabai
·
2024-02-08 06:34
zookeeper
分布式
云原生
网络|使用 Wireshark 分析 TLS/SSL 协议
背景服务端(3.205)是开启SASL_SSL协议的9094端口的
Kafka
服务器客户端(77.20)连接9094端口的生产者。
thlzjfefe
·
2024-02-08 06:29
网络
wireshark
ssl
Install
Kafka
on Ubuntu 16
0准备模拟生产环境,安装
Kafka
,需要最少三台机器,如下主机名IP
Kafka
-110.0.0.5
Kafka
-210.0.0.6
Kafka
-310.0.0.7
Kafka
是使用scala编写的运行与jvm
华阳_3bcf
·
2024-02-08 04:27
消息队列使用的四种场景介绍
使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,
Kafka
,MetaMQ,RocketMQ。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。
Bin哥厉害7
·
2024-02-08 03:19
java
spring
boot
消息队列
阅读《极客时间 |
Kafka
核心技术与实战》(一)【
Kafka
入门】
阅读《极客时间|
Kafka
核心技术与实战》为什么要学习
Kafka
消息引擎系统ABC一篇文章带你快速搞定
Kafka
术语我应该选择哪种
Kafka
?
_蓝天IT_
·
2024-02-08 01:13
消息队列(Kafka)
kafka
分布式
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他