E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka选举
Kafka
+zookeeper安装及sasl认证(二)
kafka
安全认证sasl一、环境
kafka
_2.13-2.8.0,zookeeper-3.6.3(这里不是用
kafka
自带的zookeeper)二、修改配置文件1、zookeeper配置(三台操作一样
Dylan_666888
·
2023-12-27 07:29
kafka安装及安全认证
java
后端
kafka
springboot+
kafka
消费
监听器importorg.springframework.
kafka
.annotation.
Kafka
Listener;importorg.springframework.
kafka
.core.
Kafka
Template
mumuran93
·
2023-12-27 07:28
kafka
spring
boot
java
Kafka
生产者的一个Bug会导致部分消息一直无法发送
最近在看
Kafka
生产者源码的时候,感觉有个地方可以改进一下,具体的问题和解决方案都在下面。
「已注销」
·
2023-12-27 07:26
kafka
kafka
bug
java
Kafka
消息发送失败解决方案
防火墙设置防火墙会屏蔽掉
Kafka
的访问,如果在内网限制很强的情况下,只能是逐个端口用telnet排查
Kafka
用到哪些端口,用lsof-i:排查对应进程。
huyl08
·
2023-12-27 07:55
kafka
java
linux
运维
python
Kafka
高级(5) --
Kafka
中数据清理(Log Deletion)
Kafka
的消息存储在磁盘中,为了控制磁盘占用空间,
Kafka
需要不断地对过去的一些消息进行清理工作。
Kafka
的每个分区都有很多的日志文件,这样也是为了方便进行日志的清理。
erainm
·
2023-12-27 07:55
大数据学习
kafka
SpringBoot整合
kafka
实现批量消费功能
在springboot中通过简单配置可以实现对
kafka
数据的批量拉取和消费功能,首先需要修改yarn配置文件,我测试服务的配置信息如下:spring:
kafka
:bootstrap-servers:192.168.1.101
腊笔不小新xingo
·
2023-12-27 07:54
1024程序员节
java
kafka
spring
boot
kafka
延时消息处理
作为一款优秀的消息处理服务,
kafka
具有完善的事务管理,状态管理和灾难恢复功能
HOLD ON!
·
2023-12-27 07:23
kafka
kafka
java
分布式
深入理解
Kafka
的原理
Kafka
是一个高性能、分布式的消息队列系统,被广泛应用于大规模数据流处理的场景中。本文将深入探讨
Kafka
的原理,包括其核心概念、架构设计以及关键的消息处理流程。
WdzDevops
·
2023-12-27 07:53
kafka
linq
分布式
清空
kafka
数据
一清空
kafka
数据1关闭
kafka
2删除
kafka
存储目录(1)查询server.properties文件log.dirs配置,默认为“/tmp/
kafka
-logs”(2)删除目录3删除zookeeper
XHW___001
·
2023-12-27 07:53
linux
开发环境
kafka
大数据
Java实现
Kafka
生产者和消费者的示例
Kafka
是一种高性能、分布式的流处理平台,广泛应用于实时数据流处理和消息队列系统。在本文中,我们将介绍如何使用Java语言实现
Kafka
生产者和消费者,并提供相应的源代码示例。
WdzDevops
·
2023-12-27 07:23
java
kafka
linq
Kafka
单节点安装和测试
Kafka
是一个分布式流处理平台,它具有高吞吐量、可靠性和可扩展性的特点。在本文中,我们将介绍如何在单节点上安装和测试
Kafka
。我们将涵盖
Kafka
的安装过程以及如何通过示例代码进行测试。
WdzDevops
·
2023-12-27 07:23
kafka
分布式
解决 “
kafka
-run-class.sh: line : exec: not found“ 问题
当在运行
Kafka
时遇到“
kafka
-run-class.sh:line:exec:notfound”错误时,这通常表示脚本无法找到执行命令。这个错误可能是由于路径配置问题或者缺少必要的依赖项引起的。
WdzDevops
·
2023-12-27 07:23
kafka
分布式
Zookeeper(
Kafka
内置)单独添加SASL认证及ACL
这里写自定义目录标题前言Zookeeper(
Kafka
内置)单独添加SASL认证及ACL创建zk.jaas文件修改zookeeper.properties修改
kafka
-run-class.sh修改server.properties
Sayai
·
2023-12-27 07:52
大数据
kafka
zookeeper
Flume中的
Kafka
Source:实现数据流的高效采集
其中,Flume中的
Kafka
Source是一种用于从Apache
Kafka
中抓取数据的组件,本文将详细介绍如何使用
Kafka
Source实现数据流的高效采集。
WdzDevops
·
2023-12-27 07:52
flume
kafka
linq
Kafka
消费者构建失败的解决方法
在使用
Kafka
时,有时候我们可能会遇到"Failedtoconstruct
Kafka
consumer"(无法构建
Kafka
消费者)的错误。这个错误通常意味着在构建
Kafka
消费者时出现了问题。
WdzDevops
·
2023-12-27 07:52
kafka
linq
分布式
Kafka
的分区数设置
Kafka
是一个高吞吐量、可持久化、分布式发布订阅消息系统,广泛应用于大规模数据处理和实时流处理场景。在
Kafka
中,分区是实现消息并行处理和提供高可用性的关键概念之一。
WdzDevops
·
2023-12-27 07:52
kafka
分布式
[
Kafka
集群] 配置支持Brokers内部SSL认证\外部客户端支持SASL_SSL认证并集成spring-cloud-starter-bus-
kafka
目录
Kafka
集群配置准备配置流程Jaas(JavaAuthenticationandAuthorizationService)文件zookeeper配置文件SSL自签名启动zookeeper集群启动
kafka
Feeling Fine
·
2023-12-27 07:22
kafka
分布式
spring
cloud
zookeeper
Kafka
SASL安全认证机制与ACL用户权限控制
目录概述说明一、认证二、信道加密三、授权环境搭建(
Kafka
安全认证SASL/PLAINTEXT)一、Zookeeper集群配置SASL二、
Kafka
集群配置SASL认证使用一、客户端调用认证二、
Kafka
happyterry
·
2023-12-27 07:22
kafka
安全
分布式
kafka
删除topic消息的三种方式
kafka
删除topic消息的三种方式方法一:快速配置删除法(确保topic数据不要了)1.
kafka
启动之前,在server.properties配置delete.topic.enable=true2
爱折腾的小土豆
·
2023-12-27 07:22
kafka
分布式
Kafka
消息发送失败的常见原因及解决方案
一、
Kafka
消息发送失败的常见原因及解决方案1.1、网络故障网络故障是
Kafka
消息发送失败的最常见原因之一。当网络出现故障时,
Kafka
就无法将消息发送到目标主题或分区。
qq_44912620
·
2023-12-27 07:50
kafka
分布式
Kafka
数据清理指南
在本文中,我们将介绍如何使用
Kafka
进行数据清理。
Kafka
是一个高性能、分布式的流数据平台,常用于构建实时数据流应用程序。
WdzDevops
·
2023-12-27 07:19
kafka
分布式
Spring Boot 整合
kafka
消费模式AckMode以及手动消费
依赖管理在pom.xml文件中导入依赖org.springframework.
kafka
spring-
kafka
2.5.5.RELEASE配置文件修改需要自己配置AckMode时候的配置spring:application
angelasp
·
2023-12-27 07:49
Kafka
java
spring
boot
kafka
java
Kafka
日志
kafka
是怎么通过偏移量找到对应的消息?
HannahLi_9f1c
·
2023-12-27 05:45
北斗授时服务器(时钟系统)是如何完成时间同步的
北斗授时服务器(时钟系统)是如何完成时间同步的北斗授时服务器(时钟系统)是如何完成时间同步的1.前言由计算机网络系统组成的分布式系统,若想协调一致进行:IT行业的“整点开拍”、“秒杀”、“Leader
选举
安徽京准
·
2023-12-27 04:58
时钟系统
卫星授时同步技术
北斗卫星授时服务
服务器
运维
时间同步
北斗授时服务器
时钟同步系统
MongoDB ReplicaSet 部署
文章目录前言1.环境准备2.生成密钥3.配置参数4.创建ReplicaSet5.副本集维护5.1新增成员5.2移除节点5.4主节点降级5.5阻止
选举
5.6允许副本节点读5.7延迟观测6.连接副本集后记前言本篇文章介绍
Bing@DBA
·
2023-12-27 04:21
mongodb
数据库
【Linux系统基础】(5)在Linux上集群化环境前置准备及部署Zookeeper、
Kafka
软件详细教程
集群化环境前置准备介绍在前面,我们所学习安装的软件,都是以单机模式运行的。后续,我们将要学习大数据相关的软件部署,所以后续我们所安装的软件服务,大多数都是以集群化(多台服务器共同工作)模式运行的。所以,在当前小节,我们需要完成集群化环境的前置准备,包括创建多台虚拟机,配置主机名映射,SSH免密登录等等。部署配置多台Linux虚拟机安装集群化软件,首要条件就是要有多台Linux服务器可用。我们可以使
老牛源码
·
2023-12-27 02:49
Linux教程
linux
zookeeper
kafka
内网离线搭建之----
kafka
集群
zookeeper:http://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
kafka
落世繁华
·
2023-12-27 01:02
kafka
分布式
zookeeper
linux
集群
你需要一本“万能”护照!!!
当拥有某国护照,不仅可以自由进出该国,海包括其公民的所有福利待遇及
选举
权和被
选举
权。所以,获得护照是移民项目中最顶级的身
Hi南方以南
·
2023-12-27 01:17
Apache
Kafka
CVE-2023-25194(metasploit版)
Step1:用docker搭建环境Step2:docker查看映射端口Step3:访问特定端口,然后靶标应用。Step4:用metasploit进行攻击:首先,打开metasploit,然后查询需要攻击的板块,利用板块。进入到板块以后,我们需要查看配置信息,并且对端口,host,ssl,版本,payload等进行更改。然后修改完成以后,进行攻击。得到shell以后,验证成功。这个漏洞的payloa
22的卡卡
·
2023-12-27 01:14
漏洞复现及利用
网络安全
docker-compose部署
kafka
docker-compose.yml配置version:"3"services:
kafka
:image:'bitnami/
kafka
:latest'ports:-'7050:7050'environment
坚持学习永不言弃
·
2023-12-26 23:36
Docker
docker
kafka
《杀死一只知更鸟》——天赋人权,人人平等
黑人做着最辛劳的工作,却遭受着最为残忍的对待,在一个倡导人人生而平等的国度里,黑人没有
选举
权、不受法律保护、可以被私
19级吴佩瑶
·
2023-12-26 22:36
Kafka
概念与基本架构
1.
Kafka
介绍
Kafka
是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多生产者、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx
左师兄zuosx
·
2023-12-26 21:01
大数据实战项目 -- 实时数仓
文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2
Kafka
数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana
L小Ray想有腮
·
2023-12-26 18:53
BigData
【Java】SpringBoot快速整合
Kafka
目录1.什么是
Kafka
?主要特点和概念:主要组成部分:2.
Kafka
可以用来做什么?
MXin5
·
2023-12-26 18:32
Java
java
spring
boot
kafka
【Flink-
Kafka
-To-Mongo】使用 Flink 实现
Kafka
数据写入 Mongo(根据对应操作类型进行增、删、改操作,写入时对时间类型字段进行单独处理)
【Flink-
Kafka
-To-Mongo】使用Flink实现
Kafka
数据写入Mongo(根据对应操作类型进行增、删、改操作)1)导入依赖2)resources2.1.appconfig.yml2.2
bmyyyyyy
·
2023-12-26 17:15
Flink
flink
kafka
mongodb
#kafka2mongo
换届
选举
2017年10月12日
国庆节之前我就知道这个周四学校要举行少先队的换届
选举
。所以,在国庆假期时我就做好了准备!星期四这天下午,
选举
如期举行。换届
选举
在多功能厅举办。当我走进多功能厅时我感到很热,因为我很紧张。
lotus若莲
·
2023-12-26 17:45
【Flink-
Kafka
-To-Mysql】使用 Flink 实现
Kafka
数据写入 Mysql(根据对应操作类型进行增、删、改操作)
【Flink-
Kafka
-To-Mysql】使用Flink实现
Kafka
数据写入Mysql(根据对应操作类型进行增、删、改操作)1)导入依赖2)resources2.1.appconfig.yml2.2
bmyyyyyy
·
2023-12-26 17:08
Flink
flink
kafka
mysql
#kafka2mysql
kafka
发送大消息
1
kafka
消息压缩
kafka
关于消息压缩的定义(来源于官网):此为
Kafka
中端到端的块压缩功能。如果启用,数据将由producer压缩,以压缩格式写入服务器,并由consumer解压缩。
SeaDhdhdhdhdh
·
2023-12-26 16:54
kafka
kafka
常见的锁和zookeeper
以后,本来想入门一下
Kafka
的(装一下环境、看看
Kafka
一些概念啥的)。后来发现
Kafka
用到了ZooKeeper,而我又对ZooK
99WOODYXIN
·
2023-12-26 14:14
java-zookeeper
zookeeper
kafka
kafka
安装部署
1、
Kafka
概述1.1.
Kafka
简介Apache
Kafka
是一个开源消息系统、一个开源分布式流平台,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
Guff_hys
·
2023-12-26 14:00
kafka
分布式
spark
后端
大数据
开发语言
Kafka
Consumer
1.消费者和消费组消费者(Consumer)负责订阅
Kafka
中的主题(Topic),并且从订阅的主题上拉取消息。消费者并非逻辑上的概念,它是实际的应用实例,它可以是一个钱程,也可以是一个进程。
向梦而来
·
2023-12-26 14:59
基于电商场景的高并发RocketMQ实战-Raft协议的leader
选举
算法、Broker基于状态机实现的leader
选举
Raft协议的leader
选举
算法Raft协议是一种分布式一致性算法,用于解决分布式系统中的数据一致性问题。
11来了
·
2023-12-26 12:27
RocketMQ
rocketmq
梭哈比特币
2024年将是全国
选举
次数最多的一年,投资者应该购买比特币并开始加密之旅,以抗击法币贬值。
碳链价值
·
2023-12-26 11:39
区块链
Kafka
到底会不会丢消息
目录1、
kafka
是什么一种高吞吐量的分布式、发布订阅消息系统,它可以处理消费者规模的,网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力……以时间复杂度为O(1)的方式提供消息持久化能力
_心碎乌托邦_
·
2023-12-26 11:47
kafka
面试
1
kafka
可以脱离zookeeper单独使用吗?为什么?
Kafka
从版本0.10.1.0开始支持在某些场景下脱离对Zookeeper的依赖,引入了基于Raft协议的
Kafka
Controller。
shumeigang
·
2023-12-26 10:58
kafka
kafka
面试
分布式
【Flink-
Kafka
-To-
Kafka
】使用 Flink 实现
Kafka
数据写入
Kafka
【Flink-
Kafka
-To-
Kafka
】使用Flink实现
Kafka
数据写入
Kafka
1)导入依赖2)代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy
·
2023-12-26 07:59
Flink
flink
kafka
#kafka2kafka
Flink电商实时数仓(六)
交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入
Kafka
支付成功主题执行步骤设置
十七✧ᐦ̤
·
2023-12-26 07:25
flink
数据库
java
zookeeper基本使用
目录环境搭建单机版搭建集群版搭建基本语法使用可视化客户端数据结构节点分类1.持久节点2.临时节点3.有序节点4.容器节点5.TTL节点节点状态监听机制watch监听永久性watch应用场景1.实现分布式锁2.乐观锁更新数据应用场景总结
选举
机制环境搭建单机版搭建
kk_0910
·
2023-12-26 07:21
zookeeper
Windows下安装单机
Kafka
环境及配置SASL身份认证
0安装JDKzookeeper和
kafka
都是java开发的,所以安装前先安装1.8版本以上的jdk,并设置环境变量JAVA_HOME=d:\env\Java\jdk1.8.0_141安装Zookeeper1.1ApacheZooKeeper
qq_34324703
·
2023-12-26 05:18
java
kafka
zookeeper
【
Kafka
】
Kafka
客户端认证失败:Cluster authorization failed.
背景
kafka
客户端是公司内部基于spring-
kafka
封装的spring-boot版本:3.xspring-
kafka
版本:2.1.11.RELEASE集群认证方式:SASL_PLAINTEXT/SCRAM-SHA
喝不完一杯咖啡
·
2023-12-26 03:24
Kafka
kafka
分布式
SASL认证
spring-kafka
上一页
37
38
39
40
41
42
43
44
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他