Kafka权威指南

系统部署安装-Centos7-Kafka

文章目录安装离线安装下载安装安装离线安装下载可以前往kafka的官网进行下载https://kafka.apache.org/downloads安装1.创建安装目录mdkir/opt/software/
Doubletree_lin·2023-12-01 11:48

Zookeeper+Kafka集群

注：本章使用的Kafka为2.7.0版本Zookeeper概述1.Zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。
pupcarrot·2023-12-01 11:47

ELK+filebeat+kafka

无需创建logstash的端口，直接创建topic远程收集mysql和httpd的日志（一）安装nginx和mysql服务1、打开mysql的日志功能2、创建日志（创库、创表、添加数据）（1）mysql服务器上安装httpsystemctlrestarthttpd.service（2）访问测试（二）部署安装filebeat1、编辑filebeat的配置文件（1）启动filebeat服务nohup.
海德Hyde·2023-12-01 11:12

ELK+filebeat+kafka

/filebeat-e-cfilebeat.yml>filebeat.out&tail-ffilebeat.outcd/etc/logstash/conf.dvimkafka.confinput{kafka
aaa.com·2023-12-01 11:11

Elk+Filebeat+Kafka实现日志收集

Elk+Filebeat+Kafka实现日志收集(本机nginx)部署Zookeeper1.实验组件#准备3台服务器做Zookeeper集群20.0.0.1020.0.0.2020.0.0.302.安装前准备
pupcarrot·2023-12-01 11:10

ELK——ELK+filebeat+kafka部署——（3）部署kafka

部署kafka为了防止收集的日志信息太多或者是服务器down机导致的信息丢失，我们这里引入kafka消息队列服务器，我们这里搭建单节点的kafka，生产环境中应该使用集群方式部署。
未来的运维大牛·2023-12-01 11:24

ELK——ELK+filebeat+kafka部署——（1）部署ELK

部署ELK这里我们首选把ELK的环境搭建好。一步一步去搭建服务。上传软件包：Elasticsearch、Logstash、Kibana和JDK安装jdk1.8由于ELK的3个软件都需要JDK支持，所以只要安装Elasticsearch+Logstash+Kibana的服务器都要装JDK，jdk版本至少1.8解压jdk[root@elk01~]#tar-zxvfjdk-8u171-linux-x64
未来的运维大牛·2023-12-01 11:53

zookeeper集群+Kafka集群

zookeeper集群Kafka3.0之前依赖于zookeeperzookeeper是一个开源，分布式的架构zookeeper提供协调服务(Apache项目)基于观察者模式设计的分布式服务管理架构。
俊俏美男子章鱼哥·2023-12-01 11:52

ELK+Filebeat+Kafka+Zookeeper日志分析系统

ELK+Filebeat+Kafka+Zookeeper日志分析系统文章目录ELK+Filebeat+Kafka+Zookeeper日志分析系统一、Filebeat1.Filebeat简介2.Filebeat
LEE_九月·2023-12-01 11:21

k8s部署elk+filebeat+logstash+kafka集群（二）kafka-zookeeper模式集群

zookeeper集群部署zookeeper使用官方镜像，版本为3.5，上传到镜像仓库rbacapiVersion:v1kind:ServiceAccountmetadata:name:kafkanamespace
filtercomp·2023-12-01 11:51

k8s部署elk+filebeat+logstash+kafka集群（二）kafka-kraft模式集群

1、构建kafka镜像kafka没有找到官方镜像，所以自己构建个kafka镜像，我使用的版本是2.8下载地址：https://kafka.apache.org/#编辑启动脚本catstart.sh#!
filtercomp·2023-12-01 11:20

elk+filebeat+kafka集群部署

EFK实验架构图：实现高并发，无需指定logstash3台es+file，3台kafka20.0.0.10es+file20.0.0.20es+file20.0.0.30es+file20.0.0.11kafka20.0.0.12kafka20.0.0.13kafka
俊俏美男子章鱼哥·2023-12-01 10:17

SpringCloudStream集成MQ中间件

第零章序提问：众所周知，MQ的集成方案及中间件有很多中，如现在主流的产品：RabbitMQ、RocketMQ、ActiveMQ、KafKa；但有时很意外的是：公司业务服务使用的RabbitMQ，而数据库后台使用的是
～Mei先森·2023-12-01 09:11

ELK+filebeat+kafka实现日志收集

ELK+filebeat+kafka远程收集不同主机上的httpd、mysql日志实验实验目的：远程收集日志，高并发情况下流量削峰，异步通信实验条件：主机名IP地址作用组件硬件集群test120.0.0.10
咩咩230·2023-12-01 08:40

一起来啃犀牛书：正则表达式

《javascript权威指南》这本书就像是js界的圣经，对于大神和新手都应该是必读书。但是这本近千页的书已经厚到让人望而生畏，要通读它不仅要时间也需要毅力。
强哥科技兴·2023-12-01 08:01

搭建Kafka集群

一：安装jdk1.删除本地openjdkrpm-qa|grepjava命令的意思是搜索java，查看安装包文件2.卸载jdkyumremove*openjdk*3.安装jdk将jdk压缩包解压并安装在/usr/lib/jvm目录下4.配置环境变量1exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_2612exportPATH=$JAVA_HOME/bin:$PATH3ex
梧桐雨。·2023-12-01 08:39

通过logstash消费kafka数据到elasticsearch

关于logstash的介绍官网写的非常详细，这里就不再过多介绍了，感兴趣的小伙伴可以自行去官网查看，我们今天的主要目的是如果通过logstash从kafka消费数据，并
King-Mouse·2023-12-01 08:09

CentOS7搭建Kafka集群

目录一、Kafka单机【依赖单机的单节点Zookeeper】二、KafKa集群搭建三、KafkaManager（web页面管理）的搭建四、使用本地客户端测试MQ基本操作首先kafka的配置信息等信息依赖
it_lihongmin·2023-12-01 08:08

搭建kafka服务器集群

一、要搭建Kafka服务器集群，您需要进行以下步骤：安装和配置Zookeeper首先，您需要安装和配置Zookeeper。
立昂·2023-12-01 08:38

Linux 搭建Kafka集群，最新教程，细到极致

  大家好呀，今天给大家带来的是，最新版kafka集群的安装教程，希望给小伙伴们一点小小的帮助。
Jesscia ^_^·2023-12-01 08:08

从0到1搭建kafka集群

192.168.1.101node2:192.168.1.102node3:192.168.1.103下载安装包下载zookeeperhttps://dlcdn.apache.org/zookeeper/下载kafkahttps
爱埋珊瑚海～～·2023-12-01 08:06

08 | Kafka_生产者压缩算法面面观

在Kafka中，压缩也是用来做这件事的。今天我就来跟你分享一下Kafka中压缩的那些事儿。怎么压缩？Kafka是如何压缩消息的呢？要弄清楚这个问题，就要从Kafka的
Splunker·2023-12-01 07:50

Kafka如何保证高吞吐量

1.顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写生产者负责写入数据，Kafka
攻城狮百里·2023-12-01 05:21

kafka笔记4--安装kafka ui

kafka笔记4--安装kafkaui1介绍2安装&测试2.1docker部署kafka-ui2.2测试3注意事项4说明1介绍文章OverviewofUIToolsforMonitoringandManagementofApacheKafkaClusters
昕光xg·2023-12-01 04:09

k8s笔记22--使用fluent-bit采集集群日志

k8s笔记22--使用fluent-bit采集集群日志1介绍2部署&测试2.1获取安装fluent-bit2.2直接采集日志到es集群2.3直接采集日志到kafka集群3注意事项4说明1介绍k8s笔记11
昕光xg·2023-12-01 04:09

深入理解Zookeeper系列-1.初识Zoookeeper

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-01 03:56

深入理解Zookeeper系列-2.Zookeeper基本使用和分布式锁原理

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-01 03:26

消息队列进阶-3.消息队列常见问题解决方案

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023
爱吃芝士的土豆倪·2023-12-01 03:25

探究Kafka原理-6.CAP理论实践

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023
爱吃芝士的土豆倪·2023-12-01 03:23

linux查看指定目录下各个文件大小以及总体大小

一查看目录下各个文件的大小1.查询文件的大小[Devops@localhostkafka_2.11-2.3.1]$du-h--max-depth=1240K./bin72K./config64M.
健康平安的活着·2023-12-01 03:02

Java高级：搞定kafka看这一篇就够了

美团技术一面20分钟晚7点，因为想到下周一才面试，我刚准备出去打个羽毛球，北京的电话就来了。面试官各种抱歉，说开会拖延了。1、自我介绍说了很多遍了，很流畅捡重点介绍完。2、问我数据结构算法好不好挺好的（其实心还是有点虚，不过最近刷了很多题也只能壮着胆子充胖子了）3、找到单链表的三等分点，如果单链表是有环的呢用快慢指针，一个走一步，一个走三步。如果有环，先判断环在哪，找最后一个节点，然后用之前的无环
上班划水小能手·2023-12-01 01:24

解决Pycharm中SystemError报错

报错描述-代码逻辑大致是，开启线程，监听kafka生产者push的topic消息。
weixin_30319097·2023-11-30 23:07

03-02-01 zookeeper

比如：kafka的消费者消费了某个消息，offset变更；分布式事务，一个服务报错其他事务回滚来自：网络资源元数据管理/集群管理（文件+watch）：集群的元数据存放
nan得糊涂·2023-11-30 23:14

耗时3个月整理998道Java面试真题整理，这些都会让你横扫大厂！

、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka
风平浪静如码·2023-11-30 23:28

【Flink实战系列】Flink 消费 kafka 并行度设置多少合理(kafka 的 partition 和 Flink 的 subtask 对应关系) ?

Flink消费kafka数据并行度设置多少比较合理?最近一个朋友问我的问题,Flink消费kafka数据的时候,并行度设置多少比较合理呢?假如消费多个topic,又该怎么设置呢?
JasonLee实时计算·2023-11-30 22:34

flink自定义metrics监控kafka消费

一背景因为业务需求，要在flink中监控kafka消费的数据量以及积压情况，在网上找了很久没找到直接能用的代码。在这里把自己的实现记录一下。
zyyBjtu·2023-11-30 22:04

hive数据迁移到clickhouse+kafka数据写入clickhouse

hive数据迁移到clickhouse文章目录hive数据迁移到clickhouse1.使用命令导入2.使用waterdropkafka数据写入clickhouse1.使用命令导入#1.hive数据导出成
重生之我在异世界打工·2023-11-30 22:03

flink1.12配置滚动日志（超详细）

flink1.12配置滚动日志（超详细）配置滚动生成的目的配置方式1.在代码中指定2.提交任务时指定3.官方建议详细配置完整的log4j.properties配置文件如下:flink1.12kafka的
重生之我在异世界打工·2023-11-30 22:03

flink状态与kafka消费参数

当没有使用状态的时候，如第一次部署我们设置了consumer.setStartFromTimestamp(DateUtil.getMillsFromString(startTime));那么这个参数就会起作用当我们任务从ck状态恢复的时候，这个参数就失去了作用如下图任务从ck恢复，时间设置为2021-06-05但是并没有从凌晨消费，而是从下午3点
都教授2000·2023-11-30 22:32

【Flink】Flink 消费 kafka 实现 限流处理 RateLimiter

然后看看扩展的kafka是如何限流的，
九师兄·2023-11-30 22:30

flink消费kafka设置（记录）

最近遇到个问题，flink消费kafka直接用kafka设置却无法从最新的开始消费auto.offset.reset=latest后面直接通过FlinkKafkaConsumer.setStartFromTimestamp
NemoonFish·2023-11-30 22:30

flink中读取kafka消息写进es中消费进度过慢问题

问题：在数据量较小的时候，从kafka中读取消息并写入es，没什么问题。但是等数据量多的时候，发现读kafka消息向es写入速度明显变慢，出现了时间上较大的延迟。
如果丶可以坑·2023-11-30 22:59

flink消费kafka限制消费速率

flink版本1.14别的版本类似需要速率限制的情况1.任务异常在停止的时间内大量数据挤压2.新任务上线需要铺底数据，消费几天前的数据在不增加内存和并行度的情况下，如果任务启动可能会造成oom，这时需要进行速率限制。前提漏桶算法（LeakyBucketAlgorithm）：原理：漏桶算法的原理类似于一个物理上的漏桶。数据请求被看作水滴，这些水滴被放入一个固定容量的漏桶中。漏桶以固定的速率漏水，当水
重生之我在异世界打工·2023-11-30 22:57

Kafka如何保证数据的可靠性&Kafka集群

目录一、Kafka数据存储方式名词解释分区分步示意图Kafka数据存放Kafka如何通过offset查找到Message二、Kafka如何确保数据不丢失三、Kafka可以支持高吞吐量的原因四、Kafka
熟透的蜗牛·2023-11-30 20:24

Kafka 的存储机制以及可靠性

一、kafka的存储机制1、segment2、读取数据二、可靠性保证1、AR2、生产者可靠性级别3、leader选举4、kafka可靠性的保证一、kafka的存储机制kafka通过topic来分主题存放数据
zhisheng_blog·2023-11-30 20:23

kafka中的常见问题处理

文章目录1.如何防⽌消息丢失2.如何防⽌重复消费3.如何做到消息的顺序消费4.如何解决消息积压问题4.1消息积压问题的出现4.2消息积压的解决⽅案5.实现延时队列的效果5.1应用场景5.2具体方案1.如何防⽌消息丢失⽣产者：1）使⽤同步发送2）把ack设成1或者all，并且设置同步的分区数>=2消费者：把⾃动提交改成⼿动提交2.如何防⽌重复消费在防⽌消息丢失的⽅案中，如果⽣产者发送完消息后，因为⽹
路飞H·2023-11-30 20:53

如何保证Kafka的可靠性、幂等性和有序性

之前的项目中由于用到了Kafka，所以在前一阵的实习面试中被问到了如何保证Kafka消息的有序性，所以本文对于Kafka这三个常被问到的问题进行总结归纳。
SKY技术修炼指南·2023-11-30 20:53

kafka C++实现生产者

文章目录1Kafka生产者的逻辑2Kafka的C++API2.1RdKafka::Conf2.2RdKafka::Message2.3RdKafka::DeliveryReportCb2.4RdKafka
路飞H·2023-11-30 20:23

kafka C++实现消费者

文章目录1Kafka消费者的逻辑2Kafka的C++API2.1RdKafka::Conf2.2RdKafka::Event2.3RdKafka::EventCb2.4RdKafka::TopicPartition2.5RdKafka
路飞H·2023-11-30 20:23

【Kafka】如何保证消息可靠性(ack机制)

文章目录1.消息可靠性2.发送端如何保证高可用性2.1ack参数解释2.2ack详细流程参考1.消息可靠性什么是消息可靠性？就是如何确保消息一定能发送到服务器进行存储，并且发生宕机等异常场景，能够从备份数据中恢复。消息的可靠性需要从2个方面看待消息可靠性第一，发送端能否保证发送的消息是可靠的第二，接收端能否可靠的消费消息消息发送端：通过ack机制，定义不同的策略。消息消费端：如果消费这边配置的是自
云川之下·2023-11-30 20:53
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他