Kafka专题学习

Kafka相关面试题知识点总结

1、请说明什么是ApacheKafka?ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景？
姜汁撞可乐·2023-12-31 01:27

最全java面试题及答案（208道）

容器、多线程、反射、对象拷贝、JavaWeb、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、MyBatis、RabbitMQ、Kafka
Java烟雨·2023-12-31 00:06

Flink 内容分享(九)：Flink生产环境相关问题

目录1.Flink+Kafka保证精确一次消费相关问题？2.你们的Flink怎么提交的？使用的per-job模式吗？3.了解过Flink的两阶段提交策略吗？讲讲详细过程。如果第一阶段宕机了会怎么办？
之乎者也··2023-12-30 22:00

华为ICT大赛 2022-2023 中国区 实践赛总决赛--云赛道(本科赛道)理论部分真题

大数据模块(共4题)：1、Kafka集群现已被多家不同公司作为多种类型的实时数据管道和实时消息系统使用。以下关于Kafka的描述，正确的是哪些项?
gaogao_jack·2023-12-30 22:50

Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？

一、概述一个产品的出现，通常都有其优缺点，辩证看待，方可明白其适合的应用场景。二、消息队列的优缺点消息队列的优点：前面已经讲述了消息队列的优点，请看文章“为什么要使用消息队列”。消息队列的缺点：系统可用性降低：记得之前大学无偿献血的时候，献血后爱心站会用无偿献血者爱心礼包，其中就包含一个工具盒，里面包含日常家用维修的各种工具，这个工具的可用性很好。如果其中一个工具使用坏了，还可以继续用其他很多的工
善思者_tin·2023-12-30 21:27

“三个维度”，练就调查研究基本功

近日，自治区党委理论学习中心组举行专题学习会，马兴瑞书记主持并讲话。指出，以习近平同志为核心的党中央高度重视思想建党和理论强党，每逢重大历史关头，都及时部署开展学习教育，用党的创新理论统一全党思想。
Bota_0815·2023-12-30 21:35

亚马逊云科技Amazon MSK基于S3云服务器实现导出导入、备份还原、迁移方案

亚马逊云科技AmazonMSK是Amazon云平台提供的托管Kafka服务。
Zaker科技·2023-12-30 21:53

Centos安装Kafka（KRaft模式）

1.KRaft引入Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
高过蓝天的云·2023-12-30 14:45

基于win10搭建Kafka+Zookeeper+KafkaManager+集成SpringBoot实现（一）

基于win10搭建kafka_2.13-2.8.0+Zookeeper3.7.0+KafkaManager1.3.3.7+集成SpringBoot实现
Shawn_F·2023-12-30 12:10

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入
十七✧ᐦ̤·2023-12-30 11:16

kafka实现延迟消息

背景我们知道消息中间件mq是支持延迟消息的发送功能的，但是kafka不支持这种直接的用法，所以我们需要独立实现这个功能，以下是在kafka中实现消息延时投递功能的一种方案kafka实现延时消息主要的思路是增加一个检测服务
lixia0417mul2·2023-12-30 11:45

python获取钉钉日志数据_python实现对kafka中日志数据监控报告（钉钉）

该脚本是作统计fromdatetimeimportdatetime,timedeltaimportosfromdingtalkchatbot.chatbotimportDingtalkChatbotfromkafkaimportKafkaConsumerimportre
weixin_39631445·2023-12-30 10:40

RedLock算法和底层源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:09

腾讯经典面试题-如何做一个迷你版的微信抢红包呢？

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:09

Redis的缓存过期淘汰策略

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:38

初识linux

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:37

Flink实时电商数仓（八）

用户域登录各窗口汇总表主要任务：从kafka页面日志主题读取数据，统计七日回流用户：之前活跃的用户，有一段时间不活跃了，之后又开始活跃，称为回流用户当日独立用户数：同一个用户当天重复登录，只算作一个独立用户
十七✧ᐦ̤·2023-12-30 09:55

Docker搭建kafka集群

Docker搭建kafka集群kafka概念broker：消息中间件处理节点，一个broker就是一个kafka节点，一个或者多个broker就组成了一个kafka集群topic：kafka根据topic
whhwch1986·2023-12-30 09:11

记录一次云服务器使用docker搭建kafka的过程

创建网络一定要将zookeeper注册中心与kafka建在一个network中，不然在springboot集成kakfa的demo测试代码中进行消息发送时会超时，报错：Exceptionthrownwhensendingamessagewithkey
ZYNORL·2023-12-30 09:32

NAST概述

不同于Java社区的kafka，nats偏于redis式的消息中间件，不不像Kafka式的可以持久化。NATS原来是使用Ruby编写，可以实现每秒150k消息，后来使用Go语言重
背帆·2023-12-30 08:52

私有部署ELK，搭建自己的日志中心（六）-- 引入kafka对采集日志进行削峰填谷

一、背景首先，要说明一点，elk日志中心，是可以缺少kafka组件的。其次，如果是研发环境下，机器资源紧张的情况下，也是可不部署kafka。
天草二十六_简村人·2023-12-30 06:04

flink 消费Kafka 空指针问题

flink消费Kafka空指针问题error：2021-12-0210:51:55,644WARNorg.apache.flink.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁·2023-12-30 06:30

大数据技术之Debezium

Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及KakfaConnect。
青涩的芒果汁·2023-12-30 06:30

Kafka常用消费者命令

bin/kafka-console-consumer.sh--bootstrap-serverxxx05:9092--topicxxx_mongo.xxx2021--from-beginningbin/
青涩的芒果汁·2023-12-30 06:00

ELK-Nginx+logstash-kafa-logstash-elasticsearch

把Nginx的日志由logstash收集在写到kafa在由logstash抽出给elaticsearch一配置logstash写入kafka[root@linux-node3~]#cd/etc/logstash
zhao34yan1·2023-12-30 05:11

spring 运行时替换 单例bean 实现

前言kafka、redis这些中间件可能会出现超时，这时候我们可能会需要修改他们的链接地址，此时就需要动态替换这些bean思路首先要知道这bean是怎么放到spring容器中的，是放在哪里的？
帆影匆匆·2023-12-30 05:38

linux查询kafka日志,利用Rsyslog进行日志收集到Kafka

项目需要将日志收集起来做存储分析，数据的流向为rsyslog(收集)->kafka(消息队列)->logstash(清理)->es、hdfs；今天我们先将如何利用rsyslog进行日志收集到kafka。
李玉北·2023-12-30 05:37

rsyslog对接kafka

对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器
weixin_33690963·2023-12-30 05:37

ELK+kafka集群实战

ELK+Kafka集群前言前言业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。
ALAVVY·2023-12-30 05:36

企业日志大数据分析系统ELK+KAFKA实现【转】

但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka
weixin_30449453·2023-12-30 05:36

ELK+Filebeat+Kafka搭建Oracle数据库日志平台

数据流向结构图2注意：需要JDK支持安装配置Filebeat收集日志文件2.1安装配置#解压tar-xffilebeat-*-linux-x86_64.tar.gz-C/ups/app/elasticcd/ups/app/elasticln-sfilebeat-*filebeat2.2配置数据采集conf文件filebeat.inputs:-type:logenabled:truepaths:-/
木子87·2023-12-30 05:06

nginx 日志用rsyslog-kafka发送

rsyslogv8.7.0才可以支持kafkacentos7直接安装rsyslog-kafkayum-yinstallrsyslog-kafka如果centos6就比较麻烦不能直接用yum来升级rsyslog
jacketyding·2023-12-30 05:04

日志收集之rsyslog kafka配置

source=drahttps://www.jianshu.com/p/8384f6cd0f22背景：最近项目需要上监控，经过规划决定用：rsyslog/telegraf+kafka+influxdb+
郎帅·2023-12-30 05:03

万字长文利用ELK+kafka分析Nginx日志生产实战(高清多图)

一、服务介绍1.1、ELKELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能
Richardlygo·2023-12-30 05:02

基于Rsyslog+Kafka+Flink+Clickhouse的高性能日志采集、分析、汇聚存储方法

在上一篇博文中介绍了简单的实用负载均衡与实时监控方案（tengine+rsyslog+goaccess），功能上是满足日常需要的。但是用户的需求是没有止境的，更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV，各功能模块PV、UV，区域PV、UV，各手机型号、应用版本的使用情况，平台使用的趋势分析，功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者·2023-12-30 05:02

nginx+rsyslog+kafka+clickhouse+grafana 实现nginx 网关监控

需求我想做一个类似腾讯云网关日志最终以仪表方式呈现，比如说qps、p99、p95的请求响应时间等等流程图数据流转就像标题nginx---->rsyslog---->kafka—>clickhouse—>
帆影匆匆·2023-12-30 05:59

Kafka：本地设置

这是设置Kafka将数据从Elasticsearch发布到Kafka主题的三部分系列的第一部分；该主题将被Neo4j使用。第一部分帮助您在本地设置Kafka。
前网易架构师-高司机·2023-12-30 00:35

PiflowX组件-WriteToKafka

WriteToKafka组件组件说明将数据写入kafka。
暗影八度·2023-12-29 23:14

PiflowX组件-ReadFromKafka

ReadFromKafka组件组件说明从kafka中读取数据。
暗影八度·2023-12-29 23:13

SpringBoot----日志框架和配置，kafka视频分析

如何让系统中所有日志统一使用slf4j将系统中其他的日志框架先排除出去用中间包替换原有的日志框架我们导入slf4j其他的实现SpringBoot日志关系=============================================================================![在这里插入图片描述](https://img-blog.csdnimg.cn/e41ba6
m0_64867092·2023-12-29 23:11

第十二节：Stream（消息驱动）和Sleuth（分布式请求链路跟踪）

一、Stream（消息驱动）消息驱动概述：MQ（消息中间件）：ActiveMQ、RabbitMQ、RocketMQ、kafkaMQ解决问题：多种MQ适配（切换、维护、开发）屏蔽底层消息中间件的差异，降低切换成本
逆流而上jiao·2023-12-29 21:52

十五.SpringCloud极简入门-Spring Cloud Stream消息驱动

SpringCloudStream介绍1.1.为什么要用SpringCloudStream在项目开发的过程中，由于需求的变更可能会导致MQ中间件的更换，比如我们最开始使用的RabbitMQ,后续需要更换为Kafka
墨家巨子@俏如来·2023-12-29 21:52

SpringCloud第十一节内容精简，SpringCloud Stream消息驱动

平时用的消息组件有，RabbitMQ，RocketMQ，Kafka，ActiveMQ用消息驱动是为了屏蔽底层消息中间件的差异，降低切换版本，统一消息的编程模型举个例子，你不需要学习mysql，sqlserver
bailaoshi666·2023-12-29 21:19

消息驱动之背景概述(十九)

消息中间件当我们的消息生产者产生了消息之后，就把消息推送到RabbitMQ或Kafka这样的消息中间件上，消息消费者实现了对消息中间件的监听，当侦听到了消息的时候，就去获
MrSpirit·2023-12-29 21:49

第十一章 Stream消息驱动

底层不管是什么中间件如kafka、rabbitmq，Stream
我愿为一粒沙·2023-12-29 21:18

SpringBoot 中使用Kafka的简单入门

0.在使用Spiringboot集成Kafka之前需要将kafka的服务端程序（包括jre、zookeeper、kafka三部分）安装好。
marksman_e902·2023-12-29 17:52

kafka 有几种数据保留的策略？

kafka有几种数据保留的策略？在ApacheKafka中，有几种数据保留策略用于定义消息保存的时长和数据保留的规则。这些策略主要影响Kafka中的Topic。
学习资源网·2023-12-29 14:28

Kafka 初识

kafka是由LinkedIn公司开发的，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大特点就是可以实时的处理大量数据以满足各种需求场景：比如基于Hadoop的批处理系统
Advancer-lbh·2023-12-29 14:56

kafka容灾演练的方案

背景kafka可以通过MirrorMaker工具把集群的数据从一个集群同步到另一个集群，通过在另一个数据中心创建灾备集群的方式可以做到容灾的效果,但是如果我们不通过如此重量级的工具也想达到容灾演练的目的
lixia0417mul2·2023-12-29 13:57

2020-03-09

需要注意：像Kafka和RocketMQ这样的消息队列，它是不保证在Topic上的严格顺序的，只能保证
zhchzh·2023-12-29 13:29
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他