消息系统kafka 第36页

WebService

它还支持从消息系统到远程过程调用（RPC）等

GISer_Jing·2023-12-26 21:05

大数据实战项目 -- 实时数仓

文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2Kafka数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana

L小Ray想有腮·2023-12-26 18:53

【Java】SpringBoot快速整合Kafka

目录1.什么是Kafka？主要特点和概念：主要组成部分：2.Kafka可以用来做什么？

MXin5·2023-12-26 18:32

【Flink-Kafka-To-Mongo】使用 Flink 实现 Kafka 数据写入 Mongo（根据对应操作类型进行增、删、改操作，写入时对时间类型字段进行单独处理）

【Flink-Kafka-To-Mongo】使用Flink实现Kafka数据写入Mongo（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2

bmyyyyyy·2023-12-26 17:15

【Flink-Kafka-To-Mysql】使用 Flink 实现 Kafka 数据写入 Mysql（根据对应操作类型进行增、删、改操作）

【Flink-Kafka-To-Mysql】使用Flink实现Kafka数据写入Mysql（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2

bmyyyyyy·2023-12-26 17:08

kafka发送大消息

1kafka消息压缩kafka关于消息压缩的定义（来源于官网）：此为Kafka中端到端的块压缩功能。如果启用，数据将由producer压缩，以压缩格式写入服务器，并由consumer解压缩。

SeaDhdhdhdhdh·2023-12-26 16:54

常见的锁和zookeeper

以后，本来想入门一下Kafka的(装一下环境、看看Kafka一些概念啥的)。后来发现Kafka用到了ZooKeeper，而我又对ZooK

99WOODYXIN·2023-12-26 14:14

kafka安装部署

1、Kafka概述1.1.Kafka简介ApacheKafka是一个开源消息系统、一个开源分布式流平台，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

Guff_hys·2023-12-26 14:00

Kafka Consumer

1.消费者和消费组消费者（Consumer）负责订阅Kafka中的主题（Topic），并且从订阅的主题上拉取消息。消费者并非逻辑上的概念，它是实际的应用实例，它可以是一个钱程，也可以是一个进程。

向梦而来·2023-12-26 14:59

Kafka到底会不会丢消息

目录1、kafka是什么一种高吞吐量的分布式、发布订阅消息系统，它可以处理消费者规模的，网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力……以时间复杂度为O(1)的方式提供消息持久化能力

_心碎乌托邦_·2023-12-26 11:47

kafka 面试

1kafka可以脱离zookeeper单独使用吗？为什么？Kafka从版本0.10.1.0开始支持在某些场景下脱离对Zookeeper的依赖，引入了基于Raft协议的KafkaController。

shumeigang·2023-12-26 10:58

【Flink-Kafka-To-Kafka】使用 Flink 实现 Kafka 数据写入 Kafka

【Flink-Kafka-To-Kafka】使用Flink实现Kafka数据写入Kafka1）导入依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3

bmyyyyyy·2023-12-26 07:59

Flink电商实时数仓（六）

交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入Kafka支付成功主题执行步骤设置

十七✧ᐦ̤·2023-12-26 07:25

Windows下安装单机Kafka环境及配置SASL身份认证

0安装JDKzookeeper和kafka都是java开发的，所以安装前先安装1.8版本以上的jdk，并设置环境变量JAVA_HOME=d:\env\Java\jdk1.8.0_141安装Zookeeper1.1ApacheZooKeeper

qq_34324703·2023-12-26 05:18

【Kafka】Kafka客户端认证失败：Cluster authorization failed.

背景kafka客户端是公司内部基于spring-kafka封装的spring-boot版本：3.xspring-kafka版本：2.1.11.RELEASE集群认证方式：SASL_PLAINTEXT/SCRAM-SHA

喝不完一杯咖啡·2023-12-26 03:24

Kafka基础—4、Kafka Streams & Kafka Connect

Kafka知识库-索引目录一、KafkaStreams1、KafkaStreams简介KafkaStreams是ApacheKafka提供的一个用于处理实时数据流的库。

风不归Alkaid·2023-12-26 02:29

KafkaLog4jAppender

KafkaLog4jAppender是Log4j的一个扩展，它可以将日志信息发送到ApacheKafka。

cong_han·2023-12-26 02:11

DelayQueue和时间轮

www.jianshu.com/p/e0bcc9eae0aehttps://blog.csdn.net/dkfajsldfsdfsd/article/details/88966814时间轮，基于槽的DelayQueue；kafka

NazgulSun·2023-12-26 00:04

Kafka日志文件存储

日志文件kafka在server.properties配置文件中通过log.dir属性指定了Kafka的日志存储路径核心文件1.log文件实际存储消息的日志文件,大小固定1G(参数log.segment.bytes

kk_0910·2023-12-25 23:09

阿里资深架构师整理春招最新面试题汇总：208页核心体系

、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka

写代码的珏秒秒·2023-12-25 23:34

rocketmq

Kafka、RabbitMQ以及RocketMQ的调研对

我的心上人骑着七彩祥云会掉·2023-12-25 23:19

RocketMQ 简单原理

但是，如今例如RocketMQ、Kafka这些优秀的消息中间件不仅仅是通过一个队列来实现消息存储的。队列模型就像我们理解队列一样，消息中间件的队列模型就真的只是一个队列(类似blockQueue?)

球磨川禊·2023-12-25 23:49

Kafka生产环境问题总结与性能优化实践

Kafka可视化管理工具kafka-manager安装及基本使用可参考：httos://wwwcnbloas.com/dadonaaa/o/8205302.html线上环境规划1.消息丢失情况：消

光芒软件工匠·2023-12-25 21:26

RocketMQ高级原理：深入剖析消息系统的核心机制

一、基础概念：1.消息模型RocketMQ基于Producer、Broker、Consumer三部分构建。其中，Producer负责生成消息，Consumer处理消息，而Broker则承担消息存储的角色。Broker服务器可以存储多个Topic的消息，并支持消息在不同Broker间的分片存储。此外，ConsumerGroup由多个Consumer实例构成，以实现高效的消息处理。2.消息生产者（Pr

光芒软件工匠·2023-12-25 21:24

Kafka、RocketMQ、RabbitMQ消息丢失可能存在的地方，以及解决方案

这里主要对比：Kafka、RocketMQ、RabbitMQ介绍一下消息生产、存储、消费三者的架构形式。

程序员中的吴彦祖·2023-12-25 17:30

大白话带你认识 Kafka

前言Kafka是我在疫情期间在游戏之余学的。虽然之前用过ActiveMQ和RabbitMQ，但是在Kafka这门技术面前我也算是一个初学者。文章中若有说法有点完善或者不准确的地方敬请指出。

Guide哥·2023-12-25 14:25

SpringBoot整合Kafka

现在大多数公司都是使用SpringBoot技术，所以使用SpringBoot整合Kafka是比较重要的。接下来我们就来使用SpringBoot整合Kafka。

萧炎·2023-12-25 14:12

Kafka设计原理详解

Kafka核心总控制器(Controller)在Kafka集群中，通常会有一个或多个broker，其中一个会被选举为控制器(KafkaController)，其主要职责是管理整个集群中所有分区和副本的状态

光芒软件工匠·2023-12-25 14:42

沉梦听雨.·2023-12-25 14:10

Kafka生产问题总结及性能优化实践

Kafka可视化管理工具kafka-manager安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.htmlKafka可视化管理工具kafdorp

Memory_2020·2023-12-25 12:26

Kafka操作指令笔记

/kafka-consumer-groups.sh--bootstrap-server{kafka集群地址}--describe--group{消费组名称}bin/kafka-consumer-groups.sh

是二狗诶·2023-12-25 12:22

flink 读取kafka 数据写入mysql

创建flink环境：StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);EnvironmentSettingsbuild=EnvironmentSettings.newInstance().useBlinkPlanner().inStream

赤土炙焱·2023-12-25 12:20

Kafka下沉到HDFS报错

错误信息24十二月202312:38:25,127INFO[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64)-Serializer=TEXT,UseRawLocalFileSystem=false24十二月202312:38

Stephen6Yang·2023-12-25 07:12

Kafka高效读数据

https://blog.csdn.net/qq_33342248/article/details/107901838

不可一世的绵羊·2023-12-25 07:07

安装Hadoop 3.3.5

Hadoop架构设计论述kafka依赖Zookeeper管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装Zookeeper。

IT WorryFree·2023-12-25 06:03

6.Redis发布订阅（Redis Pub/Sub）

6.Redis发布订阅（RedisPub/Sub）专业的事情你就交给专业的人做，MQ、RabbitMQ、Kafka人就是专门做消息队列的，Redis还来掺乎一脚。是什么？

凇:)·2023-12-25 06:11

【Flink】 Flink实时读取mysql数据

准备你需要将这两个依赖添加到pom.xml中mysqlmysql-connector-java8.0.0读取kafka数据这里我依旧用的以前的student类，自己本地起了kafka然后造一些测试数据，

奔向理想的星辰大海·2023-12-25 05:58

Linux虚拟机、JDK、zookeeper、Kafka的安装

我注意到zookeeper和kafka的视频教程总是跳过了环境配置这个地方，自己去安装虚拟机遇上一些坑，浪费很多时间，因此写一篇从虚拟机安装-jdk安装-zk安装-kfk安装的流程化教程。

PuppyCoding·2023-12-25 04:26

[Suricata]结果写入kafka

目前是公司正在搞得项目,所以只说思路,具体代码就不贴了修改配置中的写出类型suricata.yaml配置中,修改eve.json的filetype为kafka,并在下面新增几个配置传入kafka的broker

LzSkyline·2023-12-25 03:41

kafka-安装与简单使用-01

一、基础概念Kafka是什么Kafka是一个分布式流数据系统，使用Zookeeper进行集群的管理。

伍六七_ba5e·2023-12-25 02:27

【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch、Zookeeper、Kafka、NoSQL等各类软件

实战章节：在Linux上部署各类软件前言为什么学习各类软件在Linux上的部署在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，但是并没有一些具体的实操能够串联起来这些知识点。所以，现在我们设计了各类软件在Linux上部署安装的实战章节，可以让同学们：对前面学习的各类操作命令进行复习和练习，从而深度掌握它们本章

老牛源码·2023-12-25 01:38

高性能网站实用技巧之消息队列篇

进程或者线程之间通过消息进行通信，消息发送后可以立即返回，由消息系统来确保信息的可靠传递，消息发布者（生产者）只管把消息发布到消息队里中而不用管谁来消费，消息使用者（消费者）只管从消息队列中获取消息以进一步处理而不用管理谁发布的消息

零点145·2023-12-25 01:15

【微服务】springboot整合kafka-stream使用详解

目录一、前言二、kafkastream概述2.1什么是kafkastream2.2为什么需要kafkastream2.2.1对接成本低2.2.2节省资源2.2.3使用简单2.3kafkastream特点

小码农叔叔·2023-12-24 21:04

Kafka单节点安装部署

程序员储物箱·2023-12-24 19:28

Start kafka connect

启动kafkabroker先下载从官网下载kafkaconsole包，wget"https://archive.apache.org/dist/kafka/0.11.0.1/kafka_2.12-0.11.0.1

yehongyu_2018·2023-12-24 17:50

docker-compose搭建kafka单机集群环境

1.配置网络(复用已有网络)1.1创建docker虚拟网络#创建一个名为clickhouse的桥接(bridge)虚拟网络，网关172.26.0.1，网段为172.25.0.0dockernetworkcreate-dbridge--subnet=172.26.0.0/16--gateway=172.26.0.1clickhouse2.启停命令在docker-compose.yml路径下:构建开启

销毁first·2023-12-24 12:05

k8s日志收集方案及实战

kibana安装配置2.1kibana安装2.2kibana配置2.3启动kibana3、zookeeper安装配置3.1zookeeper安装3.2启动zookeeper3.3检查zookeeper状态4、kafka

唐僧骑白马·2023-12-24 11:03

kubernetes集群应用实践 kafka部署

kubernetes集群应用实践kafka部署零.1、环境说明零.2、kafka架构说明zookeeper在kafka集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四

师范大学通信大怨总·2023-12-24 11:58

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data

wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备