消息系统kafka

kafka集群与redis集群的概念对应关系

近期在接触kafka，发现kafka的一些概念与redis中的概念类似，整理如下kafka集群redis集群消息划分多主题无主题概念，可以看做对数据没有做区分，即只有一个存储区域划分多分区多分片冗余机制多副本
zlpzlpzyd·2023-11-16 09:40

Flink任务日志写到kafka【最新1.12，1.13】

有问题也可以给我评论~一、背景公司的日志希望能够同一到一个Kibana去做一个同一的展示，那就需要将任务的日志写到kafka。
FishMAN_已存在·2023-11-16 08:49

Deepstream使用Rabbitmq 和kafka发送消息(天坑)unable to connect to broker library

使用Kafka发送消息好搞，按照/opt/nvidia/deepstream/deepstream-6.2/sources/libs/kafka_protocol_adaptor/README一步一步来就行了
Zachary Zheng·2023-11-16 07:31

了解MyBatis的缓存机制吗

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-11-16 07:51

Kafka部署与SpringBoot集成

Kafka与ZooKeeperApacheZooKeeper是一个基于观察者模式的分布式服务管理框架，即服务注册中心。同时ZooKeeper还具有存储数据的能力。
超频化石鱼·2023-11-16 06:54

Kafka基本概念

什么是KafkaKafka是一个消息系统。它可以集中收集生产者的消息，并由消费者按需获取。在Kafka中，也将消息称为日志(log)。一个系统，若仅有一类或者少量的消息，可直接进行发送和接收。
超频化石鱼·2023-11-16 06:54

Debezium报错处理系列之九十九：ConnectException: Source offset ‘file‘ parameter is missing

解决方法研究Debezium技术遇到的各种错误解决方法系列文章传送门：Debezium从入门到精通系列之：百篇系列文章汇总之研究Debezium技术遇到的各种错误的解决方法一、完整报错org.apache.kafka.conne
最笨的羊羊·2023-11-16 06:41

Flink和Kafka连接时的精确一次保证

Flink写入Kafka两阶段提交端到端的exactly-once（精准一次）kafka->Flink->kafka1）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset
不进大厂不改名二号·2023-11-16 05:29

后端接口错误总结

@ConditionalOnExpression(“${spring.kafka.exclusive-group.enable:false}”)这个标签负责加载Bean，因此这个位置必须打开，如果这个标签不打开就会报错问题解决
唐僧爱吃唐僧肉·2023-11-16 05:46

使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统

随着时间的积累，日志数据会越来越多，当您需要查看并分析庞杂的日志数据时，可通过Filebeat+Kafka+Logstash+Elasticsearch采集日志数据到Elasticsearch中，并通过
Doker 多克 技术人的数码品牌·2023-11-16 04:19

在服务器导出kafka topic数据

使用Kafka自带的工具：Kafka提供了一个命令行工具kafka-console-consumer，可以用来消费指定Topic的数据并将其打印到控制台。
墨子白·2023-11-16 02:46

flume异常关闭文件修复方法

flume在从kafka采集数据后，会将数据写入到hdfs文件中。
jiedaodezhuti·2023-11-16 01:19

Flume（一）【Flume 概述】

那就学点新的东西Flume，虽然Kafka还没学完，但是大数据生态圈的基础组件也基本就剩这倆了。
让线程再跑一会·2023-11-16 01:46

Java/scala使用内置嵌入式embedded debezium全量和增量同步Mysql binlog数据

目录1.背景2.添加依赖3.同步代码4.同步问题4.1MysqlDatetime类型解析多了8小时1.背景Debezium通常基于Kafka启动一个KafkaConnect服务，之后可以向Debezium
Bulut0907·2023-11-15 19:14

Flink 1.12的CDC

本文将以Flink1.12为例，一一介绍这些特性的基本使用方式，主要包括以下内容：Flink集成HiveHiveCatalog与HiveDialectFlink读写HiveFlinkupsert-kafka
'煎饼侠·2023-11-15 19:56

Debezium-Embedded 实时监控MySQL数据变更

1.Debezium-Embedded简介Debezium连接器的操作通常是将它们部署到KafkaConnect服务，并配置一个或多个连接器来监控上游数据库，并为它们在上游数据库中看到的所有更改生成数据更改事件
m0_37559973·2023-11-15 19:23

docker搭建zokeeper集群、kafka集群

三台机器，ip分别为ip1,ip2,ip3一、安装docker集群1、三台机器分别拉取镜像dockerpullwurstmeister/zookeeper2、三台机器分别运行容器（1）第一台dockerrun-d--restart=always--log-driverjson-file--log-optmax-size=100m--log-optmax-file=2--namezookeeper-
程序员阿明·2023-11-15 18:00

《kafka中文手册》- 构架设计

4.DESIGN设计4.1Motivation目的4.2Persistence存储Don’tfearthefilesystem!不要对文件系统感到恐惧ConstantTimeSuffices常量耗时需求4.3Efficiency效率End-to-endBatchCompression端到端的数据压缩4.4TheProducer发布者Loadbalancing负载均衡Asynchronoussend
yjh314·2023-11-15 18:25

Kafka

消息中间件对比：1、吞吐、可靠性、性能Kafka安装Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka之前必须先安装zookeeperDocker安装zookeeper
小小小~·2023-11-15 13:11

关于Flume-Kafka-Flume的模式进行数据采集操作

测试是否连接成功：在主节点flume目录下输入命令:bin/flume-ngagent-na1-cconf/-fjob/file_to_kafka.conf-Dflume.root.logger=info
holywangle·2023-11-15 13:40

kafka 消息保留机制

https://blog.csdn.net/Tony10010/article/details/89553557
qq_16069927·2023-11-15 11:41

KafKa安装使用手册

KafKa安装：kafka下载地址：http://kafka.apache.org/downloads.html解压命令：tarzxvfkafka_2.10-0.9.0.1.tgz-C/usr/local
小小哭包·2023-11-15 11:08

HDP集群Kafka开启SASLPLAINTEXT安全认证

hdp页面修改kafka配置java代码连接kafka增加对应的认证信息props.put("security.protocol","SASL_PLAINTEXT");props.put("sasl.mechanism
Danger_Life·2023-11-15 10:01

生产环境中的面试问题，实时链路中的Kafka数据发现某字段值错误，怎么办？...

原问题是：早晨8点之后发现kafka的record中某个字段的值出现了错误，现在已经10点了，需要对kafka进行数据订正，怎么样定位和解决这个问题，达到最快响应和最小影响。
王知无(import_bigdata)·2023-11-15 10:29

Ubuntu20.04使用docker安装kafka服务

apt包2、安装apt依赖3、添加docker的官方GPG密钥校验是否添加成功4、设置官方稳定版仓库5、安装Dockerengine6、测试docker7、配置允许以非root用户运行docker二、安装kafka
Macadamias·2023-11-15 10:20

kafka+ubuntu20.04+docker配置

记录一次配置过程安装docker参加下面链接的第一部分Ubuntu20.04使用docker安装kafka服务-CSDN博客安装zookeeperdockerrun-d--namezookeeper-p2181
WXiujie123456·2023-11-15 10:17

Kafka

afka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。
布道师小羊·2023-11-15 09:35

Flink-Table API 和 Flink SQL简介 | 新老版本Flink批流处理对比 | 读取文件和Kafka消费数据 | API 和 SQL查询表

GitHubhttps://github.com/SmallScorpion/flink-tutorial.gitTableAPI和FlinkSQL是什么Flink对批处理和流处理，提供了统一的上层APITableAPI是一套内嵌在Java和Scala语言中的查询API，它允许以非常直观的方式组合来自一些关系运算符的查询Flink的SQL支持基于实现了SQL标准的ApacheCalcite基本程序
SmallScorpion·2023-11-15 08:46

Elastic stack8.10.4搭建、启用安全认证，启用https，TLS，SSL 安全配置详解

ELK大家应该很了解了，废话不多说开始部署kafka在其中作为消息队列解耦和让logstash高可用kafka和zk的安装可以参考这篇文章深入理解Kafka3.6.0的核心概念，搭建与使用-CSDN博客第一步
Mumunu-·2023-11-15 04:24

Flink SQL --命令行的使用（02）

1、窗口函数：1、创建表：--创建kafka表CREATETABLEbid(bidtimeTIMESTAMP(3),priceDECIMAL(10,2),itemSTRING,WATERMARKFORbidtimeASbidtime
新手小农·2023-11-15 01:27

kafka单节点创建 topic 超时

1.根据之前的知道，安装kafka的时候改了config的server.properies文件中的listeners配置之前这一行是没有注释掉的，结果创建topic的时候时钟报错连接超时结果资料，发现就是因为
kkkAloha·2023-11-14 23:46

【kafka】windows安装启动

1.zookeeper的安装与启动快速打开windowpowershell：window+x，选2.kafka下载—注意kafka和zookeeper需要版本匹配安装路径注意，kafka安装目录不能有空格
kkkAloha·2023-11-14 23:16

【kafka】 查看节点的消息

对于初学者来说，可能想去节点看看有没有消息产生和消费，可以去kafka的bin目录下执行这个命令：kafka-console-consumer.bat--bootstrap-serverlocalhost
kkkAloha·2023-11-14 23:16

【kafka】springboot工程能发消息，不能收消息

初学，起了一个springboot项目，写了一个生产者和一个消费者，能给集群kafka发消息，但是收不到，排查了种种！
kkkAloha·2023-11-14 23:41

分区配置错误导致Kafka Topic xxx not present in metadata bug问题排查

KafkaTopicxxxnotpresentinmetadatabug问题排查异常堆栈17343C60D7EF4C23A2EE4E973F22AAAD]ERROR[]o.s.k.s.LoggingProducerListenererror
架构成长指南·2023-11-14 21:02

Java最常见面试题

容器、多线程、反射、对象拷贝、JavaWeb、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、MyBatis、RabbitMQ、Kafka
旷野历程·2023-11-14 20:29

Java常见面试题 + 答案汇总

多线程、反射、对象拷贝、JavaWeb模块、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、Mybatis、RabbitMQ、Kafka
小姚同學·2023-11-14 20:20

Java学习路线

-大纲思路（二）Java学习路线熟悉了Java的核心基础概念后，第二阶段我们要开始系统的学习一些Java核心知识点：集合、IO、反射、并发、锁、多线程、数据库原理、JVM基础、常用中间件（Dubbo、Kafka
Shipley_Leo·2023-11-14 18:21

深入理解Kafka3.6.0的核心概念，搭建与使用

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景
Mumunu-·2023-11-14 16:44

Kafka简单汇总

Kafka的结构图多个Parttion共同组成这个topic的所有消息。
信仰_273993243·2023-11-14 16:44

Kafka（三）生产者发送消息

文章目录生产者发送思路自定义序列化类配置生产者参数提升吞吐量发送消息关闭生产者结语示例源码仓库生产者发送思路如何确保消息格式正确的前提下最终一定能发送到Kafka?
JackSparrow414·2023-11-14 16:43

CVE-2023-25194 Kafka JNDI 注入分析

ApacheKafkaClientsJndiInjection漏洞描述ApacheKafka是一个分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。
蚁景网络安全·2023-11-14 16:13

Hyperledger Fabric排序服务实现

排序算法solokafkaraftRaft(推荐)  作为v1.4.1的新特性，Raft是一种基于etcd中Raft协议实现的崩溃容错（CrashFaultTolerant，CFT）排序服务。
Ddkjawed·2023-11-14 15:08

kafka实践-热点数据展示

2.2应用场景日志分析大屏看板统计公交实时数据实时文章分值计算2KafkaStream2.1概述KafkaStream是ApacheKafka从0.10版本引入的一个新Feature。它是提
不减到100斤不吃锅包肉·2023-11-14 12:16

【Mysql系列】Mysql基础篇

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-11-14 10:10

Flink SQL 练习

--1、实时统计道路拥堵情况，--统计最近15分钟，每隔1分钟统计一次，--统计车流量和平均车速--将统计结果保存到数据库中--1、创建kafkasource表CREATETABLEcars(card_idString
新手小农·2023-11-14 10:41

ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

大致流程：将nginx服务器（web-filebeat）的日志通过filebeat收集之后，存储到缓存服务器kafka，之后logstash到kafka服务器上取出相应日志，经过处理后写入到elasticsearch
蜜蜜不吃糖·2023-11-14 09:35

centos7安装kafka及简单使用

【启动kafka前,需要调整这个配置文件(/opt/kafka-2.1.0/config/server.properties)的一处ip地址】因为每次虚拟机的ip地址可能会有所不同,这和所在网络有关，也可将
战战的坚果·2023-11-14 07:27

Flink必知必会系列之回撤流(RetractStream)源码解读

1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

面试官：说一下SQL的执行过程

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-11-14 02:02
上一页 56 57 58 59 60 61 62 63 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他