kakfa

spring-kafka 设置发送消息的大小

环境springboot2springcloudspring-kafkakakfa2.2.0场景程序调用spring-kakfa内置的kafkaTemplate进行发送消息，但是消息实体过大，超过默认配置
ldx2·2020-08-11 05:49

Debzium系列-Debzium MySQL Binlog 集成到Hive 坑（一）

环境说明kakfa2.5debezium-debezium-connector-mysql-1.2.0confluentinc-kafka-connect-hdfs-5.5.1(hadoop2.x的)集成思路
数据新玩法·2020-08-11 05:13

在clouder manager中使用Flume处理数据链

Kakfa0.9与0.8的A
wangjinming1976·2020-08-11 04:04

【Kafka】Kakfa KeeperErrorCode = AuthFailed for /consumers

1.背景背景参考：【Kafka】Kafka配置SASL_SSLjks鉴权验证方式报错如下org.apache.zookeeper.KeeperException$AuthFailedException:KeeperErrorCode=AuthFailedfor/consumersatorg.apache.zookeeper.KeeperException.create(KeeperExceptio
九师兄·2020-08-09 23:43

kafka-jdbc-connector-sink实现kafka中的数据同步到mysql

由于kakfaconnct
_txg·2020-08-09 12:26

kafka中处理超大消息的一些考虑

但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。
一颗向上的草莓·2020-08-05 02:39

kafka系列-入门篇之安装

前言Kakfa经过几年的时间，终于来到了2.x的正式版本。不过在0.8.x的版本就有不少公司已经在生产环境上使用了，也可以说明它在大数据生态圈的地位是非常重要的。
马各马它·2020-08-03 15:35

备战金九银十从刷题开始：多线程+JVM+微服务+网络+Redis+MySQL

针对这些的同学，在这分享总结的Java面试的高频面试题（包括了Java集合，JVM，多线程，MyBaits，微服务，Dubbo，Kakfa，中间件，Redis，数据库，Linux，设计模式等），进行了整理
架构师_橘子·2020-08-03 15:47

kafka数据可靠性深度解读

欢迎跳转到本文原文地址：https://honeypps.com/mq/deep-interpretation-of-kafka-data-reliability/1概述Kakfa起初是由LinkedIn
朱小厮·2020-08-02 14:59

看透kafka（-） kafka数据存储详解（存储速度，高水位，偏移量，LEO，ISR等）

1.kafka的数据文件是二进制文件，相对文本文件要小，减少了很多数据传输，提高了速度2.kafka是对于磁盘进行顺序读写，避免了磁盘随机写的磁盘寻道的开销3.kakfa消息再写入磁盘前会先写到操作系统的页缓存
刘狗·2020-08-02 12:51

SPARK生产者写入KAFKA消息-代码及踩坑记录

背景是：项目通过大数据spark做模型的评估，评估代码为scala，评估的结果需要通过kafka消息队列进行中转，于是需要通过spark去连接kakfa队列，作为生产者像kafka队列中传送消息。
泰格数据·2020-07-30 18:33

Java实现kakfa数据消费并把数据导入到数据库

目录1流程简介2业务需求3脚本实现3.1格式化数据并写入库3.2读取配置kafka数据流3.3主类启动4注意事项1流程简介与kafka，MQ等消息队列中间件结合可以做很多数据处理，kafka具体信息参考文档：https://blog.csdn.net/mochou111/article/details/103700433这里我们主要讲一下kafka消费，用java实现并写入到数据库首先建立一个ma
江楼月美人·2020-07-30 15:59

Kafka Consumer API样例

Offset说明参照：http://blog.csdn.net/xianzhen376/article/details/51167333Propertiesprops=newProperties();/*定义kakfa
Quan.S·2020-07-29 00:06

Kafka导致重复消费原因和解决方案

总结以下场景导致Kakfa重复消费：原因1：强行kill线程，导致消费后的数据，offset没有提交（消费系统宕机、重启等）。
LewinLea·2020-07-28 03:08

pglogical 与pipelinedb kafka集成

数据环境服务器端口服务类型192.168.1.1005432pipelinedb、kakfa数据提供者192.168.1.1105433postgres数据订阅者pglogical安装192.168.1.110
冰_茶·2020-07-28 02:49

KafkaController机制（十二）：KafkaController初始化与故障转移

在kakfa的集群中，只有一个Controller能够成为Leader管理整个集群，而其他未成为ControllerLeader的Broker也会创建一个KafkaController对象，他们唯一能做的事情就是当
粽子包子粿条·2020-07-28 02:27

Kafka导致重复消费原因和解决方案

总结以下场景导致Kakfa重复消费：原因1：强行kill线程，导致消费后的数据，offset没有提交（消费系统宕机、重启等）。
lewinlee·2020-07-27 17:42

一个使用多线程发送消息到kafka集群的java程序

本人之前参与的某个大数据项目，由于测试的需要，所以帮助写了一个数据发送工具用于发送大量数据到kakfa进行业务性能压测。
lhever_·2020-07-16 04:10

Kafka常见的导致重复消费原因和解决方案

总结以下场景导致Kakfa重复消费：原因1：强行kill线程，导致消费后的数据，offset没有提交（消费系统
王知无(import_bigdata)·2020-07-15 22:27

Flink——状态管理

从kakfa里面处理数据，但是kafak里的数据有些是重复的，需要在流处理系统里面进行去重，所以需要知道已经有的数据的id，那我们怎么知道呢需要与以前的历史数据进行比较等操作，但是又不想每次都到数据库里面去查
老郑来了·2020-07-15 16:50

【Kafka】Leader丢失导致的Consumer挂起故障解决

而ClouderaManager在重启之前，我们发现三台broker中并没有KakfaController。让人很是不解。
lubinsu·2020-07-14 22:07

分布式日志收集之Logstash 笔记（一）

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS
阿★永·2020-07-14 14:19

Kakfa 快速入门

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。单个
jcsyl_mshot·2020-07-14 12:55

Spark Streaming 2.0 读取Kafka 0.10 小例子

环境版本：Scala2.11.8;Kafka0.10.0.1;Spark2.0.0如需Scala2.10.5;Spark1.6.0;Kafka0.10.0.1版本请看这篇：Flume+Kakfa+SparkStreaming
光于前裕于后·2020-07-14 04:42

Kafka 原理详解

Kafka原理详解1kakfa基础概念说明Broker：消息服务器，就是我们部署的一个kafka服务Partition：消息的水平分区，一个Topic可以有多个分区，这样实现了消息的无限量存储Replica
yingziisme·2020-07-13 23:06

kafka架构与原理 ，副本同步机制、消息的可靠性与一致性，数据存储、zookeeper

qq_29116427/article/details/80202392Kafka概述Kafka作为一个商业级消息中间件，发布和订阅记录流，它类似于一个消息队列先了解下Kafka的基本原理，然后通过对kakfa
曹雪朋·2020-07-11 15:02

kafka-安装与使用

Step1:下载代码>tar-xzfkafka_2.13-2.4.0.tgz>cdkafka_2.13-2.4.0Step2:启动服务kakfa运行需要使用zookeeper，所以请先保证你以前启动了zookeeper
天涯若风·2020-07-11 14:21

Kafka（三、Kafka消费者 - 从Kafka读取数据）

Kakfa消费者配置同样由于配置太多，在此不一一列举，只显示使用率最高的几个配置，其他配置请参考官网。
都让你们叫老了·2020-07-11 09:03

Kafka（二、Kafka生产者 - 向kafka写入数据）

Kakfa生产者配置由于配置太多，在此不一一列举，只显示使用率最高的几个配置，其他配置请参考官网。
都让你们叫老了·2020-07-11 09:03

Spring Boot 中使用@KafkaListener并发批量接收消息

kakfa是我们在项目开发中经常使用的消息中间件。由于它的写性能非常高，因此，经常会碰到Kafka消息队列拥堵的情况。
russle·2020-07-08 04:17

kafka位移提交

位移，反应到kakfa的源码中，就是offset。offset，有人叫偏移量，有人叫位移。的作者做了一下区分，如果讲的是消息在分区中的位置，就用偏移量，如果讲的是消费者端，那就用位移表示。
梦想-风清扬·2020-07-08 00:29

Flink_Kakfa自定义输出分区

在我们将消息写入kafka的topic时，我们可以通过FlinkkafkaPartitioner指定写入topic的哪个分区。在不指定的情况下，默认的分区器会将每个数据任务映射到一个单独的kafka分区中，即单个任务的所有记录都会发往同一分区。如果任务数多余分区数，则每个分区可能会包含多个任务发来的记录。而如果任务数小于分区数，则默认配置会导致有些分区收不到数据。若此时恰好有使用事件时间的Flin
成功路上的慢跑鞋·2020-07-07 22:46

canal采用Kakfa做为媒介示例

application.yml配置server:port:9000spring:jackson:date-format:yyyy-MM-ddHH:mm:sstime-zone:GMT+8default-property-inclusion:non_nullcanal.conf:mode:kafka#kafkarocketMQ#canalServerHost:henghe-043:11111zook
聆听金生·2020-07-06 03:51

大数据架构之:Kafka

Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费Kakfa特点：解耦：消息系统在处理过程中插入一个隐含、基于数据的接口层。
三万_chenbing·2020-07-06 02:25

mac使用brew安装kafka、如何启动kafka、创建topic、向topic发送消息与读取消息和关闭kafka和zookeeper

brewinstallkafka安装成功后：kakfa对应的路径为：/usr/local/Cellar/kafka/2.5.0。
2Tree·2020-07-05 15:56

Spring Kafka 教程 – spring读取和发送kakfa消息

本文代码格式不好调整，可以参考本人在其他地方的同篇博文https://blog.csdn.net/russle/article/details/80296006ApacheKafka,分布式消息系统，非常流行。Spring是非常流行的Java快速开发框架。将两者无缝平滑结合起来可以快速实现很多功能。本文件简要介绍SpringKafka，如何使用KafkaTemplate发送消息到kafka的bro
不1见2不3散4·2020-07-05 11:16

Librdkafka对kafka topic的封装

上一节我们讲了librdkakfa对topic-partition的封装,任何一个partition都必须要属于一下topic;我们这节就来分析一上librdkafka对topic的封装rd_kafka_itopic_s
扫帚的影子·2020-07-02 07:23

【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析

第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，SparkStreaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通
axxbc123·2020-07-01 17:48

Flink 实战(十二) Flink 多Sink的数据一致性验证

FlinkHbaseSink1kafkaSink2这种场景下面当hbase写入的失败的时候，不影响kakfa的写入。如何保证hbase和kafka都写入成功呢？
wuhulala·2020-07-01 05:11

向Kakfa写入数据

ProducerRecord对象需要包含目标主题和要发送的内容。我们还可以指定键或者分区。在发送ProducerRecord对象时，生产者要先把键值对象序列化成字节数组。创建kafka生产者有三个必选的属性bootstrap.servers指定broker的地址清单，地址的格式为host:port。key.serializer必须被设置为一个实现了org.apache.kafka.common.s
zc1024792301·2020-06-30 12:35

k8s部署zookeeper/kakfa集群

一、部署ZK集群问题：在制作好zk的docker镜像后，测试docker直接运行起3个实例，zk集群选举建立都是正常的，但是，通过k8s部署后，发现zk集群选举无论如何都不能成功，各种google都无法解决，弃用自制镜像，改用docker官方的镜像，问题依旧。最终通过headlessservice这一方式完美解决，在此记录一下解决过程。首先，贴一下manifest.yaml文件，整合成了一个完整的
ywq935·2020-06-30 11:57

kafka topic数据转移到另一个topic

需求说明：数据在不断打到kakfaA队列，B队列也需要这些数据，由于数据量非常大，不方便人工操作，所以有了以下代码。#!
君子月满楼·2020-06-30 08:50

logstash kafka output 输出原始数据格式

有个场景需要从kafkatopic中读出message，然后转到另一个kakfa集群的topic中，为省事就用了logstash。
xueba207·2020-06-30 03:40

EL(F)K集群日志搜集-Flume,Kakfa,ZK,ES,Kibana部署文档

ELK解释：ELK就是ElasticSearch+LogStash+Kibana的缩写统称。应用于互联网部署集群的日志搜集与管理。因公司需要，本公司用flume替换了logstash，这篇文章也可以叫做EFK。原理大同小异。下面详细说明各个部件的安装部署和集成：物理机部署分配3台物理机上部署Zookeeper3个，Flume3个，Kafka3个（假定3台物理机IP地址分别为：IP1,IP2,IP3
不知道取啥昵称·2020-06-29 18:07

kafka单机版测试 （ kafka_2.11-2.1.0）

1,下载并解压kakfa地址http://kafka.apache.org/downloads.html解压kafka_2.11-2.1.0.tgz2,kafka集群需要zookeeper下载zookeeper
炎升·2020-06-28 23:00

涨姿势了解一下kakfa消费位移可好？

别网上找个demo就以为掌握了Kafka消费者点击上方蓝色“胖滚猪学编程”，选择“设为星标”跟着胖滚猪学编程！好玩！有趣！摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失,我们也希望能自由控制消费位置。而位移就是控制消费进度的大佬。本文聊聊kafka消费位移的那些事，包括：概念剖析kafka的两种位移关于位移（Offset），其
胖滚猪学编程·2020-06-28 22:49

【死磕kafka】(一) 入门必知必会的术语概念

Kakfa在大数据消息引擎领域，绝对是没有争议的国民老公。这是kafka系列的第一篇文章。预计共出20篇系列文章，全部原创，从0到1，跟你一起死磕kafka。
胖滚猪学编程·2020-06-28 22:48

SpringKakfa——消费者消费消息方式

SpringKafka消费单线程自动提交config@Configuration@EnableKafkapublicclassKafkaConsumerConfig{//单线程-单条消费自动提交位移@BeanpublicKafkaListenerContainerFactorystringKafkaListenerContainerFactory(){MapconfigProps=newHashM
6。·2020-06-28 20:41

kafka报org.apache.kafka.common.errors.RecordTooLargeException

2019独角兽企业重金招聘Python工程师标准>>>kakfa报错如下：java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.RecordTooLargeException
weixin_33787529·2020-06-28 05:41

spring-kafka

一个简单的消费例子在spring-boot基础上添加依赖：org.springframework.kafkaspring-kafka2.2.3.RELEASE注意要检查下依赖的kakfa-clients
weixin_30536513·2020-06-27 21:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他