kakfa

【Kafka】实战（三）kafka数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
萧渊之·2020-12-31 15:01

Spark Streaming + Kakfa 编程指北

本文简述如何结合SparkStreaming和Kakfa来做实时计算。
牛肉圆粉不加葱·2020-12-31 10:03

mac如何使用Kafka-eagle监控Kafka（本地单机案例）

你需要配置好Kafka和zookeeper1.1JDK的安装与配置(请自行Google)1.2Zookeeper的安装与配置(请自行Google)1.3Kafka的安装与配置(请自行Google)2.搭建Kakfa-eagle2.1
踽踽独行DIY·2020-12-13 11:40

kafka 源码阅读-LogSegment（一）

主要是在极客时间中的学习笔记摘入kakfa源码阅读第一部分日志日志组织架构kafka日志组成.jpgkafka日志对象有多个日志端对象组成，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件
卫渐行·2020-12-05 21:08

原来这才是 Kafka！（多图+深入）

一、kafka概述1.1、定义Kakfa是一个分布式的基于发布/订阅模式的消息队列（messagequeue），主要应用于大数据的实时处理领域1.2、消息队列1.2.1、传统的消息队列&新式的消息队列的模式上面是传统的消息队列
林林起床困难户·2020-09-18 20:23

kafka笔记

副本同步消息方向：kafka消息的副本复制是由follower持续向leader发送请求来实现（注意方向）kafka的日志清清除kakfa会定期清除日志，他有一下几种策略：1.基于时间清除：默认清除7天前的日志
bbsdsz·2020-09-17 06:18

Nifi Processor | PutS3Object

1、使用Kakfa读取数据2、在RouteTxt中，根据要求过滤掉不需要的数据3、在CompressContent中进行数据压缩后，流入下一个环节。这里配置使数据压缩为gzip文件。
野狼e族·2020-09-16 03:50

0.1 Flink--Kafka2Es之读取kakfa数据

注：本人初次接触Flink，其优点以及优化细节有待后续研究，直接上手业务。简单业务逻辑：将kafka多个topic数据由Flink读取写入到Es不同index中。1.其中topic中数据使用自定义avro格式压缩,前4个字节为数据schemaID，后续数据字节为具体avro格式的二进制数据2.schema定义以文件形式存储在zookeeper中，文件名为schemaId。3.topic名字：avr
matthew-yang·2020-09-16 00:22

0.2 Flink--Kafka2Es之kakfa数据自定义Schema类，打包上传到本地flink单机运行

文档https://mp.csdn.net/postedit/81179811记录简单读取kakfa数据，因公司业务数据为特定格式数据，因此需要自定义schema类读取，也就是截取前4个字节获取schemaId
matthew-yang·2020-09-15 21:53

当kafka集群其中一台宕机后，集群不能正常工作（已解决）

遇到这种场景：我搭建好了三台kakfa集群，然后停掉其中一台kafka，然后集群是否能正常工作呢？kafka集群：192.1
Liu_Shihao·2020-09-15 15:32

Kafka的两种连接方式

Kakfa的版本0.8.0Receiver模式（接收者模式）Driect模式(直连模式)0.10.0Driect模式(直连模式)spark2.3之后（包括2.3）已经把0.8.0版本低Kadka淘汰了連接模式第一種
struggle@徐磊·2020-09-15 14:43

【大数据】 Kafka扩容后如何将Partitions分区分配到新brokers节点上?kafka数据倾斜问题如何解决？

1.问题描述对kafka扩容增加brokers节点后，在KakfaManeger中已经看到新增的brokers节点已加入kafka集群，但是新增的brokers里并没有看到有topic存在。
人人都是量化师·2020-09-15 13:17

大数据高频面试题-Kafka相关总结

4.5Kafka相关总结4.5.1Kafka架构4.5.2Kafka压测4.5.3Kafka的机器数量4.5.4Kafka的日志保存时间4.5.5Kafka的硬盘大小4.5.6Kafka监控4.5.7Kakfa
Mr.WiG·2020-09-14 16:03

Kafka Stream简单示例（一）

最近想统计一些消息数据，原计划接收kakfa消息后自行统计然后存入数据库（统计相对比较简单，所以没有考虑使用ApacheStorm），突然想起来Kafka已经提供KakfaStream功能，于是开始看KafkaStream
russle·2020-09-14 15:09

Kafka的JavaAPI操作

Kafka的JavaAPI操作官网代码参考：生产者：生产者消费者：消费者生产者代码：publicclassProducer{publicstaticvoidmain(String[]args){//创建与kakfa
Hertz--·2020-09-14 15:20

Kafka之JavaAPI

这是因为版本原因本文版本是Kakfa2.0版本创建项目，引用kafka依赖这个我就不写了ConsumerAPIpublicclassKfkConsumer{privatestaticProp
二十九年磨一剑·2020-09-14 15:19

Kafka快速入门四：Kafka监控

1.kafka监控使用插件对Kakfa进行监控，以可视化的形式监控Kafka集群。较常见的有KafkaMonitor和KafkaManager。其中KafkaMonitor使用简单，但功能很弱。
houpk999·2020-09-14 12:47

struct streaming+Kakfa消费者读取单条记录过长问题

使用structstreaming读kafak数据，fetch数据过大，报错日志如下：20/06/0611:40:01org.apache.spark.internal.Logging$class.logError(Logging.scala:70)ERRORTaskSetManager:Task7instage96.0failed4times;abortingjob20/06/0611:40:0
sunyang098·2020-09-13 18:21

APP项目（二）

目录：开始写kafka的代码com.jinghang.kafkacom.jinghang.test.kakfacom.jinghang.utilscom.jinghang.kafka.ProduceSenderUtilspackagecom.jinghang.kafka
x我有辣条跟我走。·2020-09-13 07:19

Kafka如何获取topic最近n条消息

问题来源项目运行中我们经常需要诊断个个环节是否正确，其中到kafka就需要查看最新的消息到达kafka没有，达到的内容是什么，这就需要查看kafka指定topic的最近的n条消息（将kakfa消息全部打印出来非常耗时而且不必要
russle·2020-09-12 07:19

使用kafka传递大文件时的配置

但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。
悟空WuKongg·2020-09-12 04:28

Flume+Kafka+SparkStreaming 最新最全整合

>>>1.架构第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，SparkStreaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）
weixin_34341117·2020-09-11 23:59

centos7上的kafka安装

架构图：一台机器上安装3个kafka节点，然后把这三个kakfa节点注册到同一台zk上。
大风过岗·2020-08-31 18:43

kafka 报错 java.net.UnknownHostException: xxxxxx: nodename nor servname provided

今天配置kakfa的时候，遇到一个大坑：kafka成功安装启动，我通过kafka-tool也能成功连接，但是看不到无法打开topic和consumers。
GodXzz·2020-08-23 18:53

Kafka性能调优分析-线上环境篇

在意识这个问题后，专门腾出时间来总结一下kakfa参数配置的调优，以充分发挥kafka在低时延，高吞吐等不同场景下的优势。二、通用介绍：--------生产者配置-------常规
weixin_30810583·2020-08-23 03:44

Kafka Producer详解(二)

Producer工作原理介绍关于Sender线程三、Producer配置参数四、源码解析Producer的send()实现更新元数据序列化器消息分区消息批次管理sender发送消息一、Producer介绍在kakfa
疯狂哈丘·2020-08-23 00:57

Spark Streaming 'numRecords must not be negative'问题解决

问题描述笔者使用sparkstreaming读取Kakfa中的数据，做进一步处理，用到了KafkaUtil的createDirectStream()方法；该方法不会自动保存topicpartition的
xueba207·2020-08-22 20:19

spark createDirectStream保存kafka offset(JAVA实现)

kafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，并且没有receiver，是spark的task直接对接kakfatopicpartition
xueba207·2020-08-22 20:48

Kafka最佳实践

kakfa是大数据系统架构中不可或缺的一部分，因其高效的性能、高可靠的数据与服务、提供准确一次的语义、优秀的在线水平扩展等特性，常用作为流式计算系统的数据源来
xiaohei.info·2020-08-22 17:10

Springboot + Kafka 入门实例 入门dem

版本说明springboot版本：2.3.3.RELEASEkakfa服务端版本：kafka_2.12-2.6.0.tgzzookeeper服务端版本：apache-zookeeper-3.6.1-bin.tar.gz
Java架构狮狮·2020-08-22 17:40

kafka入门学习(VMvare+kafka_2.11-1.0.1.tgz+springboot)

1.入门教程本人在学习kakfa时,拜读了以下大神的入门教程,kafka设计原理,使用场景,安装,配置,单主机集群搭建,多主机集群搭建阐述的很是详细.Kafka入门经典教程kafka入门：简介、使用场景
迎着风向前走·2020-08-21 20:16

机器学习——DStream操作概述

SparkStreaming中，会有一个组件Receiver，作为一个长期运行的任务（Task）运行在一个Executor上，每个Receiver都会负责一个DStream输入流（如从文件中读取数据的文件流、套接字流或者从Kakfa
纪文啊！·2020-08-21 05:44

【赵强老师】Kafka的持久化

一、Kafka持久化概述Kakfa依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供优异的性能？实际上硬盘的快慢完全取决于使用方式。
赵强老师·2020-08-20 17:29

【赵强老师】Kafka的持久化

一、Kafka持久化概述Kakfa依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供优异的性能？实际上硬盘的快慢完全取决于使用方式。
赵强老师·2020-08-20 17:28

spring kakfa集成

一、生产端1.1kafka-producer.xml配置说明就行了，用了这个加载器过后不用在其他xml中再使用了-->classpath:/properties/kafka-producer.properties//kafka服务集群//分组//重试次数//批量数量//topic名称1.2kafka-producer.properties属性文件bootstrap.servers=192.168.
chengrong3229·2020-08-20 15:42

消息队列－Metaq(RocketMQ)原理

Kakfa不支持分布式事务支持HA复制，包括异步复制和同步复制，保证消息的可靠性。Kafka也都支持。支持同步和异步刷盘，kakfa只支持异步多种o
anboyyd·2020-08-20 06:22

【Kafka】kafka环境搭建及使用

producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.下面来看下如何简单的使用：首先，去官网下载kakfa
chiweitree·2020-08-18 10:29

利用Avro实现Kakfa序列化和反序列化

1在pom.xml中添加依赖，1.1在dependencies中配置：org.apache.avroavro1.8.2org.apache.avroavro-tools1.8.2org.apache.avroavro-maven-plugin1.8.2org.apache.avroavro-compiler1.8.21.2在中配置，注意不要加：org.apache.avroavro-maven-p
MirandaGirl2018·2020-08-17 23:08

Error interpreting the template of the input: template: text:3:22: executing “text“ at ＜.paths＞

使用filebeat的module监控kakfalog，启动filebeat报错：Errorinterpretingthetemplateoftheinput:template:text:3:22:executing"text"at
晴々明雅·2020-08-17 14:05

Spring Kafka 教程 – spring读取和发送kakfa消息

ApacheKafka,分布式消息系统，非常流行。Spring是非常流行的Java快速开发框架。将两者无缝平滑结合起来可以快速实现很多功能。本文件简要介绍SpringKafka，如何使用KafkaTemplate发送消息到kafka的broker上，如何使用“listenercontainer“接收Kafka消息。1，SpringKafka的组成这一节我们首先介绍SpringKafka的各个组成部
russle·2020-08-16 01:46

Kafka集群无法外网访问问题解决攻略

环境说明：kafka服务器：阿里云VPC网络服务器，内网ip：10.10.10.10，绑定的弹性ip（外网ip）x.x.x.x，是单机测试环境，zk和kafka都在一台机器上，使用默认端口，kakfa是
fengcai19·2020-08-15 22:58

Kakfa Windows 环境搭建

一.下载http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz二.解压下载的包注意:解压目录不能包含空格例：‘D:\ProgramFiles(x86)\kafka_2.12-2.4.1’该路径包含空格不符合要求Jdk所在的目录路径也不能包含空格,如果Jdk路径包含空格，需要修改server.properties179行将%CL
Fickle_actor·2020-08-15 21:42

Python3学习（二十二）：Python KafkaProducer and KafkaConsumer的开发模块

在python中往kakfa写数据和读取数据,使用的是python-kafka库消费者需持续写入数据，因groupid存在偏移量，才能看看到数据。
猪笨是念来过倒·2020-08-14 23:24

DataX KafkaWriter 插件文档

插件，于是自己写了一个该插件主要借鉴：datax插件开发宝典然后在此基础上改造源码：https://gitee.com/mjlfto/dataX/tree/master/kafkawriter1快速介绍KakfaWriter
mjlfto·2020-08-14 18:07

kafka 数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
大数据Arry·2020-08-14 16:40

初学Kafka遇到的问题：Wrong request type 18、 Error reading field 'topic_metadata':...

Kafka遇到的问题：Wrongrequesttype18、Errorreadingfield‘topic_metadata’:…其实这两个错误的根本原因是一致的，都是Linux上的版本号与maven里面kakfa-client
大大、酥·2020-08-14 02:44

spring-kafka 设置发送消息的大小

环境springboot2springcloudspring-kafkakakfa2.2.0场景程序调用spring-kakfa内置的kafkaTemplate进行发送消息，但是消息实体过大，超过默认配置
ldx2·2020-08-11 05:49

Debzium系列-Debzium MySQL Binlog 集成到Hive 坑（一）

环境说明kakfa2.5debezium-debezium-connector-mysql-1.2.0confluentinc-kafka-connect-hdfs-5.5.1(hadoop2.x的)集成思路
数据新玩法·2020-08-11 05:13

在clouder manager中使用Flume处理数据链

Kakfa0.9与0.8的A
wangjinming1976·2020-08-11 04:04

【Kafka】Kakfa KeeperErrorCode = AuthFailed for /consumers

1.背景背景参考：【Kafka】Kafka配置SASL_SSLjks鉴权验证方式报错如下org.apache.zookeeper.KeeperException$AuthFailedException:KeeperErrorCode=AuthFailedfor/consumersatorg.apache.zookeeper.KeeperException.create(KeeperExceptio
九师兄·2020-08-09 23:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他