kafka学习

监控Kafka消费者组的消费积压

kafka学习笔记--使用javaapi监控Kafka消费者组的消费积压/***@date2020/1/610:04*@description获取Kafka指定消费者组堆积的偏移量,并发送邮件预警*/@
曹雪朋·2020-08-23 02:43

Kafka学习笔记（6）----Kafka使用Producer发送消息

1.Kafka的Producer不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下：2.添加依赖pom.xml文件如下：org.apache.kafkakafka_2.122.1.0org.apache.kafkakafka-clients2.1.03.发送消息3.1创建生产者创建生产者的时候，我们需要为生产者设置一些属
Teddies10081008·2020-08-23 01:07

kafka学习系列：消息发送确认机制，避免程序退出导致数据丢失的情况

文章目录场景环境正文spring-kafka发送消息的介绍消息发送确认机制一、同步阻塞二、异步等待结果返回总结参考链接随缘求赞场景在使用spring-kafka进行功能开发的时候，思考过这样一个问题：假如使用信号量的方式（不了解的，可以点击我的这篇文章《Java学习系列：使用SignalHandler来处理Linux信号量，控制程序结束的步骤》进行了解）来终止程序，虽然我们使用了kafkaTemp
ldx2·2020-08-23 00:57

Kafka学习资料

官方文档：https://kafka.apache.org/documentation/LearningApacheKafka（pdf）博客：https://blog.csdn.net/lizhitao/article/category/2194509
litoujkl·2020-08-22 17:55

kafka学习总结（处理多个consumer只消费topic数据一次）

最近遇到一个问题，由于kafka接收数据进行处理所花费的时间较长，导致kafka队列中有堆积，然后就想开启很多个consumer但是不怎么会用，报了一些错误，通过一天的学习了解，终于可以让多个consumer共同消费topic中的数据了。使用3个producer同时对一个topic写入数据，其中使用2个group组来对数据进行读取，其中topic中的partitions定为2。在每个group下又
zhaishujie·2020-08-22 15:37

Kafka学习（4）——生产消费实践

1.基于0.8的生产者和消费者maven依赖：org.apache.kafkakafka-clients0.9.0.1org.apache.kafkakafka_2.100.9.0.11.1消息生产packagecom.best.kafka.test;importcom.best.xingng.cxf.databinding.json.util.JsonUtil;importkafka.produ
白水不开·2020-08-22 14:06

Kafka学习(一)：消费者实现对分区的并发消费

说明在上篇博文《springboot学习(十七)：了解spring-kafka配置工作原理》中，我们简单了解了spring-kafka的配置工作原理。通过源码可以看到spring在实现并发消费时，采用的是线程封闭的策略，也就是一个groupid中，根据配置的concurrency来创建多个消费者线程，每个消费者消费一个或多个分区，来实现整个topic消息的消费处理。本篇博文将对上篇博文中最后提出的
布碗·2020-08-22 13:20

kafka学习小结（springboot2+kafka组成集群模式2基础实战）

搭建简单的springboot2项目1.maven添org.springframework.kafkaspring-kafkapom.xml配置添加kafka:bootstrap-servers:服务地址consumer:group-id:group2.添加RestController接口用于发送message@RestControllerpublicclassTestController{@Re
qq_40650378·2020-08-22 13:30

分布式消息队列Kafka学习笔记

Kafka概述adistributedstreamingplatformKafka架构和核心概念producer,生产者，生产馒头。consumer,消费者，吃馒头。broker,篮子。topic,主题，给馒头带一个标签，topica的馒头是给你吃的，topicb的馒头是给你弟弟吃。Zookeeper集群部署安装包解压，tar-xzvfzookeeper-3.4.5.tar.gz-C/export
padluo·2020-08-19 07:17

kafka学习 安装基本使用

准备条件安装jdk安装kafka参考网址：http://www.04007.cn/article/549.htmljdk的安装http://kafka.apachecn.org/kafka中文文档https://packagist.org/packages/nmred/kafka-phpnmred/kafka-phpkafka的php库https://mirrors.bfsu.edu.cn/apa
cc2415·2020-08-19 06:32

Kafka学习之（六）搭建kafka集群

想要搭建kafka集群，必须具备zookeeper集群，关于zookeeper集群的搭建，在Kafka学习之（五）搭建kafka集群之Zookeeper集群搭建博客有说明。
weixin_30634661·2020-08-18 17:36

Kafka学习笔记: 自动提交&手动提交.

Consumer需要向Kafka汇报自己的位移数据，这个汇报过程被称为提交位移（CommittingOffsets）。因为Consumer能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即Consumer需要为分配给它的每个分区提交各自的位移数据。提交位移主要是为了表征Consumer的消费进度，这样当Consumer发生故障重启之后，就能够从Kafka中读取之前提交的位移值
张伯毅·2020-08-18 12:30

Kafka学习（1）- kafka单机安装 - 在Windows安装运行

摘要：本文主要说明了如何在Windows安装运行Kafka目录：安装JDK安装zookeeper安装kafka测试创建主题创建生产者创建消费者可视化kafka可视化客户端工具（KafkaTool）的基本使用Kafka-manager可视化web界面一、安装JDK过程比较简单，这里不做说明。最后打开cmd输入如下内容，表示安装成功二、安装zookeeper下载安装包：http://zookeeper
yigg·2020-08-18 12:06

Kafka学习4_Kafka创建、查看和删除Topic

进行Kafka相关操作和测试，创建的Topic越来越多，影响到了后续工作的正常进行，所以对已经创建的Topic进行管理。创建Topic[hadoop@Slave1bin]$cd[hadoop@Slave1~]$cd/usr/local/kafka/bin[hadoop@Slave1bin]$shkafka-topics.sh--create--topickafkatopic5--replicati
Wang_Zhenwei·2020-08-18 12:25

Kafka学习笔记 --- 如何实现Kafka消息的Exactly-Once

对于这个问题我们先来看一下一个笑话：可以这样的实现kafka设计思想：Kafka0.11.0版本之前并不能保证Exactly-once的语义，只能保证at-least-onceorat-most-once。实际运用中我们并不希望数据丢失，当网络出现问题的时候，我们都会选择重试，所以一般会保证at-least-once。下面从三个点来讲解：idempotentProducer设计Transactio
杨鑫newlfe·2020-08-18 12:58

kafka学习笔记四：搭建Kafka集群

Kafka集群配置通常有三种，最简单的下面的第一种，也是默认的一种：单节点，单Broker单节点，多Broker多节点，多Broker版本选择：kafka_2.11-0.11.0.0.tar.gzzookeeper-3.4.10.tar.gz可以到kafka官网和zookeeper官网上下载到安装包1、单节点，单Broker配置1、安装kafka单节点，单Broker配置是最基本的用法，可以使用K
see_you_see_me·2020-08-18 11:09

kafka学习 -- 服务端命令学习

kafka学习--服务端命令学习写在前面一、服务端所有脚本二、常用的脚本2.1、服务端启动配置2.2、broker节点2.3、Topic2.4、producer2.5、consumer和group2.6
Tonels·2020-08-18 11:37

kafka学习小结（springboot2+kafka组成集群模式3同步异步模式）

接着上一篇补充官网上关于这一块迷迷糊糊的看不懂，自己总结了下其中的差异：我们一般没做特殊处理的就是同步模式，生产者发送消息，然后交给消费者，这里面我们也可以对消息的结果进行处理，防止消息丢失kafkademo中，修改REST接口如下：  ListenableFuture返回对象自带callback方法；我们可以根据成功或者失败进行下一步操作，不过这里主要讲的不是这个在同步消息推送有可能存在的问题，
qq_40650378·2020-08-18 11:28

Kafka学习总结

本文为Kafka学习总结一、Kafka简介ApacheKafka是分布式发布-订阅消息系统，是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务1）同时为发布和订阅提供高吞吐量2）可进行持久化操作
烈光·2020-08-18 11:35

【Kafka学习笔记2】Kafka2.4.0搭建分布式集群

Kafka版本：2.4.0现在来搭建有3个节点实例的Kafka集群。1、准备三份配置文件首先复制2份conf/server.properties文件：>cd/opt/kafka_2.12-2.4.0/>cpconfig/server.propertiesconfig/server1.properties>cpconfig/server.propertiesconfig/server2.proper
牧_风·2020-08-18 11:44

【Kafka学习笔记1】CentOS7安装Kafka2.4.0以及快速入门

kafka版本：2.4.0操作系统：CentOS7.81、下载软件包>wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz2、解压>tar-zxvfkafka_2.12-2.4.0.tgz3、移动到你想要安装的位置>mvkafka_2.12-2.4.0//opt/kafka_2.12-2.4.
牧_风·2020-08-18 11:44

Kafka 初探

KAFKA学习笔记什么是消息队列？A系统发消息给B系统，不会直接发送过去，而是直接发给消息队列，消息队列进行缓存。消息队列分为一对多推送订阅模式。也分为一对一，消费者主动拿去数据模式。
fongfiafia·2020-08-18 11:28

Kafka学习（四）-------- Kafka核心之Producer

通过https://www.cnblogs.com/tree1123/p/11243668.html已经对consumer有了一定的了解。producer比consumer要简单一些。一、旧版本producer0.9.0.0版本以前，是由scala编写的旧版本producer。入口类：kafka.producer.Producer代码示例：Propertiesproperties=newPrope
weixin_30416497·2020-08-18 10:52

kafka学习(1)linux下的安装和启动，以及Java示例代码

1.安装1.1下载kafka并解压wgethttp://mirror.bit.edu.cn/apache/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgztar-zxvfkafka_2.11-0.11.0.0.tgz1.2修改配置(1)配置zookeeper地址vim/data/kafka_2.11-0.11.0.0/config/server.propertieszo
淘气的高老板·2020-08-18 10:21

kafka学习默认端口号9092

一Kafka概述1.1Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统（微信公众号、QQ、微信等群），由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从ApacheIncubator毕业。该项
dci75702·2020-08-18 10:44

docker安装kafka和zookeeper，kafka学习一

说明kafka需要zookeeper来管理，所以要先安装zookeeper1.安装zookeeper拉取zookeeper镜像dockerpullwurstmeister/zookeeper运行zookeeper容器dockerrun-d--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimewurstmeister/zookeeper2.
一起打球吗？·2020-08-16 03:59

Kafka学习心得及总结

Kafka1.kafka是什么？使用场景？kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。底层使用的是nio的零拷贝，直接将信息写入文件磁盘，不用经过用户的内存空间。2.kafka生产消息、存储消息、消费消息Kafka架构是由producer（消息生产者）
龙YGL龙·2020-08-16 00:13

Docker下kafka学习，三部曲之一：极速体验kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，从本章开始我们先极速体验，再实战docker下搭建kafka环境，最后开发一个javaweb应用来体验kafka服务。我们一起用最快的速度体验kafka的消息发布订阅功能：新建一个docker-compose.yml文件，内容如下：version:'2'services:zk_server:image:daocloud.io/library/zoo
程序员欣宸·2020-08-15 22:58

Kafka学习要点记录

kafka基本原理kafka通过将broker集群将生产者producer和消费者consumer解耦分离，并通过采用不同的消息消费机制实现队列消息模式和发布订阅模式，其重要术语概念如下：topic:消息主题，每条消息都被归为某一个topic，不同topic间的消息的生产和消费过程互不干扰，同一topic消息的生产顺序和存储顺序一致，并且消费顺序也大致一致（单一partition内顺序消费）。pa
笑矣乎·2020-08-15 11:06

Kafka学习之consumer端部署及API

1、consumer.properties:文件位于/resources目录下zookeeper.connect=192.168.0.1:2181test-datacenter/test-server#timeoutinmsforconnectingtozookeeperzookeeper.connectiontimeout.ms=1000000#consumergroupidgroup.id=t
Xcockroach·2020-08-15 10:09

kafka学习之producer端部署及API

1、producer.properties:文件位于/resources目录下#partitioner.class=metadata.broker.list=183.57.57.76:9092producer.type=synccompression.codec=0serializer.class=kafka.serializer.StringEncoder##在producer.type=asy
Xcockroach·2020-08-15 10:09

kafka学习总结

文章目录前言主要内容kafka整体架构kafka定义架构图名词解释Kafka重要组件生产者（Producer）生产者选择分区序列化器和发送生产者配置BrokerPartitionOffsetmessage物理结构Consumer（消费者）消费模式Consumer消费过程Consumer提交偏移量ConsumerRebalancekafka文件存储Segment消息文件zookeeper和kafka
百合静流-秋之回忆·2020-08-14 17:47

大数据技术之_10_Kafka学习_Kafka概述+Kafka集群部署+Kafka工作流程分析+Kafka API实战+Kafka Producer拦截器+Kafka Streams

大数据技术之_10_Kafka学习第1章Kafka概述1.1消息队列1.2为什么需要消息队列1.3什么是Kafka1.4Kafka架构第2章Kafka集群部署2.1环境准备2.1.1集群规划2.1.2jar
黑泽君·2020-08-12 13:57

kafka学习文档(Kafka基本概念、Kafka内部逻辑组成)

kafka学习文档【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】kafka命令操作，看我博客kafka集群搭建，看我博客一、Kafka基本概念1.Kafka是最初由Linkedin公司开发
fy_1852003327·2020-08-11 03:29

Kafka学习笔记

三天半Kafka（用的很多，微服务，面试）一、概述http://kafka.apache.org/所有集合类型都是Iterable流计算原理都是一样的，这个学会了，spark，flink就好学了分布式流数据平台（流数据：连续的，源源不断的；对数据实时的）MapperReducer批处理（数据是有限的）Kafka具备三项关键能力：发布和订阅（Record），类似于消息队列（MQ）或者企业级消息系统流
LvJinYang·2020-08-07 09:15

Flume + Kafka学习——整合Demo

Flume+Kafka学习——整合Demo环境Flume1.6.0-cdh5.7.0Kafka0.9.0.0FLume官方文档Flume1.6.0UserGuideKafka官网文档KafkaDocumentationFlumeApacheFlumeisadistributed
NULL·2020-08-07 07:15

Kafka学习笔记（一） —— 初识

1.kafka的使用场景上游模块或系统产生数据，下游模块或系统使用数据、分析数据、计算数据，这样的就可以使用消息系统。我个人认为就是，可以异步处理，一个管生产、一个管消费，关系基本稳定不会倒置，就可以使用消息系统。还有一种场景就是，把数据放到消息中间件里存放，不存放在数据库里。这些数据顺序存在消息中间件，反而比存在数据库随机读写效率要快。kafka现在可以和Apacheflume（日志收集系统）、
TIMI-Nian·2020-08-05 00:51

Day10.Kafka学习笔记

一、引言什么是消息？消息是系统间通信的载体，系统通讯（RPC）的介质，是分布式应用中不可或缺的一部分。目前系统间发送消息的方式有两种：①同步消息（即时消息），生产消费同时存在，必须建立会话；②异步消息（离线消息），生产不关心消费，不必建立会话，消费者自行消费。不同消息使用场景即时消息：打电话，表单提交，webservice(soap)，dubbo/springCloud离线消息：发短息，发邮件，写
大竹薙子·2020-08-03 07:50

Kafka学习笔记

教学视频本文用到的源码Kafka学习资料链接：https://pan.baidu.com/s/1oHYCvHZ4Uanll1Bj3v-3Hw提取码：5afq---01.Kafka入门_课程介绍02.Kafka
巨輪·2020-08-03 05:32

kafka学习笔记：知识点整理

一、为什么需要消息系统1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：因为消息队列解耦了你的处理
GarfieldEr007·2020-08-02 15:01

Kafka学习--------消息存储，ISR

1.Kafka消息存储1.1Kafka集群中的几个概念Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker能够组成一个Kafka集群。Topic：一类消息，比如pageview日志、click日志等都能够以topic的形式存在。Kafka集群能够同一时候负责多个topic的分发。Partition：topic物理上的分组。一个topic能够分为多个partit
BigDate_小学生·2020-08-02 13:31

Kafka学习笔记(1) - CDH6.2 集群安装Kafka服务步骤以及问题解决方法

1.修改配置[重点!]进入CDH的安装包仓库进入Kafka的配置文件目录修改server.properties配置文件.路径参考如下:/opt/cloudera/parcels/KAFKA/etc/kafka/conf.dist修改其中的broker.id的配置,注意:你需要使用的kafka所有节点都需要配置!注意:每个节点的id不能一样!2.添加服务安装时选择第一个配置即可,第二个不用选选择节点
Killbus·2020-07-30 04:04

kafka学习之路（一）docker安装kafka

kafka依赖于zookeeper，所以安装kafka需要对应的安装zookeeper这里采用wurstmeister/kafka和wurstmeister/zookeeper这两个镜像。（1）下拉镜像：dockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka（2）基本的启动命令启动zookeeper容器dockerrun-d--na
huyongchao98·2020-07-29 10:00

Kafka学习笔记: 控制器Controller

控制器组件（Controller），是ApacheKafka的核心组件。它的主要作用是在ApacheZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色，但是，在运行过程中，只能有一个Broker成为控制器，行使其管理和协调的职责。换句话说，每个正常运转的Kafka集群，在任意时刻都有且只有一个控制器。控制器选举Broker在启动时，会尝试去Zoo
张伯毅·2020-07-29 02:05

kafka学习--confluent-platform

confluent-platform是由ApacheKafka的原始创建者创建事件流平台！confluent-platform重新定义为企业解决方案。作为事件的流数据支持解决大规模问题的全新方法。特点：关键任务可靠性部署有信心：在卡夫卡专家搭建的平台上。企业规模的流程：在GBps吞吐量下提供低于25ms的延迟。保护您的事件流平台:具有企业级加密、认证和授权功能。完整的事件流平台连接所有应用程序和数
wandy0211·2020-07-28 23:37

Kafka学习之旅(十五):重设消费者组位移

简介相信大家也遇到过需要重某个位置或者时间点重新消费的情况那么本篇讲下重新设置消费组位移。Kafka一个比较有特色的设计是由于它是基于日志结构（log-based）的消息引擎，消费者在消费消息时，仅仅是从磁盘文件上读取数据而已，是只读的操作，因此消费者不会删除消息数据。同时，由于位移数据是由消费者控制的，因此它能够很容易地修改位移的值，实现重复消费历史数据的功能。重设位移大致可以从两个维度来进行。
CXHC·2020-07-28 14:32

Kafka学习之怎么保证不丢，不重复消费数据

Kafka学习之怎么保证不丢，不重复消费数据Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受它带来的高并发，高可靠等便利时，同时不得不面对可能存在的问题，最常见的就是丢包
pl在之心·2020-07-28 13:02

Kafka学习之：Kafka背景及架构介绍

转载自：http://www.infoq.com/cn/articles/kafka-analysis-part-1Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kaf
铁猴·2020-07-28 12:33

快手技术官kafka学习使用归纳——Kafka源码剖析实战文档

这是一个数据大爆炸的时代，互联网成为了数据传播的主要载体。大数据处理平台在现代化的互联网公司进行商业决策、规划发展、市场拓展等方面扮演着越来越重要的角色。Kafka作为大数据平台的重要组件之一，受到越来越多的设计人员和开发人员的青睐，Kafka的社区也变得越来越活跃，Kafka本身的架构设计、应用场景也得到了长足的发展。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和J
Sqdmn·2020-07-27 17:57

Kafka学习(一)：Kafka背景及架构介绍

一.Kafka简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统
架构师夏老师·2020-07-15 19:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他