Kafka系列

为什么要学习Kafka？

kafka系列为什么要学习Kafka？互联网蓬勃发展的这些年涌现出了很多令人眼花缭乱的新技术。
石志远·2020-02-10 01:24

Kafka系列-主要参数详解

Kafka系列-主要参数详解每个kafkabroker中配置文件server.properties默认必须配置的属性如下：broker.id=0num.network.threads=2num.io.threads
raincoffee·2020-02-07 05:23

Kafka系列1----Rebalance过程(1)

1.Coordinator介绍Coordinator简单的总结一下就是负责协调组内partition分配，以及Group的管理，每个Broker上都有一个GroupCoordinator的实例负载均衡的过程涉及以下的几个概念groupmember：一个消费组类的成员groupleader：一个消费组的leader，负责分配partitioncoodinator：协调者涉及以下几个请求：GroupC
_六道木·2020-02-06 04:27

Kafka系列1：Kafka概况

Kafka系列1：Kafka概况Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。
McBye·2020-02-04 23:00

Kafka系列之broker-list,bootstrap-server以及zookeeper

我刚学kafka的时候，对这几个概念有时候会混淆，尤其是配置的时候经常搞不清楚它们的区别。这篇文章打算做一个梳理。broker-listbroker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。broker-list指定集群中的一个或者多个服务器，一般我们再使用consoleproducer的时候，这个参数是必备参数，另外
犀牛饲养员·2020-02-01 06:31

kafka系列之camel-kafka

概述首先关于camel的基本概念和用法，以及kafka的基本概念和用法，这里就不啰嗦了。这篇文章假设你对二者都有基本的认识。camel本身是一个路由引擎，通过camel你可以定义路由规则，指定从哪里（源）接收消息，如何处理这些消息，以及发往哪里（目标）。camel-kafka就是camel的其中一个组件，它从指定的kafkatopic获取消息来源进行处理。有些小伙伴可能有疑问了，kafka本身不就
犀牛饲养员·2020-01-17 20:23

Kafka系列之(4)——Kafka Producer流程解析

Kafka0.9版本正式使用Java版本的producer替换了原Scala版本的producer。1、KafkaProducer工作流程Paste_Image.pngPaste_Image.png注：ProducerRecord允许用户在创建消息对象的时候就直接指定要发送的分区，这样producer后续发送该消息时可以直接发送到指定分区，而不用先通过Partitioner计算目标分区了。另外，我
康康不遛猫·2019-12-16 06:16

真的，关于 Kafka 入门看这一篇就够了

作者|cxuan责编|刘静Kafka系列的阶段性总结（万字长文，做好准备，建议先收藏再看）初识Kafka什么是KafkaKafka是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于
CSDN资讯·2019-12-03 09:50

Kafka系列四-副本同步机制

Kafka系列四-副本同步机制#Kafka副本Kafka中主题的每个Partition有一个预写式日志文件，每个Partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到Partition
raincoffee·2019-11-05 06:02

基于Spark的电影推荐系统（推荐系统~6）

第四部分-推荐系统-实时推荐之实时数据加工把测试集（30%总数据）的数据，怼到Kafka消息队列里前置准备Kafka系列一之架构介绍和安装Kafka系列三之单节点多Broker部署启动Kafka[root
留歌36·2019-10-20 21:37

kafka系列之camel-kafka

文章目录概述详解camel-kafka概述首先关于camel的基本概念和用法，以及kafka的基本概念和用法，这里就不啰嗦了。这篇文章假设你对二者都有基本的认识。camel本身是一个路由引擎，通过camel你可以定义路由规则，指定从哪里（源）接收消息，如何处理这些消息，以及发往哪里（目标）。camel-kafka就是camel的其中一个组件，它从指定的kafkatopic获取消息来源进行处理。有些
思无邪了吗·2019-10-01 20:26

Kafka系列（二） 生产者Producer（处理模式、消息发送）

1、处理模式数据处理目前有两种常见的处理模式，一种是批处理，一种是流处理。批处理的代表是Spark，流处理的代表则是Storm，两者能兼容的代表则是Flink。在Kafka的不断更新迭代中，KafkaStream已经在流处理中占据一席之地了。借此机会，先科普一下这两种处理模式。什么是批处理、流处理？在这里我们提出一个关键词量化对于处理中心，如果处理的事情是可以量化的，什么是量化？比如信息的大小、处
FZH_SYU·2019-08-30 19:10

Kafka系列（一） 基本概念（概述、设计、集群）

1、概述Kafka是一种消息中间件。举个例子，一个网站在用户进行注册的时候，后台的操作包括发送邮箱、写入用户表、写入日志等等，但是一般都不会等这些完全处理完才告诉你注册成功。这一系列的操作通常是异步的。但是异步跟消息中间件有什么联系呢？我们试想一下，假如没有消息中间件，后台操作的顺序假设是（1）写入用户表（2）写入日志（3）发送邮箱如果系统在写入用户表之后，异常重启，或者需要更新（这个是很正常的，
FZH_SYU·2019-08-29 17:46

Kafka系列汇总

Kafka的零拷贝技术传统的文件拷贝传统的文件拷贝通常需要从用户态去转到核心态，经过readbuffer，然后再返回到用户态的应用层buffer，然后再从用户态把数据拷贝到核心态的socketbuffer，然后发送到网卡。传统的数据传输需要多次的用户态和核心态之间的切换，而且还要把数据复制多次，最终才打到网卡。如果减少了用户态与核心态之间的切换，是不是就会更快了呢？此时我们会发现用户态“空空如也”
词林首席·2019-08-06 09:22

【kafka系列教程47】kafka认证和acl

认证和aclkafka附带一个可插拔的ACL（AccessControlList访问控制列表），它使用zookeeper来存储。通过在server.properties中设置authorizer.class.name来启用：authorizer.class.name=kafka.security.auth.SimpleAclAuthorizerKafkaacls的格式为"PrincipalPis[
dagai888·2019-06-28 14:46

【kafka系列教程45】kafka使用SSL加密和认证

使用SSL加密和认证Apachekafka允许clinet通过SSL连接，SSL默认是不可用的，需手动开启。1.为每个Kafkabroker生成SSL密钥和证书。部署HTTPS，第一步是为集群的每台机器生成密钥和证书，可以使用java的keytool来生产。我们将生成密钥到一个临时的密钥库，之后我们可以导出并用CA签名它。keytool-keystoreserver.keystore.jks-al
dagai888·2019-06-28 14:22

【kafka系列教程42】Kafka Manager

作为一个分布式的消息发布-订阅系统，ApacheKafka在Yahoo内部已经被很多团队所使用，例如媒体分析团队就将其应用到了实时分析流水线中，同时，Yahoo整个Kafka集群处理的峰值带宽超过了20Gbps（压缩数据）。为了让开发者和服务工程师能够更加简单地维护Kafka集群，Yahoo构建了一个基于Web的管理工具，称为KafkaManager，日前该项目已经在GitHub上开源。通过Kaf
dagai888·2019-06-28 12:37

【kafka系列教程34】kafka检查消费者位置

Sometimesit'susefultoseethepositionofyourconsumers.Wehaveatoolthatwillshowthepositionofallconsumersinaconsumergroupaswellashowfarbehindtheendofthelogtheyare.Torunthistoolonaconsumergroupnamedmy-groupc
dagai888·2019-06-27 00:46

【kafka系列教程31】优雅的关闭kafka

TheKafkaclusterwillautomaticallydetectanybrokershutdownorfailureandelectnewleadersforthepartitionsonthatmachine.Thiswilloccurwhetheraserverfailsoritisbroughtdownintentionallyformaintenanceorconfigurat
dagai888·2019-06-27 00:15

【kafka系列教程30】kafka修改删除topic

Youcanchangetheconfigurationorpartitioningofatopicusingthesametopictool.你可以使用同样的topic工具更改topic的配置和分区。Toaddpartitionsyoucando你可以添加分区>bin/kafka-topics.sh--zookeeperzk_host:port/chroot--alter--topicmy_to
dagai888·2019-06-25 22:20

【kafka系列教程27】kafka分布

消费者offset跟踪（ConsumerOffsetTracking）Thehigh-levelconsumertracksthemaximumoffsetithasconsumedineachpartitionandperiodicallycommitsitsoffsetvectorsothatitcanresumefromthoseoffsetsintheeventofarestart.Kaf
dagai888·2019-06-25 22:45

【kafka系列教程25】kafka消息格式

kafka消息格式消息（又名记录）始终是按批次写入。一批消息用技术术语表达就是记录批次，记录批次包含一个或多个记录。在低性能的情况下，一个批次只有单条消息。记录批次和记录都有自己的头文件。下面介绍了Kafka版本0.11.0及更高版本（消息格式版本v2或magic=2）的格式。点击此处查看有关邮件格式0和1的详细信息。5.3.1消息批次以下是RecordBatch的磁盘格式。baseOffset:
dagai888·2019-06-25 22:23

【kafka系列教程23】kafka接口设计

API设计生产者APITheProducerAPIthatwrapsthe2low-levelproducers-kafka.producer.SyncProducerandkafka.producer.async.AsyncProducer.生产者API，它封装了2个低级别的生产者-kafka.producer.SyncProducer和kafka.producer.async.AsyncPro
dagai888·2019-06-25 22:02

【kafka系列教程21】kafka日志压缩

日志压缩LogcompactionensuresthatKafkawillalwaysretainatleastthelastknownvalueforeachmessagekeywithinthelogofdataforasingletopicpartition.Itaddressesusecasesandscenariossuchasrestoringstateafterapplication
dagai888·2019-06-25 22:38

[kafka系列]之指定了一个offset,怎么查找到对应的消息？

为了便于说明问题,假设这里只有一个Kafka集群,集群中只有一个Kafka节点，也就是只有一台物理机。在这个Kafkabroker实例的$KAFKA_HOME/config/server.properties配置log.dirs=/tmp/kafka-logs，以此来设置Kafka消息文件存储目录。并通过命令:$KAFKA_HOME/bin/kafka-topics.sh--create--zoo
Terminalist·2019-03-19 16:22

[kafka系列]之producer端消息发送

本小节我们来讨论Kafka生产者是如何发送消息到Kafka的，Kafka项目有一个生产者客户端，我们可以通过这个客户端的API来发送消息。生产者客户端是用Java写的，但Kafka写消息的协议是支持多语言的，其它语言的api可见这个wiki概要通过本文,你可以了解到以下内容:kafkaproducer端的整体结构,相关参数配置,以及性能优化;分区器,拦截器的扩展;消息序列化扩展;分区器,拦截器,序
Terminalist·2019-03-19 09:50

一些awesome网站

docker系列docker系列-jsonhcloocode-docker系列4、Spark系列Spark学习之路5、Flink系列Flink系列美团点评实时数仓实践滴滴是如何从零构建集中式实时计算平台的6、Kafka
江畔独步·2019-03-01 15:20

Kafka工作原理汇总

-11895-1-1.htmlkafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）:http://www.cnblogs.com/likehua/p/3999538.htmlapachekafka
Code_LT·2019-02-18 16:02

Kafka工作原理汇总

-11895-1-1.htmlkafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）:http://www.cnblogs.com/likehua/p/3999538.htmlapachekafka
Code_LT·2019-02-18 16:02

Kafka系列 —— Kafka消费语义分析&分区策略解读

Kafka系列文章：Kafka系列——入门及应用场景&部署&简单测试Kafka系列——Kafka核心概念Kafka系列——Kafka常用命令Kafka系列——Kafka监控Kafka消费语义分析通常架构
疯狂呼呼呼·2019-01-27 22:28

kafka系列——踩坑篇

踩坑①现象：新版生产者发不出去消息,broker端也没收到消息原因：旧版生产者有个配置"producer.type",async为异步发送,sync为同步发送,默认为同步发送；而新版本废弃了该配置,于是每次调用send方法时候会将消息缓存在本地的buffer中而不是立即发送,只有等到消息总大小或到达批处理发送的间隔时间才会把消息发出去,而发送代码如下：ZzKafkaProducerproducer
循环ing·2018-11-28 21:15

kafka系列——日志篇

kafka的日志格式ps：该图引用下面kafka日志版本的演变的博客crc32：消息校验码magic：消息版本号,0=v0,1=v1,2=v2,目前是2attributes：占用2字节,低3位指压缩格式,0=none,1=gzip,2=snappy,3=lz4;第4位指时间戳,第5位值是否为事务消息,第6位指是否为control消息,用于支持事务,0=否,1=是,其余保留keylength：息的k
循环ing·2018-11-28 20:04

Kafka系列(一)：kafka核心原理架构心得与实践（精炼）

专栏：大数据核心原理与实践概述关于kafka的重要性这里就不再多说了，kafka不仅解降低了大数据组件之间的耦合性，而且还能对接流实时计算框架，充当其流数据源，并支持接收大量数据输入，以类似于消息队列的方式组织统一管理。官方定义：ApacheKafka®isadistributedstreamingplatform.即kafka是一个分布式流平台。通俗的说法是：Kafka是一种高吞吐量的分布式发布
bw_233·2018-11-26 23:13

kafka系列——KafkaProducer源码分析

实例化过程在KafkaProducer的构造方法中,根据配置项主要完成以下对象或数据结构的实例化①配置项中解析出clientId,用于跟踪程序运行情况,在有多个KafkProducer时,若没有配置client.id则clientId以前辍”producer-”后加一个从1递增的整数②根据配置项创建和注册用于Kafkametrics指标收集的相关对象,用于对Kafka集群相关指标的追踪③实例化分区
循环ing·2018-11-25 23:30

Kafka系列 —— 入门及应用场景 & 部署 & 简单测试

Kafka系列为自己学习与使用Kafka中遇到的问题与总结。
疯狂呼呼呼·2018-11-25 01:04

Kafka系列 —— 入门及应用场景 & 部署 & 简单测试

Kafka系列为自己学习与使用Kafka中遇到的问题与总结。
疯狂呼呼呼·2018-11-25 01:04

Kafka系列二之部署与使用

Kafka部署与使用写在前面从上一篇Kafka的架构介绍和安装中，可能，你还一直很蒙，kafka到底该怎么使用呢？接下来，我们就来介绍Kafka的部署与使用。上篇文章中我们说到，Kafka的几个重要组成是:1.producer2.consumer3.broker4.topic.因此我们就是围绕这几个组件来使用我们的Kafka.如何开始呢？我们查看官网上面是如何说的，http://kafka.apa
liuge36·2018-10-31 14:00

Kafka系列一之架构介绍和安装

Kafka架构介绍和安装写在前面还是那句话，当你学习一个新的东西之前，你总得知道这个东西是什么？这个东西可以用来做什么？然后你才会去学习它，使用它。简单来说，kafka既是一个消息队列，如今，它也演变为一个分布式的流处理平台，这一点就是很厉害的了。所以，学习kafka对于大数据的小伙伴们来说，是非常有益的。（一）Kafka概述1.Kafka是一个分布式的流处理平台，有消息的订阅系统（订阅之后，一旦
liuge36·2018-10-31 14:00

kafka系列 -- 多线程消费者实现

看了一下kafka，然后写了消费Kafka数据的代码。感觉自己功力还是不够。不能随心所欲地操作数据，数据结构没学好，spark的RDD操作没学好。不能很好地组织代码结构，设计模式没学好，面向对象思想理解不够成熟。消费程序特点用队列来存储要消费的数据。用队列来存储要提交的offest，然后处理线程将其给回消费者提交。每个分区开一个处理线程来处理数据，分区与处理器的映射放在map中。当处理到一定的数量
stillcoolme·2018-10-12 22:00

kafka系列 -- 基础概念

kafka是一个分布式的、分区化、可复制提交的发布订阅消息系统传统的消息传递方法包括两种：排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。发布-订阅：在这个模型中，消息被广播给所有的用户。kafka与传统的消息传递技术相比优势之处在于：快速:单一的Kafka代理可以处理成千上万的客户端，每秒处理数兆字节的读写操作。可伸缩:在一组机器上对数据进行分区和简化，以支持更大的数
stillcoolme·2018-10-12 22:00

kafka系列-进阶篇之消费组

前言消费组是kafka一个非常有意思的设计。在高并发方面，可以使用多个台服务器放在同一个消费组中，就可以保证所有的消费者拉取的消费不会重复并且完整，这样就可以提高消费者的执行效率。前期准备创建topickafka-topics.sh--zookeeperlocalhost:2181--create--topictopic_demo--partitions3--replication-factor请
马各马它·2018-09-28 00:06

kafka系列-进阶篇之消息和offset存储

前言Kafka具有存储功能，默认保存数据时间为7天或者大小1G，也就是说kafkabroker上的数据超7天或者1G，就会被清理掉。这些数据存放在broker服务器上，以log文件的形式存在。准备工作topic我添加了一个topic名字为demo1。为了方便观察，它只有一个分区，一个副本。kafka-topics.sh--zookeeperlocalhost:2181/kafka1--desc--
马各马它·2018-09-06 00:00

Kafka系列之(1)——Kafka概念和架构

1、概念Producer：消息生产者，就是向kafkabroker发消息的客户端。Consumer：消费消息。每个consumer属于一个特定的consumergroup（可为每个consumer指定groupname，若不指定groupname则属于默认的group）。同一topic的一条消息只能被同一个consumergroup内的一个consumer消费，但多个consumergroup可同
康康不遛猫·2018-08-29 19:42

大数据与Kafka系列之kafka消费者各种启动参数说明

建立一个普通的消费者。publicstaticvoidCommonDemo(){finalPropertiesproperties=newProperties(){{put("bootstrap.servers","localhost:9092");put("group.id","testAPIdemo");put("enable.auto.commit","true");put("auto.co
有梦想的人不睡觉121·2018-06-21 14:20

kafka 架构设计简介(一)

最近开始深入学习kafka，然后打算写一个kafka系列文章，这是第一篇。虽然目前网上关于kafka的文章有很多，很多都写的很详细，但是还是想自己整理一遍。
疯狂哈丘·2018-05-15 22:44

Kafka系列（八）跨集群数据镜像

本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家在之前系列文章中，我们讨论了一个Kafka集群的搭建、维护和使用，而在实际情况中我们往往拥有多个Kafka集群，而且这些Kafka集群很可能是相互隔离的。一般来说，这些集群之间不需要进行数据交流，但如果在某些情况下这些集群之间存在数据依赖，那么我们可能需要持续的将数据从一个集群复制到另一个集群。而由于“
·2017-12-23 22:00

Apache Kafka系列(一)----简介

一、Kafka简介(1)、什么是KafkaApacheKafka是一个基于分布式日志提交机制设计的发布订阅系统。数据在kafka中持久化，用户可以随时按需读取。另外数据以分布式的方式存储，提高容错性，易于扩展(2)、产生背景Kafka是一个消息系统，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做
码农致富·2017-10-19 14:51

Kafka系列一- Kafka背景及架构介绍

Kafka系列一-Kafka背景及架构介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。
raincoffee·2017-05-24 19:13

分布式消息队列kafka系列介绍 — 配置文件详解

kafka的配置分为broker、producter、consumer三个不同的配置一broker的全局配置最为核心的三个配置broker.id、log.dir、zookeeper.connect。帮助123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354
a137268431·2017-05-23 17:00

apache kafka系列之源码分析走读-server端网络架构分析

转载至：http://blog.csdn.net/lizhitao/article/details/38442733笔者今天分析一下kafka网络架构，俗话说人无好的胫骨，就没有好的身体，建筑没有扎实可靠的结构框架，就不会屹立不倒。同样的服务端程序没有好的网络架构，其性能就会受到极大影响，其他方面再怎么优化，也会受限于此，那kafka网络架构是怎样的呢，它不是用的现今流行的netty，mina的高
javartisan·2017-05-14 10:31
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他