KafKa学习

Kafka学习笔记（一） ：为什么需要Kafka？

我们在学习一个东西的时候，往往只有真正了解它背后的含义，才能一步一步的掌握它，直到运筹帷幄。对于Kafka来说，我也是一个小白，本篇文章我就以一个小白的角度来初探一下Kafka，本篇文章基于官方文档，顺便说一句官方文档真的很重要，且读且珍惜。背景Kafka最早是由LinkedIn公司开发的，作为其自身业务消息处理的基础，后LinkedIn公司将Kafka捐赠给Apache，现在已经成为Apache
三分青年·2020-02-08 21:00

2019-06-13 Kafka学习笔记

=Kafka环境搭建##docker安装镜像```1、dockerpullwurstmeister/zookeeper2、dockerpullwurstmeister/kafka```##docker启动zookeeper```dockerrun-d--namezookeeper-p2181-twurstmeister/zookeeper```##docker启动kafka```dockerrun
Mr丶d·2020-02-07 10:34

Kafka学习笔记

基础概念Topic一个topic相当于一个数据库中的表，同一类数据“存储”在一个topic中。topic只是一个逻辑概念，具体数据存储在partition中。Partition分区具体在服务器上面表现起初就是一个目录。一个Topic有多个分区，这些分区会存储到不同的服务器上面，或者说，其实就是在不同的主机上建了不同的目录。分区的主要信息就存在了.log文件里面。分区概念的引入也是Kafka性能高的
仰望forward·2020-02-06 19:13

Kafka学习笔记（二） ：初探Kafka

看完上一篇，相信大家对消息系统以及Kafka的整体构成都有了初步了解，学习一个东西最好的办法，就是去使用它，今天就让我们一起窥探一下Kafka，并完成自己的处女作。消息在Kafka中的历程虽然我们掌握东西要一步一步来，但是我们在大致了解了一个东西后，会有利于我们对它的理解和学习，所以我们可以先来看一下一条消息从发出到最后被消息者接收到底经历了什么？message-flow.png上图简要的说明了消
三分青年·2020-02-06 03:03

Kafka学习——生产者和消费者客户端

kafka客户端Kafka除了提供内置Java客户端外，还提供了二进制连接协议，即向Kafka网络端口发送适当的字节序列，就可以实现从Kafka读取消息或写入消息。许多语言实现了Kafka连接协议，从而提供了许多非Java客户端，比如Python、Go、C++等。https://cwiki.apache.org/confluence/display/KAFKA/ClientsKafka生产者不同的
零度沸腾_yjz·2020-02-02 18:07

Kafka学习笔记（一、Kafka基础）

目录：什么是Kafka为什么使用KafkaKafka应用场景Kafka特点Kafka与RabbitMQ比较什么是KafkaKafka是LinkedIn公司开发的一套分布式、多分区、多副本且基于Zookeeper协调的开源流处理平台。为什么使用Kafka解耦、异步、削峰、冗余、顺序化、扩展性非常灵活。Kafka应用场景MQ、网站活动跟踪、日志聚合分析。Kafka特点1、基于磁盘存储：Kafka的消息
被猪附身的人·2020-01-07 22:00

Kafka学习笔记

转自：https://www.cnblogs.com/qingyunzong/category/1212387.html按照自己理解加粗了重点一、前言，所谓消息队列一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。点对点消息传递模式在点对点消息系统中，消息持久化到一个队列中。
Megahorn·2020-01-05 10:59

Kafka学习之路

突然看到一篇《Kafka学习之路》的博文，觉得十分应景，于是决定搬来这“他山之石”。虽然对于Kafka博客我一向坚持原创，不过这篇来自Confluent团队
wangliang938·2020-01-03 00:41

Kafka学习笔记4--Kafka生产者的客户端（PHP）开发

一、准备工作虽然Kafka是用Java/Scala语言编写的，但这不妨碍它对多语言的支持。可以在Kafka官网的CLIENTS查看Kafka支持的语言，其中包括C/C++、Python、Go等语言。PHP操作Kafka需要安装librdkafka库和kafka的PHP扩展。1.安装librdkafka库gitclonehttps://github.com/edenhill/librdkafka.g
鹿呦呦·2020-01-01 19:00

Kafka学习笔记（四）—— API使用

1、ProducerAPI1.1消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafkabroker。来一个动
三秋叶·2020-01-01 16:00

Kafka学习——Kafka介绍和搭建Kafka集群

Kakfa介绍Kafka是什么Kafka最初是LinkedIn的内部内部基础设施系统。它被认为是一个流平台，在Kafka上可以发布和订阅流数据，并把它们保存起来、进行处理。但是我们在使用Kafka中，最多的就是将它作为一个消息系统使用，类似于ActiveMQ、RabbitMQ等。但是Kafka与这些传统的消息系统又有着许多的不同点，这些差异使它又不同于消息系统。Kafka是一个分布式系统，以集群(
零度沸腾_yjz·2020-01-01 02:31

Kafka学习笔记

原文：InfoQ作者郭俊简介Kafka是一种分布式的，基于发布/订阅的消息系统。使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka架构TerminoliogyBroker：Kafka集群包含一个或多个服务器，这种服务器被称为broker代理、中介者Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic物理上不同Topic的消息分开存储，逻辑上一个Topi
小小少年Boy·2019-12-28 04:15

Kafka学习

项目4月份发版，直接需要整合kafka，今天开始学，一个月内完成kafka的部分。资料来源：http://www.aboutyun.com/thread-12882-1-1.html与AMQ不同，Kafka只有topic一种传输模式。将向Kafkatopic发布消息的程序成为producers。将预订topics并消费消息的程序成为consumer。Kafka以集群的方式运行，可以由一个或多个服务
MisterCH·2019-12-22 10:54

Kafka学习笔记1——Kafka的安装和启动

一、准备工作1.安装JDK可以用命令java-version查看版本2.下载Kafka这里下载的是二进制版本（V2.3.1）。kafka自带打包和配置好zookeeper，无需单独安装zookeeper。解压后，可以看到目录结构如下：kafkaKafka根目录├─binKafka运行的脚本│├─connect-distributed.sh连接kafka集群模式│├─connect-standalo
鹿呦呦·2019-12-22 08:28

Kafka实际案例问题

kafkaconsumer防止数据丢失Kafka学习之怎么保证不丢，不重复消费数据1消费者pull数据时，出现数据丢失？
小小少年Boy·2019-12-15 09:37

Kafka学习笔记3--Kafka的生产者和消费者配置

下载解压kafka后，在kafka/config下有3个配置文件与主题及其生产、消费相关。server.properties--服务端配置producer.properties--生产端配置consumer.properties--消费端配置这里主要介绍生产者和消费者的配置。一、生产者配置producer.properties#指定连接Kafka集群所需的broker地址清单bootstrap.s
鹿呦呦·2019-12-09 22:00

Kafka学习笔记2--Kafka的服务端配置

下载解压kafka后，在kafka/config下有3个配置文件与主题的生产、消费相关。server.properties--服务端配置producer.properties--生产端配置consumer.properties--消费端配置这里主要介绍服务端的参数配置。server.properties#指定kafka集群中broker的全局编号，每一个broker的编号不能重复。broker.i
鹿呦呦·2019-12-09 16:00

kafka学习笔记

消息中间件一般用于各个模块、系统之间的异步通信，降低各个模块之间的耦合性。Kafka作为一个分布式的流平台，这到底意味着什么？我们认为，一个流处理平台具有三个关键能力：发布和订阅消息（流），在这方面，它类似于一个消息队列或企业消息系统。以容错的方式存储消息（流）。在消息流发生时处理它们。什么是kakfa的优势？它应用于2大类应用：构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。构建实时流
奋斗的小鸟GO·2019-12-07 10:08

kafka学习心得

kafka学习心得kafka简介kafka的用途kafka简介kafka是一个由scala语言编写的分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统
风华悟雨·2019-12-02 10:57

kafka学习笔记（一）——概述

1、kafka是什么？官方说明是：Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。提到了两个概念：发布/订阅模式消息队列下边来理解一下这两个名词。2、消息队列（MessageQueue）2.1什么是消息队列？两个单词简写一下就是MQ，抛开消息不看，那就只剩队列了。队列：是一种先进先出(FIFO)的数据结构。数据结构课程中有涉及这个概念~消息队列可以简单理解为：把
三秋叶·2019-11-21 22:00

kafka学习笔记（二）——基础入门

1、集群规划从官网下载jar包http://kafka.apache.org/downloads.html，我选择的是kafka_2.11-0.11.0.0.tgz版本规划一下集群环境先~hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka2、集群部署1）解压安装包[simon@hadoop102software]$tar-zxvfkafka_2.11-
三秋叶·2019-11-20 22:00

Kafka学习笔记（三）——架构深入

之前搭建好了Kafka的学习环境，了解了具体的配置文件内容，并且测试了生产者、消费者的控制台使用方式，也学习了基本的API。那么下一步，应该学习一下具体的内部流程~1、Kafka的工作流程大致的工作流程图如下：如图所示哈，整个工作环境包括：一个生产者（producer）,一个消费者组（含有三个消费者），一个主题：A，三个节点（broker）,三个分区（partition）和两个副本（副本数=lea
三秋叶·2019-11-19 15:00

kafka学习二

上一期介绍了kafka的基本信息和简单使用。这一期介绍kafka的详细信息。Kafka的Producer1、消息和数据的生产者，向Kafka的topic发布消息。2、Producer将消息发布到指定的Topic中,Producer可以指定将此消息归属于哪个partition，如果不指定，kafka会基于"round-robin"的方式，将消息存放到partition中去.3、异步发送，批量发送可以
穿山甲123·2019-10-31 22:17

Kafka学习笔记（九）—Kafka控制器

Kafka控制器在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（KafkaController），它负责管理整个集群中所有分区和副本的状态Kafka控制器内部组件可以看出控制制器内部还是有些复杂的，后续需要仔细研究下Kafka控制器职责监听partition相关的变化。为Zookeeper中的/admin/reassign_partitions节点注册Par
水墨之白·2019-09-19 19:11

Kafka学习笔记（八）—Kafka在Zookeeper中的存储结构

Kafka元数据信息当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息根目录结构：[isr_change_notification，zookeeper，admin，consumers，cluster，config，latest_producer_id_block，controller，brokers，controller_epoch]1.brok
水墨之白·2019-09-19 17:10

Docker下kafka学习三部曲之二：本地环境搭建

在上一章《Docker下kafka学习，三部曲之一：极速体验kafka》中我们快速体验了kafka的消息分发和订阅功能，但是对环境搭建的印象仅仅是执行了几个命令和脚本，本章我们通过实战来学习如何编写这些脚本
zq2599·2019-09-18 09:00

Docker下kafka学习三部曲之一：极速体验kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，从本章开始我们先极速体验，再实战docker下搭建kafka环境，最后开发一个javaweb应用来体验kafka服务。我们一起用最快的速度体验kafka的消息发布订阅功能：新建一个docker-compose.yml文件，内容如下：version:'2'services:zk_server:image:daocloud.io/library/zoo
zq2599·2019-09-18 09:00

Kafka学习笔记（七）—Kafka高性能原因

1.批量处理传统消息中间件的消息发送和消费整体上是针对单条的，这样会造成多次网络传输。Kafka是通过将发送到相同partition的数据组装成一个批量消息，然后进行发送，这在前面文章中介绍batch.size参数时提到过，这种方式大大减少了请求的数量，提升了客户端和服务器的性能。2.客户端优化新版生产者客户端摒弃了以往的单线程，而采用了双线程：主线程负责将消息置入客户端缓存Sender线程负责从
水墨之白·2019-09-17 19:05

Kafka低延迟原理

便写了这篇探讨的博客文章，网上很多关于Kafka测试的文章，测试结果通常都是Kafka延迟吊打其他MQ，那么我们学习一个新东西的时候，首先会想到它会在我们的业务场景中有一个什么样的作用，为什么要用它而不用其他类似的组件，Kafka
July14·2019-09-08 00:00

Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案

0x00概述filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，但是部署后发现资源占用很大，所以怀疑是filebeat本身出了问题。第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat，K8S需要在控制台实时查看pod的日志），发现有大量内容输出：2019-03-20T08:55:02.198+0800INFOkafka/log.go:53p
时光飞逝，逝者如斯·2019-09-03 19:00

kafka学习笔记

kafka学习笔记1、partition（分区）在存储层面是appendlog文件，任何发布到此partition的消息都会被追加到log文件的尾部。
06d9648871be·2019-08-29 17:25

Kafka学习笔记之如何永久删除Kafka的Topic

0x00问题描述使用kafka-topics--delete命令删除topic时并没有真正的删除，而是把topic标记为：“markedfordeletion”，导致重新创建相同名称的Topic时报错“alreadyexists”。0x01问题复现1.登录Kafka集群所在的服务器，创建一个test的topic[root@cdh1~]#kafka-topics--create--zookeeper
时光飞逝，逝者如斯·2019-08-15 19:00

大数据 -- kafka学习笔记：知识点整理（部分）

一为什么需要消息系统1.解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性因为消息队列解耦了你的处理过程，所
大奥特曼打小怪兽·2019-08-12 21:00

Kafka学习（四）-------- Kafka核心之Producer

通过https://www.cnblogs.com/tree1123/p/11243668.html已经对consumer有了一定的了解。producer比consumer要简单一些。一、旧版本producer0.9.0.0版本以前，是由scala编写的旧版本producer。入口类：kafka.producer.Producer代码示例：Propertiesproperties=newPrope
独孤风·2019-08-06 15:00

Kafka学习笔记

Kafka学习笔记Kafka使用一个叫FranzKafka的文学家的名字用来命名的。Kafka是一款开源的消息引擎系统。也是一个分布式流处理平台。Kafka同时支持点对点模型以及发布/订阅模型。
小鸡·2019-08-01 00:00

kafka安装

kafkahttps://blog.csdn.net/lingbo229/article/details/80761778kafka学习系列http://kafka.apache.org/quickstarthttps
jiezzy·2019-07-16 15:36

Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)

0x00概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03，
时光飞逝，逝者如斯·2019-07-01 14:00

Kafka学习笔记之Kafka日志删出策略

0x00概述kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test_perf的topic。假设两个partitions,那么我们可以在tmp/kafka-logs目录下看到
时光飞逝，逝者如斯·2019-07-01 13:00

kafka学习遗留问题

1、ZK在kafka中的作用2、Kafka支持优先级队列么未完待续转载于:https://www.cnblogs.com/howo/p/11111740.html
weixin_30687587·2019-06-30 23:00

kafka学习文档

kafka参考资料kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。Kafka就是一种发布-订阅模式。将消息保存在磁盘中，以顺序读写方式访问磁盘，避免随机读写导致性能瓶颈。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组
红豆泥333·2019-06-30 17:43

kafka学习笔记1

什么是kafkakakfa是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wickedfast（变态快）等优点。Apachekafka是消息中间件的一种。举个例子，生产者生产鸡蛋，消费者消费鸡蛋。生产者生产一个鸡蛋，消费者就消费一个鸡蛋。假设消费者在消费鸡蛋的时候噎住了（系统当机了），生产者还在生产鸡蛋，那么新生产的鸡蛋就丢失了。再例如生产者大量生产鸡蛋（大交易量的情况），消费者来不及消费
MiixTimer·2019-06-20 00:00

Kafka学习笔记（一）—KafKa简介

一、什么是KafKa?官网介绍：Kafkaisusedforbuildingreal-timedatapipelinesandstreamingapps.Itishorizontallyscalable,fault-tolerant,wickedfast,andrunsinproductioninthousandsofcompaniesKafka用于构建实时数据管道和流应用程序。它具有水平可扩展性
水墨之白·2019-06-18 17:13

大数据系列——kafka学习笔记

1.大数据领域数据类型1.1有界数据一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql1.2无界数据源源不断的流水一样(流数据)StormSparkStreaming2.消息队列(MessageQueue)消息Message网络中的两台计算机或者两个通讯设备之间传递的数据,例如说：文本、音乐、视频等内容队列Queue一种特殊的
EVAO_大个子·2019-06-14 00:00

kafka学习（6）-Springboot整合kafka-消费者手动

目录1、场景2、代码2.1、生产者、消费者配置文件2.2、生产者发送100条测试数据2.3、消费者收取100条测试数据-自动2.4、消费者收取100条测试数据-手动2.4.1、手动提交注释不打开2.4.2、手动提交注释打开1、场景上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之
^果然好^·2019-04-28 13:32

Kafka学习笔记

Kafka消息队列或消息中间件：用于系统之间的解耦合、峰值压力缓存和异步通信，生产者消费者模式Kafka架构：producer：消息生产者consumer：消息消费者broker：Kafka集群的Server节点，负责处理消息读写请求存储消息，broker之间无主从关系topic：消息队列/分类ZooKeeper：协调Kafkabroker，存储原数据：consumer的offset、broker
kaku812814843·2019-04-10 09:28

Kafka学习笔记

kafka笔记0.Kafka分布式流处理平台。在系统之间构建实时数据流管道。以topic分类对记录进行存储每个记录包含key-value+timestamp每秒钟百万消息吞吐量。producer//消息生产者consumer//消息消费者consumergroup//消费者组kafkaserver//broker,kafka服务器topic//主题,副本数,分区.zookeeper//hadoop
DB_BOY·2019-04-09 16:07

kafka学习记录三原理分析及API介绍

三Kafka工作流程分析目录三Kafka工作流程分析3.1Kafka生产过程分析3.1.1写入方式3.1.2分区（Partition）3.1.3副本（Replication）3.1.4写入流程3.2Broker保存消息3.2.1存储方式3.2.2存储策略3.2.3Zookeeper存储结构3.3Kafka消费过程分析3.3.1消费模型3.3.2高级API3.3.3低级API3.3.4消费者组3.3
指挥官飞飞·2019-03-24 16:27

Spark Streaming实时流处理项目11——综合实战

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-27 11:11

Spark Streaming实时流处理项目10——日志产生器开发并结合log4j完成日志的输出

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-25 16:50

Spark Streaming实时流处理项目9——Spark Streaming整合Kafka实战

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-23 20:33
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他