KafKa学习

Spark Streaming实时流处理项目7——Spark Streaming实战2

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-20 16:08

Spark Streaming实时流处理项目6——Spark Streaming实战1

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-20 12:47

Spark Streaming实时流处理项目5——Spark Streaming入门

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 19:37

Spark Streaming实时流处理项目4——实战环境搭建

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 16:18

Spark Streaming实时流处理项目3——整合Flume和Kafka完成实时数据采集

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 10:10

Spark Streaming实时流处理项目2——分布式消息队列Kafka学习

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-17 17:19

Spark Streaming实时流处理项目1——分布式日志收集框架Flume的学习

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-17 11:53

kafka学习笔记三--kafka生产者

kafka有着自定义的网络协议，使用者只要遵守该协议格式，就可向kafka发送和拉取消息。老版本通过scala实现的生产者客户端已经被标记“废弃”，最新版本的通过java实现的KafkaProducer为我们实现同步/异步/发送消息，批量发送、超时重发等功能提供了便利。我们可以在Kafkaclients模块的org.apache.kafka.client.producer包里找到该API的具体实现
大王go巡山·2019-02-07 20:27

Kafka学习-理论篇(一)

图示生产消费过程PartitionLeader和PartitionFollower之间的关系PartitionLeader和PartitionFollower之间的关系(1)Partition中消息的追加方式Partition中消息的追加方式(1)0.基础知识0.1名词解释Cluster(集群)Broker(代理),每一个Server叫一个BrokerProducer(生产者)Consumer(消
166702df7928·2019-01-30 12:59

Kafka学习笔记总结

目录0本文主要涉及1研究的几个点2基本概念简介消息队列KafkaKafka相关概念TopicProducerConsumerConsumerGroupBrokerPartitionReplicaKafka数据流概览Kafka本质Kafka使用Kafka为开发者提供了四类API：3kafka生产者客户端实现Producer发送消息流程：发送消息时方法调用流程：主线程部分一些关键对象和流程说明：Pro
zhangbohun·2019-01-25 00:33

Kafka学习笔记

戳蓝字“CSDN云计算”关注我们哦！作者：张大胖007来源：csdn博客链接：https://blog.csdn.net/weixin_44359255/article/details/85560656要解决的问题1存储数据2重复消费将数据的生产和消费分开（异步通信）保证顺序缓冲Kafka重要的消息组件生产者消费者消费者组TopicKafka对消息保存时，根据Topic归类Broker一个Kafk
CSDN云计算·2019-01-20 10:00

Kafka学习笔记--Consumer的offset保存在哪里

前言这两天看Kafka的文档，遇到一个问题，consumer的offset应该如何保存呢？正文参考这里：以前是放在Kafka里面，但是Kafka用作持久化是没问题的，但是用作频繁写并不是太适合，所以，Kafka后来把对offset的保存放在了一个topic里面。关于这一点，在官网也得到了验证：存放的位置，这里有提到：而我查看了本地的目录，看到：一共有50个目录，根据一个目录一个partition的
IT老兵驿站·2019-01-18 00:00

Kafka学习（7）- kafka使用Java开发-3-手动提交

目录：为什么要手动提交什么是手动提交一.为什么要手动提交问题一：已经消费的数据对于kakfa来说，会将该消费组里面的offset值进行修改。什么时候去修改的？当数据被消费者拿去之后就自动提交，而不关注消费者是否成功消费，如果消费者端出现故障，就会导致此条数据没有被消费，继续运行就会导致此数据丢失如果消费者成功消费此数据，而在提交的过程的出现故障，会导致再次发送此数据到消费者，继续运行就会到此数据重
yigg·2019-01-11 23:49

kafka学习

kafka的主要特征是什么？总共有五点1、kafka有近乎实时性的消息处理能力，即使是面对海量数据也能够高效的存储和查询，kafka将消息存储在磁盘中，在其设计理念中并不惧怕磁盘的操作，因为它是顺序读写磁盘，所以避免了随机读写磁盘带来的性能瓶颈。2、kakfa支持批量读写消息，并且对消息进行批量压缩，这样既提高了网络的效率，也提高了压缩效率3、kafka支持消息分区，每个分区中的消息保证顺序传输，
二两芝麻·2019-01-07 15:48

Kafka学习之路 （五）Kafka在zookeeper中的存储

当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息。一、Kafka在zookeeper中存储结构图二、分析根目录下的结构服务端开启的情况下，进入客户端的命令：{zookeeper目录}/bin/zkCli.sh#{zookeeper目录}/bin/zkCli.sh[zk:localhost:2181(CONNECTED)1]ls/[cluster
小左先森·2018-11-11 00:42

Kafka学习之路 （四）Kafka的安装

zookeeper1：192.168.1.11zookeeper2：192.168.1.12zookeeper3：192.168.1.13kafka1：192.168.1.14kafka2：192.168.1.15kafka3：192.168.1.16kafka3：192.168.1.17kafka-manager：192.168.1.18一、下载下载地址：http://kafka.apache.
小左先森·2018-11-10 23:36

Kafka学习之路 （三）Kafka的高可用

一、高可用的由来1.1为何需要Replication在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及DeliveryGuarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。如果Producer使用同步模式则Producer会在尝试重新发送
小左先森·2018-11-10 23:55

Kafka学习之路 （二）Kafka的架构

一、Kafka的集群架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Co
小左先森·2018-11-10 23:07

Kafka学习之路 （一）Kafka的简介

一、简介1.1概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：可靠性-Kafka是分布式，
小左先森·2018-11-10 23:15

Kafka学习笔记 --- bootstrap-servers 和 broker.list区别

在使用的时候会用到bootstrap，与broker.list本以为是两个参数，其实是实现一个功能，查看源代码后发现broker.list是旧版本命令valbootsrapServers={if(properties.containsKey("metadata.broker.list"))warn("Kafkaproducerconfigurationcontains'metadata.broke
脚丫先生·2018-11-05 22:18

【kafka学习之五】kafka运维：kafka操作日志设置和主题删除

一、操作日志首先附上kafka操作日志配置文件：log4j.properties根据相应的需要设置日志。#日志级别覆盖规则优先级：ALLlog.dirs=/var/kafka/log/tmprm-r/var/kafka/log/tmp/t1205*(3)进入zookeeper客户端，删除topic信息rmr/brokers/topics/t1205(4)删除zookeeper中被标记为删除的top
cac2020·2018-10-22 18:00

Kafka学习笔记：Kafka命令行工具

Kafka命令行工具启动Kafkakafka-server-start.sh/opt/software/kafka_2.11-1.1.0/config/server.properties&查看所有Topic列表kafka-topics.sh--zookeeperHadoop01:2181--list查看指定Topic信息kafka-topics.sh--describe--zookeeperHad
SetsunaMeow·2018-10-09 20:50

Kafka学习笔记：Kafka的Topic、Partition和Message

Kafka的Topic和PartitionTopicTopic是Kafka数据写入操作的基本单元，可以指定副本一个Topic包含一个或多个Partition，建Topic的时候可以手动指定Partition个数，个数与服务器个数相当每条消息属于且仅属于一个TopicProducer发布数据时，必须指定将该消息发布到哪个TopicConsumer订阅消息时，也必须指定订阅哪个Topic的信息Part
SetsunaMeow·2018-09-27 08:35

Apache Kafka入门教程轻松学-序篇

决定写此系列教程，一是想把学到的知识系统总结整理出来，另外也想锻炼自己，尝试用图文结合，采用更通俗易通的方式来讲解，让kafka学习变得更容易。
稀有气体·2018-09-20 16:48

kafka学习一（基本命令篇）

1、前台进程启动：./kafka-server-start.sh../config/server.properties&2、后台进程启动：./kafka-server-start.sh-daemon../config/server.properties&3、停止kafka服务./kafka-server-stop.sh4、命令创建topic./kafka-topics.sh--create--zo
水木天麟·2018-09-20 16:36

zookeeper学习笔记（二）

一、安装zookeeper的安装参考Kafka学习笔记【二】-安装中的第二章节，注意zookeeper.propertis对应为zoo.properties.安装完成之后，可以使用客户端命令：zkCli.cmd-timeout5000
zhenggm·2018-09-06 19:00

zookeeper学习笔记（二）

一、安装zookeeper的安装参考Kafka学习笔记【二】-安装中的第二章节，注意zookeeper.propertis对应为zoo.properties.安装完成之后，可以使用客户端命令：zkCli.cmd-timeout5000
zhenggm·2018-09-06 19:00

消息中间件学习资料收集 -- KafKa + ActiveMQ + RabbitMQ

1、KafKa学习资料收集（1）、KafKa教程（2）、Kafka利用Java实现数据的生产和消费实例教程（3）、RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总----
_明月·2018-08-21 19:05

kafka学习

kafka高性能：1.高效使用磁盘2.零拷贝3.批处理和压缩4.partition5.ISR1.1顺序写磁盘，性能高于随机写零拷贝(没有用户态参与的拷贝，只是在内核态进行的拷贝)：1.传统模式下数据从文件传输到网络需要四次拷贝(2次系统，2次cpu)，4次上下文切换，2次系统调用File.read(fileDesc,buf,len)Socket.send(socket,but,len)2.kafk
有章·2018-08-17 23:27

kafka学习笔记——基本概念与安装

Kafka是一个开源的，轻量级的、分布式的、具有复制备份、基于zooKeeper协调管理的分布式消息系统。它具备以下三个特性：能够发布订阅流数据：存储流数据时，提供相应的容错机制当流数据到达时，能够被及时处理。首发于个人博客网站：链接地址下载安装本次安装只介绍在linux环境下，windows的暂时不考虑。下载作为一个消息中间件，kafka并不是一个jar包，而是一个完整的应用，所以直接取官网下载
Janti·2018-08-08 09:00

Kafka学习笔记

kafkakafka是一款分布式消息发布和订阅系统，它由于具有高性能、高吞吐的特点而被广泛应用于大数据传输场景kafka的应用场景行为跟踪日志收集kafka的架构？一个典型的kafka集群包含若干个Producer、若干个Broker、若干个ConsumerGroup以及一个Zookeeper集群。kafka通过zookeeper管理集群配置及服务协同，Producer使用push模式将消息推送到
徐by小宝·2018-07-21 11:52

Kafka学习（三）kafka_2.12-1.1.0 整合SpringMVC

准备一个springMVC基础工程在pom.xml添加依赖，jackson的版本不能太低，要不然会报错误。java.lang.NoClassDefFoundError:com/fasterxml/jackson/databind/deser/std/StdNodeBasedDeserializer#Kafkaorg.springframework.kafkaspring-kafka2.1.7.RE
枫晴maple·2018-07-05 22:15

Kafka学习（二）kafka_2.12-1.1.0 生产与消费java官方实例

创建Maven工程引入Kafka的核心jar包和日志jar包org.apache.kafkakafka_2.121.1.0org.apache.kafkakafka-log4j-appender1.1.0生成者packagecom.lczyfz.junit;importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.
枫晴maple·2018-07-05 19:11

Kafka学习（一）安装

简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时
枫晴maple·2018-07-05 19:51

Kafka学习总结(一)——Kafka简介

一、简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。Kafka的目的是统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。二、特性Kafka
代码呆呆·2018-07-02 17:09

Kafka学习笔记【三】-JAVA调用示例

阅读更多1.pom.xmlorg.apache.kafkakafka-clients1.1.02.TestProducer.javapackagecn.gov.zjport.demo.kafka;importjava.util.Properties;importorg.apache.kafka.clients.producer.Callback;importorg.apache.kafka.cli
zhenggm·2018-05-29 08:00

Kafka学习笔记【二】-安装

阅读更多kafka的安装如下：一、准备环境1)三台服务器server1:192.168.3.9（L-AP-3-9）server2:192.168.3.10（L-AP-3-10）server3:192.168.3.18（L-AP-3-18）2）下载kafka_2.11-1.1.0.tgz3）解压cd/usr/localtar-zxvfkafka_2.11-1.1.0.tgz二、安装自带的zookee
zhenggm·2018-05-24 08:00

Kafka学习笔记【一】-原理

阅读更多一、kafka的重要概念1.kafka分为Producer、Consumer、Broker，基于topic发布与订阅消息。2.一个topic可以分多个partition,每个partition可以分布在不同的broker中。3.物理存储主要依赖partition。4.每个totic可以设置Replications，因此物理存储partition也会有多个Replications。parti
zhenggm·2018-05-18 09:00

Kafka学习（五）Kafka在zookeeper中的存储

1、Kafka在zookeeper中存储结构图2、分析2.1、topic注册信息需要先启动zookeeper，用这个命令zkCli.sh进入zookeeper。/brokers/topics/[topic]:存储test的topic的partitions所有分配信息[zk:localhost:2181(CONNECTED)1]get/brokers/topics/topic2Schema:{  "
匿名啊啊啊·2018-05-08 14:51

Kafka学习笔记

Kafka学习笔记ApacheKafka概述ApacheKafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量数据，并将消息从一个端点传递到另一个端点。
JackLeeLive·2018-04-21 16:19

Kafka学习(四)——Kafka持久化

参考资料：https://www.cnblogs.com/smartloli/p/4648249.htmlhttps://blog.csdn.net/zg_hover/article/details/73187746概述：Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢。这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。就目前来说，一
平凡之路无尽路·2018-04-19 11:58

Kafka学习总结（三）——kafka通信协议

此博客总结学习以及借鉴其他博文；参考资料：译文：点击打开链接                                   资料：API方式调用Kafka各种协议的方法点击打开链接                                             概述Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这
平凡之路无尽路·2018-04-19 00:00

kafka学习笔记

前言最近在做测试平台的开发过程中，需要用到消息队列，在简单调研后选取了主流的kafka做为我们平台的消息中间件，以下是对kafka的学习笔记。1.重要概念topic：消息的主题／队列（逻辑概念）producer：生产者consumer：消费者broker：集群中的服务器节点，即实际存储消息的服务器consumergroup：消费者组，每个consumer归属于一个group消息在同一个consum
zni.feng·2018-03-21 13:00

Kafka学习笔记（一） ：为什么需要Kafka？

我们在学习一个东西的时候，往往只有真正了解它背后的含义，才能一步一步的掌握它，直到运筹帷幄。对于Kafka来说，我也是一个小白，本篇文章我就以一个小白的角度来初探一下Kafka，本篇文章基于官方文档，顺便说一句官方文档真的很重要，且读且珍惜。背景Kafka最早是由LinkedIn公司开发的，作为其自身业务消息处理的基础，后LinkedIn公司将Kafka捐赠给Apache，现在已经成为Apache
三分青年·2018-03-19 00:00

消息中间件之Kafka

isusedforbuildingreal-timedatapipelinesandstreamingapps.Itishorizontallyscalable,fault-tolerant,wickedfast,andrunsinproductioninthousandsofcompanies.消息中间件之Kafka
geosmart·2018-03-07 08:47

kafka学习笔记

这是之前学习时候写的笔记，贴一下便于日常查阅。。。官方文档：http://kafka.apache.org/quickstarthttps://engineering.linkedin.com/kafka/搭建参考:https://www.cnblogs.com/luotianshuai/p/5206662.html理论资料参考http://www.jasongj.com/tags/Kafka本文
我的二狗呢·2018-01-31 23:08

kafka学习笔记（2）

kafka的经典问题有这几个：1.kafka节点之间如何备份？2.kafka消息是否会丢失？为什么？3.kafka最合理的配置是什么？4.kafka的leader选举机制是什么？5.kafka对硬件有什么要求？6.kafka的消息保证有几种方式经过网上的查阅资料，几个问题的粗略答案如下：1.Kafka允许用户为每个topic设置副本数量，副本数量决定了有几个broker来存放写入的数据。如果你的副
SADHELLO·2017-11-21 15:39

Docker下的Kafka学习之二：搭建集群环境

Docker软件版本本次实战的电脑操作系统是Win10专业版，安装的Docker版本信息如下：ssh工具为了登录容器方便，建议使用SecureCRT；环境规划本次实战要搭建六个容器，使用同一个镜像，容器们的功能如下：1.kafka集群：三个broker，分别是borker1、broker2、broker3；2.消息生产者：一个；3.消息消费者：两个；容器名ip功能borker1172.18.0.2
DemonHunter211·2017-11-02 09:47

Docker下的Kafka学习之二：搭建集群环境

在上一章《Docker下的Kafka学习之一：制作集群用的镜像文件》中，我们把继承了zookeeper和kafka的镜像做好了，现在我们就用这个镜像来搭建Kafka集群环境。
程序员欣宸·2017-10-22 11:40

kafka学习笔记：知识点整理

一、为什么需要消息系统复制代码1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：因为消息队列解耦了
cuilupeng999·2017-08-01 09:20
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他