Kafka学习

Kafka学习笔记——使用Kafka记录APP的操作日志

2019独角兽企业重金招聘Python工程师标准>>>上一篇文章我们讲到了Kafka的工作原理和如何使用Kafka的代码示例，这里我们开始讲解Kafka的实战，在实际的应用中我们如何使用kafka的。下面将介绍前台的操作日志定时推送到kafka，然后通过kafka将消息日志进行保存，方便大数据的统计分析形成运营报表。我们先看看工程的目录结构：kafka的版本是：org.apache.kafkaka
weixin_34056162·2020-06-28 10:10

Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案

0x00概述filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，但是部署后发现资源占用很大，所以怀疑是filebeat本身出了问题。第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat，K8S需要在控制台实时查看pod的日志），发现有大量内容输出：2019-03-20T08:55:02.198+0800INFOkafka/log.go:53p
weixin_30746117·2020-06-28 00:44

【Apache Kafka】Kafka学习笔记

0x00基本信息1、Kafka架构图2、环境信息服务器IP：xx.xx.xx.xx操作系统：CentOS7.2_x64Kafka版本：kafka_2.12-1.1.0Zookeeper版本：zookeeper-3.4.120x01让Kafka运行起来1、先启动Zookeeper$cd/opt/kafka/zookeeper-3.4.12/bin$zkServer.shstart确认zookeepe
weixin_30595035·2020-06-27 22:42

kafka学习笔记

一，kafka概述Kafka是一个高吞吐量的、持久性的、分布式发布/订阅消息系统。它主要用于处理活跃的数据(登录、浏览、点击、分享、喜欢等用户行为产生的数据)。在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。Kafka对消息
weixin_30399055·2020-06-27 19:44

Kafka学习（6）——优化指南

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS,HDFS,S3等，可以把这些大的文件存放到共享存储，然
白水不开·2020-06-27 15:43

Kafka学习（1）——kafka文档阅读笔记

以下内容，仅为文档KafkaDocumentation的阅读笔记。阅读时的版本为0.9.0.x。1.开始1.1引言1.2使用场景1.3快速开始1.4相关技术生态1.5升级2.API2.1ProducerAPI2.2ConsumerAPI2.2.1高级消费者API（旧）2.2.2低级消费者API（旧）2.2.3消费者API（新）3.配置3.1BrokerConfigs3.2ProducerConfi
白水不开·2020-06-27 15:43

Kafka学习笔记 ---Kafka是怎么实现高性能的？

Kafka学习笔记---Kafka是如何实现高吞吐率的？
杨鑫newlfe·2020-06-27 05:28

Kafka学习笔记--《Apache Kafka实战》

目录Kafka快速搭建Kafka--producer开发构造Properties对象1、bootstrap.servers=localhost:90922、key.serializer--消息key的序列化转换器3、value.serializer--消息value的序列化转换器4、acks--用于控制producer生产消息的持久性(怎样保证消息不丢失？)5、buffer.memory6、com
清禾护卫·2020-06-26 22:42

kafka学习之路（一）——入门

kafka学习之路（一）——入门Kafka学习之路...一、入门..1、简介2、主题（Topics）、日志（Logs）3、分布式（Distribution）4、生产者（Producers）5、消费者（Consumers
汤高·2020-06-26 17:16

kafka学习笔记总结

kafka学习笔记总结参考：http://orchome.com/kafka/indexhttps://blog.csdn.net/qq_24084925/article/details/78842844
某文宇·2020-06-26 15:42

kafka学习入门

一.kafka核心概念kafka采用分区（Partition）的方式，使得消费者能够做到并行消费，从而大大提高了自己的吞吐能力。同时为了实现高可用，每个分区又有若干份副本（Replica），这样在某个broker挂掉的情况下，数据不会丢失。分区（Partition）大多数消息系统，同一个topic下的消息，存储在一个队列。分区的概念就是把这个队列划分为若干个小队列，每一个小队列就是一个分区，如下图
ronaldo1994·2020-06-26 06:07

KAFKA学习记录

kafka的消息是用文件的形式存储在磁盘空间的，理论上只要磁盘空间无线大，就可以存储消息，但实际上是设置kafka消息的时间，来定期删除过期的消息，1启动advertised.listeners配置异常:java.lang.IllegalArgumentException:requirementfailed:advertised.listenerscannotusethenonroutableme
Elliott_ZJ·2020-06-25 18:22

最详细的kafka学习笔记！

kafka背景Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
黎明黎明呀·2020-06-25 07:02

Kafka学习（三）-------- Kafka核心之Cosumer

了解了什么是kafka（https://www.cnblogs.com/tree1123/p/11226880.html）以后学习核心api之消费者，kafka的消费者经过几次版本变化，特别容易混乱，所以一定要搞清楚是哪个版本再研究。一、旧版本consumer只有旧版本（0.9以前）才有high-levelconsumer和low-levelconsumer之分，很多的文章提到的就是这两个：低阶消
tree1123·2020-06-25 05:23

kafka学习教程

Kafka学习教程一．kafka简介1.订阅发布消息系统,解耦发布者和订阅者。
代码运输员·2020-06-24 18:48

kafka学习笔记整理1

比较不错的一篇入门例子，注释很详细很详细感谢博主：https://blog.csdn.net/cjf_wei/article/details/78075263KafkaProducer(org.apache.kafka.clients.producer.KafkaProducer)是一个用于向kafka集群发送数据的Java客户端。该Java客户端是线程安全的，多个线程可以共享同一个produce
小驴淘米666·2020-06-24 17:10

kafka学习总结011 --- kafka为什么有如此高的吞吐量和性能

kafka号称能够达到每秒几十万级、甚至是百万级的并发量，而且我们也知道，kafka的数据是保存到磁盘的，那么kafka如何保证如此高的吞吐量（当然也和不同场景调优配置有关）；从两个角度来说：数据写入角度（生产者角度）写数据时采用了页面缓存技术和顺序写技术；1、页面缓存技术kafka将数据写入磁盘前，先写入操作系统缓存，然后由操作系统决定何时写入磁盘；写入操作系统缓存和数据写内存类似，因此大大提升
光头用沙宣·2020-06-24 16:00

kafka学习笔记——入门基本原理

简介  Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求
蒙蒙的林先生·2020-06-24 10:10

Kafka学习笔记：常见消息队列对比分析

常见消息队列对比分析消息系统分类Peer-to-Peer基于Pull或者Polling接收消息发送到队列中的消息被一个而且仅仅一个接受者所接收，即使有多个接收者在同一个队列中侦听同一消息支持异步“即发即弃”的消息传送方式（发送后没接收就丢弃），也支持同步请求/应答传送方式（发送了之后必须收到才发下一个）发布/订阅发布到一个主题（Topic）的消息，可被多个订阅者所接收发布/订阅可基于Push消费数
SetsunaMeow·2020-06-24 09:19

kafka学习笔记八kafka的权限管理之ACL权限控制

kafka的权限管理之ACL权限控制1.brokeraclconfiguration2.produceraclwrite3.consumeraclread4.programmingacl（consumer&producer）一、配置brokersasl(acl)configuration1.1分别复制server.properties为sasl-server.properties，修改sasl-s
MR_ROBIT·2020-06-23 16:40

kafka学习笔记九kafka的权限管理之ACL权限控制代码实现

一、producerACL实现packagecom.hanwan.kafka.demo9;importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerRecord;importorg.apache.kafka.clients.producer.Record
MR_ROBIT·2020-06-23 16:40

kafka学习笔记：知识点整理

一、为什么需要消息系统1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：因为消息队列解耦了你的处理
懒先森要努力·2020-06-23 13:43

Kafka学习笔记之Kafka性能测试方法及Benchmark报告

0x00概述本文主要介绍了如何利用Kafka自带的性能测试脚本及KafkaManager测试Kafka的性能，以及如何使用KafkaManager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。0x01性能测试及集群监控工具Kafka提供了非常多有用的工具，如Kafka设计解析（三）-KafkaHighAvailability（下）中提到的运维类工具——PartitionReassi
dengxiangbao3167·2020-06-23 03:16

Kafka学习笔记之Kafka High Availability(下)

0x00摘要本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Brokerfailover，Controllerfailover，Topic创建/删除，Broker启动，Follower从Leaderfetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。0x01BrokerFailover过
dengxiangbao3167·2020-06-23 03:16

Kafka学习笔记之Kafka Consumer设计解析

0x00摘要本文主要介绍了KafkaHighLevelConsumer，ConsumerGroup，ConsumerRebalance，LowLevelConsumer实现的语义，以及适用场景。以及未来版本中对HighLevelConsumer的重新设计–使用ConsumerCoordinator解决SplitBrain和Herd等问题。0x01HighLevelConsumer很多时候，客户程序
dengxiangbao3167·2020-06-23 03:16

Kafka学习笔记之Kafka背景及架构介绍

0x00概述本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，ConsumerGroup以及由其实现的不同消息分发方式，Topic&Partition，最后介绍了KafkaConsumer为何使用pull模式以及Kafka提供的三种deliveryguarantee。Kafka是由LinkedIn开发并开源的
dengxiangbao3167·2020-06-23 03:45

Kafka学习笔记之Kafka High Availability(上)

0x00摘要Kafka在0.8以前的版本中，并不提供HighAvailablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failover
dengxiangbao3167·2020-06-23 03:45

kafka学习笔记：知识点整理（一）

一、kafka架构1.1拓扑结构如下图：图.11.2相关概念如图.1中，kafka相关名词解释如下：1.producer：消息生产者，发布消息到kafka集群的终端或服务。2.broker：kafka集群中包含的服务器。3.topic：每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。4.partition：partition是物理上的概念，每个topic包含一个或多个pa
coq50173·2020-06-23 00:14

Kafka 学习

20.1.30Kafka学习第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门2.1安装部署2.1.1
bw_ustc·2020-06-22 19:02

Kafka学习

Kafka学习1概述本文是一篇Kafka学习的综述。
迷路剑客·2020-06-22 16:53

kafka学习总结

kafka学习总结https://github.com/apache/kafkakafkastreaming：http://www.atatech.org/articles/59015无状态计算：数据分发和过滤
阿来007·2020-06-22 13:45

kafka学习总结010 --- 实际项目中遇到的问题1

前段时间实际项目中遇到了一个问题，特此整理下配置信息1.kafka集群采用经典部署方式，3节点2.为了保证全局消息有序性，topic只有一个分区，三个副本3.生产者和消费者均只有一个，均以主备微服务方式部署4.消费者通过TCP方式将数据发送给其他服务，这里用对端代替问题现象对端收到的稳定数据突然丢失，引发一系列问题原因排查1.排查消费者消息日志，可以看到：由于网络问题，消费者异常重启；但是针对该场
光头用沙宣·2020-06-22 13:00

Kafka学习之五 Kafka架构以及设计原理

1、架构图Producers、Kafkabroker、consumers，它们分别运行在不同的节点2、设计思想consumergroup：各个consumer可以组成一个组，每个消息只能被组中的一个consumer消费，如果一个消息可以被多个consumer消费的话，那么这些consumer必须在不同的组。消息状态：在Kafka中，消息的状态被保存在consumer中，broker不会关心哪个消息
宝哥-NO1·2020-06-22 00:32

Kafka学习之二 Kafka基本安装使用方法

1、安装a.首先安装JRE/JDKLinux安装JDKb.下载kafka进入下载页面：http://kafka.apache.org/downloads.html选择Binarydownloads下载（Sourcedownload需要编译才能使用）/bin启动和停止命令等。/config配置文件/libs类库c.解压kafka_2.11-0.9.0.1.tgzd.修改配置Kafka默认开启JVM压
宝哥-NO1·2020-06-22 00:01

Kafka学习进阶(五)--记一次线上调优(max.request.size)和kafka线上解决思路

2019独角兽企业重金招聘Python工程师标准>>>一、回顾kafka的知识点和问题陈述前面几篇kafka文章，介绍从搭建到优化。Kafka消息队列学习(一)--场景和搭建;Kafka消息队列学习进阶(二)--项目实战;Kafka消息队列学习进阶(三)--原理概念介绍篇;Kafka消息队列学习进阶(四)--优化(配置/代码/集群);以上都是在test和uat环境进行测试和迁移数据的，最近迁移项目
weixin_34278190·2020-06-21 11:48

Kafka学习笔记（一）

Kafka介绍从事Java开发三年了，但是一直没写过什么分享，在项目组同事的建议下，在接下来的几篇中给大家介绍一下Kafka，主要让大家对它的使用、配置有个大概的认识。本人喜欢看书，但是不爱看实体书，因为不方便，图灵社区（http://www.ituring.com.cn/）和亚马逊是我经常关顾的，给大家推荐一下。接下来让我们进入正题。Kafka是最初由Linkedin公司开发，是一个分布式、支持
一个帅哥的人生·2020-06-21 10:50

kafka学习笔记：知识点整理

一、为什么需要消息系统1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：因为消息队列解耦了你的处理
weixin_30393907·2020-06-21 09:14

Kafka学习总结、Kafka与RabbitMQ的区别

初识KafkaKafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消息处理业务系统中，Kafka都有广泛的应用。Kafka将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。特性高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题可以分多个分区,
吉诺比利20·2020-06-21 08:48

ELK+Kafka学习笔记之搭建ELK+Kafka日志收集系统集群

0x00概述关于如何搭建ELK部分，请参考这篇文章，https://www.cnblogs.com/JetpropelledSnake/p/9893566.html。该篇用户为非root，使用用户为“elk”。基于以前ELK架构的基础，结合Kafka队列，实现了ELK+Kafka集群，整体架构如下:#1.两台es组成es集群;（以下对elasticsearch简称es）#2.中间三台服务器就是我的
dengxiangbao3167·2020-06-21 00:29

Kafka学习之一 Kafka是什么，主要应用在什么场景?

1、kafka是什么？Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。2、产生背景Kafka是一个消息系统，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（
宝哥-NO1·2020-06-20 22:09

Kafka学习之四 Kafka常用命令

Kafka常用命令以下是kafka常用命令行总结：1.查看topic的详细信息./kafka-topics.sh-zookeeper127.0.0.1:2181-describe-topictestKJ12、为topic增加副本./kafka-reassign-partitions.sh-zookeeper127.0.0.1:2181-reassignment-json-filejson/part
宝哥-NO1·2020-06-20 22:38

kafka学习总结009 --- HW和LEO

本章要说的HW和LEO和ISR有关联，ISR之前总结过，这里不再说。HW---HighWatermark（高水位），用于标识特定的offset，消费者只能拉取到HW之前的消息LEO---LogEndOffset，某个分区要写入下一条消息的offsetLSO---LogStartOffset，某个分区起始的offset接下来总结下ISR与HW/LEO的关系前提：某分区有3个副本，当前状态下，HW和L
光头用沙宣·2020-06-19 21:00

kafka学习笔记

一、什么是Kafka？Apachekafka是一个开源的分布式消息队列，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目，该项目的目的是为处理实时数据提供一个高吞吐量、低等待的平台。二、kafka架构1）Producer：消息生产者，向kafkabroker发消息的客户端2）Consumer：消息消费者，向kafkabroker取消息的客户端3）Topic：对消息进行归类4）
张南生·2020-05-29 07:00

Kafka学习理解-listeners配置

参考:https://www.jianshu.com/p/52a505354bbclistenersbroker服务器要监听的地址及端口.默认是localhost:9092,0.0.0.0的话,表示监听本机的所有ip地址.本机配置:localhost:只监听本机的地址请求,客户端也只能用localhost来请求127.0.0.1:同localhost,在请求上可能有与区分,看client的请求吧.
孙行者、·2020-05-14 20:00

Kafka学习笔记

Kafka学习笔记内容大部分引用自Info-ApacheKafka：下一代分布式消息系统原文作者AbhishekSharma的项目Kafka-Message-Server介绍Kafka是使用scala语言开发
200cc·2020-03-16 10:29

kafka学习总结

kafka概述基于2.0kafka架构图：整个生成消费里分四块Producer、Borker，Consumer和zk。1、Producer，负责生产数据2、Consumer，负责消费数据，Consumer可以分为多个组，组里可以包含一个或多个Consumer，组内只能消费同一条消息一次，不同的组可以重复消费同一条消息。3、ZooKeeper，注册中心，会记录集群信息4、Borker，一个独立的Ka
知而乐者·2020-03-14 11:19

kafka学习资料推荐

更多详情请戳lanyinbin.cn参考资料推荐英文部分：1.官网：ApacheKafka2.JIRA列表：Kafka-ASFJIRAKafkaissue列表，使用关键字去搜索你碰到的实际问题3.KafkaKIP：KafkaImprovementProposals可以看到最新的Kafka新功能提议及其讨论4.Kafka设计文档：Index-ApacheKafka-ApacheSoftwareFou
yinbin_code·2020-03-07 11:18

kafka学习笔记：知识点整理（转载）

kafka学习笔记：知识点整理转载网址：http://www.cnblogs.com/cyfonly/p/5954614.html一、为什么需要消息系统1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束
小小少年Boy·2020-02-12 13:19

kafka学习笔记

1、kafka简介kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理百万级QPS（每秒访问次数）的动作流数据。2、kafka名词解释producer：生产者consumer：消费者。topic:消息以topic为类别记录,Kafka将消息分门别类,每一类的消息称之为一个主题(Topic)。broker：以集群的方式运行,可以由一个或多个服务组成，每个服务（server）叫做一个broke
木人呆呆·2020-02-09 07:01

Kafka学习笔记（一） ：为什么需要Kafka？

我们在学习一个东西的时候，往往只有真正了解它背后的含义，才能一步一步的掌握它，直到运筹帷幄。对于Kafka来说，我也是一个小白，本篇文章我就以一个小白的角度来初探一下Kafka，本篇文章基于官方文档，顺便说一句官方文档真的很重要，且读且珍惜。背景Kafka最早是由LinkedIn公司开发的，作为其自身业务消息处理的基础，后LinkedIn公司将Kafka捐赠给Apache，现在已经成为Apache
三分青年·2020-02-08 21:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他