kafka-

Kafka - 指定offset进行消费

Kafka-指定offset进行消费在网上搜索之后发现了，从消息队列最开始的位置对数据进行消费，主要代码如下：StringtopicName="A25";//用于分配topic和partitionconsumer.assign
寒沧·2020-06-27 01:52

kafka-基本概念和使用场景

生产者负责把消息发送到消息引擎的某个主题下的分区。主题是消息的分类，一般用来区分业务。分区是对主题的进一步划分，是消费者订阅消息的最小单元；订阅某个主题的消息，默认指定了一个分区。一个分区内的消息是有序的。消费组消费者所在的组，同一个组可以收到主题下的所有消息，组内的消费者处理主题下某个分区的消息。消费者处理发送到消息引擎的消息，组内的每个消费者（组内有多个消费者）只处理消费组接受到的部分消息。当
亮博士·2020-06-26 14:39

简读笔记-深入理解kafka-第一部分

第一章初始kafka参考书籍：朱小厮--深入理解Kafka核心设计与实践原理Kafka体系结构Kafka体系架构包含若干Producer,若干Broker,若干Consumer,以及一个Zookeeper集群。Zookeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作。Producer：生产者，即发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中Broker：一个独立的
你的头发真的好长·2020-06-26 00:09

[实战]Kafka－入门

Kafka实战－入门-哥不是小萝莉-博客园http://www.cnblogs.com/smartloli/p/4530117.html2.Kafka背景Kafka它本质上是一个消息系统，由当时从LinkedIn出来创业的三人小组开发，他们开发出了ApacheKafka实时信息队列技术，该技术致力于为各行各业的公司提供实时数据处理服务解决方案。Kafka为LinkedIn的中枢神经系统，管理从各个
葡萄喃喃呓语·2020-06-25 16:45

flume自定义拦截器：根据业务数据中的时间戳实现数据在hdfs中的正确分区

业务场景：埋点数据落hive表，且埋点数据中带有数据产生时的时间字段业务流程：kafka->flume->hdfs->hive问题：晚到的埋点数据会落到哪个分区中9点产生的埋点数据由于数据上报或者flumesink
me凡·2020-06-25 08:22

kudu性能优化

一.背景一个实时业务，数据流app->nginx->lua->kafka->sparkstreaming->kudu->zepplin。打开zepplin，实时数据出不来。看不到。
longxibendi·2020-06-24 08:53

Flink 1.10.0应用场景，kakfa->flink->kafka/mysql/es/hive/hdfs

Flink1.10.0部署文档：https://blog.csdn.net/RivenDong/article/details/104416464应用场景：1、kafka->flink->kafka：https
源神·2020-06-22 10:13

kafka消费者

Kafka-生产者生产者主要是负责向broker写消息。
夜影_61aa·2020-06-22 07:31

ELK + Kafka + Filebeat学习

ELK+Kafka+Filebeat学习目录：1、ELK+Kafka+Filebeat架构2、为什么要使用ELK3、验证流程：Filebeat->Logstash->Kafka->Logstash->Elasticsearch
Remoa·2020-06-22 04:28

认识KafKa-深入解析Leader和Follower数据同步机制（HW，LEO概念）

HWvsLEOLEO（LogEndOffset）：表示每个partition的log最后一条Message的位置。HW（HighWatermark）：表示partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个Broker缓存中维护此信息，并不断更新。是指consumer能够看到的此partition位置。取一个partiti
@TangXin·2020-06-21 21:19

大数据实战之Logstash采集->Kafka->ElasticSearch检索

1.Logstash概述Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop、Flume、Logstash，计划将单独写一篇博文论述它们之间的区别，所以这里就不赘述，感兴趣可关注后期
超新星X·2020-06-21 14:15

Kafka+Log4j实现日志集中管理

第一部分搭建Kafka环境安装Kafka下载：http://kafka.apache.org/downloads.htmltar zxf kafka-.tgzcd kafka-启动Zookeeper启动
十色花·2020-06-21 14:21

玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理

->Kafka->Logstash->
weixin_34355559·2020-06-21 11:28

ELK体系大型日志分析集群方案设计.搭建.调优.管理

此文为原标题“玩儿透日志分析集群搭建.调优.管理rsyslog->kafka->spark->elk”的更改版。
weixin_34115824·2020-06-21 11:14

Kafka基本概念

这在过程中看到了朱忠华老师的一本书叫《深入理解Kafka-核心设计与实现原理》,书中的第一章第一节介绍的就是Kafka基本概念。个人觉得内容言简意赅，特记录于此。
Tiny-V·2020-06-10 16:02

pinot + gobblin

kafka-topics.sh--zookeeperlocalhost:2181--create--topiceventOLAP--partitions1--replication-factor13.查看topicbin/kafka
曹振华·2020-04-12 16:53

kafka生产者

Kafka-生产者生产者主要是负责向broker写消息。
夜影_61aa·2020-04-06 21:25

记一次elasticsearch删除悬空索引（Dangling indices)操作

服务器运行环境信息:filebeat->kafka->logstash->es软件版本：es:6.6.1；3个master+node；1个协调节点，共4个节点背景：朋友公司因为es集群因为之前升级的原因
梦轻尘·2020-04-03 14:00

搭建-kafka-测试集群

申请机器联系OP同学申请机器，Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉，是否可用偶数，其实没必要。如果有四台那么挂掉一台还剩下三台服务器，如果在挂掉一个就不行了，这里记住是超过半数。找到如下3台机器：10.159.1.4010.159.1.4110.159.1.42安装基础环境安装Java环境支持
FrankYu·2020-02-25 02:17

【kafka-部署】docker快速构建kafka测试环境（单机）

1、下载kafka和zookeeper镜像dockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka2、启动容器这里zk对应宿主机的端口不设置，默认随机分配。若想查看zookeeper映射的宿主机端口可用dockerps-a查看。dockerrun-d--namezookeeper-p2181--volume/etc/localtime
粮忆雨·2020-02-16 23:42

[转]Kafka到Hdfs的数据Pipeline整理

作者：Syn良子出处：http://www.cnblogs.com/cssdongl转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka->Flume–>
一枚小码农·2020-02-15 22:51

Kafka - 偏移量提交

Kafka-偏移量提交一、偏移量提交消费者提交偏移量的主要是消费者往一个名为_consumer_offset的特殊主题发送消息，消息中包含每个分区的偏移量。
寒沧·2020-02-14 09:09

kafka-生产者、消费者示例

生产者示例Producer.javaimportjava.util.Properties;importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerRecord;importorg.apache.kafka.common.KafkaException;i
huryer·2020-02-03 16:24

ELK + kafka + filebeat +kibana

架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境cat/etc/redhat-releaseCentOSrelease6.5
章成·2020-01-04 08:32

logback+kafka+elk搭建日志

系统流程:logback->kafka->logstash->elasticsearch->kibana本例的操作系统是在windons，Jdk:1.8.1、logback介绍：logback:是由log4j
https迷路了·2020-01-02 13:03

kafka- windows与springboot2.1.X下使用并控制启动

1.kafka的搭建需要依赖zookeeper,现官网最新版已经内置了zookeeper,此处使用内置的ZK.先去官网下载kafka,kafka参考:https://blog.csdn.net/woshixiazaizhe/article/details/80610432image.png,下载后解压目录格式如图image.png其中config是配置文件,复制一下这个文件夹,放到bin/wind
七枷琴子·2019-12-08 07:13

Kafka-快速入门

一.windows下环境配置必须提前安装好jdkkafka官方文档下面步骤按照官方文档操作下载2.3.0版本解压目录不应该有空格。\kafka_2.12-2.3.0\bin目录下的.sh文件就是kafka的shell脚本，我们会发现，bin目录下还有一个windows文件夹，里面包含很多.bat文件，这些是windows批处理命令，也就是说我们下载的这个包可以在Linux和windows平台运行。
open-Xu·2019-11-26 10:38

Kafka-增加Kafka Topic的分区复本数(0.8.2.1)

原文链接：https://blog.csdn.net/weixin_37648944/article/details/80812734增加KafkaTopic的分区复本数(0.8.2.1)2018-06-2611:25:26weixin_37648944阅读数51说明Kafka提供了一个工具，用于调整Topic中各个分区的复本数据。工具名称叫kafka-reassign-partitions.sh
HOLD ON!·2019-10-23 15:17

kafka-0-大纲

kafka-简介定义基础概念特性应用场景kafka-集群部署准备工作zookeeper单机集群kafka单机集群常用配置说明kafka-部分原理topic&partition&segment定义partition
while·2019-10-15 04:02

记录一次服务优化的经历

我们的服务使用的是springcloud，出现问题的流程大概架构是，message_producer->kafka->message_consumer->elasticsearch。
李斯特王·2019-09-19 18:00

kafka更换broker.id后启动失败问题解决

/bin/kafka-
Joker_Fei·2019-09-05 15:48

kafka-介绍

根据官网介绍，kafka是一个分布式流处理平台，他提供了一下这些功能：1、发布、订阅功能。2、持久化存储所有消息记录。3、实时处理消息。它通常被应用与两个大类应用：1、构建系统和应用程序之间的实时数据通道。2、构建转换数据流的应用程序。kafka的一些概念：1、producer：消息的生产者2、consumer：消息的消费者3、topic：消息的分类4、broker：kafka节点5、consum
冷冰若水·2019-09-04 02:00

MySQL Error log监控

MySQLErrorlog监控告警日志监控其实比较简单了,怎么做都行.目前我们这里是使用下面的方法FileBeat采集日志->Kafka->自己写脚本消费出来->企业微信机器人告警[外链图片转存失败(img-HYnGH6Bz
Fan_-_·2019-07-21 10:19

kafka-踩坑

1环境搭建我是学习，只在阿里云服务器上搭建了一个独立的kafka，在搭建环境的时候遇到的一些坑如下：kafkaserver.properties配置文件中的：listeners=PLAINTEXT://IP:9092这里我尝试了IP设置成外网和localhost，就是通过IP访问阿里云的外网IP，然后运行结果会报错，起不来kafka。查阅资料说的是设置成本机的IP，使用ifconfig查看阿里云的
MonkeyBrothers·2019-07-09 13:08

kafka-高性能秘密

利用Partition实现并行处理机器间的并行处理磁盘间的并行处理一个Partition只能被一个Consumer消费Partition的个数决定了最大并行度ISR实现CAP中可用性与数据一致性的动态平衡由于Leader可移除不能及时与之同步的Follower，故与同步复制相比可避免最慢的Follower拖慢整体速度，也即ISR提高了系统可用性。ISR中的所有Follower都包含了所有Commi
小蜗牛也有梦想·2019-06-03 13:52

中间件之Kafka-总领篇

本篇为中间件之Kafka的总领篇，让我们开始愉快地学习Kafka的知识，领略它的独特风骚吧！相信学完本系列，你就从Kafka小白变成精通Kafka的专家了。本系列文章分为五个部分：第一部分，初识Kafka；第二部分，Kafka入门篇，主要介绍Kafka的安装和使用以及Java开发中常用的API，熟悉相关的配置。第三部分，Kafka进阶篇，主要介绍Kafka的一些实现机制。第四部分，Kafka高级篇
oytf10001·2019-05-12 17:10

zabbix监控kafka-监控项

描述：所有的topic的消息速率(消息数/秒)Mbean名："kafka.server":name="AllTopicsMessagesInPerSec",type="BrokerTopicMetrics"正常的值：描述：所有的topic的流入数据速率(字节/秒)Mbean名："kafka.server":name="AllTopicsBytesInPerSec",type="BrokerTopi
itxuezhe·2019-05-09 13:08

kafka学习（6）-Springboot整合kafka-消费者手动

目录1、场景2、代码2.1、生产者、消费者配置文件2.2、生产者发送100条测试数据2.3、消费者收取100条测试数据-自动2.4、消费者收取100条测试数据-手动2.4.1、手动提交注释不打开2.4.2、手动提交注释打开1、场景上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。但是offset下标自动提交其实在很多场景都不适用，因为自动提交是在kafka拉取到数据之
^果然好^·2019-04-28 13:32

Kafka-初识

Kafka的简介什么是KafkaKafka是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由LinkedIn公司开发，使用Scala语言编写，之后称为Apache基金会一个顶级项目。kafka提供了类似JMS（JavaMessageService）的特性，但是在设计和实现上是完全不同的，而且他也不是JMS规范的实现。Kafka产生背景kafka作为一个消
DK_ing·2019-04-18 22:51

kafka搜索介绍

kafka详解https://blog.csdn.net/liubenlong007/article/details/55211196##11.2Kafka诞生Kafka由linked-in开源kafka
dci75702·2019-03-19 14:00

ELK体系大型日志分析集群方案设计.搭建.调优.管理

此文为原标题“玩儿透日志分析集群搭建.调优.管理rsyslog->kafka->spark->elk”的更改版。
loveelva30·2019-01-21 16:17

【kafka-开发】修改topic分区及副本数

一、查看及修改topic分区查看已有topic信息并修改分区./bin/kafka-topics.sh--describe--zookeeperhdc-data1,hdc-data2,hdc-data3:2181--topicprod_log_simul./bin/kafka-topics.sh--alter--zookeeperhdc-data1,hdc-data2,hdc-data3:2181
粮忆雨·2019-01-17 16:30

认识KafKa-数据一致性参数

partitions数据一致性KafKa中Producer发送消息到Broker，Broker有三种返回方式，分别为Noackleadercommit成功就ackleader和follower同时commit成功才返回ack第三种方式是数据强一致性request.required.acksproducer向leader发送数据时，可以通过request.required.acks参数设置数据可靠性
@TangXin·2019-01-11 16:30

【转】kafka-文件存储机制详解

文章转自“美团技术博客”：https://tech.meituan.com/Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言一个商业化消息
yoylee_web·2019-01-03 15:52

kafka-如何保证消息的可靠性与一致性

在kafka中主要通过ISR机制来保证消息的可靠性。下面通过几个问题来说明kafka如何来保证消息可靠性与一致性在kafka中ISR是什么？在zk中会保存AR（AssignedReplicas）列表，其中包含了分区所有的副本，其中AR=ISR+OSRISR（insyncreplica）：是kafka动态维护的一组同步副本，在ISR中有成员存活时，只有这个组的成员才可以成为leader，内部保存的为
yoylee_web·2019-01-03 14:06

从Kafka到Hdfs的一些pipeline

找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka->Flume–>HadoopHdfs常用方案,基于配置,需要注意hdfs小文件性能等问题.GitHub地址:https
qwerpou·2018-11-06 15:14

Kafka-知识点

常用命令createtopic:./bin/kafka-topics.sh--zookeeperip:port--create--topictopicName--partitions3--replication-factor3findtopic-list:./bin/kafka-topics.sh--zookeeperip:port--listfindonetopic:./bin/kafka-to
summer320X·2018-10-09 17:14

KafKa-分布式消息队列

背景不同的服务器为了平衡不能的处理能力，降低耦合，平衡两者的处理能力的不同，分布式消息队列就出现了kafka的设计动机数据的生产者和消费者的耦合度过高生产者和消费者的数据处理速率不同大量的并发的网络连接对后端消费不太友好kafka可应用的领域消息中间件消息队列（不同于activemq等单机消息队列）发布订阅系统消息总线kafka的特点kafka是在大数据的背景下产生的，能应对海量的数据高性能（单机
一个喜欢烧砖的人·2018-09-15 20:41

Kafka和ElasticSearch的整合

三种方案Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序)Kafka->kafka-connect-elasticsearch->elasticsearch
define_us·2018-08-21 10:51

kafka 总结

kafka-零字节拷贝1.数据从内核复制到套接字缓冲区2.从套接字缓冲区复制到NIC(网络适配器)缓冲区--网络传输传统:1.数据从磁盘读取到内核空间的pagecache中2.应用程序从内核空间读取数据到用户空间缓冲区
dymkkj·2018-07-30 03:47
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他