kafak 第5页

Flink——状态管理

从kakfa里面处理数据，但是kafak里的数据有些是重复的，需要在流处理系统里面进行去重，所以需要知道已经有的数据的id，那我们怎么知道呢需要与以前的历史数据进行比较等操作，但是又不想每次都到数据库里面去查

老郑来了·2020-07-15 16:50

kafaka安装测试

一、java环境的配置1.登录网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载并安装jdk1.8，在usr目录下建立java安装目录，解压tar-zxvfjdk-8u152-linux-x64.tar.gzmkdir/usr/local/javamvjdk1.8.0_15

wuwuwulelele·2020-07-15 09:21

消息队列（Message Queue）基本概念（转）

另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。

weixin_33935505·2020-07-13 18:09

【原创】如何确定Kafka的分区数、key和consumer线程数

在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数？

weixin_33694172·2020-07-13 17:41

kafka 分区和副本以及kafaka 执行流程，以及消息的高可用

1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。卡夫卡以topic分类对记录进行存储，每个记录包含k

朱智文·2020-07-13 15:05

Message Queue - MQ Intro

另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。

screaming·2020-07-13 13:14

Kafka与ActiveMQ区别

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。

米糕思密达·2020-07-13 03:02

kafaka，activityMQ，rabbitMQ消息中间件对比

kafaka，activityMQ，rabbitMQ消息中间件对比说明本次测试，使用kafaka，activityMQ，rabbitMQ消息中间件进行对比，均采用一个消息队列，测试中间件在收发消息时时延

Asia1752·2020-07-12 23:55

xxexporter+prometheus+grafana监控常用的docker/mysql/es/kafaka/nginx/springboot2+jvm等中间件

模板id监控内容其它主要依赖安装8919system中文node-exporter参考https://blog.csdn.net/qq_39506978/article/details/10426782310280/4701jvm/接口micrometerspringboot2.X参考https://blog.csdn.net/qq_39506978/article/details/1043208

jwolf2·2020-07-11 19:23

kafak producer 配置介绍

producer的配置中，bootstrap.servers、key.serializer、value.serializer这三个是必须的。接下来我们介绍一些重要的配置，更详细的配置，请参考官网：https://kafka.apache.org/documentation/#configuration1、buffer.memory、max.block.ms、batch.size、linger.ms

赶路人儿·2020-07-11 11:19

zookeeper原理解析

zookeeper使用实例在kafaka集群中，通过Zookeeper管理集群配置，选举leader，以及在co

深山猿·2020-07-11 07:33

kafka 第一次启动，报错Connection to node -1 could not be established. Broker may not be available

1couldnotbeestablished.Brokermaynotbeavailable.有相同问题的小伙伴可以参考一下解决办法Kafka安装环境网上很多宝宝说Kafkawin环境运行不稳定，有Bug，奈何我很懒惰不想搭建虚拟机，所以就将Kafak

baidu_35875876·2020-07-11 02:58

windows环境下配置Kafaka

一.安装Zookeeper(Kafaka依赖于zookeeper进行服务注册和管理)1.1下载zookeeper：http://mirror.bit.edu.cn/apache/zookeeper/1.2

aishun8091·2020-07-11 01:23

kafka配置文件详解：consumer.properties

consumer作为kafak核心组件之一，学习和分析它是很有必要的。consumer配置文件在kafak的config目录下，配置好它在以后的学习和工作中都可以起到事半功倍的效果。

小光头T-T·2020-07-10 23:41

python3-使用pykafka模块连接kafka

前言最近有个日志需求，因为太过频繁，且还要有通过日志的频率来启动报警机制，于是想到使用kafka来做，下面就主要记录一下pthon怎么使用kafaka，我这边使用的pyKafka，至于什么是kafka，

Fu_Lin_·2020-07-10 16:22

Kafka性能基准测试、Kafak生产者吞吐量测试、Kafka消费者吞吐量测试、BenchMark 10

前言_BenchMarkBenchMark是一个系统性能的测量工具，也可以看做是一种评价方式主要测试负载的执行时间、传输速度、吞吐量、资源占用率等对系统进行性能基准测试后，将得到基准数据作为性能指标的参照物，可以用于以下场景1.任意一项变更为系统产生的影响修改某项配置参数后（启用某项参数），系统的变化情况2.系统环境的变更对系统性能产生的影响3.在相同场景下，不同框架的系统性能表现的差异一些大数据

啊策策·2020-07-10 10:03

Spring Cloud学习总结

微服务间一般采用HTTP进行通信，也可以用轻量级的消息总线RabbitMQ、Kafaka进行通信。通信协议Json（轻量、可读性好）、XML（重量、可读性一般）、Protobuf（超轻量、无可读性）。

weixin_39881169·2020-07-10 09:25

kafka 测试案例

启动自带的zookeeperbin/zookeeper-server-start.shconfig/zookeeper.properties可以打开zookeeper中的zkCli.sh查看节点二.启动kafakabin

任小辉·2020-07-10 01:35

Kafka Java API使用Demo

不清不慎·2020-07-09 23:46

SpringBoot整合Kafka实现生产消费

项目源码：https://gitee.com/yearns/yearns-kafka首先我们看下项目的基本结构：KafakaConsumer.java主要为消费者，监听消息。

Y丶yearns·2020-07-09 22:00

Spring-同个接口注入多个实例

这个时候如果直接使用@Autowire注入有可能就会报错,下面就把常用解决方法阐述一下:比如下面这个服务接口,就有多个实现//生产消息服务接口publicinterfaceIProducerService{}//使用kafak

贾红平·2020-07-09 21:56

Kafka Connect 分布式部署方案

前言：Zookeeper、Kafak的集群部署这里不过多说明。版本：Kafka2.3。

聆听金生·2020-07-08 19:58

RocketMQ 学习笔记

RocketMQ简介1.RocketMQ是一个队列模型的消息中间件，具有高性能，高可用，高实时等特性，它并不支持JMS（java消息服务）规范，但参考了JMS规范和kafak等的思想。

半路入行的码农·2020-07-08 10:16

Kafka简记

1.消息的产生生产者Producer产生消息,消息在创建的时候，需要指定特定的主题，然后将消息发送到broker主机中；2.消息的写入当消息被创建时，注意Kafak

给我一个自信的表情·2020-07-07 13:17

Kafaka高可用集群环境搭建

Kafaka高可用集群环境搭建zk集群环境搭建：https://www.cnblogs.com/toov5/p/9897868.html三台主机每台的Java版本1.8下面kafka集群的搭建：3台虚拟机均进行以下操作

Art&Code·2020-07-07 03:25

关于spark core 和spark streaming 的区别

目录1.sparkcore快速使用简单通用运行灵活多种运行模式访问多种数据源总结2.sparkstreaming原理，概念，特点整合kafaka1.sparkcoresparkcore是一个基于内存的，

大数据王一·2020-07-06 23:07

为什么物联网大数据平台，使用TDengine，可不要redis, kafka, spark等软件？

但TDengine的核心功能是时序数据库，而大数据处理平台往往还需要有消息队列、缓存、流式计算等功能，怎么能不要Redis,Kafak,Spark这些软件

星河子_YumWisdom·2020-07-04 04:19

Spark Streaming sample

kafkawgethttp://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgztarzvxfkafkacdkafaka

null0007·2020-07-02 11:09

企业数据湖和Lambda架构原理——实践技术组件、各模块涉及的技术框架（一）

各模块涉及的技术框架（一）(间断持续更新…)目录数据湖概览Lambda架构：一种数据湖的实现模式数据湖中Lambda中的应用数据获取层批数据获取：ApacheSqoop流数据获取：ApacheFlume消息层Kafaka

飞朋·2020-06-30 19:04

Kafka MQ使用手册

kafaka以一个或者多个服务器组成的集群的形式运行，每个服务器被称为broker。Kafka客户端和服务器端通过T

zollty·2020-06-30 18:51

解决flume整合kafka报错Attempt to heart beat failed since member id is not valid, reset it and try to re-jo

报错情景:由flume监听文件,分类发送到kafka的两个topic,再由两个flume(f1,f2)监听这两个topic,但是报错:原因:f1,f2监听kafak时,因为没有配置group.id,则f1

zisuu·2020-06-30 18:58

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie

zhengdesheng19930211·2020-06-30 15:39

ELK平台性能优化（不断完善中）

架构层面在logstashshipper和index之间增加redis或kafaka代理缓存ElasticsearchES系统性能让JVM使用OS的max-open-filesulimit-n1000000es_parms

笑天居士·2020-06-30 03:09

kafka+zookeeper集群搭建

看了网上一批的集群搭建，自己也写一个kafak的集群搭建，搭建很简单，难的是这么用java工程去发这消息。

小淼同学·2020-06-30 00:37

centos7 Graylog3 最新版安装部署与使用详解

而且ELK是一个解决方案，在其中包含很多软件，不单elasticsearch,kibana,logstash,还需要redis或kafaka，收集日志还需要不同的beats，整个结构非常复杂，且占用较多资源

Amos_x·2020-06-29 00:15

kafaka环境搭建

激动无比，终于成功搭建了一套集群的kafka，记录下我的搭建步骤，供大家参考，如有不对，请指正：1.集群搭建首先搭建一个一主三从（或一主两从）的集群，2.配置jdk环境需要是jdk8的包我的是ubuntu14,需要预选准备jdk包，然后解压配置环境变量路径：/usr/local/jdk解压：tar-zxvfjdk-8u191-linux-x64.tar.gz配置环境变量编辑/etc/profile

weixin_38169206·2020-06-28 20:37

5分钟学会RocketMQ

RocketMQ简介RocketMQ是一个队列模型的消息中间件，具有高性能，高可用，高实时等特性，它并不支持JMS（java消息服务）规范，但参考了JMS规范和kafak等的思想。

H_Man·2020-06-27 21:52

kafka在windows环境下的搭建和使用

path=/kafka/2.2.0/kafka_2.11-2.2.0.tgz)注意到一点就是：kafaka下载时要下载二进制文件版本（binary）2.新版本kafka内置了zookeeper,所有下载后解压后

xiaoshengMr·2020-06-27 12:40

ELFK日志平台入门4---Kafka集群搭建

Elasticseach集群搭建ELFK日志平台入门3---Kibana搭建ELFK日志平台入门4---Kafka集群搭建ELFK日志平台入门5---Logstash+Filebeat集群搭建这个章节我们介绍下Kafaka

斑马工·2020-06-27 09:07

Kafka 单机和分布式环境搭建与案例使用

UbuntuServer16.042、kafka_2.11-0.11.0.0一、单机环境搭建官方参考文章：http://kafka.apache.org/quickstart1、下载和解压安装包这里下载了zookeeper和kafaka

徐刘根·2020-06-26 23:31

Kafka数据丢失和重复消费分析

Kafaka如果将数据使用file方式作为缓存，则文件在磁盘上，数据不会丢失，若采用memory方式，则只能通过添加partition副本方式来备份数据，因为若Kafk

sock_bong·2020-06-26 18:17

kafaka发送接收消息stream方式实例

1.配置文件input为接收，output为发送如果发送接收在同一个程序中，则不需要加上consumer:headerMode:raw，如果本程序仅是接收消息进行消费，需要加上consumer:headerMode:rawspring:cloud:stream:bindings:input-collect:contentType:text/plain;charset=UTF-8destinatio

seapeak007·2020-06-26 08:19

kafka与rabbitMQ的区别-kafaka提交者的回答翻译

丁力士·2020-06-25 12:58

spark-streaming使用spark-ML模型实时预测

HDFS，需要在实时计算里面使用提前训练好的模型，解决方案如下：1、通过转换序列化方式，把模型转换成可以被其他语言调用的方式，如：java、python2、在spark-streaming中使用具体读取kafak

九指码农·2020-06-24 23:25

基于cdh的Kafka+Flume配置（详细，成功运行）

Kafka集群26测试数据3二Flume51版本选择52修改Flume相关配置文件53配置全局变量64启动Flume65测试数据7三Flume+Kafka测试启动命令101Flume启动测试命令102Kafaka

卢子墨·2020-06-24 09:04

flume之自定义sink组件

flume内部提供了很多种sink，如：logger、file_roll、avro、hdfs、kafak、es等，方便直接将event数据对接到本地磁盘、或者其他第三方存储中。

赶路人儿·2020-06-24 07:48

Kafka VS ActiveMQ