Kafak

kafka 配置文件详解：producer.properties

Producer作为kafak核心组件之一，学习和分析它是很有必要的。producer配置文件在kafak的config目录下，配置好它在以后的学习和工作中都可以起到事半功倍的效果。
小光头T-T·2020-08-23 00:25

【RabbitMQ】异步任务

MQ的产品有灰常多，像什么MSMQ、activeMQ、RocketMQ、RabbitMQ、kafak等。在此之前先谈一谈对消息队列的理解。
LemmonTreelss·2020-08-22 17:10

kafka入门示例(Java)

上篇说到kafka在window环境下的搭建之后，这篇我们就开始尝试写一个简单的producer和consumer来测试了依次启动bin/windows下的zookeeper-start.bat和kafak-start.bat
z2012c·2020-08-22 15:29

消息队列（Message Queue）基本概念

另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。
ningg.top·2020-08-22 01:58

Kafak+Flink实现词频统计demo

整个demo流程均在win10操作系统完成，过程中使用的所有组件都以单机模式安装在本地，整个流程可看作flink版本的helloworld。实现基本功能是在kafka生产者输入一串以空格分隔的字符串，最终计算后得到每个字符串的出现频次。环境准备zookeeper安装：使用的v3.4.13版本，官网下载安装包，解压缩，修改conf下的zoo_sample.cfg文件，主要注意如下所示#thedire
厉兵秣马的菜鸟·2020-08-21 05:53

spring cloud 搭建（kafka 入门（二））

前面一篇，将了如何配置kafak：https://blog.csdn.net/hanjun0612/article/details/107667389这一篇在上面的基础，扩展成2个微服务。其实很简单。
正怒月神·2020-08-21 03:09

Scala和Java的语法差异(转)

目前spark、kafaka等流行的大数据处理的软件都是由scala编写。1语法差异罗列下面介绍一些scala语言和java语言差异点,通过简单罗列的方式
生活的探路者·2020-08-20 10:10

消息队列－Metaq(RocketMQ)原理

和kafak的一些差异如下，可以考虑差异使用：文本协议设计，透明。纯java实现，kafka是scala实现。提供事务支持，包括本地事务和XA分布式事务。
anboyyd·2020-08-20 06:22

Nginx容器动态流量管理方案-nginx-upsync-module+nginx_upstream_check_module初体验

初步方案，lvs做４层负载均衡，下挂nginx做7层转发，数据直接入kafaka。一直不太喜欢通过reload修改nginxupstream，刚好看到微博的u
yueguanghaidao·2020-08-19 22:57

Spring Cloud 发展史

从知乎上看到的,感觉很有意思,收藏一下Springboot是一个身怀绝技的武林高手，能上九天揽月下五洋捉鳖反正就是牛，他喜欢结交武林各路英雄豪杰，有MyBatis、Redis、RabbitMQ、Kafaka
zxcvb2580·2020-08-19 16:19

kafak--producer生产消息2

kafka2.10-0.10.2.1kafak–producer生产消息中学习了Producer发送消息，基本流程为5步第一步:初始化kafka参数第二步:创建生产者第三步:创建一条消息第四步:发送消息第五步
chbxw·2020-08-18 12:35

kafka_2.12-1.1.0 生产与消费java实现示例

2.1251.1.0678org.apache.cassandra9cassandra-all100.8.111121314org.slf4j15slf4j-log4j12161718log4j19log4j202122232）本机是否能telnet192.178.0.1119092（kafaka
weixin_33854644·2020-08-18 12:37

Spark-stream基础---sparkStreaming和Kafka整合wordCount单词计数

项目sprak-stream与kafak整合wordCount在IDEA上接收kafka传来的数据，并进行单词统计linux端打开kafka//1.先打开zookeeper（3台）zkServer.shstart
一行数据·2020-08-18 11:10

springboot整合kafka

安装了kafak2.3.0的前提下，并且已经打开服务。
freshbin000·2020-08-18 11:29

大数据运维3--zookeeper和kafaka的简单使用

Zookeeper概述是一个开源的分布式应用程序协调服务,它是用来保证数据在集群间的事物一致性的举例,比如A公司和B公司达成某个协议,A公司需要到B公司取对应的文件过程,这个过程叫通信的过程.计算机中的程序比较多,会出现资源争抢,这个时候会发生死锁,这时整个资源会出现运转不了.这个时候,如果有个交警,指挥资源的流动,这个时候就不会出现死锁.如下图,如果在单机上,资源XY可以打包一起,当需要访问的时
zhy-dream·2020-08-18 07:03

kafka 副本复制参数理解笔记

kafaka有几个参数来保证数据在异常情况下不丢失。一直以来都没有搞的太清楚，后来又一次看了官方的文档，然后理解了，但不知昨天又想这个事情的时候，发现又模糊了。
Potentor·2020-08-16 08:24

云服务器搭建Kafaka集群环境

从京东云上面购买了三台服务器，作为kafka集群搭建环境。下面的不是本人真实ip地址服务器简介：服务器名称服务器ip地址服务器角色备注Jd1190.168.161.26节点Jd2190.168.161.25节点Jd3190.168.161.24节点云服务器开通端口：一、安装java环境选择java1.8+及以上版本，我使用的是jdk-8u221-linux-x64.tar.gz。每台服务器均安装上
zhangfengBX·2020-08-16 04:18

kafka-manager：kafak的管理界面的安装和使用

下载打包release下载：https://github.com/yahoo/kafka-manager/releases源码位置：https://github.com/yahoo/kafka-manager从上面两处获取的都是源码，需要自己打包，才可以使用1、进入解压后的Kafka-manager目录，执行下面的命令：./sbtcleandist。如果之前从来没有用过Play框架，这个步骤会需要
weixin_30667301·2020-08-16 02:25

对于kafka消费后不提交offset的分析总结

Question:消费者在消费消息的过程中，配置参数设置为不自动提交offset，在消费完数据之后如果不手动提交offset，那么在程序中和kafak中的数据会如何被处理呢?  
Forward233·2020-08-16 00:04

centos7 安装kafak

kafka：基于发布/订阅的分布式消息系统、数据管道；最初用来记录活动数据--包括页面访问量（PageView）、被查看内容方面的信息以及搜索情况等内容和运营数据--服务器的性能数据（CPU、IO使用率、请求时间、服务日志等等数据)。Kafka是一个分布式流数据系统，使用Zookeeper进行集群的管理。kafka自己做为BrokerServer1、安装下载：去官网http://kafka.apa
追逐消失的记忆·2020-08-16 00:29

Kafak通过命令行测试发送和消费数据

Kafka安装：https://blog.csdn.net/qq_15267341/article/details/90144607下面具体测试一下：首先切换到kafka目录下的bin目录下，然后执行下面的命令创建主题./kafka-topics.sh--create--zookeeperhadoop002:2181--topicxuguozhu--partitions3--replication
海涛高软·2020-08-16 00:23

Zookeeper 在 Kafka 中的作用

Zookeeper在Kafka中的作用leader选举和follower信息同步如上图所示，kafaka集群的broker，和Consumer都需要连接Zookeeper。
共舞~·2020-08-15 23:22

springboot+kafka中@KafkaListener如何动态指定多个topic

springboot+kafka中@KafkaListener如何动态指定多个topic说明：本项目为springboot+kafak的整合项目，故其用了springboot中对kafak的消费注解@KafkaListener
Forward233·2020-08-15 21:19

流式计算Flink与其Exactly-Once语义实现

其常常被用来与Storm、Sparkstreaming和kafakstreaming等同类数据处理框架作对比，经大致总结，各框架性能对比如下表：框架StormSparkstreamingKafkastreamsFlink
笑矣乎·2020-08-15 11:06

SpringBoot+ELK+Kafaka

ELK由Elasticsearch、Logstash和Kibana三部分组件组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用。kibana是一个开源和免费的工具，它可以为Logstash
想你的夜713·2020-08-14 20:00

没想到 Kafka 还会这样问，学会这些带你轻松搞定大厂面试！

存储机制与读写流程5.1Kafka存储机制5.2读写流程5.3Kafka数据一致性六、关于kafka数据可靠性的保证6.1副本数据同步策略6.2ISR集合6.3ACK应答机制6.4故障处理细节七、关于Kafak
云 祁·2020-08-14 09:12

基于三台物理机Docker搭建kafka+ELK

Docker搭建kafka+ELK搭建zookeeper+kafaka搭建zookeeper下载zk+kafka镜像修改zoo.cfg配置文件创建数据挂载目录及myid文件修改zookeeper运行日志位置启动
wangweh·2020-08-12 13:01

Kafka简要介绍

现在Kafak作为apache的项目，被apache托管。企业应用的背景：企业集成的基本特点是把企业中现存的本不相干的各种应
zachary_OOM·2020-08-12 12:51

kafka-eagle工具安装部署

kafka-eagle工具安装部署文章目录kafka-eagle工具安装部署1、kafka-eagle概述2、环境和安装1、环境要求2、安装步骤2.1、下载源码包2.2、解压2.3、准备数据库2.4、修改kafak-eagle
DJ丶小哪吒·2020-08-12 10:41

kafka 10.版本 以上 如何删除 kafka broker 中的topic

kafka-topics.bat--delete--zookeeperIP:Port--topictopicname此时的删除并不是真正的删除，而是把topic标记为：markedfordeletion,可以尝试把kafaka
AlexFL·2020-08-11 14:27

Kafka Producer

kafakclients链接2.构造Producer2.1简单构造1.构建配置文件首先第一步是进行用户鉴权的操作
kobe_yang24·2020-08-11 05:49

kafka （confluent）学习

kafak学习1.zookeeper解惑2.kafka介绍3.模式解说4.Terminology5.图解6.command7.生命周期8.Persistence9.数据可靠性10.消息传输一致性1.zookeeper
『木头』·2020-08-11 04:51

为什么Kafka这么快[零拷贝(Zero-Copy)]？

如果想理解Kafaka为什么这么快,得先看DMA是什么.DMA:无论I/O速度如何提升，比起CPU，总还是太慢。
刘冰轩·2020-08-11 03:39

linux环境安装kafaka单机版

文章目录一、环境分布二、实战1.kafaka下载2.解压3.配置4.编写启动脚本5.编写关闭脚本6.赋予脚本可执行权限7.脚本使用案例一、环境分布软件版本jdk1.8kafakakafka_2.13-2.5.0
gblfy·2020-08-07 09:04

mq选型：rocketMq和kafka对比

为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。顺序写入因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械
加班狗的微博·2020-08-04 09:23

win10下Kafka的下载安装和测试

下载kafak是多节点broker集群式的程序组件，所以需要zookeeper来管理集群原数据，这里只需开启kafka就行。
无意的根本·2020-08-03 22:06

【Spark SQL】- 读取数据并进行一些简单的查询

people.json内容:{"name":"Michael","age":12}{"name":"Andy","age":30}{"name":"Justin","age":19}{"name":"kafak
Killbus·2020-08-03 07:58

kafak ack应答机制

ack应答机制对于某些不太重要的数据，对数据的可靠性要求不是很高，能够容忍数据的少量丢失，所以没必要等ISR中的follower全部接收成功。所以Kafka为用户提供了三种可靠性级别，用户根据对可靠性和延迟的要求进行权衡，选择以下的配置。acks参数配置:acks:0:producer不等待broker的ack，这一操作提供了一个最低的延迟，broker一接收到还没有写入磁盘就已经返回，当brok
wsw_seu·2020-08-02 22:00

kafka-connect-hbase 写入性能调优

在实践中需要将kafaka中的数据写入到hbase中，采用了kafka-connect-hbase这个扩展插件，但经过性能测试，写入速度较低，平均在200条/s左右，无法满足线上8000万数据的实时写入
Mr_小白不白·2020-07-30 18:51

Kafka 接受数据并消费到hbase数据库

一、1、生产者产生数据packagekafakaTohbase;importjava.util.Properties;importkafka.javaapi.producer.Producer;importkafka.producer.KeyedMessage
weixin_30919571·2020-07-30 17:54

Kafka 接受数据并消费到hbase数据库

一、1、生产者产生数据123456789101112131415161718192021222324packagekafakaTohbase;importjava.util.Properties;importkafka.javaapi.producer.Producer
专注于大数据技术栈·2020-07-30 16:02

使用Spark Streaming从kafka中读取数据把数据写入到mysql 实例

题目题目和数据链接:https://pan.baidu.com/s/1YVvhqy1u9rILqQWzJnNoVA提取码:twt31、以下是RNGS88强赛失败后，官微发表道歉微博下一级评论1.1、在kafak
红尘丶世界·2020-07-30 13:26

Apache Kafka 简介

ApacheKafka简介ApacheKafaka是一个分布式流平台(distributedstreamingplatform)。
AaricChen·2020-07-29 16:33

kafak scram

SASL_SCRAM+ACL创建SCRAMCredentials创建broker建通信用户(或称超级用户)bin/kafka-configs--zookeeper172.20.3.20:2188--alter--add-config'SCRAM-SHA-256=[password=admin-secret],SCRAM-SHA-512=[password=admin-secret]'--entit
贰零壹捌·2020-07-29 09:00

Spark学习笔记--超全,所有知识点全覆盖总结

Spark架构，运行原理，任务调度和资源调度分析，内存管理分析，SparkSQL，SparkSreaming与kafaka，数据倾斜的解决，调优。
vitrovitro·2020-07-29 01:47

面试-技术篇

知识点清单：线程和进程用户态和核心态C指针forkDDDmysql-幻读*mysql-死锁秒杀系统（kafaka-分区机制）lru零拷贝分页map-reduce架
lesline·2020-07-28 12:35

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
东孤熊猫·2020-07-27 18:11

Receiver与Direct区别

Receiver是通过Zookeeper连接Kafka队列获取数据，Direct是直接连接Kafaka的节点获取数据。
Peasmaster·2020-07-27 18:02

Scala和Java的语法差异

目前spark、kafaka等流行的大数据处理的软件都是由scala编写。1语法差异罗列下面介绍一些scala语言和java
正行天下·2020-07-16 03:26

Exception in thread "main" java.lang.UnsupportedClassVersionError: kafka/Kafka :

kafaka启动时报错日志Exceptioninthread"main"java.lang.UnsupportedClassVersionError:kafka/Kafka:Unsupportedmajor.minorversion52.0atjava.lang.ClassLoader.defineClass1
MTone1·2020-07-15 18:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他