Kafak

基于docker搭建kafaka环境

wurstmeister/kafka维护较为频繁的一个Kafka镜像。只包含了Kafka，因此需要另行提供ZooKeeper，推荐使用同一作者提交的wurstmeister/zookeeper。现在已经提供较新的1.1.0版本。搭建开发环境1ZooKeeper1Kafka这里以我自己最常用的wurstmeister/kafka为例，使用docker-compose运行一个只有一个ZooKeeper
chunmian8815·2020-06-22 23:53

RocketMQ、kafka、rabbitMQ不完全对比

pull和push，支持顺序行消费)NameServer(服务发现和服务路由，记录路由信息)CommitLog(消息持久化存储)ConsumerQueue(存储的是在CommitLog中的偏移量延迟队列)Kafakp
三分钟冷血·2020-06-22 03:39

ELK5.3+Kafka集群配置

Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka
weixin_34186950·2020-06-21 11:42

RabbitMQ简单介绍

RabbitMQ是众多消息队列（MessageQueue）中的一员，常见的有Kafak、ZeroMQ、ActiveMQ、RocketMQ，各自有各自的特点。
搬砖的小青年儿·2020-06-21 04:53

(九) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集集群环境(终结版)

(八)elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结前八个博客讲到的都是单机版日志收集.es,kafaklogstash都是基于一台机子搭建的.最近跟公司又申请了一台机器用于搭建
西木东林·2020-06-21 04:13

Kafka 对比 ActiveMQ

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。
H-KING·2020-06-21 03:31

kafaka

1.1Kafka的特性:-高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition,consumergroup对partition进行consume操作。-可扩展性：kafka集群支持热扩展-持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失-容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）-高并
裘马轻狂大帅·2020-06-09 13:09

太肝，Java知识点，面完阿里全命中！

：Java基础，容器，多线程，反射，Javaweb模块，网络，设计模式，SpringMVC，SpringBoot，SpringCloud，Hibernate，Mybatis，中间件（RabbitMQ，Kafaka
码农code之路·2020-05-23 18:15

Kakfa常用命令

zookeeperlocalhost:2181--replication-factor2--partition4--topictest查询集群描述kafka-topics.sh--describe--zookeeper生产者kafak-console-producer.sh
2fc2a81494ac·2020-04-08 12:19

搭建Kafka源码阅读环境

搭建Kafka源码阅读环境在阅读Kafka源码之前，我们要动手搭建Kafak源码阅读环境。
it_zzy·2020-03-23 00:53

kafka入门篇(一)

2.安装kafkabrewinstallkafak注意：安装目录：/usr/local/Cellar/kafka/0.10.2.02.安装的配置文
HeavenWong·2020-03-07 17:52

Zookeeper 在 Kafka 中的作用

leader选举和follower信息同步如上图所示，kafaka集群的broker，和Consumer都需要连接Zookeeper。Producer直接连接Broker。
博弈史密斯·2020-03-05 06:06

RocketMQ源码阅读(一)-调试环境搭建

最近想深入学习一下消息队列,本来想看kafka的源码,但由于kafka是scala写的,本人又不懂kafaka,最终选择了阿里的RocketMQ.RocketMQ是基于kafka的原理构建的,又根据阿里自身的需求进行了修改
_呆瓜_·2020-03-03 05:14

spark streaming 与kafaka结合 低阶 高阶api的一些理解

1.createStream会使用Receiver；而createDirectStream不会,数据会通过driver接收。2.createStream使用Receiver源源不断的接收数据并把数据交给ReceiverSupervisor处理最终存储为blocks作为RDD的输入，从kafka拉取数据与计算消费数据相互独立；而createDirectStream会在每个batch拉取数据并就地消费
毛瓜·2020-02-21 00:32

Maxwell + spark + Kafka安装

但是业务部门没法通过Kafak报送时间（需求太多没有时间开发），我们开始找实时获取MySQL数据到Kafka的工具。
忘净空·2020-02-20 21:40

rabbitMQ重点篇

各种MQ的比较-服务性能数据存储集群架构API和社区ActiveMQ中等吞吐量KahaDB、MySQL等等Master-Slave模式network模式丰富Kafaka高吞吐量没有事务对消息丢失、重复消费
靈08_1024·2020-02-13 12:59

kafka-1

kafkakafka_2.11-2.3.0.tgz中包含zookeeper,所以不需要单独安装kafaka的安装下载kafka_2.11-2.3.0.tgzhttps://www.apache.org/
jianshuqiang·2020-02-11 09:27

面试题之RabbitMQ

消息队列RabbitMQ和Kafaka区别？RabbitMQ有哪些模式：1）工作队列：给多个队列发送消息2）发布/订阅3）简单模式RabbitMQ重复消费如何处理？消息一致性如何解决？
暖暖-木木·2020-01-16 16:00

[转]彻底删除kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
东皇Amrzs·2020-01-06 07:23

Kafak源码环境搭建

开始之前Kafka源码环境依赖Gradle、Scala和Zookeeper,所以需要提前将这些依赖安装好，由于这三个依赖的安装相对比较简单，所以在此不再赘述，只提供相应的链接！Gradle安装Scala安装Zookeeper安装安装好上述依赖后，依赖环境基本算是整完了，下面就开始着手Kafka源码环境的搭建！源码下载kafka官网提供了源码下载，本文使用的版本为kafka-0.10.2.1-src
EnjoyTheLife·2020-01-04 09:46

kafka 基础知识整理（三）kafka + spark streaming

Kafka为一个分布式的消息队列，spark流操作kafka有两种方式：一种是利用接收器（receiver）和kafaka的高层API实现。
Graceleeman·2020-01-02 07:18

Streams：深入理解Redis5.0新特性

streams是redis的一种基本数据结构，它是一个新的强大的支持多播的可持久化的消息队列，在设计上借鉴了kafaka。
Worktile·2019-12-24 10:01

springboot+kafka中@KafkaListener如何动态指定多个topic

springboot+kafka中@KafkaListener如何动态指定多个topic说明：本项目为springboot+kafak的整合项目，故其用了springboot中对kafak的消费注解@KafkaListener
Forward_233·2019-12-17 07:27

Streams：深入理解Redis5.0新特性

streams是redis的一种基本数据结构，它是一个新的强大的支持多播的可持久化的消息队列，在设计上借鉴了kafaka。
Worktile·2019-12-04 18:00

kafka connector 使用总结以及自定义connector开发

Kafakaconnect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。
张永清·2019-11-25 16:00

spring cloud 2.x版本 Spring Cloud Stream消息驱动组件基础教程（kafaka篇）

本文采用Springcloud本文为2.1.8RELEASE，version=Greenwich.SR3本文基于前两篇文章eureka-server、eureka-client、eureka-ribbon和spring-gateway的实现。参考eureka-servereureka-clienteureka-ribbonspring-cloud-stream概述SpringCloudStream
毛毛向前冲·2019-11-25 10:00

面试连环炮系列（二十一）：你们的项目怎么使用kafka

通过SpringAOP的方式收集日志，通过kafaka发送出去。kafa存在丢消息的情况吗，怎么解决？
编码砖家·2019-10-21 14:00

Kafka SCRAM和PLAIN实战

验证环境如下：JDK：1.8Kafka：2.3.0KafkaEagle：1.3.82.内容2.1PLAIN认证首先，在$KAFAK_HOME/config目录新建一个文本文件，名为kafka_server_plain_jaas.conf
哥不是小萝莉·2019-08-24 14:00

window下安装kafak

一、安装1、kafka需要java环境；2、kafka最新版本内置了zookeeper，所以不需要安装zookeeper；如果已安装可以直接使用也可以3、下载kafka最新版本，不需要安装，解压到相应的地方就可以了。4、bin目录下放的是启动kafka的文件，conf目录下放的是kafka的各种配置文件。二、运行简单demo测试，不需要修改任何配置文件，只需要知道zookeeper的默认端口是21
e3002·2019-08-22 13:34

Linux中kafka和zookeeper安装

kafak的安装需要安装zookeeper。
King哥2·2019-08-11 13:08

Kafka

什么是KafakaKafka是一款基于发布与订阅的消息系统。Kafka的数据是按照一定顺序持久化保存的，可以按需读取。此外，Kafka的数据分布在整个系统里，具备数据故障保护和性能伸缩能力。
拖布鞋·2019-07-24 15:37

kafka的go版本api介绍及使用示例

一、概述go语言版本的kafakaAPI，使用sarama和sarama-cluster包，支持offset追踪。生产和消费的过程，都是通过设置一个配置结构体开始的。
爱思考的实践者·2019-06-20 20:41

RocketMQ与OpenMessaging

大概意思就是，现在消息队列产品太多了比如，rocketMQ,rabbitMq,kafaka,****啥的，每一种消息发布产品都有局限性，比如语言，平台，消
EQuaker·2019-06-04 09:51

高性能IO背后原理-零拷贝（zero copy）技术

概述：在刚开始接触Kafak、Netty、文件服务器都听高性能，但作为像Java、python这种高级语言的开发人员，对零拷贝这种特性，看不见摸不着的东西，总是了解不够深入和透彻。
small&snail·2019-05-30 14:12

springboot2+kafaka搭建过程遇到的问题及解决方案

没有看过项目搭建的同学请移步上一篇文章：https://blog.csdn.net/EQuaker/article/details/89922990直接上正题：1，kafakaserver端的启动可能会失败
EQuaker·2019-05-07 16:54

Linux安装(Java、Zookeeper、Kafak)

虚拟机搭建https://blog.csdn.net/qq_37598011/article/details/88960035安装Java环境https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html\下载完成后，上传压缩包：rz解压：tarzxvfjdk-8u201-linux-x64.
蛇皮皮蛋·2019-04-02 21:41

Kafka删除topic的一些方法

kafka-logs"）相关topic目录2、Kafka删除topic的命令是：kafka/bin/kafka-topics.sh--delete--zookeeperZookeeper地址--topic主题名称如果kafaka
Mr.差啥呀·2019-04-02 14:38

kafak 提高篇

查看kafka数据文件内容在使用kafka的过程中有时候需要我们查看产生的消息的信息，这些都被记录在kafka的log文件中。由于log文件的特殊格式，需要通过kafka提供的工具来查看。./bin/kafka-run-class.shkafka.tools.DumpLogSegments--files/tmp/kafka-logs/*/000**.log--print-data-log{查看消息
康俊1024·2019-03-30 19:33

Spark Streaming实时流处理项目实战学习-笔记二

4.分布式消息队列Kafkakafka.apache.orgKafa概述和消息系统类似消息中间件：生产者和消费者篮子／框：KafaKafka架构producer：生产者，就是生产馒头（老妈）consumer
Trap_In_Study·2019-03-06 21:04

SparkStreaming整合kafka

日志数据---->flume----->kafka-------->sparkstreaming---------->mysql/redis/hbase前置条件：安装zookeeper安装flume安装kafakhadoop
原生zzy·2019-01-07 21:45

nginx-kafka 数据采集

传统大数据采集一般通过flume采集nginx的log来实现，然后再经过kafka传递数据有了ngx_kafak_module数据采集就能通过nginx直接向kafka发送数据（用户行为日志）多逛逛全球最大的同性交友网站还是能学到很多东西滴
XIAO_WS·2019-01-05 15:45

java程序员必须要了解的基础知识

kafaka的区别呢？redis主从，集群。----->底层原理了解，为什么redis这么快，redis和memcached的区别。（单线程的哦）锁！
小小帅气码农·2019-01-01 22:55

Windows10 PowerShell启动kafka问题：命令语法不正确

Kafka依赖环境：JDK、Zookeeper，首先确保Java环境JDK已安装，其次Zookeeper必须在kafaka启动之前启动。
boonya·2018-12-28 10:52

kafka核心概念讲解

kafaka在启动的时候，会将自己的信息同步到zk上。数据存储使用了zk的零时节点，broker需要通过心跳机制维护与zk的注册关系，一旦broker宕机，zk上面对应的零时节点也会被删除。kaf
piano·2018-12-25 00:00

如何生成测试用kafka服务端和客户端证书

这里我们介绍如何使用openssl生成一套测试kafakssl链接的证书，包括服务端和客户端的truststore和keystore，以及作为golang客户端使用的PEM格式证书。第一
CodingCode·2018-12-16 12:39

Kafka分布式容器数据发布实战

阶段一实验准备：3个基于ubuntubionic的容器镜像文件（Kafakaserver,Kafakaconsumer,Kafakaproducer），1个K8S部署
Stdboy·2018-12-07 21:58

kafaka整合springboot 错误：Failed to update metadata after 60000 ms.

org.apache.kafka.common.errors.TimeoutException:Failedtoupdatemetadataafter60000ms.这个问题困扰了我一个下午，总结一下有以下几点原因:1.未开启kafka服务2.未配置kafka的server.properties文件listeners=PLAINTEXT://{内网ip}:90923.就是我遇到的问题了因为我lin
A1229451567·2018-11-23 11:33

聊聊kafka结构

首先先看看kafaka的结构，producer将消息放到一个Topic然后push到broker，然后cosumer从broker中拉取对应Topic的消息。
黄青石·2018-11-18 22:00

Kafka如何彻底删除topic

Kafka如何彻底删除topic环境描述Kafka集群环境如下，三台broker，三台zookeeper，搭建在k8s上最近搭建为客户提供kafak生产支持，客户有一个测试topic，因为之前使用的是单节点
jieranjieran·2018-11-14 18:16

(一)、消费者连接器如何创建数据流=====》消费者初始化

1、目前kafak的消费者连接器只有一种基于zookeeper的老版本中的消费者只有两个方法：根据配置文件创建消费者连接器创建基于java的连接器，其实还是zookeeper的消费者连接器内部通过调用consume
木槿竹风·2018-09-24 21:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他