Kafaka

Kafaka丢消息吗

名词解释相信做过数据处理的小伙伴们对于kafka肯定是熟悉的。基础的kafka知识这里就不过多陈述了。今天主要来讲一下kafka的几个特性，下面先简单解释下这几个特性的含义：安全性：数据从producer中写入到kafka以及consumer从topic中消费数据，数据都不会丢失。幂等性：数据在kafka的流程中既不会被重新生产，也不会被重复消费。这也是实现exactly-once语义的基础。有序
·2022-07-28 10:05

RabbitMQ细说之开篇

小伙伴们应该都耳熟能详了吧，比如经常提到的削峰填谷、分布式事务、异步业务处理、大数据分析等等，分布式消息队列成为其中比较关键的桥梁，也就意味着小伙伴们得掌握相关技能；当下相对比较热门的消息中间件有RabbitMQ、Kafaka
Code综艺圈·2022-07-24 00:00

CentOS7安装Kafka完整教程

1.进入/optcd/opt2.解压Kafka安装包tar-zxfkafka_2.11-2.0.0.tgz3.移动解压后的kafaka到soft/kafka211mvkafka_2.11-2.0.0.tgzsoft
仔细是个好习惯·2022-05-27 08:17

ubuntu20.04 kafka+zookeeper环境搭建

zookeeper.本文记录kafka+独立zookeeper以及和自带zookeeper的两种部署方式,测试demo使用golang版本的简单通信demo.kafkazookeeper下载本例选择的最新的版本的kafaka2.8
renevy·2021-08-21 12:39

Kafka 最新版配置及测试

当前基于kafaka最新版kafka_2.12-2.2.1.tgz进行配置。
homehe·2021-06-22 07:30

吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！

今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！
·2021-06-18 22:38

Kafka ERROR Shutdown broker because all log dirs in

_2.13-2.7.0\kafkakafka_2.13-2.7.0kafka-logshavefailed(kafka.log.LogManager)该错误是由于删除topics造成的解决方案：首先将kafaka
蓝晶之心·2021-04-05 12:10

监控

监控的维度：前端业务应用层（日志：logstash/kafaka/es/Kibana。
互联网牛仔·2021-03-11 11:17

cloudfoundry调用kafaka

概念：kafka是一个分布式(distributed)、分区的(partitions)、多副本的(replicas)、多订阅者(subscribe)，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等.大体流程：producer产生数据，到kafka新建的topic,consumer订阅topic,获取数据。我们公司通过cl
devopswuyong·2021-02-01 15:47

kafka集群 kubernetes_【kafaka】在Kubernetes上使用helm部署kafka

1、kafka整体架构Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并
清清清飏·2021-01-27 03:39

【深度知识】分布式消息队列(Active MQ/Rabbit MQ/Zero MQ/Kafka)差异化总结

activiMq老牌消息中间件，api全面，但是吞吐量不大rabbitMQ：吞吐量大，数据不易丢失Kafaka吞吐量大，但是数据无法保证不丢失，主要面向大数据rokectMQ：吞吐量大，保证数据不丢失，
笔名辉哥·2021-01-21 16:27

Springboot集成Kafaka

packagecom.aicrs.engine.kafaka;importcom.aicrs.engine.common.LogInfo;importcom.aicrs.engine.common.RedisNameEnum
☞Barnett☜·2021-01-13 20:51

虚拟机-centos集群搭建

我们在搭建redis集群、zookeper集群、hadoop集群、或者kafaka集群时候，都需要使用多台机器，所以搭建集群服务器是一个后端程序员基本素养。
startshineye·2020-11-13 11:51

kafka报错：java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer

一：问题sparkstreaming使用kafaka时，将jar包上传服务器运行时报错：如下图二：原因及解决原因：缺少kafka相关的依赖包。
隔壁老王ing·2020-09-15 22:19

Kafka架構組成部分,kafaka特點（優點）

文章目录一、Kafka架構（高吞吐的分佈式消息系統）1、partition：2、topic：3、zookeeper：二、Kafka優點1、高性能，持久性2、数据保存在磁盘上凭什么快（kafka高性能的原因）一、Kafka架構（高吞吐的分佈式消息系統）1、partition：是物理概念：生產者會把數據分成不同的幾份，然後存到partition上2、topic：是抽象概念，他是不同節點上partiti
struggle@徐磊·2020-09-15 13:02

Java精选面试题，真心不错！

：Java基础，容器，多线程，反射，Javaweb模块，网络，设计模式，SpringMVC，SpringBoot，SpringCloud，Hibernate，Mybatis，中间件（RabbitMQ，Kafaka
Java技术头条·2020-09-14 03:13

Kafka学习笔记-- 1 入门知识和使用场景

目录1Kafka入门1.1主流mq框架对比1.2kafka主要特性1.3AMQP协议1.4Kafka整体架构1.5核心概念brokertopicpartitionrecordreplication1.6kafaka
郑泽凯·2020-09-11 19:55

Kafaka 入门与实践学习笔记

1.Kafka的基础概念1.KafkaKafka是一个高吞吐量,分布式的发布-订阅消息系统;2.Kafka结构3.Kafka相关概念*生产者Producer将消息发布到它指定的topic中,并负责决定发布到哪个分区。通常简单的由负载均衡机制随机选择分区，但也可以通过特定的分区函数选择分区。使用的更多的是第二种。*消费者发布消息通常有两种模式：队列模式（queuing）和发布-订阅模式(publis
quick5g·2020-09-11 16:12

消息队列(三)

市场上存在的消息队列：kafaka、RabbitMQ，NSQ，RocketMq，ActiveMq等等。各大厂也基于上述的MQ，升级改造成适合自己的MQ。
阿阿阿黄·2020-08-24 16:14

消息队列（Message Queue）基本概念

另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。
ningg.top·2020-08-22 01:58

Scala和Java的语法差异(转)

目前spark、kafaka等流行的大数据处理的软件都是由scala编写。1语法差异罗列下面介绍一些scala语言和java语言差异点,通过简单罗列的方式
生活的探路者·2020-08-20 10:10

Nginx容器动态流量管理方案-nginx-upsync-module+nginx_upstream_check_module初体验

初步方案，lvs做４层负载均衡，下挂nginx做7层转发，数据直接入kafaka。一直不太喜欢通过reload修改nginxupstream，刚好看到微博的u
yueguanghaidao·2020-08-19 22:57

Spring Cloud 发展史

从知乎上看到的,感觉很有意思,收藏一下Springboot是一个身怀绝技的武林高手，能上九天揽月下五洋捉鳖反正就是牛，他喜欢结交武林各路英雄豪杰，有MyBatis、Redis、RabbitMQ、Kafaka
zxcvb2580·2020-08-19 16:19

kafka_2.12-1.1.0 生产与消费java实现示例

2.1251.1.0678org.apache.cassandra9cassandra-all100.8.111121314org.slf4j15slf4j-log4j12161718log4j19log4j202122232）本机是否能telnet192.178.0.1119092（kafaka
weixin_33854644·2020-08-18 12:37

大数据运维3--zookeeper和kafaka的简单使用

Zookeeper概述是一个开源的分布式应用程序协调服务,它是用来保证数据在集群间的事物一致性的举例,比如A公司和B公司达成某个协议,A公司需要到B公司取对应的文件过程,这个过程叫通信的过程.计算机中的程序比较多,会出现资源争抢,这个时候会发生死锁,这时整个资源会出现运转不了.这个时候,如果有个交警,指挥资源的流动,这个时候就不会出现死锁.如下图,如果在单机上,资源XY可以打包一起,当需要访问的时
zhy-dream·2020-08-18 07:03

kafka 副本复制参数理解笔记

kafaka有几个参数来保证数据在异常情况下不丢失。一直以来都没有搞的太清楚，后来又一次看了官方的文档，然后理解了，但不知昨天又想这个事情的时候，发现又模糊了。
Potentor·2020-08-16 08:24

云服务器搭建Kafaka集群环境

从京东云上面购买了三台服务器，作为kafka集群搭建环境。下面的不是本人真实ip地址服务器简介：服务器名称服务器ip地址服务器角色备注Jd1190.168.161.26节点Jd2190.168.161.25节点Jd3190.168.161.24节点云服务器开通端口：一、安装java环境选择java1.8+及以上版本，我使用的是jdk-8u221-linux-x64.tar.gz。每台服务器均安装上
zhangfengBX·2020-08-16 04:18

Zookeeper 在 Kafka 中的作用

Zookeeper在Kafka中的作用leader选举和follower信息同步如上图所示，kafaka集群的broker，和Consumer都需要连接Zookeeper。
共舞~·2020-08-15 23:22

SpringBoot+ELK+Kafaka

ELK由Elasticsearch、Logstash和Kibana三部分组件组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用。kibana是一个开源和免费的工具，它可以为Logstash
想你的夜713·2020-08-14 20:00

基于三台物理机Docker搭建kafka+ELK

Docker搭建kafka+ELK搭建zookeeper+kafaka搭建zookeeper下载zk+kafka镜像修改zoo.cfg配置文件创建数据挂载目录及myid文件修改zookeeper运行日志位置启动
wangweh·2020-08-12 13:01

kafka 10.版本 以上 如何删除 kafka broker 中的topic

kafka-topics.bat--delete--zookeeperIP:Port--topictopicname此时的删除并不是真正的删除，而是把topic标记为：markedfordeletion,可以尝试把kafaka
AlexFL·2020-08-11 14:27

为什么Kafka这么快[零拷贝(Zero-Copy)]？

如果想理解Kafaka为什么这么快,得先看DMA是什么.DMA:无论I/O速度如何提升，比起CPU，总还是太慢。
刘冰轩·2020-08-11 03:39

linux环境安装kafaka单机版

文章目录一、环境分布二、实战1.kafaka下载2.解压3.配置4.编写启动脚本5.编写关闭脚本6.赋予脚本可执行权限7.脚本使用案例一、环境分布软件版本jdk1.8kafakakafka_2.13-2.5.0
gblfy·2020-08-07 09:04

kafka-connect-hbase 写入性能调优

在实践中需要将kafaka中的数据写入到hbase中，采用了kafka-connect-hbase这个扩展插件，但经过性能测试，写入速度较低，平均在200条/s左右，无法满足线上8000万数据的实时写入
Mr_小白不白·2020-07-30 18:51

Spark学习笔记--超全,所有知识点全覆盖总结

Spark架构，运行原理，任务调度和资源调度分析，内存管理分析，SparkSQL，SparkSreaming与kafaka，数据倾斜的解决，调优。
vitrovitro·2020-07-29 01:47

面试-技术篇

知识点清单：线程和进程用户态和核心态C指针forkDDDmysql-幻读*mysql-死锁秒杀系统（kafaka-分区机制）lru零拷贝分页map-reduce架
lesline·2020-07-28 12:35

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
东孤熊猫·2020-07-27 18:11

Receiver与Direct区别

Receiver是通过Zookeeper连接Kafka队列获取数据，Direct是直接连接Kafaka的节点获取数据。
Peasmaster·2020-07-27 18:02

Scala和Java的语法差异

目前spark、kafaka等流行的大数据处理的软件都是由scala编写。1语法差异罗列下面介绍一些scala语言和java
正行天下·2020-07-16 03:26

Exception in thread "main" java.lang.UnsupportedClassVersionError: kafka/Kafka :

kafaka启动时报错日志Exceptioninthread"main"java.lang.UnsupportedClassVersionError:kafka/Kafka:Unsupportedmajor.minorversion52.0atjava.lang.ClassLoader.defineClass1
MTone1·2020-07-15 18:28

kafaka安装测试

一、java环境的配置1.登录网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载并安装jdk1.8，在usr目录下建立java安装目录，解压tar-zxvfjdk-8u152-linux-x64.tar.gzmkdir/usr/local/javamvjdk1.8.0_15
wuwuwulelele·2020-07-15 09:21

消息队列（Message Queue）基本概念（转）

另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。
weixin_33935505·2020-07-13 18:09

kafka 分区和副本以及kafaka 执行流程，以及消息的高可用

1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。卡夫卡以topic分类对记录进行存储，每个记录包含k
朱智文·2020-07-13 15:05

Message Queue - MQ Intro

另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。
screaming·2020-07-13 13:14

Kafka与ActiveMQ区别

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。
米糕思密达·2020-07-13 03:02

kafaka，activityMQ，rabbitMQ消息中间件对比

kafaka，activityMQ，rabbitMQ消息中间件对比说明本次测试，使用kafaka，activityMQ，rabbitMQ消息中间件进行对比，均采用一个消息队列，测试中间件在收发消息时时延
Asia1752·2020-07-12 23:55

xxexporter+prometheus+grafana监控常用的docker/mysql/es/kafaka/nginx/springboot2+jvm等中间件

模板id监控内容其它主要依赖安装8919system中文node-exporter参考https://blog.csdn.net/qq_39506978/article/details/10426782310280/4701jvm/接口micrometerspringboot2.X参考https://blog.csdn.net/qq_39506978/article/details/1043208
jwolf2·2020-07-11 19:23

zookeeper原理解析

zookeeper使用实例在kafaka集群中，通过Zookeeper管理集群配置，选举leader，以及在co
深山猿·2020-07-11 07:33

windows环境下配置Kafaka

一.安装Zookeeper(Kafaka依赖于zookeeper进行服务注册和管理)1.1下载zookeeper：http://mirror.bit.edu.cn/apache/zookeeper/1.2
aishun8091·2020-07-11 01:23

python3-使用pykafka模块连接kafka

前言最近有个日志需求，因为太过频繁，且还要有通过日志的频率来启动报警机制，于是想到使用kafka来做，下面就主要记录一下pthon怎么使用kafaka，我这边使用的pyKafka，至于什么是kafka，
Fu_Lin_·2020-07-10 16:22
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他