kafka配置优化

Kafka单节点部署

配置JAVA环境变量$tarxfjdk-8u202-linux-x64.tar.gz$mvjdk1.8.0_202/usr/local/java$vim/etc/profileexportJAVA_HOME=/usr/local/javaexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/l
real向往·2024-01-09 22:24

Kafka内外网访问

文章目录一、背景二、需求三、调研四、配置内外网访问一、背景kafka机器只有内网IP，没有绑定外网网卡，但是可以在防火墙或通过其他有公网IP的设备上进行公网IP+端口的映射。
real向往·2024-01-09 22:24

golang 记录一次协程和协程池的使用，利用ants协程池来处理定时器导致服务全部阻塞

场景描述此服务大致是一个kafka消息接收、发送相关。接收消息，根据参数设置定时器进行重发。通过这里新建kafka服务，并在kratos框架的依赖注入使用。
Climber47·2024-01-09 19:07

Zookeeper集群+Kafka集群

2、消息列队的好处3、消息列队的两种模式三、什么是Kafka？
Kido.S·2024-01-09 17:52

【算法Hot100系列】下一个排列

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-09 16:02

Kafka与RabbitMQ的区别

消息队列介绍消息队列（MessageQueue）是一种在分布式系统中进行异步通信的机制。它允许一个或多个生产者在发送消息时暂时将消息存储在队列中，然后由一个或多个消费者按顺序读取并处理这些消息。消息队列具有以下特点：异步通信：消息队列允许生产者和消费者在时间上解耦，即生产者发送消息后不必等待消费者立即处理，消费者可以在适当的时候从队列中获取并处理消息。可靠性：消息队列提供了持久化机制，确保即使在系
有梦想的攻城狮·2024-01-09 15:53

Docker 安装 kafka（M1 芯片版）

一.安装zookeeper由于kafka依赖zookeeper，所以需要先安装zookeeper。
文大奇Quiin·2024-01-09 15:14

常见技术选型

MQRocketMQ,RabbitMQ,Kafka,ActiveMQNoSQLRedis,Memcache分布式计算Blink,Storm,SparkDB关系型TiDB,MySQL,MongoDB,CassandraKVLevelDB
独处人·2024-01-09 14:46

Mysql系列-1.Mysql基本使用

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-09 12:31

mysql6升级到7性能,MySQL性能优化(七)：其它优化

一：数据库配置优化mysql是一个高度定制化的数据库系统，提供了很多配置参数，一般都需要根据应用程序的特性和硬件情况对mysql做配置优化，windows配置文件为my.ini，linux为my.cnf
走路带风的何小璐·2024-01-09 12:26

Kafka集群部署

文章目录一、实例配置二、zookeeper集群安装三、kafka集群安装四、验证没有提示，所有机器都执行在kafka集群中引入zookeeper，主要是为了管理kafka集群的broker。
real向往·2024-01-09 08:55

初识Kafka

1.初识kafka官网：ApacheKafkaApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。
瑜伽娃娃·2024-01-09 08:24

Flink SQL1.12 读取Mysql，写到Kafka、Hbase

FlinkSQL1.12读取Mysql，写到Kafka、Hbase概览心路历程案例流程pom文件如下测试代码docker安装kafka、hbase、mysql等hosts概览使用flinksql1.12
王糍粑的小夕·2024-01-09 07:10

单机部署Kafka和开启SASL认证

版本操作系统：linuxapache-zookeeper-3.8.1-bin.tar.gzkafka_2.13-3.4.0.tgz部署1.上传zookeeper与kafka到/opt2、解压tar-zxvfapache-zookeeper
nsa65223·2024-01-09 06:10

Vue项目性能优化实战

框架通过数据双向绑定和虚拟DOM技术，帮我们处理了前端开发中最脏最累的DOM操作部分，我们不再需要去考虑如何操作DOM以及如何最高效地操作DOM；但Vue项目中仍然存在项目首屏优化、Webpack编译配置优化等问题
一个正在努力的人类·2024-01-09 02:25

分布式消息队列差异化总结

本文将对Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ从17个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka：资料数量中等。
为爱放弃一切·2024-01-09 01:58

node.js中kafka的封装和高并发消费限流优雅降级以及egg-kafka的封装说明

HI!，你好，我是zane，zanePerfor是一款我开发的一个前端性能监控平台，现在支持web浏览器端和微信小程序端。我定义为一款完整，高性能，高可用的前端性能监控系统，这是未来会达到的目的，现今的架构也基本支持了高可用，高性能的部署。实际上还不够，在很多地方还有优化的空间，我会持续的优化和升级。开源不易，如果你也热爱技术，拥抱开源，希望能小小的支持给个star。项目的github地址：htt
只此一生的我·2024-01-08 20:01

SpringCloud Bus消息总栈

分布式配置自动刷新配置功能,springCloudBus配合SpringCloudConfig使用可以实现配置的动态刷新.Bus支持两种消息代理:RabbitMQ和Kafka如果不熟悉springcloudconfig
木木子丶·2024-01-08 17:49

Kafka竟然不支持读写分离！今天才知道！

在Kafka中，生产者写入消息、消费者读取消息的操作都是与leader副本进行交互的，从而实现的是一种主写主读的生产消费模型。
java伯爵·2024-01-08 16:09

【算法Hot100系列】合并两个有序链表

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-08 16:04

【算法Hot100系列】有效的括号

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-08 16:34

软件安装文档 | Kafka（Docker）

1、首先创建一个网络dockernetworkcreatekafka-net--driverbridge2、安装zookeeperdockerpullzookeeper:latestdockerrun-d
suweijie768·2024-01-08 14:02

06、Kafka ------ 各个功能的作用解释（ISR 同步副本、非同步副本、自动创建主题、修改主题、删除主题）

目录CMAK各个功能的作用解释★ISR副本(同步副本）★非同步副本★自动创建主题★修改主题★删除主题CMAK各个功能的作用解释★ISR副本(同步副本）简单来说，ISR副本就是Kafka认为与领导者副本同步的副本
_L_J_H_·2024-01-08 11:15

Topic和Partition

分区是Kafka可伸缩性和水平扩展的关键,也是多副本机制保证可用性的基础。分区可以有一到多个副本,每个副本对应1个日志文件,每个日志文件对应1到多个日志分段。
FA-117·2024-01-08 11:45

实战Flink Java api消费kafka实时数据落盘HDFS

文章目录1需求分析2实验过程2.1启动服务程序2.2启动kafka生产3JavaAPI开发3.1依赖3.2代码部分4实验验证STEP1STEP2STEP35时间窗口1需求分析在Javaapi中，使用flink
大数据程序终结者·2024-01-08 11:13

Kafka消息存储

一般消息由header和body组成,这点儿在Kafka消息中也同样适用。messageMESSAGE=OVERHEAD+RECORDOVERHEAD=xxxv0RECORD=CRC32+
FA-117·2024-01-08 11:10

Flink项目开发记录之合并数据流

项目开发记录之合并数据流项目目前的jar包环境：flink1.9.0这边就是常用jar，就不列出了，合并流我这边选择是使用相同的key流然后设置时间的上下限，进行合流项目背景：由于业务需求，将原本的从kafka
清清清清清清·2024-01-08 09:17

Flink消费kafka数据进行统计，过滤，合流后sink到kafka

Flink消费与生产kafka数据由于最近毕设需要设计一个小功能，一个日志分析并转换合并放到kafka上的一个需求，今天来总结积记录一下思路与代码实现。
HuYueeer·2024-01-08 09:47

【算法Hot100系列】合并 K 个升序链表

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-08 08:06

为什么 Kafka 这么快？它是如何工作的？

ApacheKafka因其速度和可扩展性而成为热门选择，但究竟是什么让它如此之快？
Linux技术社区·2024-01-08 06:19

Elasticsearch-BulkProcessor-死锁分析

问题概述我们程序流程是：从Kafka消费数据程序解析数据处理好后，将数据组装为IndexRequest，使用bulkProcessor.add(indexRequest
我大梦想家·2024-01-08 05:35

分布式消息队列差异化总结，太全了！

本文将对Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ从17个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka：资料数量中等。
Java_苏先生·2024-01-08 05:54

Kafka可视化管理工具kafka-manager部署安装和使用

一、kafka-manager简介为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做KafkaManager。
至尊宝l·2024-01-07 22:52

Debezium发布历史51

debezium-meets-quarkus/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.Debezium遇见Quarkus三月14,2019作者：JiriPechanecquarkus示例微服务apache-kafka
大大蚊子·2024-01-07 22:33

Debezium发布历史49

reliable-microservices-data-exchange-with-the-outbox-pattern/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.使用发件箱模式进行可靠的微服务数据交换二月19,2019作者：GunnarMorling讨论微服务apache-kafka
大大蚊子·2024-01-07 22:02

学习笔记 | Kafka

一、概述定义1、Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用与大数据实时处理领域。
suweijie768·2024-01-07 21:22

【RabbitMQ】1 消息中间件MQ概述

目录什么是消息中间件为什么使用消息中间件流量削峰应用解耦异步处理主流消息中间件及选型选取原则RabbitMQRocketMQKafka如何选择消息中间件应用场景电商秒杀案例拉勾B端C端数据同步案例支付宝购买电影票什么是消息中间件维基百科对消息中间件的解释
Ethan-running·2024-01-07 21:57

2019-08-26 Kafka Producer

PropertiesPropertiesprops=newProperties()props.put(xxxx,xxxxx);props.put(xxxx,xxxxx);props.put(xxxx,xxxxx);ProducerRecordProducerRecordrecord=ProdecerRecord(topicdename,key,value:可以是值或者是个封装好信息的类)Produ
a6ec74fc2514·2024-01-07 21:00

Redis的IO多路复用原理解析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-07 20:10

消息队列之堆积问题分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-07 20:34

RabbitMQ快速入门（详细）

当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等2、作用1、消息中间件主要作用冗余(存储)扩展性可恢复性缓冲
寂冄·2024-01-07 19:44

分布式事务完美解决方案：消息中间件（kafka）+ 本地事物 + 消息校对

前言分布式事务是要保证多个服务下的多个数据库操作的一致性。分布式事务常见解决方案有：二阶段、三阶段和TCC实现强一致性事务，其实还有一种广为人知的方案就是利用消息队列来实现分布式事务，保证数据的最终一致性，也就是我们常说的柔性事务。本次使用MQ+本地事务+消息校对的方式来实现分布式事务。案例描述有两张银行卡为bankcard1和bankcard2，且这两张银行卡存在于不同的服务中，bankcard
ZYNORL·2024-01-07 19:35

kafka使用SASL_PLAINTEXT做用户认证

使用SASL/PLAIN认证server端1.配置brokerkafka_server_jaas.conf内容KafkaServer{org.apache.kafka.common.security.plain.PlainLoginModulerequiredusername
至垚·2024-01-07 18:50

后端常用组件小计

文章目录概要rediskafkaESmongodbmqmysqlwebhook动态配置apollo微服务系列文件存储系列概要rediskafkaESmongodbmqmysqlwebhook动态配置apollo
qq_43369327·2024-01-07 17:28

Kafka（五）生产者

目录Kafka生产者1配置生产者bootstrap.serverskey.serializervalue.serializerclient.id=""acks=allbuffer.memory=33554432
yunyun1886358·2024-01-07 16:37

Kafka（七）可靠性

目录1可靠的数据传递1.1Kafka的可靠性保证1.2复制1.3Broker配置1.3.1复制系数1.3.2broker的位置分布1.3.3不彻底的首领选举1.3.4最少同步副本1.3.5保持副本同步1.3.6
yunyun1886358·2024-01-07 16:37

Kafka（六）消费者

目录Kafka消费者1配置消费者bootstrap.serversgroup.idkey.deserializervalue.deserializergroup.instance.idfetch.min.bytes
yunyun1886358·2024-01-07 16:55

Kafka大厂高频面试题：在保证高性能、高吞吐的同时保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制（replication）的存在，它就不会丢失。
一只程序猿哟·2024-01-07 16:28

38 调优kafka

操作系统调优1.禁止atime更新，减少文件系统的写操作。mount-onoatime2.选择高性能的文件系统，如ext4或者XFS3.swap空间设置，将swappniness设置成很小的一个值比如1～10，防止linuxOOMKiller开启随意杀掉进程。swappiness的值是个参考值，是否会发生swap跟当前是哪种pagereclaim及系统当前状态都有关系，所以设置了swappines
ZyyIsPig·2024-01-07 14:31

学习笔记-日志采集和实时分析简单实例

流程简述：Nginx生成的访问日志文件通过Filebeat采集输入到Kafka中，Kafka中数据流入Logstash，Logstash处理过滤数据。
人生偌只如初见·2024-01-07 13:27
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他