kafka配置优化

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka
bmyyyyyy·2024-01-22 11:34

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

某马头条——day06

kafka概述kafka环境搭建dockerpullzookeeper:3.4.14dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14安装kafkadockerpullwurstmeister
北岭山脚鼠鼠·2024-01-22 09:55

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算·2024-01-22 08:33

ELK日志分析

Logstash（1）定义（2）插件①input②filter③output（三）可以添加的其它组件1.Filebeat（1）定义（2）filebeat结合logstash带来好处2.缓存/消息队列（redis、kafka
江南字子川·2024-01-22 08:55

JVM系列-3.类的生命周期

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-1.初识JVM

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-2.字节码文件详解

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:07

Kafka（八）使用Kafka构建数据管道

目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358·2024-01-22 07:35

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v·2024-01-22 07:04

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

Kafka常见指令及监控程序介绍

kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。
necessary653·2024-01-22 07:49

Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free
老耿·2024-01-22 06:02

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。
danci_·2024-01-22 00:08

intellij idea 编译 kafka 源码

以下是针对kafka1.1.1版本编译流程及在idea中启动的步骤从GitHub网站，gitclonekafka源码下载安装好gradle，scala进入kafka项目目录，执行gradleidea如果出现如下
专职掏大粪·2024-01-21 20:52

Kafka事务分析

Kafka幂等性Kafka幂等性含义幂等性起初是在HTTP协议中定义，是指一次和多次请求同一个资源对资源本身应当具有同样的效果。
WestC·2024-01-21 17:26

Flink容错机制（二）

状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink和Kafka
大数据阿嘉·2024-01-21 17:12

Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

我们知道当消息生产者生产的速度快于消费者的消费速度时，会产生大量的消息积压，大多数人的想法是增加消费者的数量来提升消费速度，这个想法在RocketMQ中是可行的，但是在Kafka中不一定可行。
coffee_babe·2024-01-21 16:36

Kafka 消息不能正常消费问题排查

订单宽表数据不同步事情的起因是专员在zeapp上查不到订单了，而订单数据是从mysql的order_search_info查询的，order_search_info表的数据是从oracel的BZ_ORDER_INFO表同步过来的，查不到说明同步有问题首先重启，同步数据，问题解决，然后查找原因。首先看日志，有如下两种情况有的容器消费消息的日志正常打印有的容器很长时间没有消费消息的日志（看着像是消息丢
Java识堂·2024-01-21 16:05

消息中间件之Kafka(二)

1.Kafka线上常见问题1.1为什么要对topic下数据进行分区存储?
coffee_babe·2024-01-21 16:04

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。
超越不平凡·2024-01-21 15:27

kafka 同步、异步发送

kafkaproducer默认是异步发送：在初始化producer实例时，会创建一个sender线程负责批量发送消息producer将消息暂存在缓冲区，消息根据topic-partition分类缓存消息达到
陆阳226·2024-01-21 13:59

kafka（一）——简介

简介Kafka是一种分布式、支持分区、多副本的消息中间件，支持发布-订阅模式，多用于实时处理大量数据缓存的场景，类似于一个“缓存池”。
却道天凉_好个秋·2024-01-21 07:21

大数据开发之kafka（完整版）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
Key-Key·2024-01-21 07:19

kafka入门(九)：kafka分区分配策略

kafka分区分配策略参数：Kafka提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。
乐之者v·2024-01-21 07:19

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

第4章：KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[
Key-Key·2024-01-21 07:18

11、Kafka ------ Kafka 核心API 及 生产者API 讲解

目录Kafka核心API及生产者API讲解★Kafka的核心APIKafka包含如下5类核心API：★生产者APIKafka的API文档★使用生产者API发送消息Kafka核心API及生产者API讲解官方文档
_L_J_H_·2024-01-21 07:48

ELK 日志分析系统

日志管理方案二、完整日志系统基本特征三、ELK简介ELK组件：1、ElasticSearch2、Logstash3、Kibana可以添加的其它组件：1、Filebeat2、缓存/消息队列（redis、kafka
luochiying·2024-01-21 07:04

大数据之Kafka架构的核心组件及其功能

ApacheKafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用。Kafka的架构设计以高吞吐量、持久化存储和水平扩展为目标。
转身成为了码农·2024-01-21 07:34

logstack 日志技术栈-04-opensource 开源工具 Syslog-ng+Highlight.io

然后将日志解析、分类、重写和关联到统一格式中，然后将其存储或安全地传输到不同的系统（如ApacheKafka或Elasticsearch）。
老马啸西风·2024-01-21 07:03

安装Kafka

准备下载Kafka安装包Kafka官方网站我们采用的是kafka_2.11-0.10.2.0的版本一、解压并安装Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr
殊迟·2024-01-21 06:51

RabbitMQ 消息队列入门

使用较多的消息队列产品：RabbitMQ，RocketMQ，ActiveMQ，ZeroMQ，Kafka等。异步处理用户注册后，需要发送验证邮箱和手机验证码。
RendaZhang·2024-01-21 05:01

【Kafka】Linux本地和Docker安装Kafka

目录Linux本地安装kafkajava环境配置Zookeeper的安装配置Kafka的安装与配置生产与消费Docker安装kafkaZookeeper安装Kafka安装Linux本地安装kafkajava
Ethan-running·2024-01-21 05:23

Linux高级实战部署专题篇：elk日志中心集群多服务部署大全（ELK+filebeat集群：elasticsearch+kibana+logstash+kafka+filebeat）

日志中心分析集群：相关文档参考：https://blog.csdn.net/sinat_16658263/article/details/904440381、Elasticsearch：主要用来日志存储是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为A
chenshuai199533·2024-01-21 05:18

深入Kafka broker

一、协议设计颗粒度,PRODUCE和FETCH中支持topic,partion等层级的颗粒度;测试友好,基于session_id和epoch确定一条拉取链路的fetchsession;全量增量结合,FetchRequest中的全量拉取和增量拉取;基本结构:header+body。常见header:api_key,api_version,corelation_id,client_id。与网络协议类似
FA-117·2024-01-21 05:56

Mysql高级优化知识笔记--分析SQL步骤

1.分析SQL四步骤：1.利用慢查询日志捕获需要优化的SQL2.通过mysql的EXPLAIN分析或者ShowProfile更系统分析3.SQL优化4.数据库参数配置优化(此步骤需要DBA抉择)2.利用慢查询日志捕获需要优化的
《翀》·2024-01-21 02:53

springboot之kafka

配置创建springboot项目的时候勾选messaging选项中的kafka，springboot自动配置了很多，只需要很少的配置就可以运行了missing-topics-fatal这一条要加上，不然
陆阳226·2024-01-21 02:42

第二章 Spring Boot 整合 Kafka消息队列 生产者

系列文章目录第一章Kafka配置部署及SASL_PLAINTEXT安全认证第二章SpringBoot整合Kafka消息队列生产者第三章SpringBoot整合Kafka消息队列消息者（待续）前言Kafka
维基框架·2024-01-21 00:13

第一章 Kafka 配置部署及SASL_PLAINTEXT安全认证

系列文章目录第一章Kafka配置部署及SASL_PLAINTEXT安全认证第二章SpringBoot整合Kafka消息队列生产者第三章SpringBoot整合Kafka消息队列消息者（待续）1、下载安装
维基框架·2024-01-21 00:43

kfaka基本概念

Kafka第一章kafka基本概念文章目录Kafka一、kafak作用？二、基本概念一、kafak作用？Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高性能、持久化、多副本备份、横向扩展能力。
西堂AI编程提效·2024-01-20 23:28

Kafka总结

Kafka保证的是分区有序而不是全局有序。
西堂AI编程提效·2024-01-20 23:28

kafka生产者消费者

生产者生产者发送确认机制半数follower响应全部follower响应–>改进：ISR机制：in-sync-replicaset【挑选进入isr的follower规则：1、同步的时间2、和leader相差的条数（0.9版本中被去掉）】注意：isr中的follower和正常的follower的概念问题acks配置0：发送完就返回。Atmostonce1：只等待leader写完就返回。-1：lead
西堂AI编程提效·2024-01-20 23:57

Spark读取kafka（流式和批数据）

spark读取kafka（批数据处理）#按照偏移量读取kafka数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate
中长跑路上crush·2024-01-20 23:55

kafka核心原理及数据积压问题

1kafka的分片和副本机制何为分片?分片有什么用呢?
江枫渔火R·2024-01-20 22:24

【Kafka原理】数据积压问题

Kafka消费者消费数据的速度是非常快的，但是如果在处理Kafka消息时，由于外部IO或者网络拥堵会导致Kafka中的数据积压（数据堆积）。如果数据一直积压，会导致数据出来的实时性受到较大影响。
TAIKEMAN·2024-01-20 22:23

【Kafka面试】Kafka消费积压百万数据怎么办？

Kafka面试大全（万字长文，37张图，28个知识点）高频面试题：kafka消费积压百万数据怎么办一、问题背景二、问题排查三、解决方案
TAIKEMAN·2024-01-20 22:23

Kafka3.0 消费者事务与数据积压

消费者事务如果想完成Consumer端的精准一次性消费，那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。
Alienware^·2024-01-20 22:53

kafka数据积压语句查询记录

/kafka-consumer-groups.sh--bootstrap-server192.168.45.79:9092--list查看某些消费组是否积压.
飞鸟还巢·2024-01-20 22:23

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。
sinat_36710456·2024-01-20 22:23
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他