kafka配置优化

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

KafKa基本原理

分布式，分区，多副本，zk协调的分布式消息系统使用日志收集消息系统用户活动跟踪运营指标概念Brokertopicproducerconsumerconsumergrouppartition通信基于tcp协议很多集群信息记录在zk里保证自己的无状态，方便水平扩容leader处理partition的读写请求，followers被动复制leader,不提供读写保证多副本与消费一致性一个partition
小淘淘喵的主人·2023-12-16 13:59

kafka配置多个消费者groupid kafka多个消费者消费同一个partition（java）

目录1-单播模式，只有一个消费者组2-广播模式，多个消费者组3-Java实践kafka是由Apache软件基金会开发的一个开源流处理平台。
KG大数据·2023-12-16 13:56

kafka常用命令

/bin/kafka-console-producer.sh--broker-listdn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667
wind_103·2023-12-16 12:23

扫盲Kafka？看这一篇就够了！ | 京东云技术团队

kafka的使用场景为什么要使用Kafka消息队列？解耦、削峰：传统的方式上游发送数据下游需要实时接收，如果上游在某些业务场景：例如上午十点会流量激增至顶峰，那么下游资源可能会扛不住压力。
京东云技术团队·2023-12-16 11:02

Logstash输入Kafka输出Es配置

Logstash介绍Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶
有梦想的攻城狮·2023-12-16 11:24

【Kafka】Kafka 实现 Exactly-once

本篇结构：Kafka三种语义Kafka故障保证Exactly-once参考博客一、Kafka三种语义在分布式系统中，构成系统的任何节点都是被定义为可以彼此独立失败的。
w1992wishes·2023-12-16 10:59

统一日志管理方案：Spring项目logback日志与logstash和Elasticsearch整合

原创/朱季谦最近在做一个将分布式系统的日志数据通过logstash传到kafka的功能，做完之后决定业余搭一个ELK日志分析系统，将logstash采集到的日志传给Elasticsearch。
朱季谦·2023-12-16 10:06

Idea执行bat使用maven打包springboot项目成docker镜像并push到Harbor

《idea配置优化、Maven配置镜像、并行构建加速打包、解决maven打包时偶尔几个文件没权限的问题》下面的使用company-repo私有仓库和阿里云镜像仓库同时使用的配置参考。
Meta39·2023-12-16 09:06

深入理解Dubbo-7.服务消费调用源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-16 09:33

深入理解Dubbo-8.Dubbo的失败重试设计

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-16 09:33

深入理解Dubbo-6.服务消费源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-16 09:03

Mysql存储引擎-InnoDB

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-16 09:26

10、神秘的“位移主题”

神秘的“位移主题”1、什么是位移主题2、位移主题的消息格式3、位移主题是怎么被创建的4、什么地方会用到位移主题5、位移主题的删除机制本章主题是：Kafka中的内部主题（InternalTopic）__consumer_offsets
cjh-Java·2023-12-16 09:01

kafka学习笔记--broker工作流程、重要参数

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录KafkaBroker工作流程Kakfa信息存储在Zookeeper中KafkaBroker总体工作流程Broker
向着百万年薪努力的小赵·2023-12-16 09:59

3、Kafka 线上集群部署方案怎么做？

、举例思考本问题：3.2、计算一下：3.3、规划磁盘容量时你需要考虑下面这几个元素：4、带宽规划4.1、计算总结1、操作系统的选择对比Linux、Mac、Window，Linux系统显然要更加适合部署Kafka
cjh-Java·2023-12-16 09:27

容器中的JVM资源该如何被安全的限制？

工程师朋友们加入Java架构开发：277763288群内提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码，MyBatis，Netty,Redis,Kafka
风平浪静如码·2023-12-16 08:49

RocketMQ系统性学习-RocketMQ领域模型及Linux下单机安装

MQ之间的对比三种常用的MQ对比，ActiveMQ、Kafka、RocketMQ性能方面：三种MQ吞吐量级别为：万，百万，十万消息发送时延：毫秒，毫秒，微秒可用性：主从，分布式，分布式扩展性方面：水平伸缩能力
无敌少年小旋风·2023-12-16 08:58

ClickHouse Kafka 引擎教程

如果您刚开始并且第一次设置Kafka和ClickHouse需要帮助怎么办？这篇文章也许会提供下帮助。我们将通过一个端到端示例，使用Kafka引擎将数据从Kafka主题加载到ClickHouse表中。
yule.yang·2023-12-16 08:25

Kafka集群部署

0准备0.1ZooKeeperhttps://blog.csdn.net/weixin_43724577/article/details/1348293620.2xsynchttps://blog.csdn.net/weixin_43724577/article/details/1348721151集群规划centos701centos702centos704ZooKeeperZooKeeperZ
Mranth·2023-12-16 08:55

Kafka命令行操作

版本：3.6.11kafka-topics.shCreate,delete,describe,orchangeatopic.创建、删除、描述或更改主题。
Mranth·2023-12-16 08:15

kafka log4j日志级别修改，一天生成一个日志文件

kafka的log4j日志默认配置中，有如下配置：log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.kafkaAppender.DatePattern
从大数据到人工智能·2023-12-16 07:15

kafka可视化工具搭建之kafdrop

Kafdrop介绍Kafdrop是一个用于查看Kafka主题和浏览消费者组的WebUI。该工具显示代理、主题、分区、消费者等信息,并且可以预览topic消息。
Memory_2020·2023-12-16 07:13

Kafka-Kafka基本原理与集群快速搭建（实践）

Kafka单机搭建下载KafkaApacheDownloadMirrors解压tar-zxvfkafka_2.12-3.4.0.tgz-C/usr/local/src/software/kafkakafka
长情知热爱·2023-12-16 07:41

spring-cloud-stream-kafka生产速度慢

包版本spring-cloud-starter-stream-kafka:3.1.0修改yaml配置添加poller配置
zhouhangzhouxing·2023-12-16 07:25

Kafka-客户端使用

理解Kafka正确使用方式Kafka提供了两套客户端API，HighLevelAPI和LowLevelAPI。
有梦想的年轻人6174·2023-12-16 07:55

kafka

kafka什么是KafkaKafka是一个分布式流式平台，它有三个关键能力订阅发布记录流，它类似于企业中的消息队列或企业消息传递系统以容错的方式存储记录流实时记录流Kafka的应用作为消息系统作为存储系统作为流处理器
李昊哲小课·2023-12-16 07:46

Kafka快速实战与基本原理详解

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景
Memory_2020·2023-12-16 06:08

Flink+Kafka消费

jarorg.apache.flinkflink-java1.8.0org.apache.flinkflink-streaming-java_2.111.8.0org.apache.flinkflink-connector-kafka
信仰_273993243·2023-12-16 06:38

Apache Kafka JNDI注入注入漏洞(CVE-2023-25194)

基于Vulhub搭建的环境一、漏洞概述ApacheKafka是一个开源分布式消息队列，Kafkaclients是相对应的Java客户端。
Guess'·2023-12-16 06:36

Kafka核心技术与实战 - 无消息丢失配置怎么实现？

Kafka是能做到不丢失消息的，只不过这些消息必须是已提交的消息，而且还要满足一定的条件。案例1：生产者程序丢失数据Producer程序丢失消息，这应该算是被抱怨最多的数据丢失场景了。
陈德华·2023-12-16 06:00

初识大数据应用，一文掌握大数据知识文集(1)

07、KafkaUtils.cr
普修罗双战士·2023-12-16 06:22

大数据生态圈kafka在物联网中的应用测试

背景由物联网项目中使用到了Tbox应用管理车辆，在上报数据的过程中，需要将终端产生的数据通过kafka的producetopiccustomer对数据进行处理后，放置到mysql中。
小赖同学啊·2023-12-16 05:37

kafka 解决大消息发送和接收报错问题

kafka消息超过一定大小会报错如下:Themessageis2044520byteswhenserializedwhichislargerthanthemaximumrequestsizeyouhaveconfiguredwiththemax.request.sizeconfiguration
weixin_48965172·2023-12-16 05:51

Storm+Kafka+Zookeeper本地集群实现百万股票数据统计

前提storm集群kafka集群zookeeper集群三个集群的搭建可以查看秃头的其他文章需求作业要求使用storm集群对10份股票数据文件进行统计，数据集中包含10支股票，包含股票金额、成交单价、成交量
小小小秃头·2023-12-16 05:54

股票交易信息实时大屏（Kafka+storm+Redis+DataV）

Controller示例：Service示例：storm拓扑示例：核心统计bolt：统计结果持久化bolt：Redis连接池：股票大数据统计展屏（基于docker搭建的storm、zookeeper、kafka
小小小秃头·2023-12-16 05:54

Docker-compose部署zookeeper+storm集群【保成，秒回】

docker-hub官网教程dockerstorm官网docker-compose安装请参考【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案】zookeeper
小小小秃头·2023-12-16 05:24

Storm+Kafka+Redis+zookeeper docker集群实战问题与解决

目录引言问题与解决引言下面的错误主要是在完成大数据展屏时遇到的一些报错，从最开始的storm构建rowkey，hbase实现统计到storm直接统计redis存结果，第一种方式是参考的一本storm实战书籍，但是老师说这种方法无法发挥storm的并行计算的优势，遇到换到了第二种方法，使用多个并行的bolt来实现不同的任务统计，下面介绍的一些报错，希望能帮助到你，欢迎留言讨论。问题与解决1、Conc
小小小秃头·2023-12-16 05:18

二手交易平台系统（springboot mybatis）

本系统采用的整体技术架构如下：后端：springboot+springmvc+mybatis+redis+kafka数据库：mysql前端：jsp+jquery+bootstrap该系统实现了一个二手交易平台网站
易-大侠·2023-12-16 04:55

大模型时代-看看大模型能不能设计一个秒杀系统

使用消息队列（如Kafka或RabbitMQ）处理高并发下的请求。数据库设计使用MySQL作为主数据库，存储商品信息、用户信息等。使用Redis作为缓存，存储商品库存、秒杀记录等。
奋力向前123·2023-12-16 02:11

13.Spring 整合 Kafka + 发送系统通知 + 显示系统通知

目录1.Spring整合Kafka2.发送系统通知2.1封装事件对象2.2开发事件的生产者和消费者2.3触发事件：在评论、点赞、关注后通知编辑3.显示系统通知3.1通知列表3.1.1数据访问层3.1.2
奋斗小温·2023-12-16 01:23

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数一、创建KafkaAdminClient二、获取kafka集群topic元信息三、获取每个topic的名称、分区数
最笨的羊羊·2023-12-15 23:29

kafka学习笔记--生产者消息发送及原理

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）发送的目的就一个，将消息发到kafka集群里，整体流程如下：如上图，首先要有一个发送消息的主线程，也就是main线程
向着百万年薪努力的小赵·2023-12-15 23:59

Java工程师通宵都要看完这几本阿里P8都强烈推荐的Java电子书

140字（可选）Java核心知识PDF1.JVM2.JAVA集合3.JAVA多线程并发4.JAVA基础5.Spring原理6.微服务7.Netty与RPC8.网络9.日志10.Zookeeper11.Kafka12
写代码的珏秒秒·2023-12-15 23:53

Spark+Kafka构建实时分析Dashboard案例

目录一、环境准备Ubuntu安装Hadoop安装Spark安装Kafka安装Python安装Python依赖库安装vscode安装Python工程目录结构二、数据处理和Python操作Kafka数据集数据预处理运行三
Hay Ha!·2023-12-15 22:40

Spark Streaming对接Kafka

4、SparkStreaming对接Kafka4.1对接数据的两种方式在前面的案例中，我们监听了来自网络端口的数据，实现了WordCount，但是在实际开发中并不是这样。
Echo-Niu·2023-12-15 22:09

Spark Streaming整合Kafka实战二

SparkStreaming整合Kafka实战二SparkStreaming整合kafka的第二种方式1.DirectApproach(NoReceivers)优点：缺点：2.偏移量解决方案自动提交偏移量
怒上王者·2023-12-15 22:38

sparkStreaming与kafka整合案例

pom文件4.0.0com.cllday011.0-SNAPSHOTaliyunhttp://maven.aliyun.com/nexus/content/groups/public/clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/jbosshttp://repository.jboss.com/nexus/co
古城的风cll·2023-12-15 22:08

Kafka（十六）连接Spark Streaming的两种方式

基于Receiver的方式：把数据从kafka中读取出来然后缓存到内存然后再定时处理（会产生数据丢失的风险如果要保证高可用必须开启WAL机制，影响性能）。
高个子男孩·2023-12-15 22:05
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他