Kafka原理解析

2023_Spark_实验二十四：SparkStreaming读取Kafka数据源：使用Direct方式

SparkStreaming读取Kafka数据源：使用Direct方式一、前提工作安装了zookeeper安装了Kafka实验环境：kafka+zookeeper+spark实验流程二、实验内容实验要求
pblh123·2023-12-02 09:02

从文字到使用，一文读懂Kafka服务

文章目录1.什么是Kafka？2.Kafka有什么特点，优缺点是什么？3.Kafka与Zookeeper服务的关系？4.Kafka的常见命令有哪些？5.Kafka和Zookeeper服务如何结合？
普修罗双战士·2023-12-02 09:31

商城系统通过Kafka消息队列，实现订单的处理和状态更新springboot例子解决并发处理、数据一致性等问题

使用Kafka消息队列可以很好地解决这些问题。
一只java小菜鸡·2023-12-02 09:29

仿IOS SwitchButton开关滑动效果,给你丝滑般的体验

背景效果使用方法原理解析背景由于开发中经常会用到滑动开关,但是Android自带的滑动开发滑动效果太难看,所以这里模仿了IOS的滑动效果自制了一个滑动开关.效果使用方法1.style.xml中引入自定义标签
StramChen·2023-12-02 07:39

Docker部署各个微服务组件

目录一、Sentinel安装命令二、NACOS三、RabbitMQ四、Redis五、tomcat六、mysql七、nginx八、influxDB九、Kafka安装zookeeper安装kafka安装kafka-map
喵喵队摆大烂·2023-12-02 07:54

OCR原理解析

目录1.概述2.应用场景3.发展历史4.基于传统算法的OCR技术原理4.1图像预处理4.1.1灰度化4.1.2二值化4.1.3去噪4.1.4倾斜检测与校正4.1.4.2轮廓矫正4.1.5透视矫正4.2版面分析4.2.1连通域检测文本4.2.2MSER检测文本4.3字符切割4.3.1连通域轮廓切割4.3.2垂直投影切割4.4字符识别4.4.1识别原理4.5版面恢复4.6后处理4.7传统OCR局限性5
小小晓晓阳·2023-12-02 05:47

【RabbitMQ】消息丢失原因及解决方案

前言：（1）如今项目都会引入消息队列组件，无论是Kafka、RocketMQ还是RabbitMQ，特点和使用上可能有所区别，但主要目的都是一致的：应用解耦、异步提速、流量削峰。
Annancqxxx·2023-12-02 05:09

Mac使用brew搭建kafka集群

1.第一步：单机搭建单机搭建：安装完后，默认自动安装对应版本zookeeperbrewinstallkafka2.第二步：修改配置文件:配置3个Kafka第一个（使用默认配置）vi/opt/homebrew
相逢太短，莫等茶凉·2023-12-02 04:04

Exception in thread “main“ java.lang.IllegalStateException: Transactional method invoked on a non-tr

bug解决方式在学习使用Kafka的事务时，出现如下错误：这是因为没有指定事务id使用如下代码指定事务id//指定事务id，随便起，但要保证全局唯一，使用Kafka事务时必须指定，否则报错//Transactionalmethodinvokedonanon-transactionalproducer.properties.put
所念皆星河73·2023-12-02 00:50

Windows安装Kafka3.6，单机

Kafka版本：kafka_2.13-3.6.0Windows10系统安装与配置下载kafka_2.13-3.6.0.tgz下载并解压Kafka3.6.0的压缩包到你选择的目录。
所念皆星河73·2023-12-02 00:18

【Java8系列07】Java8日期处理

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-01 21:51

gradle依赖版本错误

问题复现在项目中使用kafka组件，查看依赖（gradledependencies）发现kafka-client的版本为2.0版本（正确版本应该是0.10.2.1）依赖图片问题排查歧途根据gradle解决版本冲突特性
知而乐者·2023-12-01 21:15

大数据基础设施搭建 - Maxwell

创建数据库4.2调整MySQL数据库密码级别4.3创建Maxwell用户并赋予其必要权限4.4测试五、修改配置文件5.1修改Maxwell配置文件名称5.2修改Maxwell配置文件六、增量数据同步6.1创建KafkaTopic
m0_46218511·2023-12-01 19:19

Kakfa官方设计文档解读

最近在研究kafka，原版论文见我的另一篇文章，本文对kafka2.7最新版的设计文档做一个概括性解读，原文见官网的设计文档。1.Motivationkafka被设计成一个通用的数据流处理平台。
Caucher·2023-12-01 19:07

最全的Docker-compose应用部署！快收藏！

.数据库2.1mysql2.2PostgreSQL2.3Oracle2.4MongoDB2.5sqlserver3.消息队列和事件驱动系统3.1ActiveMQ3.2RabbitMQ3.3ApacheKafka3.4NATS4
信息化战略·2023-12-01 16:23

kafka 控制台发送和消费测试

#进入安装目录cd/export/app/kafka_2.11-0.10.2.1#生产：bin/kafka-console-producer.sh--broker-list10.86.0.106:9092
玩玩风行啦·2023-12-01 16:15

共享娱乐宝库：电视盒子影视源分享攻略

共享娱乐宝库：电视盒子影视源分享攻略前言电视盒子的基本原理解析1.**硬件组成**：2.**操作系统：**3.**网络连接：**4.**应用市场和应用：**5.**获取影视资源的方式：**6.
TechWJ·2023-12-01 16:34

Springboot快速整合kafka

kafka的基本了解kafka也是目前常用的消息中间件,支持同步与异步通信,和rabbitmq一样,工作模式大概相同,并且被spingboot整合的后的都是中间件Template的实列化客户端类,消费者监听注解为
蓝胖子不是胖子·2023-12-01 15:12

Reactor网络线程模型

目录传统下网络服务模型事件监听模型NIO核心概念单线程Reactor模式多线程Reactor模式Kafka的网络设计主要概念类比思维理解参考文章传统下网络服务模型线程太多无法处理大规模请求事件监听模型NIO
数据与后端架构提升之路·2023-12-01 12:48

Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践

简介：大家好，今天我将跟大家分享一下Flink里面的Checkpoint，共分为四个部分。首先讲一下Checkpoint与state的关系，然后介绍什么是state?，第三部分介绍如何在Flink中使用state?第四部分则介绍Checkpoint的执行机制。作者：唐云(茶干)整理:平凡的世界_zkx第一部分:Checkpoint与state的关系Checkpoint是从source触发到下游所有
bigdata张凯翔·2023-12-01 12:23

zookeeper集群和kafka集群

（一）kafka1、kafka3.0之前依赖于zookeeper2、kafka3.0之后不依赖zookeeper，元数据由kafka节点自己管理（二）zookeeper1、zookeeper是一个开源的
海德Hyde·2023-12-01 11:54

#zookeeper集群+kafka集群

kafka3.0之前是依赖于zookeeper的。zookeeper是开源，分布式的架构。提供协调服务（Apache项目）基于观察者模式涉及的分布式服务管理架构。存储和管理数据。
aaa.com·2023-12-01 11:20

filebrat+elk+kafka实现远程收集日志

20.0.0.15kafka120.0.0.30kafka220.0.0.40kafka320.0.0.10logstash+kibana20.0.0.20elasticsearch20.0.0.60elasticsearch
aaa.com·2023-12-01 11:20

系统部署安装-Centos7-Kafka

文章目录安装离线安装下载安装安装离线安装下载可以前往kafka的官网进行下载https://kafka.apache.org/downloads安装1.创建安装目录mdkir/opt/software/
Doubletree_lin·2023-12-01 11:48

Zookeeper+Kafka集群

注：本章使用的Kafka为2.7.0版本Zookeeper概述1.Zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。
pupcarrot·2023-12-01 11:47

ELK+filebeat+kafka

无需创建logstash的端口，直接创建topic远程收集mysql和httpd的日志（一）安装nginx和mysql服务1、打开mysql的日志功能2、创建日志（创库、创表、添加数据）（1）mysql服务器上安装httpsystemctlrestarthttpd.service（2）访问测试（二）部署安装filebeat1、编辑filebeat的配置文件（1）启动filebeat服务nohup.
海德Hyde·2023-12-01 11:12

ELK+filebeat+kafka

/filebeat-e-cfilebeat.yml>filebeat.out&tail-ffilebeat.outcd/etc/logstash/conf.dvimkafka.confinput{kafka
aaa.com·2023-12-01 11:11

Elk+Filebeat+Kafka实现日志收集

Elk+Filebeat+Kafka实现日志收集(本机nginx)部署Zookeeper1.实验组件#准备3台服务器做Zookeeper集群20.0.0.1020.0.0.2020.0.0.302.安装前准备
pupcarrot·2023-12-01 11:10

ELK——ELK+filebeat+kafka部署——（3）部署kafka

部署kafka为了防止收集的日志信息太多或者是服务器down机导致的信息丢失，我们这里引入kafka消息队列服务器，我们这里搭建单节点的kafka，生产环境中应该使用集群方式部署。
未来的运维大牛·2023-12-01 11:24

ELK——ELK+filebeat+kafka部署——（1）部署ELK

部署ELK这里我们首选把ELK的环境搭建好。一步一步去搭建服务。上传软件包：Elasticsearch、Logstash、Kibana和JDK安装jdk1.8由于ELK的3个软件都需要JDK支持，所以只要安装Elasticsearch+Logstash+Kibana的服务器都要装JDK，jdk版本至少1.8解压jdk[root@elk01~]#tar-zxvfjdk-8u171-linux-x64
未来的运维大牛·2023-12-01 11:53

zookeeper集群+Kafka集群

zookeeper集群Kafka3.0之前依赖于zookeeperzookeeper是一个开源，分布式的架构zookeeper提供协调服务(Apache项目)基于观察者模式设计的分布式服务管理架构。
俊俏美男子章鱼哥·2023-12-01 11:52

ELK+Filebeat+Kafka+Zookeeper日志分析系统

ELK+Filebeat+Kafka+Zookeeper日志分析系统文章目录ELK+Filebeat+Kafka+Zookeeper日志分析系统一、Filebeat1.Filebeat简介2.Filebeat
LEE_九月·2023-12-01 11:21

k8s部署elk+filebeat+logstash+kafka集群（二）kafka-zookeeper模式集群

zookeeper集群部署zookeeper使用官方镜像，版本为3.5，上传到镜像仓库rbacapiVersion:v1kind:ServiceAccountmetadata:name:kafkanamespace
filtercomp·2023-12-01 11:51

k8s部署elk+filebeat+logstash+kafka集群（二）kafka-kraft模式集群

1、构建kafka镜像kafka没有找到官方镜像，所以自己构建个kafka镜像，我使用的版本是2.8下载地址：https://kafka.apache.org/#编辑启动脚本catstart.sh#!
filtercomp·2023-12-01 11:20

elk+filebeat+kafka集群部署

EFK实验架构图：实现高并发，无需指定logstash3台es+file，3台kafka20.0.0.10es+file20.0.0.20es+file20.0.0.30es+file20.0.0.11kafka20.0.0.12kafka20.0.0.13kafka
俊俏美男子章鱼哥·2023-12-01 10:17

SpringCloudStream集成MQ中间件

第零章序提问：众所周知，MQ的集成方案及中间件有很多中，如现在主流的产品：RabbitMQ、RocketMQ、ActiveMQ、KafKa；但有时很意外的是：公司业务服务使用的RabbitMQ，而数据库后台使用的是
～Mei先森·2023-12-01 09:11

ELK+filebeat+kafka实现日志收集

ELK+filebeat+kafka远程收集不同主机上的httpd、mysql日志实验实验目的：远程收集日志，高并发情况下流量削峰，异步通信实验条件：主机名IP地址作用组件硬件集群test120.0.0.10
咩咩230·2023-12-01 08:40

搭建Kafka集群

一：安装jdk1.删除本地openjdkrpm-qa|grepjava命令的意思是搜索java，查看安装包文件2.卸载jdkyumremove*openjdk*3.安装jdk将jdk压缩包解压并安装在/usr/lib/jvm目录下4.配置环境变量1exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_2612exportPATH=$JAVA_HOME/bin:$PATH3ex
梧桐雨。·2023-12-01 08:39

通过logstash消费kafka数据到elasticsearch

关于logstash的介绍官网写的非常详细，这里就不再过多介绍了，感兴趣的小伙伴可以自行去官网查看，我们今天的主要目的是如果通过logstash从kafka消费数据，并
King-Mouse·2023-12-01 08:09

CentOS7搭建Kafka集群

目录一、Kafka单机【依赖单机的单节点Zookeeper】二、KafKa集群搭建三、KafkaManager（web页面管理）的搭建四、使用本地客户端测试MQ基本操作首先kafka的配置信息等信息依赖
it_lihongmin·2023-12-01 08:08

搭建kafka服务器集群

一、要搭建Kafka服务器集群，您需要进行以下步骤：安装和配置Zookeeper首先，您需要安装和配置Zookeeper。
立昂·2023-12-01 08:38

Linux 搭建Kafka集群，最新教程，细到极致

  大家好呀，今天给大家带来的是，最新版kafka集群的安装教程，希望给小伙伴们一点小小的帮助。
Jesscia ^_^·2023-12-01 08:08

从0到1搭建kafka集群

192.168.1.101node2:192.168.1.102node3:192.168.1.103下载安装包下载zookeeperhttps://dlcdn.apache.org/zookeeper/下载kafkahttps
爱埋珊瑚海～～·2023-12-01 08:06

08 | Kafka_生产者压缩算法面面观

在Kafka中，压缩也是用来做这件事的。今天我就来跟你分享一下Kafka中压缩的那些事儿。怎么压缩？Kafka是如何压缩消息的呢？要弄清楚这个问题，就要从Kafka的
Splunker·2023-12-01 07:50

Kafka如何保证高吞吐量

1.顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写生产者负责写入数据，Kafka
攻城狮百里·2023-12-01 05:21

kafka笔记4--安装kafka ui

kafka笔记4--安装kafkaui1介绍2安装&测试2.1docker部署kafka-ui2.2测试3注意事项4说明1介绍文章OverviewofUIToolsforMonitoringandManagementofApacheKafkaClusters
昕光xg·2023-12-01 04:09

k8s笔记22--使用fluent-bit采集集群日志

k8s笔记22--使用fluent-bit采集集群日志1介绍2部署&测试2.1获取安装fluent-bit2.2直接采集日志到es集群2.3直接采集日志到kafka集群3注意事项4说明1介绍k8s笔记11
昕光xg·2023-12-01 04:09

深入理解Zookeeper系列-1.初识Zoookeeper

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-01 03:56

深入理解Zookeeper系列-2.Zookeeper基本使用和分布式锁原理

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-01 03:26

消息队列进阶-3.消息队列常见问题解决方案

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023
爱吃芝士的土豆倪·2023-12-01 03:25
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他