E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka安装部署
Kafka
消息丢失如何处理?
今天给大家分享一个在面试中经常遇到的问题:
Kafka
消息丢失该如何处理?这个问题啊,看似简单,其实里面藏着很多“套路”。来,咱们先讲一个面试的“真实”案例。面试官问:“
Kafka
消息丢失如何处理?”
架构文摘JGWZ
·
2024-09-16 09:47
学习
Python 实现图片裁剪(附代码) | Python工具
环境依赖ffmpeg环境安装,可以参考我的另一篇文章:windowsffmpeg
安装部署
_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg,而是ffprobe也在上面这篇文章中的zip包中。
剑客阿良_ALiang
·
2024-09-16 09:16
【六】阿伟开始搭建
Kafka
学习环境
阿伟开始搭建
Kafka
学习环境概述上一篇文章阿伟学习了
Kafka
的核心概念,并且把市面上流行的消息中间件特性进行了梳理和对比,方便大家在学习过程中进行对比学习,最后梳理了一些
Kafka
使用中经常遇到的
Kafka
能源恒观
·
2024-09-16 08:09
中间件
学习
kafka
spring
openssl+keepalived
安装部署
文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网,所以采用安装包的方式进行部署,下载地址:https://www.openssl.org/source/old/
_小亦_
·
2024-09-16 08:08
项目部署
keepalived
openssl
Java面试题精选:消息队列(二)
一、
Kafka
的特性1.消息持久化:消息存储在磁盘,所以消息不会丢失2.高吞吐量:可以轻松实现单机百万级别的并发3.扩展性:扩展性强,还是动态扩展4.多客户端支持:支持多种语言(Java、C、C++、GO
芒果不是芒
·
2024-09-16 07:34
Java面试题精选
java
kafka
Kafka
是如何保证数据的安全性、可靠性和分区的
Kafka
作为一个高性能、可扩展的分布式流处理平台,通过多种机制来确保数据的安全性、可靠性和分区的有效管理。
喜欢猪猪
·
2024-09-16 07:00
kafka
分布式
Kafka
详细解析与应用分析
Kafka
是一个开源的分布式事件流平台(EventStreamingPlatform),由LinkedIn公司最初采用Scala语言开发,并基于ZooKeeper协调管理。
芊言芊语
·
2024-09-15 20:33
kafka
分布式
Kafka
基础与架构理解
目录前言
Kafka
基础概念消息队列简介:
Kafka
与传统消息队列(如RabbitMQ、ActiveMQ)的对比
Kafka
的组件
Kafka
的工作原理:消息的生产、分发、消费流程
Kafka
系统架构
Kafka
StaticKing
·
2024-09-15 19:27
KAFKA
kafka
全面指南:用户行为从前端数据采集到实时处理的最佳实践
本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和
Kafka
进行数据传输、通过Flink实时处理数据的完整流程。
数字沉思
·
2024-09-15 11:28
营销
流量运营
系统架构
前端
内容运营
大数据
Docker安装
Kafka
和
Kafka
-Manager
本文介绍如何通过Docker安装
kafka
与
kafka
界面管理界面一、拉取zookeeper由于
kafka
需要依赖于zookeeper,因此这里先运行zookeeper1、拉取镜像dockerpullwurstmeister
阿靖哦
·
2024-09-15 09:46
主流行架构
nexus,gitlab,svn,jenkins,sonar,docker,apollo,catteambition,axure,蓝湖,禅道,WCP;redis,
kafka
,es,zookeeper,dubbo
rainbowcheng
·
2024-09-15 09:43
架构
架构
Spark集群的三种模式
Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式
安装部署
配置历史服务器运行模式
MelodyYN
·
2024-09-15 01:16
#
Spark
spark
hadoop
big
data
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线
决定暂时放弃就业,先准备考研,买了数学和408的资料书3月9日-3月13日,因疫情原因,宿舍区暂封,这段时间在准备考研,发现内容特别多3月13日-3月19日,大部分时间在刷Hadoop、Zookeeper、
Kafka
「已注销」
·
2024-09-14 23:30
个人总结
hadoop
分布式消息队列
Kafka
分布式消息队列
Kafka
简介:
Kafka
是一个分布式消息队列系统,用于处理实时数据流。消息按照主题(Topic)进行分类存储,发送消息的实体称为Producer,接收消息的实体称为Consumer。
叶域
·
2024-09-14 22:55
大数据
分布式
kafka
scala
spark
K8S学习之PV&&PVC
如典型的mysql,
kafka
,zookeeper等等。在我们有比较优秀的商业存储的前提下,非常推荐使用有状态服务进行部署,计算和存储分离那是相当的爽的。
david161
·
2024-09-14 20:10
Linux学习-Ansible(一)
环境-Rocky-Linux8.6
安装部署
Ansible#安装ansible[root@harboransible]#dnfinstall-yansible-core#查看安装信息[root@harboransible
丢爸
·
2024-09-14 18:57
Linux
linux
学习
ansible
Kafka
系列之:
kafka
命令详细总结
Kafka
系列之:
kafka
命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/
kafka
-topics.sh--bootstrap-serverbroker_host
快乐骑行^_^
·
2024-09-14 08:55
日常分享专栏
Kafka
Kafka系列
kafka命令详细总结
搭建
Kafka
+zookeeper集群调度
前言硬件环境172.18.0.5
kafka
zk1
Kafka
+zookeeper
Kafka
Broker集群172.18.0.6
kafka
zk2
Kafka
+zookeeper
Kafka
Broker集群172.18.0.7
kafka
zk3
Kafka
krb___
·
2024-09-14 07:17
kafka
分布式
DMDPC
安装部署
1.DMDPC架构DMDPC架构由计划生成节点SP、数据存储节点BP和元数据服务器节点MP三部分组成:1、SP对外提供分布式数据库服务,用户可以登录到任意一个SP节点,获得完整的数据库服务;2、BP负责存储数据,执行SP的调度指令并将执行结果返回给SP;3、MP负责存储元数据并向SP、BP提供元数据服务。本文是在1台Linux虚拟机上通过创建四个实例的方式进行集群搭建.2.DMDPC集群规划DMD
丷月亮是指路牌
·
2024-09-14 06:39
数据库
Kafka
和Pulsar深入解析
Kafka
多租户:单租户系统数据迁移:依赖MirrorMaker,需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储:由供应商提供商业使用。
jasen91
·
2024-09-14 01:39
大数据开发
kafka
分布式
Linux系统部署
Kafka
教学
第一步:Zookeeper安装(准备工作)1、解压安装将安装包上传到/opt/software目录下,解压并修改名称tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/mvapache-zookeeper-3.5.7-bin/zookeeper2、配置服务器编号1)在/opt/module/zookeeper-3.5.7/这个目录下创建zk
情书学长
·
2024-09-13 18:26
linux
学习
笔记
kafka
数仓开发之DWD层完整使用 (第五章)
ETL)2)新老访客状态标记修复(1)前端埋点新老访客状态标记设置规则(2)新老访客状态标记修复思路3)利用侧输出流实现数据拆分(1)埋点日志结构分析(2)分流日志分类(3)分流思路3、图解4、代码1)在
Kafka
Util
小坏讲微服务
·
2024-09-13 13:22
数据仓库
hadoop
scala
kafka
Kafka
应用场景
数据流处理:
Kafka
支持实时数据流处理,能够在数据流动时进行处理和分析,确保应用程序与最新信息保持同步!日志聚合:可以将来自不同来源的日志集中和聚合,简化应用程序的调试和监控!
zinuxer
·
2024-09-13 12:15
kafka
分布式
Kafka
的ack机制
ack=0/1/-1的不同情况:0:producer不等待broker的ack,broker一接收到还没有写入磁盘就已经返回,当broker故障时有可能丢失数据;1:producer等待broker的ack,partition的leader落盘成功后返回ack,如果在follower同步成功之前leader故障,那么将会丢失数据;-1:producer等待broker的ack,partition的
香山上的麻雀
·
2024-09-13 10:18
Kafka
实战 -
Kafka
分区和副本机制理解
Apache
Kafka
的分区(Partition)和副本(Replica)机制是其核心架构和可靠性保证的关键组成部分。
用心去追梦
·
2024-09-13 07:15
kafka
分布式
编程常用命令总结
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
kafka
Yellow0523
·
2024-09-13 02:42
Linux
BigData
大数据
zookeeper+
kafka
消息队列部署
消息队列的概念什么是消息队列消息是指在应用间传送的数据消息队列是一种应用间的通信方式解决方法,确保消息的可靠传递专门为消息做缓存的消息队列的特征存储将消息存储在某个类型的缓冲区中,指导目标进读取这些消息或者将其从消息队列中显示移除为止异步消息队列通过缓冲消息可以在应用程序当中公开一定程度的异步性,允许源进程发送消息并在队列当中累积消息,而且目标进程可以挑选消息并进行处理为什么需要消息队列解耦冗余扩
TBF610218
·
2024-09-13 02:08
zookeeper
kafka
分布式
分布式中间件-几个常用的消息中间件
文章目录常见消息中间件1.RabbitMQ2.Apache
Kafka
3.RedisPub/Sub4.ActiveMQ5.AmazonSimpleNotificationService(SNS)和SimpleQueueService
问道飞鱼
·
2024-09-12 19:24
分布式技术
分布式
中间件
kafka
php 教程,php 使用
kafka
准备工作gitclonehttps://github.com/edenhill/librd
kafka
.git.
weixin_39713841
·
2024-09-12 17:10
kafka
php
教程
Kafka
快速入门
讲一下什么是
Kafka
首先引入这样一个场景:A服务可以发送200qps(QueriesPerSecond,是指每秒查询率),而B服务可以处理100qps。很显然,B服务很可能会被A服务压垮掉。
G丶AEOM
·
2024-09-12 06:35
速成学习区
kafka
linq
分布式
银河麒麟高级服务器操作系统V10SP2(X86)PXE服务端部署以及测试
银河麒麟高级服务器操作系统V10SP2(X86)PXE服务端部署以及测试一系统环境1.1服务端/客户端系统版本1.2服务端环境信息二组件
安装部署
2.1安装软件包2.1.1uefi配置2.1.2legacy
熊08
·
2024-09-11 23:42
服务器
运维
linux
kylin
阿里云服务器Zookeeper单机
安装部署
(单机伪集群稍后更新)
首先服务器系统版本配置如下:40e2c9e8ed734139ac1f99197a01dad8.pngzookeeper下载链接:http://mirror.bit.edu.cn/apache/zookeeper/38f2d0f359d7426faf44a6b8047f4a94.pngzookeeper版本很重要,我下载的是3.4.14版本,至于为什么不用新的,后面会讲到。下载后解压放置路径:028
不减30斤不改名_TC
·
2024-09-11 22:21
【Python系列】异步任务的终止
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-11 18:37
s2
Python
python
开发语言
老版本
kafka
查询topic消费情况(python查询)
由于老版本的
kafka
缺少shell,导致无法通过命令直接进行查询,所以通过python代码,实现消费情况查询安装必须的包#pyhon2.5pipinstall
kafka
-python==1.4.7python
代码是谁
·
2024-09-11 12:56
kafka
python
分布式
【Docker】MongoDB 容器化部署
当前版本未7.0.5你可以通过轻云UC部署工具直接
安装部署
,也可以手动按如下文档操作配置文件地址:https://gitee.com/qingplus/qingcloud-platformQinghubStudio
轻云UC
·
2024-09-11 10:14
运维部署
mongodb
docker
数据库
【Python系列】使用切片移动元素位置
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-11 08:25
s2
Python
python
开发语言
字节架构师:来说说
Kafka
的消费者客户端详解,你都搞懂了吗?
发布订阅模式模式就是
kafka
中的分区消息可以被不同消费者组的消费者消费。这就是一对多的广播模式应用。当然,消费者组是一个逻辑的概念,通过客户端参数group.id来配置,默认值为空字符串。
2401_84049200
·
2024-09-11 07:49
程序员
kafka
linq
分布式
01-Flink
安装部署
及入门案例(仅供学习),音视频时代你还不会NDK开发
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵
小猪佩琪962
·
2024-09-11 07:18
2024年程序员学习
flink
学习
大数据
Java
Kafka
生产者实现
欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。推荐:「stormsha的主页」,「stormsha的知识库」持续学习,不断总结,共同进步,为了踏实,做好当下事儿~专栏导航Python系列:Python面试题合集,剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记,该笔记专栏
stormsha
·
2024-09-11 01:09
Java
web
java
kafka
linq
python调用rocketmq的api_Python:Rocketmq消息队列使用
rocketmq可以与
kafka
等一起使用,用于实时消息处理。
weixin_39914868
·
2024-09-10 11:35
如何在虚拟机中
安装部署
K8S?
教程参考:centos7安装k8s1.28版本,基于科学-CSDN博客环境准备:准备三台机器,都做以下操作,或者只准备一个机器,最后再克隆两台。yum:换源,这是阿里云的源sudowget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repo然后清缓存,建立元数据yumcleanallyumma
桃林春风一杯酒
·
2024-09-10 00:05
kubernetes
java
docker
Kafka
2.8.0集群安装教程
Kafka
2.8.0集群安装教程准备工作node01~node04(四个节点机器,三台也可以),
kafka
安装node01~~node03启动zookeeper,这里依次启动node131,node132
请叫我你好
·
2024-09-09 21:48
安装教程
kafka
实时数仓之实时数仓架构(Hudi)(1)
实时数仓架构图如下:技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据
2401_84164527
·
2024-09-09 19:34
程序员
架构
2024年大数据最新实时数仓之实时数仓架构(Hudi)
技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据可以忽略;Flink:用于数据ETL,包括接入数据、处理数据及输出数据全链路数据计算任务
2401_84185556
·
2024-09-09 19:34
程序员
大数据
架构
在ELFK架构中加入
kafka
要进行日志的分析处理,而filebeat至进行日志的收集和发送,处理过程较为简单,所以当日志量非常巨大的时候,logstash会由于处理不及时导致日志或数据的丢失,这时候可以在filebeat和logstash之间加入
kafka
beretxj_
·
2024-09-09 15:31
kafka
分布式
大数据
elk
Kafka
【问题 03】Connection to node -1 ( IP 9092) could not be established(1)
还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!【完整版领取方式在文末!!】93道网络安全面试题需要体系化学习资料的朋友,可以加我V获取:vip204888(备注网络安全
2401_84265972
·
2024-09-09 14:26
2024年程序员学习
网络安全
web安全
面试
Kafka
是如何实现高性能的
将写磁盘的过程变为顺序写
Kafka
的整个设计中,Partition相当于一个非常长的数组,而Broker接收到的所有消息顺序写入这个大数组中。
明斯克开源
·
2024-09-09 04:19
Java
经验分享
架构
java
Spring常用中间件
(2)
Kafka
:分布式流处理平台,适合处理大规模数
贺仙姑
·
2024-09-08 23:15
spring
中间件
java
Linux - Linux
安装部署
Maven以及环境变量配置
1、下载Maven:前往官网下载最新版的Maven:Maven–DownloadApacheMaven2、解压Maven:将下载的压缩包解压到你希望安装Maven的目录,例如:tar-zxvfapache-maven-3.8.6-bin.tar.gz-C/opt/maven3、配置环境变量:编辑.bashrc或.bash_profile文件,添加以下内容:exportM2_HOME=/opt/ma
MinggeQingchun
·
2024-09-08 20:27
Linux
Maven
linux
maven
运维
史上最全LVS+keepalived+nginx基于DR模式高可用
安装部署
史上最全LVS+keepalived+nginx基于DR模式高可用
安装部署
lvs+keepAlived→效率最高的负载均衡在大型网站中一般服务端会做集群,同时利用负载均衡器做负载均衡。
徐兴强的博客
·
2024-09-08 19:21
负载均衡
服务器
linux
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他