E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka常用命令
kafka
集群搭建
Kafka
集群搭建一、概念说明它是一个分布式消息系统,由linkedin使用scala编写,用作LinkedIn的活动流(ActivityStream)和运营数据处理管道(Pipeline)的基础。
java皮皮虫
·
2024-09-04 16:48
kafka
springboot
后台
kafka
kafka测试
kafka集群
springboot集成
Kafka
kafka
:#
kafka
的连接地址(注意,是
kafka
所在服务器的公网ip,不要写成zookeeper的了)bootstrap-servers:localh
Maruko310
·
2024-09-04 16:48
java
Kafka
kafka
spring
boot
java
Kafka
学习
1、
kafka
集群配置①需要提前配置zookeeper环境②配置环境变量,与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb
·
2024-09-04 16:48
kafka
学习
分布式
Kafka
~
Kafka
命令行参数使用教程
一、
kafka
-topics.sh1.参数参数描述–bootstrap-server连接的
Kafka
Broker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题
飞Link
·
2024-09-04 15:14
大数据
kafka
zookeeper
分布式
kafka
单条消息太大引起的线上故障
问题现象1.收到日志异常报警,一个Flink任务写入
kafka
消息出现了异常,异常消息如下org.apache.flink.streaming.connectors.
kafka
.Flink
Kafka
Exception
ab342173024
·
2024-09-04 15:44
线上故障篇
java
多图详解
kafka
生产者消息发送过程
:fire:《
Kafka
运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的集群运维能力
JAVAQXQ
·
2024-09-04 15:13
java
kafka
开发语言
kafka
---- producer与broker配置详解以及ack机制详解
一、producer配置1、bootstrap.servers
kafka
broker集群的ip列表,格式为:host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf
·
2024-09-04 15:41
#
kafka
kafka
java
分布式
kafka
单条消息过大发送失败
一、背景生产环境中使用
kafka
作为消息队列,生产者发送消息失败,查询报错日志,得到如下输出:Causedby:org.springframework.
kafka
.
Kafka
Exception:Sendfailed
hungteshun
·
2024-09-04 15:11
kafka
分布式
Git 工具
主要内容:Git安装Git基本使用Git
常用命令
Git使用过程中遇到的问题文档参考:官方dochttps://git-scm.com/doc最
贪贪贪丶慎独
·
2024-09-04 12:52
嵌入式开发
git
github
gitee
RabbitMQ和
Kafka
的区别
Kafka
:基于分布式流平台设计,强调高吞吐量和可扩展性。数据以“主题”(Topics)为基础,生产者将消息发送到主题,消费者从主题读取消息。消息按时
知知之之
·
2024-09-04 00:35
RabbitMQ
rabbitmq
kafka
分布式
数据结构之Redis应用~
常用命令
~应用场景(重点)
数据结构之Redis应用之
常用命令
之应用场景说明1、本文参考了Redis开发实战指南GitBook,还有《Redis实战》自己之前的笔记。主体框架来自这里。
weixin_34005042
·
2024-09-03 22:52
数据库
数据结构与算法
json
二、Prometheus常用exporter安装详解
elasticsearch_exporter1.安装配置2.节点添加3.状态查询三、redis_exporter1.安装配置2.节点添加3.状态查询四、rabbitmq_exporter1.安装配置2.节点添加3.状态查询五、
kafka
_exporter1
Spring雷
·
2024-09-03 19:34
监控日志管理
企业运维实战
Doker运维实战
prometheus
elasticsearch
linux
运维
Docker
常用命令
镜像管理dockerpull拉去镜像dockerpush推送镜像dockerbuild-t.根据Dockerfile构建镜像dockercommit从容器创建镜像dockerimages/dokcerimagels列出本地镜像dockersearch查找镜像dokcerhistory显示镜像的历史记录dockersave保存dockerrmi删除镜像/dokcerimagerm删除多个镜像dock
HW--
·
2024-09-03 17:52
docker
java
git
常用命令
整理
全局配置gitconfig--globaluser.name"YourNameComesHere"#配置使用git仓库的人员姓名
[email protected]
#配置使用git仓库的人员emailgitconfig--globalcredential.helpercache#配置到缓存默认15分钟gitconfig--glo
玉梅小洋
·
2024-09-03 13:50
linux
配置与操作
工具使用
git
大数据
linux
开发语言
Kafka
原理生产过程的几张图解
11.png(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。(2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者)发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多
一个人一匹马
·
2024-09-03 11:11
消息中间件概述
常用的消息中间件综述组件\特点ActiveMQRabbitMQ
Kafka
跨语言支持(Java优先)语言无关支持(Java优先)支持协议OpenWire,Stomp,XMPP,AMQPAMQP-优点遵循JMS
小孩真笨
·
2024-09-03 08:36
【
Kafka
】怎么解决
Kafka
消费者消费堆积问题?
文章目录一、引言二、
Kafka
消费堆积原因分析三、解决方案1.重制消费点位2.增加消费者数量3.优化消费能力四、重制消费点位五、增加消费者数量六、优化消费能力七、总结八、参考文献九、附录摘要:在分布式系统中
程序者王大川
·
2024-09-03 07:47
大数据
kafka
linq
分布式
Liunx最
常用命令
1.系统命令命令帮助命令名-help查看ip地址ipaddr清屏clear重启reboot关机shutdown关闭防火墙systemctlstopfirewalld查看端口号占用情况netstat-tnlp|grep:222.文件命令创建文件touch文件名复制/剪切/删除cp/mv/rm文件名查看文件命令more/less/head/tail文件名模糊搜索grep-行号关键字文件名复制文件cp-
陈恒源
·
2024-09-03 07:54
docker启动
kafka
并挂载配置文件,并让外部环境连接
kafka
docker启动
kafka
并挂载配置文件,并让外部环境连接
kafka
拉取
kafka
镜像dockerpullapache/
kafka
:3.7.0通过docker启动
kafka
dockerrun-d--name
kafka
-p9092
晚枫2000
·
2024-09-03 01:09
kafka学习笔记
docker
kafka
容器
大数据
阿里云
后端
运维
docker基础
目录Docker架构图Dockers
常用命令
系统命令版本信息系统信息帮助命令镜像命令(dockerimage)搜索镜像拉取镜像查看本地镜像删除镜像容器命令(dockercontainer)创建容器查看容器删除容器启动容器停止容器重启容器进入运行中的容器执行命令获取日志显示容器详细信息复制文件命令小结
lzhdlw
·
2024-09-03 00:57
Docker
docker
容器
运维
2021-08-01
Linux学习笔记第一章Linux起源第二章系统分区第三章Linux安装与配置第四章Linux
常用命令
第一节文件处理命令第一讲命令格式与目录处
yqq32
·
2024-09-02 23:55
【HBase之轨迹】(1)使用 Docker 搭建 HBase 集群
——目录——0.前置准备1.下载安装2.配置(重)3.启动与关闭4.搭建高可用HBase前言(贫穷使我见多识广)前边经历了Hadoop,Zookeeper,
Kafka
,他们的集群,全都是使用Docker
寒冰小澈IceClean
·
2024-09-02 22:49
【大数据之轨迹】
【Docker之轨迹】
笔记
hbase
docker
hadoop
Kafka
-3.3.4摒弃zookeeper集群部署操作文档
一、集群规划
kafka
从2.8版本开始,就允许用户在不需要zookeeper的情况下运行。
ShoShin1020
·
2024-09-02 18:28
kafka
zookeeper
分布式
非关系型数据库Redis部署与
常用命令
前言Redis是一个高性能的开源内存数据库,常用于缓存、会话存储和实时数据处理,它是一款非关系型数据库。在生产环境中,Redis通过将数据存储在内存中以及支持多种数据结构,提供了快速的读写能力,并且可通过持久化功能确保数据安全。其作为消息代理系统还能支持发布/订阅模式,使得它成为构建实时通信和事件驱动架构的理想选择。目录一、关系数据库与非关系型数据库1.关系型数据库2.非关系型数据库3.区别二、R
Fang_Qianling
·
2024-09-02 15:12
非关系型数据库Redis
redis
Kafka
为什么这么快?
Kafka
是一个号称能用普通PC机也能处理超千万亿吞吐量的实时消息平台,之所以能够做到这些,主要原因有四个:一、磁盘的顺序读写在讲磁盘顺序读写之前,我们先来了解一下磁盘的寻址的过程。
神州永泰
·
2024-09-02 12:23
java
大数据
消息中间件
kafka
分布式
Kafka
1.
kafka
的几个角色和概念生产者和消费者消费者组:一些消费者的组合,共同消费一个或几个topic。
人才瘾大
·
2024-09-02 12:21
java面试八股
分布式
kafka
Go操作
Kafka
(confluent-
kafka
-go库)
文章目录Apache
kafka
简介开始使用Apache
Kafka
构建生产者构建消费者总结之前已经有两篇文章介绍过Go如何操作
kafka
28.windows安装
kafka
,Go操作
kafka
示例(sarama
百里守约学编程
·
2024-09-02 11:45
go
golang
kafka
Docker-Compose——服务编排
YAML文件格式及编写注意事项2.1使用YAML注意事项2.2数据结构2.3示例2.3.1yaml格式2.3.2Json格式3.Docker-Compose配置常用字段4.Docker-Compose
常用命令
三
一坨小橙子ovo
·
2024-09-02 04:02
docker
容器
运维
springboot
kafka
group.id多消费组配置
很早之前就使用了springboot+
kafka
组合配置,但是之前使用的spring-
kafka
(1.1.7)版本较低,所以只能通过spring.
kafka
.consumer.group-id=default_consumer_group
Garry1115
·
2024-09-02 03:56
spring
cloud
springboot
kafka
group.id
多消费组
Kafka
ACK机制详解笔记
1.ACK机制简介目的:确保生产者发送的消息可靠地写入
Kafka
集群。核心:生产者发送消息后需等待
Kafka
集群的确认。2.ACK级别acks=0:不等待确认,效率最高,但可能丢数据。
modelsetget
·
2024-09-02 03:23
kafka
kafka
分布式
ACK机制
kafka
生产者发送模式有哪几种?(发后即忘、同步发送、异步发送)
文章目录1.发后即忘(Fire-and-Forget)2.同步发送(SynchronousSend)3.异步发送(AsynchronousSend)总结
Kafka
生产者发送消息时,主要有三种模式,每种模式都有其特定的应用场景和优缺点
小丁学Java
·
2024-09-02 03:52
Kafka
kafka
发后即忘
同步发送
异步发送
Kafka
【二】关于消费者组(Consumer Group)、分区(partition)和副本(replica)的理解
【1】概述Apache
Kafka
是一个分布式流处理平台,它允许你发布和订阅记录流,存储记录流,并且可以对这些记录流进行处理。
流烟默
·
2024-09-02 02:20
#
kafka
分布式
消费者组
面试题集锦:数据库
二:key-value存储系统--Redis:三:消息队列--
kafka
:一、关系型数据库–mysql:1.数据库设计的三大范式:第一范式:每个列都不可以再拆分;第二范式:在第一范式的基础上,非主键列完全依赖于主键
浅弋、璃鱼
·
2024-09-01 17:54
面试经
Golang学习
数据库
面试题
路由器配置(新手上路,比较全面,强烈推荐)
路由器配置(新手上路,比较全面,强烈推荐)第一章路由器配置基础一、基本设置方式二、命令状态三、设置对话过程四、
常用命令
五、配置IP寻址六、配置静态路由第二章广域网协议设置一、HDLC二、PPP三、X.25
deflag
·
2024-09-01 12:55
路由器
interface
cisco
authentication
网络
防火墙
python读取
kafka
数据
#-*-coding:utf-8-*-importsysimportjsonimporttimefrom
kafka
import
Kafka
Consumer#pip3install
kafka
-pythoni
827820937
·
2024-09-01 10:35
python
消息中间件:深入理解
Kafka
的核心架构与组件解析
消息中间件:深入理解
Kafka
的核心架构与组件解析
Kafka
是一种流行的分布式流处理平台,广泛应用于实时数据处理和消息队列场景。
upgrador
·
2024-09-01 09:33
#
消息中间件
kafka
架构
linq
消息中间件:深入理解
Kafka
的消息顺序和一致性、可靠性和高可用性 第1版
消息中间件:深入理解
Kafka
的消息顺序和一致性、可靠性和高可用性第1版
Kafka
是一种分布式消息中间件,它能够处理大规模的实时数据流,是现代分布式系统中的关键组件。
upgrador
·
2024-09-01 09:00
#
消息中间件
kafka
linq
分布式
Oracle
常用命令
1.基础命令1、以oracle身份登录数据库,命令:su-oracle2、进入Sqlplus控制台,命令:sqlplus/nolog3、以系统管理员登录,命令:connect/assysdba可以合并为:sqlplussys/密码assysdba4、启动数据库,命令:startup5、如果是关闭数据库,命令:shutdownimmediate(shutdownabort)6、退出sqlplus控制
看到代码头都是大的
·
2024-09-01 09:59
oracle
数据库
Kafka
消息积压的典型场景及解决方案
Kafka
消息积压的典型场景:1.实时/消费任务挂掉比如,我们写的实时应用因为某种原因挂掉了,并且这个任务没有被监控程序监控发现通知相关负责人,负责人又没有写自动拉起任务的脚本进行重启。
辞半夏丶北笙
·
2024-09-01 05:39
kafka
分布式
MQ
SparkStreaming结合
kafka
将offSet保存在redis中
SparkStreaming结合
kafka
将offSet保存在redis中SparkStreaming结合
kafka
的两种方式1、SparkStreaming的高级APiCreateDStream,容易发生数据多次读取
哈哈xxy
·
2024-09-01 03:28
bigdata
sparkStreaming
kafka
offset
redis
Spark Streaming+
Kafka
整合+offset管理
Kafka
0-8Receiver模式和Direct模式都不适合当前版本不适用,本次学习采用
Kafka
0-10Direct模式,并通过第三方存储zookeeper来手动管理offset目录前言offset
JiahuiTian
·
2024-09-01 03:27
大数据
#
Spark
#
Kafka
kafka
spark
大数据
Spark(46) -- SparkStreaming整合
kafka
数据源
1.回顾
Kafka
可以看我前面
kafka
文章核心概念图解Broker:安装
Kafka
服务的机器就是一个brokerProducer:消息的生产者,负责将数据写入到broker中(push)Consumer
erainm
·
2024-09-01 03:26
大数据学习
spark
Maven的
常用命令
(面试篇之Maven) 以及 idea 的小窍门
最近,在追查依赖冲突时,发现可以使用一些maven的指令mvndependency:tree此外,还可以使用idea来进行查询依赖重复,以及,排除重复依赖exclusionIDEA中去除maven重复依赖,冲突依赖_maven同一工程多配置文件依赖去重-CSDN博客但,这好像只有idea的一些版本可以,其他的版本2023的好像不行,快捷键和去查找都不行,但可以根据依赖关系图,来确定要去除的依赖的子
绿蚁新亭
·
2024-08-31 22:58
maven
java
Linux
常用命令
- lsblk 【查看磁盘(块设备)使用情况】
简介lsblk源自于“listblockdevices”的缩写。这个命令用于列出系统中的所有块设备(blockdevices),比如硬盘、光驱等。它展示块设备的层次结构、大小和挂载点等信息,非常有助于系统管理员理解系统存储结构。使用方式lsblk[选项]...[...]常用选项-a,--all:列出所有的设备,包括空设备和RAM磁盘设备。-b,--bytes:输出的SIZE列使用字节(Bytes)
WKJay_
·
2024-08-31 21:19
Linux
常用命令
linux
windows
服务器
Kafka
入门篇
常用命令
Topic列表
kafka
-topics.sh--list--zookeeper172.16.254.28:2181Topic创建
kafka
-topics.sh--create--zookeeper172.16.254.28
墨痕无迹
·
2024-08-31 21:40
Kafka
入门:从零开始了解分布式流处理平台
什么是
Kafka
Apache
Kafka
是由LinkedIn公司开发,后来由Apache软件基金会维护的一个分布式、分区、多副本的基于ZooKeeper协调的分布式消息系统。
犬余
·
2024-08-31 19:34
分布式
kafka
学习
笔记
kafka
客户端连接测试
客户端代码:packagemainimport("fmt""github.com/Shopify/sarama")//
kafka
示例代码funcmain(){//配置config:=sarama.NewConfig
磊-
·
2024-08-31 17:26
go学习笔记
nvm
常用命令
nvmls:列出所有已安装的node版本nvmls-remote:列出所有远程服务器的版本(官方nodeversionlist)nvmlist:列出所有已安装的node版本nvmlistavailable:显示所有可下载的版本nvminstallstable:安装最新版nodenvminstall[node版本号]:安装指定版本nodenvmuninstall[node版本号]:删除已安装的指定版
包淼淼
·
2024-08-31 14:04
linux
运维
服务器
【Python系列】signal信号处理
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-08-31 09:27
s2
Python
python
信号处理
开发语言
Spring Cloud Stream与
Kafka
(二)
SpringCloudStream与
Kafka
(二)文章目录SpringCloudStream与
Kafka
(二)SpringCloudStream提供的信道自定义Binding声明接口SpringCloudStream
快乐江小鱼
·
2024-08-31 02:40
#
spring
kafka
分布式
spring
cloud
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他