E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka工作流程
kafka
部署 & 开发 & 通用模块 (非常有用)
狂创客圈经典图书:《NettyZookeeperRedis高并发实战》面试必备+面试必备+面试必备【博客园总入口】疯狂创客圈经典图书:《SpringCloud、Nginx高并发核心编程》大厂必备+大厂必备+大厂必备【博客园总入口】入大厂+涨工资必备:高并发【亿级流量IM实战】实战系列【SpringCloudNginx秒杀】实战系列【博客园总入口】《SpringCloudNginx高并发核心编程》环
40岁资深老架构师尼恩
·
2024-01-31 09:25
java
SSH建立原理
这3个协议:传输层协议认证协议连接协议传输层协议主要提供密钥交换与服务器端认证功能认证协议主要是提供客户端认证功能,而客户端认证主要有基于口令认证和基于密钥认证连接协议主要提供远程执行命令功能二、
工作流程
plutochen05
·
2024-01-31 08:00
ssh
服务器
servlet
中间件系列 -
Kafka
3.x从入门到精通
前言学习视频:【尚硅谷】
Kafka
3.x教程(从入门到调优,深入全面)本内容仅用于个人学习笔记,如有侵扰,联系删除1
Kafka
概述1.1定义
Kafka
传统定义:
Kafka
是一个分布式的基于发布/订阅模式的消息队列
代码的知行者
·
2024-01-31 08:58
中间件
中间件
24.云原生ArgoCD高级之数据加密seale sealed
云原生专栏大纲文章目录数据加密之sealesealedBitnamiSealedSecrets介绍BitnamiSealedSecrets
工作流程
安装sealed-secrets和kubeseal安装sealed-secrets-controller
野心与梦
·
2024-01-31 08:27
私有云+云原生实战
云原生
argocd
腾讯云SDK并发调用优化方案
网关的
工作流程
如下图所示:如上图所示,各个客户端在发起腾讯云SDK调用时,请求统一先发到网关,网关会根据现有的腾讯云账户资源使用情况,通过负载均衡算法,选择一个合适的腾讯
季风泯灭的季节
·
2024-01-31 08:20
架构设计
腾讯云
云计算
SDK
Kafka
系列之:不重启
kafka
集群设置
kafka
topic数据保留时间
Kafka
系列之:不重启
kafka
集群设置
kafka
topic数据保留时间一、
kafka
topic数据保留3天的bash命令二、查看
kafka
删除数据日志三、批量设置上千个topic保留3天数据1.构建
最笨的羊羊
·
2024-01-31 07:57
大数据
Kafka系列
不重启kafka集群
kafka
topic数据
KAFKA
节点故障的容错方案
KAFKA
节点故障的容错方案1.broker启动加载逻辑1.1日志组成和分析1.2snapshot文件1.3broker启动流程1.4LogManager的初始化和启动过程2.controller高可用
李姓门徒
·
2024-01-31 07:25
分布式
Kafka
大数据
kafka
分布式
大数据
kerberos+
kafka
(2.13)认证(单节点ubuntu)
一:搭建kerberos。1.运行安装命令apt-getinstallkrb5-admin-serverkrb5-kdckrb5-userkrb5-config2.检查服务是否启动。systemctlstatuskrb5-admin-serversystemctlstatuskrb5-kdcsystemctlstartkrb5-admin-serversystemctlstartkrb5-kdc3
宇智波云
·
2024-01-31 07:55
kafka
ubuntu
数据库
kafka
3.0.0学习记录
文章目录第1章
Kafka
概述1.1定义1.2消息队列1.2.1应用场景第1章
Kafka
概述1.1定义
Kafka
是一个开源的分布式事件流平台(EventStreamingPlatform),被数千家公司用于高性能数据管道
珍珠是蚌的眼泪
·
2024-01-31 07:24
中间件
kafka
snakemake 学习(0)
工作流程
通过人类可读的基于Python的语言进行描述。它们可以无缝扩展到服务器,集群,网格和云环境,而无需修改工作流定义。
BioLearner
·
2024-01-31 07:06
实时计算平台
Flink实时计算平台架构Flink+
kafka
+clickHouse+mysql+postgresql
xfchn多多学习学习
·
2024-01-31 07:24
大数据
实时大数据
kafka
Standalone 配置 测试
一安装1、安装jdk安装jdk2安装zk这里Standalone模型$tar-zxfapache-zookeeper-3.5.9-bin.tar.gz-C/var/soft/$mvapache-zookeeper-3.5.9-bin/zookeeper-3.5.9-bin/$mvzoo_sample.cfgzoo.cfg$vizoo.cfg修改此处,其他默认dataDir=/var/soft/zo
xfchn多多学习学习
·
2024-01-31 07:24
大数据
kafka
RabbitMQ和
Kafka
对比
RabbitMQ和
Kafka
都是流行的消息传递系统,但它们在设计哲学、功能特性和最适用的场景上有所不同:1.设计和架构RabbitMQ:基于AMQP(高级消息队列协议)。
薛定谔的zhu
·
2024-01-31 07:21
rabbitmq
kafka
分布式
【
kafka
-01数据保留时间设置】
kafka
正确设置过期时间背景如何正确配置数据过期时间背景某天突然发现我的
kafka
中group_id消费记录不见了,特地查了下咋回事。
我先森
·
2024-01-31 07:50
kafka
分布式
Kafka
与RocketMQ性能对比大揭秘
在双十一过程中投入同样的硬件资源,
Kafka
搭建的日志集群单个Topic可以达到几百万的TPS,而使用RocketMQ组件的核心业务集群,集群TPS只能达到几十万TPS,这样的现象激发了我对两者性能方面的思考
Java柱柱
·
2024-01-31 07:21
【
Kafka
】服务器Broker与Controller详解
这里写自定义目录标题Broker概述Broker总体
工作流程
Broker重要参数Controller为什么需要Controller具体作用数据服务Leader选举选举流程脑裂问题羊群效应触发leader
Ethan-running
·
2024-01-31 06:59
#
kafka
kafka
服务器
分布式
第4章 python深度学习——(波斯美女)
第4章机器学习基础本章包括以下内容:除分类和回归之外的机器学习形式评估机器学习模型的规范流程为深度学习准备数据特征工程解决过拟合处理机器学习问题的通用
工作流程
学完第3章的三个实例,你应该已经知道如何用神经网络解决分类问题和回归问题
weixin_42963026
·
2024-01-31 05:25
python
深度学习
美女
Zookeeper实现分布式队列
目录Zookeeper分布式队列普通方式实现设计思路具体实现使用Curator实现具体实现注意事项Zookeeper分布式队列常见的消息队列有:RabbitMQ,RocketMQ,
Kafka
等。
山鸟与鱼!
·
2024-01-31 05:33
分布式中间件
分布式
zookeeper
后端
java
spring
boot
管理的四种风格
这种方式通常用于传递基本的规章制度、
工作流程
、政策文件等。告知式的作用在于确保员工能够及时了解和掌握组织的基本要求和规范,从而更好地履行职责。
奋力向前123
·
2024-01-31 03:20
java
管理
架构
spring boot 使用
Kafka
一、
Kafka
作为消息队列的好处高吞吐量:
Kafka
能够处理大规模的数据流,并支持高吞吐量的消息传输。持久性:
Kafka
将消息持久化到磁盘上,保证了消息不会因为系统故障而丢失。
奋力向前123
·
2024-01-31 03:20
java
spring
boot
kafka
后端
操作系统(复习)
一操作系统概述(1)操作系统概论 ①操作系统的定义: 操作系统是管理系统资源、控制程序执行、改善人机界面、提供各种服务,合理组织计算机
工作流程
和为用户有效使用计算机提供良好运行环境的最基本的一种系统软件
wyn20001128
·
2024-01-31 01:53
操作系统
【
Kafka
系列】生产级集群参数配置
2.4Topic管理相关配置2.5数据存留相关配置3.Topic级别参数4.JVM参数5.操作系统参数6.小结1.概述本文将从Bocker端参数、Topic级别参数、JVM端参数、操作系统级别参数分别介绍
Kafka
Hyatt1024
·
2024-01-30 23:44
kafka
kafka
分布式
【
Kafka
系列】
Kafka
副本机制详解
目录1.前言2.副本定义3.副本角色4.In-syncReplicas(ISR)5.Unclean领导者选举(UncleanLeaderElection)6.小结1.前言所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢?提供数据冗余。即使系统部分组件失效,系统依然能够继续运转,因而增加了整体可用性以及
Hyatt1024
·
2024-01-30 23:44
kafka
kafka
分布式
【
Kafka
系列】
Kafka
线上集群部署方案
目录前言操作系统磁盘磁盘容量带宽小结前言
Kafka
线上集群部署方案怎么做?既然是集群部署,那必然就要有多个
Kafka
节点机器,且需要仔细地考量各种因素,结合自身的业务需求而制定。
Hyatt1024
·
2024-01-30 23:13
kafka
kafka
分布式
Nacos服务注册源码解析
目录一、Nacos服务架构二、Nacos服务注册流程图(源码级别)1.注册中心核心
工作流程
三、Nacos服务注册源码解析1.服务注册1.1客户端服务注册1.1.1添加依赖1.1.2源码分析1.1.2.1NacosAutoServiceRegistration1.1.2.1NacosServiceRe
Hyatt1024
·
2024-01-30 23:39
Spring
Cloud
Alibaba
微服务系列
源码系列
springboot
Nacos
SpringCloud
Java
RabbitMQ、
Kafka
、RocketMQ 是如何实现高可用的?
本文从高可用的角度观察一下RabbitMQ、
Kafka
、RocketMQ,看看它们各自的实现思路。
SlowGO
·
2024-01-30 22:03
Kafka
常见问题
1.
Kafka
介绍
Kafka
是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。
头未秃
·
2024-01-30 21:48
笔记
kafka
kafka
常见参数配置
Broker端参数auto.create.topics.enable:是否允许自动创建Topic。建议最好设置成false,即不允许自动创建Topic。线上环境里面有很多名字稀奇古怪的Topic,大概都是因为该参数被设置成了true的缘故。unclean.leader.election.enable:是否允许UncleanLeader选举。关闭UncleanLeader选举的。何谓Unclean?
YYangBBB
·
2024-01-30 21:48
kafka
Kafka
常见问题
Kafka
常见问题1.什么是分布式?2.什么是
Kafka
?3.为什么用
Kafka
(使用消息队列的好处)?4.消息队列的两种模式?5.
Kafka
的组成(架构)?
斯沃福德
·
2024-01-30 21:47
消息队列
/
缓存
kafka
java
分布式
Kafka
常见配置
producer.properties配置acks消息确认机制,ack可配置为三种:0,1,-1(all),默认为1acks=0,producer端发送消息后,不管broker的副本是否成功收到消息,producer端都认为发送成功。优点:时延最小,缺点:有消息丢失风险,如果消息生产成功后在发送过程中leader异常,则消息丢失。可靠性低,leader收到消息后,如果同步到其他follower过程
Jessie_hhhhhzy
·
2024-01-30 21:17
kafka
Kafka
常见参数
参数名含义默认值解释max.request.size生产端:最大请求字节大小1MB如果生产请求消息体大小大于该值,客户端生产时会报错max.poll.records消费端:一次poll()请求最大拉取消息条数500条如果单条消息处理时间长,需要减少该参数值,反之增加fetch.min.bytes消费端:一次poll()请求最小返回字节大小1增加该值可以提高吞吐量,同时也会产生一定延迟fetch.m
沉默终止
·
2024-01-30 21:46
kafka
分布式
kafka
学习笔记一
目录第一章初识
Kafka
一、
kafka
的作用二、
kafka
架构三、分区&日志四、生产者&消费者五、
kafka
高性能之道总结:
kafka
读写性能高的原因?
薛薛哦
·
2024-01-30 21:56
分布式
kafka
kafka
学习笔记二
课程地址:【尚硅谷】
Kafka
3.x教程(从入门到调优,深入全面)_哔哩哔哩_bilibili讲解版本:
kafka
3.x;时长13小时官网:Apache
Kafka
Kafka
2.8.0以后也可以配置不采用
薛薛哦
·
2024-01-30 21:25
分布式
kafka
kafka
集群搭建需要做的事情
首先,虚拟机克隆好之后的步骤如下:1.修改IP、主机名,关闭防火墙;(reboot重启)2.在/etc/hosts文件中进行IP与主机名的映射配置,集群中每天都记得配置;3.安装JDK并进行分发;进入/etc/profile.d/目录创建my_env.sh文件并在其中配置JAVA_HOME并进行分发;(分发jdk前先卸载自带的jdk);4.安装zookeeper并进行分发,具体为:首先,在zook
薛薛哦
·
2024-01-30 21:24
分布式
服务器运维小技巧(二)——如何进行监控告警
但是“及时”的这一点很难做到,需要通过优化
工作流程
、建立预警系统,搭建自动化等行为快速响应。今天主要介绍如何通过服务器运维工具搭建监控预警的手段来辅助缩短响应时间。
kkong1317
·
2024-01-30 21:52
网络安全
一碰就头疼的
Kafka
消息重复问题,立马解决!
一碰就头疼的
Kafka
消息重复问题,立马解决!
一名技术极客
·
2024-01-30 20:13
随笔
日常开发问题集锦
kafka
linq
论文阅读,Domain Specific ML Prefetcher for Accelerating Graph Analytics(一)
方便再次搜索)(1)作者(2)文献题目(3)文献时间(4)引用二、Data:文献数据(总结归纳,方便理解)(1)背景介绍(2)目的(3)预置知识(4)主要实现手段4.1overview4.2MPGraph的
工作流程
好啊啊啊啊
·
2024-01-30 20:08
论文阅读
论文阅读
MySQL(4)
文章目录一、MySQL的主从复制主从复制原理【实战】MySQL主从复制主从复制基本故障处理处理方法一处理方法二处理方法三延时从库半同步复制过滤复制二、MHA高可用架构
工作流程
MHA工具介绍MHA实验环境基于
Dream visit
·
2024-01-30 19:56
企业服务
mysql
数据库
服务器
RabbitMQ安全防护,加固策略
简介中间件简介消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性[架构]使用较多的消息队列有ActiveMQ(安全),RabbitMQ,ZeroMQ,
Kafka
中年程序员一枚
·
2024-01-30 17:27
环境搭建专栏
rabbitmq
安全
分布式
Android中UI的绘制原理
我们也都知道View的主要
工作流程
是依靠三大方法:onMeasure、onLayout、onDraw。
ChristZc
·
2024-01-30 17:20
Kafka
记录
推荐资源官网http://
kafka
.apache.org/Githubhttps://github.com/apache/
kafka
书籍《深入理解
Kafka
核心设计与实践原理》
Kafka
架构
Kafka
Beth_Chan
·
2024-01-30 16:00
Java
数据
Kafka
Java
MQ
Message
Queue
ELK集群搭建(基础教程)
ELK集群搭建(基础教程)目录:机器准备集群内各台机器安装Elasticsearch安装部署
Kafka
(注:每个节点都配置,注意ip不同)安装logstash工具安装filebeatELK收集Nginx
lqcbj_IT老混混
·
2024-01-30 16:41
ELK集群
elk
Postman 教程使用详解:如何安装和使用 Postman 进行 API 测试
它于2012年作为AbhinavAsthana的一个副项目开始,旨在简化测试和开发中的API
工作流程
。API代表应用程序编程接口,它允许软件应用程序通过API调用相互通信。为什么使用Postman?
南北极之间
·
2024-01-30 16:05
前端开发
postman
前端
测试工具
Linux ---- Shell编程三剑客之sed
2、sed
工作流程
读取:sed从输入流(文件、管道、标准输入)中读取一
AH努力中
·
2024-01-30 16:02
linux
运维
服务器
如何接手一个大数据项目
:了解一个大数据系统,我认为需要从以下几个方面入手:宏观方面:1.了解系统的整体架构和技术栈:需要了解系统中使用的技术栈,包括各种大数据组件和工具,例如Hadoop、Spark、Hive、Flink、
Kafka
Mmj666
·
2024-01-30 15:19
大数据
理解Spark中RDD(Resilient Distributed Dataset)
SparkConf2.2Partitioner2.3Dependencies2.4Checkpoint(检查点)2.5StorageLevel(存储级别)2.6Iterator(迭代函数)3依赖关系4RDD操作4.1转化操作4.2行动操作4.3惰性求值4.4持久化5Spark程序
工作流程
参考
小何才露尖尖角
·
2024-01-30 15:45
Spark
spark
RDD
弹性分布式数据集
依赖关系
RDD结构
【Prometheus】Prometheus的二进制部署+Grafana
Prometheus概述1、概念2、核心组件prometheusserver:3、Prometheus的特点:4、prometheus的存储引擎:TSDB5、Prometheus组件:6、Prometheus的
工作流程
koeda(粉丝冲刺一个亿)
·
2024-01-30 15:42
Prometheus
prometheus
grafana
kubernetes
容器
云原生
手把手带你Git入门,从下载到精通,常用git命令
文章目录Git概述什么是GitGit历史Git是什么为什么要使用Git什么是版本控制系统Git和SVN对比SVN集中式SVN优缺点Git分布式Git优缺点Git
工作流程
四个工作区域
工作流程
Git下载与安装下载
OldGj_
·
2024-01-30 14:04
git
git
github
gitee
java
版本控制
纯干货:种梦C4D宝典——灯光预设神器GSG色彩教程
上周我跟大家分享了关于三维设计中最为重要的一环——“渲染”,在文章中,我跟大家详细介绍了如何学好渲染,以及Arnold渲染器的特点、
工作流程
、案例等(延伸阅读:《种梦C4D宝典——渲染技术分析及
工作流程
TOMMY子言
·
2024-01-30 14:10
服务器运维小技巧(二)——如何进行监控告警
但是“及时”的这一点很难做到,需要通过优化
工作流程
、建立预警系统,搭建自动化等行为快速响应。今天主要介绍如何通过服务器运维工具搭建监控预警的手段来辅助缩短响应时间。
IT香菜不是菜
·
2024-01-30 12:53
网络安全
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他