E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka集群
Cilium系列-15-7层网络CiliumNetworkPolicy简介
在Cilium中,可以为不同的协议(包括HTTP、
Kafka
和DN
·
2025-02-08 02:56
MapReduce的代码编写
Job对象,通过getInstance()函数设置当前main函数所在的类,设置后运行代码可以找到函数的入口;③设置MapReduce的输入输出路径用于输入数据和输出计算的数据结果;注意若要是输出的路径在
集群
中已经存在
hjy1821
·
2025-02-08 02:27
MapReduce
MapReduce代码
WordCount字数统计代码
MapReduce编写
MapReduce使用案例
Redis性能优化18招
Redis性能优化的18招目录前言选择合适的数据结构避免使用过大的key和value[使用RedisPipeline](#使用RedisPipeline)控制连接数量合理使用过期策略使用Redis
集群
充分利用内存优化使用
繁川
·
2025-02-08 01:22
redis
性能优化
数据库
Licode简介及与SRS对比
设计思想:分布式架构:支持横向扩展(多个节点组成
集群
)。房间管理:以“房间(Room)”
Ryan-S
·
2025-02-08 00:14
webrtc
Licode
kafka
控制器是什么?有什么作用?思维导图 代码示例(java 架构)
Kafka
控制器(Controller)是
Kafka
集群
中的一个特殊节点,它负责协调和管理
集群
内的一系列关键操作。
用心去追梦
·
2025-02-07 23:08
kafka
java
架构
项目中常用中间件有哪些?分别起什么作用?
在项目开发中,常用的中间件包括消息中间件、缓存中间件、数据库中间件等,以下是一些常见的中间件及其作用:消息中间件
Kafka
:一般用于处理大规模的消息数据,具有高吞吐量、低延迟的特点,适用于日志收集、消息队列等场景
静静在思考
·
2025-02-07 22:07
中间件
中间件
k8s部署rabbitmq
集群
1部署
集群
1.1安装#创建一个中间件的命名空间kubectlcreatenamespacemiddleware#创建ConfigMap,包含RabbitMQ的配置文件内容kubectlapply-frabbitmq-configmap.yaml
warrah
·
2025-02-07 22:06
岁月云——运维
kubernetes
rabbitmq
容器
Kafka
:学习
Kafka
如何保证可靠性
一、读前需知针对
Kafka
消息重复的场景与解决方法的思路均来自@老周聊架构聊聊
Kafka
:
Kafka
如何保证可靠性,我仅以一个初学者的视角进行笔记和总结,非常感谢作者的分析。
·
2025-02-07 22:18
kafka
Kafka
和 RocketMQ 对比总结
Kafka
和RocketMQ对比总结1.主要区别特性
Kafka
RocketMQ设计目标高吞吐量、分布式日志系统金融级消息队列,强调消息可靠性和事务消息模型基于分区(Partition)的发布-订阅模型基于主题
·
2025-02-07 21:43
kafkarocketmq
一文搞懂
Kafka
的设计与实现
作者:禅与计算机程序设计艺术1.背景介绍Apache
Kafka
是一个开源流处理平台,主要用于实时数据传输、存储、分析和应用的一种分布式消息系统。
AI天才研究院
·
2025-02-07 21:27
AI大模型企业级应用开发实战
Java实战
编程实践
大数据
人工智能
语言模型
Java
Python
架构设计
flink on yarn模式下的,flink中的slot,taskmanage,parallelism,以及yarn中的container,vcore,memory它们之间的关系
第一点yarn
集群
上同时能跑多少任务是有限定的,这个限定就是yarn上的vcore和memory这两个参数。
抛砖者
·
2025-02-07 18:40
container
flink
on
yarn模式
yarn
solt
taskmanage
Databend 产品月报(2025年1月)
本地计算
集群
现在,您可以使用SQL命令管理本地计算
集群
,从而更轻松地在自托管的Databend环境中创建、扩展和提升查询性能。
·
2025-02-07 17:09
数据库
大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想
目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)
Kafka
m0_74823336
·
2025-02-07 16:57
面试
学习路线
阿里巴巴
大数据
架构
基于keepalived+GTID半同步主从复制的高可用MySQL
集群
文章目录项目架构图项目名称项目环境项目描述ip地址规划项目步骤一.安装好8台全新的centos7.9的系统,关闭firewalld和selinux,配置每台主机的静态ip地址,设置每台主机对应的主机名。1、关闭firewalld2.关闭seLinux3.配置每台主机静态ip地址4.设置每台主机对应的主机名二.部署ansible服务器,配置SSH免密通道(单向),编写主机清单,使用ansible以二
千夜啊
·
2025-02-07 16:54
运维
docker搭建redis
集群
环境系统麒麟Kylin(V10SP3)Redis7.2.4前期准备调整系统参数less-N/etc//sysctl.conf#sysctlsettingsaredefinedthroughfilesin#/usr/lib/sysctl.d/,/run/sysctl.d/,and/etc/sysctl.d/.##Vendorssettingslivein/usr/lib/sysctl.d/.#Too
weixin_44157851
·
2025-02-07 13:07
docker
redis
容器
SpringCloud详细讲解
学习目标微服务框架SpringCloud的核心组件分布式与
集群
SpringCloud优缺点微服务框架微服务框架是将某个应用程序开发划分为多个小型服务独立进行业务开发的一种架构模式。
上官花雨
·
2025-02-07 10:14
spring
cloud
java
微服务
《
集群
、权重、时间戳回眸一识》
人物:王浩田时间:2016年9月11日地点:万达二楼玻璃屋主题:memcached分布式存储开篇之言通过演讲者王浩田在讲述的过程中,我发现有几个名词是之前听过但并未了解的新鲜事物,特写此篇来浅析
集群
、权重
杨晓风-linda
·
2025-02-07 09:08
数据库
【大数据入门核心技术-Flume】(二)Flume安装部署
修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本Hadoop环境安装参考Hadoop安装【大数据入门核心技术-Hadoop】(五)Hadoop3.2.1非高可用
集群
搭建
forest_long
·
2025-02-07 08:33
大数据技术入门到21天通关
big
data
hadoop
大数据
hbase
flume
Debezium系列之:处理decimal数据类型org.apache.
kafka
.connect.data.Decimal
Debezium系列之:处理decimal数据类型org.apache.
kafka
.connect.data.Decimal一、背景二、Debezium处理decimal数据类型三种方式三、precise
快乐骑行^_^
·
2025-02-07 08:00
debezium
Debezium系列
decimal数据类型
kafka.connect
data.Decimal
10. k8s二进制
集群
之Kube Scheduler部署
在开始之前需要准备什么?创建kube-scheduler证书请求文件【即证书的生成⓵】根据上面证书配置文件生成kube-scheduler证书【即证书的生成⓶】创建与关联kube-scheduler配置文件(为后面生成系统服务做准备)创建kube-scheduler服务配置文件【准备系统服务⓵】创建kube-scheduler启动配置文件【准备系统服务⓶】同步kube-scheduler证书文件到
smart_ljh
·
2025-02-07 07:57
k8s二进制搭建
kubernetes
容器
云原生
深度解读
Kafka
数据可靠性
Kafka
起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。
程序の之道
·
2025-02-07 06:17
kafka
hive
yarn
spark
hadoop
nginx-ingress详解
一、ingress概述1、概述Kubernetes是一个拥有强大故障恢复功能的
集群
,当pod挂掉时,
集群
会重新创建一个pod出来,但是pod的IP也会随之发生变化,为了应对这种情况,引入了service
*老工具人了*
·
2025-02-07 06:17
Kubernetes
nginx
运维
kubernetes
【
kafka
】
kafka
的动态配置管理使用和分析
该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新)
Kafka
中的动态配置源码分析
kafka
知识图谱:
Kafka
知识图谱大全
kafka
管控平台推荐使用滴滴开源的
Kafka
运维管控平台(戳我呀)
石臻臻的杂货铺
·
2025-02-07 06:16
Kafka
kafka
运维
Kafka
源码解剖
1、
Kafka
源码解刨生产者会将数据封装成ProducerRecord对象,进行序列化操作后便会根据默认分区规则(轮询策略)。
纸短情长恋曲
·
2025-02-07 06:45
kafka
大数据
java
架构师⾯试题 -
Kafka
专题篇
1.
KAFKA
是什么?..........................................................................................
cesske
·
2025-02-07 05:15
kafka
分布式
Kafka
设计之生产者与消费者
vs拉取(Pull)3.2.消费者定位(ConsumerPosition)3.3.离线数据加载(OfflineDataLoad)3.4.静态成员身份(StaticMembership)一.前言接上一篇《
Kafka
流华追梦
·
2025-02-07 05:14
Kafka
kafka
生产者设计
负载均衡
异步发送
消费者设计
推送和拉取
离线数据加载
图解
Kafka
网络层源码实现机制之收发消息全过程
针对JavaNIO的SocketChannel,
kafka
是如何封装统一的传输层来实现最基础的网络连接以及读写操作的?剖析
Kafka
Channel是如何对传输层、读写buffer操作进行封装的?
炫酷盖茨猫先生
·
2025-02-07 05:14
后端
kafka
java
大数据
分布式
数据库
【
kafka
实战】05
Kafka
消费者消费消息过程源码剖析
1.概述
Kafka
消费者(Consumer)是
Kafka
系统中负责从
Kafka
集群
中拉取消息的客户端组件。消费者消费消息的过程涉及多个步骤,包括消费者组的协调、分区分配、消息拉取、消息处理等。
suyukangchen
·
2025-02-07 05:41
kafak实战
kafka
linq
分布式
管理etcd的存储空间配额
如何管理etcd的存储空间配额-防止
集群
存储耗尽指南本文基于etcdv3.4官方文档编写为什么需要空间配额?在分布式系统中,etcd作为可靠的键值存储,很容易成为系统瓶颈。
*老工具人了*
·
2025-02-07 05:11
Kubernetes
数据库
etcd
chrome
数据库
Kubeadm极速部署Kubernetes 1.24版本
集群
从kubernetes1.24开始,dockershim已经从kubelet中移除,但因为历史问题docker却不支持kubernetes主推的CRI(容器运行时接口)标准,所以docker不能再作为kubernetes的容器运行时了,即从kubernetesv1.24开始不再使用docker了。但是如果想继续使用docker的话,可以在kubelet和docker之间加上一个中间层cri-doc
星光落入你灰蒙蒙的眼
·
2025-02-07 05:38
Kubernetes
kubernetes
docker
容器
运维
云原生
大数据
集群
搭建基础:Hadoop完全分布式搭建学习指南!!
Hadoop完全分布式搭建学习指南Hadoop版本:Hadoop2.XJDK版本:JDK1.8一、准备工作设置主机名和IP在三台CentOS7.4机器上分别设置主机名和IP:node1:192.168.14.10node2:192.168.14.20node3:192.168.14.30修改主机名(以node1为例):hostnamectlset-hostnamenode1配置网络(依据具体网络环
初次知晓
·
2025-02-07 01:16
大数据
分布式
hadoop
Spark -- 执行器后端 & 调度器后端
在ApacheSpark中,coarseGrainedExecutorBackend和coarseGrainedschedulerBackend是两个重要的组件,它们在spark的
集群
调度和执行过程中扮演着不同的角色
Cynthiaaaaalxy
·
2025-02-07 00:36
spark
大数据
分布式
15.
kafka
常见报错
1.UnknownTopicOrPartitionExceptionorg.Nginx.
kafka
.common.errors.UnknownTopicOrPartitionException:Thisserverdoesnothostthistopic-partition
小黑要上天
·
2025-02-07 00:36
Kafka
kafka
分布式
【springboot】springboot+dubbo+Zookeeper
主要用于分布式应用配置管理、统一命名服务、状态同步服务、
集群
管理等。zookeeper用来注册服务和进行负载均衡,通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。
DreamBoy_W.W.Y
·
2025-02-06 23:03
springboot
什么是Redis哨兵机制?
1000道互联网大厂Java工程师精选面试题-Java资源分享网Redis哨兵机制(Sentinel)是Redis
集群
中用于实现高可用性的系统架构。
java1234_小锋
·
2025-02-06 21:46
java
redis
数据库
缓存
数据开发八股文整理- Hadoop
hadoopHadoop是一个分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题Hadoop运行模式本地模式和为分布式模式都是单机运行完全分布模式即是多台服务器组成分布式环境Hadoop
集群
中的组件
兔子宇航员0301
·
2025-02-06 18:59
数据开发小白成长笔记
hadoop
大数据
分布式
设计模式-观察者模式
常见有RabbitMQ、ActiveMQ、
Kafka
等他们的特点也有很多比如解偶、异步、广播、削峰等等多种优势特点。
养歌
·
2025-02-06 17:53
java
观察者模式
中间件
java
二、Kubernetes的基本概念
Kubernetes是谷歌以Borg为前身,基于谷歌15年生产环境经验的基础上开源的一个项目,Kubernetes致力于提供跨主机
集群
的自动部署、扩展、高可用以及运行应用程序容器的平台。
Cyan_Jiang
·
2025-02-06 16:46
Kubernetes
kubernetes
容器
云原生
kubernetes-HPA、rancher
Pod五、资源限制-命名空间1.计算资源配额2.配置对象数量配额限制六、Rancher简介七、Rancher安装及配置1.安装rancher2.登录Rancher平台3.Rancher管理已存在的k8s
集群
Drw_Dcm
·
2025-02-06 16:16
kubernetes
kubernetes
容器
运维
云原生
linux
你说通过
Kafka
AdminClient获取Lag会有性能问题?尊嘟假嘟0.o
0.前言前阵子团队里出了个大故障,本质是因为其他语言实现的client有问题,非常频繁的请求大量元数据,而
Kafka
服务端这边也没有做什么限制,导致
Kafka
Broker宕了。
·
2025-02-06 13:04
javakafka大数据
如何搭建Hadoop高可用
集群
一、
集群
配置图在搭建
集群
之前,我们要考虑好
集群
中各个机器的配置。
Alcaibur
·
2025-02-06 13:24
hadoop
大数据
java
SRS分析及低延迟实现机制
多进程
集群
:支持通过--workers参数启动多个进程,充分利用多核C
Ryan-S
·
2025-02-06 11:12
webrtc
音视频
Kubernetes 中 BGP 与二层网络的较量:究竟孰轻孰重?
如果你曾搭建过Kubernetes
集群
,就会知道网络配置是一个很容易让人深陷其中的领域。在负载均衡器、服务通告和IP管理之间,你要同时应对许多变动的因素。
硅基创想家
·
2025-02-06 10:35
Kubernetes实战与经验
后端
Shiro
1.会话管理Shiro提供了完整的企业级会话管理功能,不依赖于底层容器(如Tomcat),不管是J2SE还是J2EE环境都可以使用,提供了会话管理,会话事件监听,会话存储/持久化,容器无关的
集群
,失效/
羽愿
·
2025-02-06 08:52
后端
30、Flink中操作已经配置好的远程文件系统
publicstaticLongget
Kafka
OffsetFromHoodie2(S
梦想养猫开书店
·
2025-02-06 08:50
胡思乱想
flink
华为云
rocketmq架构
1.架构图RocketMQ的四层架构:1.1客户端层(Clients):Producer
集群
:(1)DefaultMQProducer:普通消息生产者(2)TransactionMQProducer:事务消息生产者
小王爱编程啊
·
2025-02-06 08:19
rocketmq
java-rocketmq
rocketmq
java
kafka
-eagle-2.0.3:Note:
Kafka
version is - or JMX Port is -1 maybe
kafka
broker jmxport disable.
kafka
-eagle-2.0.3无法获取
kafka
集群
信息
kafka
开启JMX,这样就可以通过
kafka
-eagle查看
kafka
集群
状态。
快乐骑行^_^
·
2025-02-06 06:42
大数据
kafka-eagle
【
Kafka
】Window下
kafka
开启JMX监控
1.概述因为需要,需要在windows下开启
kafka
,然后
kafka
开启JMX监控同样是修改
kafka
-server-start文件,但是修改的是
kafka
-server-start.batIF["%
九师兄
·
2025-02-06 06:09
kafka
开启jmx port,报错端口被占用
KAFKA
开启JMX_PORT后,在使用
kafka
命令行工具(
kafka
-topics、
kafka
-console-consumer.sh等)时,会报端口被占用的异常,如:bash-5.1#/opt/
kafka
假装是只熊
·
2025-02-06 06:39
kafka
java
Kafka
开启JMX监控
在
kafka
的安装目录bin下找到启动脚本
kafka
-run-class.sh编辑
kafka
-run-class.shJMX_PORT=9527//在脚本第一行添加JMX端口-Djava.rmi.server.hostname
程序员众推
·
2025-02-06 06:39
杂记
kafka
jmx
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他