E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群共享存储文件系统
如何在大规模
集群
中优化缓存性能?
Hadoop的分布式缓存机制是一种用于在MapReduce任务中高效分发和访问文件的机制。通过分布式缓存,用户可以将小文件(如配置文件、字典文件等)分发到各个计算节点,从而提高任务的执行效率。分布式缓存的工作原理文件上传:用户将需要缓存的文件上传到HDFS(HadoopDistributedFileSystem)。文件路径可以在作业配置中指定。作业提交:在提交MapReduce作业时,用户可以通过
晚夜微雨问海棠呀
·
2025-02-16 11:53
分布式
hadoop
缓存
红队视角出发的k8s敏感信息收集——持久化存储与数据泄露
在Kubernetes
集群
中,持久化存储卷如同数据的保险箱,承载着应用运行所必需的各类敏感信息。然而,从红队视角出发,这些存储卷也可能成为攻击者觊觎的目标。
周周的奇妙编程
·
2025-02-16 10:51
kubernetes
容器
云原生
k8s
集群
离线安装kuberay operator
1,安装方式采用helm安装方式,首先下载对应的helmchart,这里采用v1.2.2版本,下载地址:https://github.com/ray-project/kuberay-helm/releases/tag/kuberay-operator-1.2.22,解压并修改镜像源由于是在内网环境下搭建,因此需要将对应的镜像下载下来,并导入到本地镜像仓库,并修改values.yaml的镜像仓库地址
thinkerCoder
·
2025-02-16 10:19
kubernetes
容器
云原生
Kubernetes 使用自定义资源(CRD)扩展API
K8sCRD即KubernetesCustomResourceDefinition,是Kubernetes提供的一种扩展机制,允许用户在Kubernetes
集群
中定义和使用自定义的资源类型。
zhangj1125
·
2025-02-16 09:13
Go
kubernetes
容器
go
集群
与分片:深入理解及应用实践
目录引言什么是
集群
?
集群
的定义
集群
的类型什么是分片?
一休哥助手
·
2025-02-16 09:07
架构
系统架构
深入理解Elasticsearch
集群
与分片:原理及配置方案
一、Elasticsearch
集群
是什么想象一下,你有海量的数据,比如一个超大型图书馆的所有书籍信息,要是把这些数据都放在一台电脑里,不仅存不下,而且查询起来会超级慢。
一勺菠萝丶
·
2025-02-16 08:34
#
ELK
Java
elasticsearch
大数据
搜索引擎
golang 文件
golang文件概念文件是计算机系统中用于存储和管理的数据集合,具有唯一的名称,存在于存储介质上,包含创建、修改等属性,通过
文件系统
进行组织,用户可进行读取、写入等操作文件流文件输入流(InputStream
千年死缓
·
2025-02-16 07:56
golang
开发语言
后端
java 缓存篇2
缓存的部署方式单机主从哨兵
集群
特性主从(Master-Slave)哨兵(Sentinel)
集群
(Cluster)数据分片不支持不支持支持,基于slot进行水平分片高可用性部分支持(手动故障转移)高可用性
dzl84394
·
2025-02-16 06:48
java
缓存
开发语言
spark-广播变量
本地的数据传输到
集群
上,会发到每一个线程,每一个分区。每一个进程executor,有多个线程分区,进程内的线程数据共享因此,给每一个线程发送数据会导致数据占用,浪费资源。
哈哈哈哈q
·
2025-02-16 05:12
+spark
hdfs
hadoop
大数据
spark
Centos7将/dev/mapper/centos-home磁盘空间转移到/dev/mapper/centos-root
1、查看存储df-h
文件系统
容量已用可用已用%挂载点devtmpfs126G0126G0%/devtmpfs126G0126G0%/dev/shmtmpfs126G19M126G1%/runtmpfs126G0126G0%
AnnyYoung
·
2025-02-16 04:05
笔记
FAQ
centos
linux
运维
Debian1 KubernetesV1.32 NFS搭建
1、NFS1.1服务端#服务端安装aptinstall-ynfs-kernel-server#写入
共享存储
目录cat>>/etc/exports<
十八点四零
·
2025-02-16 04:02
k8s
nfs
动态供给
【Docker】Docker中卷的类型、区别及应用
文章目录引言1.Docker卷的基本概念2.Docker卷的类型2.1匿名卷(AnonymousVolume)2.2命名卷(NamedVolume)2.3绑定挂载(BindMount)2.4临时
文件系统
阿猿收手吧!
·
2025-02-16 04:29
#
Docker
docker
eureka
开发语言
容器
《一文讲透》第4期:KWDB 数据库运维(2) ——
集群
参数
因此,KWDB的一大任务就是:简化数据库
集群
配置。为避免每个节点单独编写配置文件或者重启中断服务,KWDB跳出传统的配置文件方式,采用了启动参数和
集群
参数组合的方式来控制数据库
集群
。
KWDB 数据库
·
2025-02-16 04:29
数据库
开源
sql
分布式
IoTDB
集群
重启某节点失败
问题现象IoTDB1.3.3.6版本部署的3C3D
集群
,在重启某个节点服务时失败,报错信息为节点冲突,日志部分截图如下:问题原因当前IoTDB会根据data/confignode/system路径下的confignode-system.properties
铁头乔
·
2025-02-16 03:24
iotdb
数据库
开源
时序数据库
架构师技术图谱
分布式漫谈分布式系统大数据存储微服务可落地的DDD(6)-工程结构推荐系统框架消息队列编程语言设计模式重构
集群
modouwu
·
2025-02-16 03:24
系统架构
mysql 知识点梳理以及常见问题汇总
文章四大部分基础知识、性能优化(索引、sql查询)、高并发大表、mysql
集群
中间件,哎.....整理不易,看完觉着有帮助给个赞和小星星。
司江龙
·
2025-02-15 23:25
mysql
面试
数据库
【Linux】玩转Linux操作系统(七)磁盘管理
磁盘管理列出
文件系统
的磁盘使用状况-df。
寒山独见君~
·
2025-02-15 22:47
【Linux学习】
linux
服务器
运维
高流量Web服务器Kubernetes架构优化
一、基础设施层优化1.节点自动扩展策略#
集群
自动扩缩容配置(GKE示例)apiVersion:clusterautoscaler.kubernetes.io/v1beta2kind:AutoscalingPolicymetadata
完颜振江
·
2025-02-15 21:08
前端
服务器
kubernetes
MySQL 运维篇 -- 主从
集群
搭建
文章目录主从复制主从复制原理主从故障处理延时从库主从GTID复制主从GR复制*****搭建组复制观察组复制主从复制主从同步过程(1)主丛复制基于binlog来实现的(2)主库发生新的操作,都会记录binlog(3)从库取得主库的binlog进行回放(4)主从复制是异步的准备主从的初始MySQL环境(YUM安装)[root@master~]#hostnamemaster[root@master~]#
L小Ray想有腮
·
2025-02-15 20:35
MySQL
mysql
运维
数据库
redis的哨兵模式和
集群
模式
Redis的哨兵模式(SentinelMode)和
集群
模式(ClusterMode)是两种常见的高可用部署方式,它们各有优缺点,适用于不同的场景。
阿湯哥
·
2025-02-15 20:33
redis
数据库
缓存
ELK架构基础
一个Elasticsearch
集群
可包含多个索引。类型(Type)在Elasticsearch6.x之前,一个索引可包含多个类型,类似数据库中的表。从7.x开始,类型被废弃,一
skyQAQLinux
·
2025-02-15 18:49
linux
elk
【嵌入式Linux应用开发基础】文件I/O基础编程
blog.csdn.net/weixin_37800531/article/details/145558926在嵌入式Linux应用开发中,文件I/O(Input/Output)基础编程是非常重要的一部分,它允许程序与
文件系统
进行交互
qq_39160896
·
2025-02-15 11:55
c语言
k8s架构与名词解释
Master:管控
集群
的管理面节点,提供Kubernetes核心服务和应用程序工作负载的业务流程,对
集群
进行调度管理。
AllanRobinLukeman
·
2025-02-15 10:16
docker
k8s
华为云
Error: mount: 未知的
文件系统
类型“ntfs”
mount:未知的
文件系统
类型“ntfs”问题描述原因解决方法使用参考问题描述执行“mount”挂载外置硬盘时报错,如下:mount:未知的
文件系统
类型“ntfs”原因系统不支持ntfs文件。
AnnyYoung
·
2025-02-15 10:46
FAQ
linux
ssh
centos
K8S资源限制之resources
1资源限制介绍K8S设计资源限制的原因主要是为了确保
集群
的稳定运行、防止资源争用和过载,同时提高应用程序的可靠性和性能。资源限制通过Cgroups等机制控制Pod使用节点资源(CPU、内存、存储)。
是小V呀
·
2025-02-15 09:04
k8s
k8s
云原生
资源限制
resources
什么是Redis哨兵机制?
通过Redis哨兵机制,可以确保Redis
集群
在主节点故障时自动进行故障转移,提升Redis服
java1234_小锋
·
2025-02-15 08:00
java
redis
java
数据库
hive的metastore和hiveserver2服务的启动
1、描述nohup:放在命令开头,表示不挂起,也就是关闭终端进程也继续保持运行状态/dev/null:是Linux
文件系统
中的一个文件,被称为黑洞,所有写入改文件的内容都会被自动丢弃2>&1:表示将错误输出重定向到标准输出上第一个
要开心吖ZSH
·
2025-02-15 08:00
hive
hive
hadoop
大数据
ClickHouse创建分布式表
ClickHouse创建分布式表当数据量剧增的时候,clickhouse是采用分片的方式进行数据的存储的,类似于redis
集群
的实现方式。
期待着2013
·
2025-02-15 06:41
clickhouse
数据库
kubernetes 核心技术-Pod
共享存储
:Pod内的容器可以
共享存储
卷,方便数
咖啡の猫
·
2025-02-15 06:40
kubernetes
容器
云原生
kubernetes 核心技术-Volume
基本概念KubernetesVolume是一种抽象层,它允许Pod访问由
集群
管理的
咖啡の猫
·
2025-02-15 06:40
kubernetes
容器
云原生
ClickHouse
集群
搭建(CENTOS7环境)
ClickHouse
集群
搭建(CENTOS7环境)1.rpm包下载下载的rpm包版本-rw-r--r--1rootroot1342545月2817:07clickhouse-client-20.3.9.70
huaxia2002
·
2025-02-15 05:07
大数据常用框架
入门
华为昇腾部署 DeepSeek-R1 (671B) 大模型实战指南
概述本指南详细讲解如何在华为昇腾Atlas800IA2服务器
集群
上部署DeepSeek-R1671B大模型,涵盖从环境准备到服务化部署的全流程。
歌刎
·
2025-02-15 05:35
模型部署
最前沿的大模型训练部署实践手册
华为
服务器
ai
人工智能
AIGC
解决由于BTRFS
文件系统
引起的交换内存不生效 Failed to activate swap
报错信息Ubuntu启动过程中发现报错信息(虽然正常启动正常能用)[FAILED]Failedtoactivateswapswap.img.swap-/swap.img.解决方案由于用的是BTRFS
文件系统
3D_DLW
·
2025-02-15 05:35
Linux
BTRFS
交换内存
交换文件
写时复制
Linux
Zookeeper(21)Zookeeper的架构组成有哪些?
服务器(Server):Zookeeper
集群
中的每个节点都是一个服务器。服务器有三种角色:Leader
辞暮尔尔-烟火年年
·
2025-02-15 02:12
微服务
zookeeper
架构
分布式
k8s1.27.7部署higress,代理非k8s
集群
业务
一、简介Higress是基于阿里内部的EnvoyGateway实践沉淀、以开源Istio+Envoy为核心构建的云原生API网关,实现了流量网关+微服务网关+安全网关三合一的高集成能力,深度集成Dubbo、Nacos、Sentinel等微服务技术栈,能够帮助用户极大的降低网关的部署及运维成本且能力不打折;在标准上全面支持Ingress与GatewayAPI,积极拥抱云原生下的标准API规范;同时,
石头-豆豆
·
2025-02-15 02:41
Linux运维
k8s
kubernetes
容器
云原生
higress
Dledger部署RocketMQ高可用
集群
(9节点
集群
)
文章目录博主介绍本文内容9节点
集群
高可用
集群
规划
集群
准备工作runserver.shrunbroker.sh设置目录归属组与用户与容器的配置一致安装jdk节点0配置(ip地址为192.168.80.101
Java程序员廖志伟
·
2025-02-15 02:06
rocketmq
【云平台监控】Prometheus 监控平台部署与应用
监控系统概述TSDB存储引擎特点核心特点生态组件工作流程局限性部署Prometheus1.PrometheusServer部署2.部署Exporters3.部署Grafana4.服务发现Kubernetes
集群
部署
Karoku066
·
2025-02-14 23:19
prometheus
容器
kubernetes
docker
运维
云原生
搭建Kubernetes
集群
之私有云安装指南
随着容器技术的飞速发展,越来越多的公司开始采用容器技术,基于Kubernetes构建自己的
集群
。而私有云市场上的Kubernetes发行版,也正在蓬勃发展。
AI天才研究院
·
2025-02-14 23:45
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
【ARMv9 DSU-120 系列 6 -- Power management】
120PowerDomainsPDTopPDClusterPDCorePDComplexPDSlicePDL3RAM0和PDL3RAM1Clusterpowermode在线模式(On)关闭模式(Off)功能保留模式(Func_Ret)
集群
完全保留模式
主公讲 ARM
·
2025-02-14 23:44
#
ARMv9
DSU-120
专栏
DSU-120
POWER
DSU-120
ppu
Kubernetes 访问
集群
API 的方法
必须拥有一个Kubernetes的
集群
,同时你必须配置kubectl命令行工具与你的
集群
通信。建议在至少有两个不作为控制平面主机的节点的
集群
上运行本教程。
深度视觉机器
·
2025-02-14 23:43
Kubernetes
kubernetes
容器
云原生
Kubernetes Python Client 教程
gitcode.com/gh_mirrors/python1/python1.项目介绍KubernetesPythonClient是一个官方支持的库,它允许开发者在Python中与Kubernetes
集群
进行交互
伍妲葵
·
2025-02-14 22:13
Python 操作Kubernetes
集群
完全指南
Python操作Kubernetes
集群
完全指南目录基础环境准备PythonKubernetes客户端介绍连接Kubernetes
集群
Pod操作实战Deployment管理Service资源操作ConfigMap
IT策士
·
2025-02-14 22:11
python
kubernetes
贪心算法
1.1、Ray-关键概念Key Concepts
这些资源请求被
集群
调度器用来在整个
集群
中分配任务,以实现并行执行。参见
MaxCode-1
·
2025-02-14 20:23
Ray计算框架
Ray
Actors
python
微服务限流策略与性能优化全解析
订单服务部署于一组服务器
集群
,考虑到高可用性,至少配置3个节点,每个节点服务器配备8核CPU、16GB内存、500GB硬盘以及1Gbps网络带宽(内网所以大)。
power-辰南
·
2025-02-14 19:09
java专栏
性能优化
流量监控
流量治理
sentinel
springcloud
出现几率比较大的Redis面试题(含答案)
为什么这么快redis的数据类型,以及每种数据类型的使用场景,Redis内部结构redis的过期策略以及内存淘汰机制【~】Redis为什么是单线程的,优点如何解决redis的并发竞争key问题Redis
集群
方案应该怎么做
着火点
·
2025-02-14 18:09
后端
redis
数据库
缓存
java
后端
hivemetastore 连接过多导致sql查询慢
建议值100是根据与工行规模相当
集群
的设置作参考,尽量大满足连接数请求的同时考虑connection占用资源(如果connection太多会占用太多的内存资源)的角度做出的一个综合评估值。
sunxunyong
·
2025-02-14 16:52
sql
数据库
elastic search查找字段的方法
使用RESTful请求假设你的Elasticsearch
集群
运行在ht
小李飞刀李寻欢
·
2025-02-14 13:56
Notebook
jenkins
运维
elasticsearch
python
检索
查找
阿一网络安全学院课堂作业——ActiveMQ 反序列化漏洞 (CVE-2015-5254)
⼀、漏洞描述ApacheActiveMQ是由美国阿帕奇(Apache)软件基⾦会开发的开源消息中间件,⽀持Java消息服务、
集群
、Spring框架等。
网安大队长阿一
·
2025-02-14 12:25
web安全
activemq
安全
使用 Watchdog 实现 Python 程序的自动重载
Watchdog是一个Python库,用于监视
文件系统
事件。它可以检测文件的创建、修改、删除等操作,并触发相应的事件处理程序。实现步骤1.安装Wat
YuZou 邹宇
·
2025-02-14 12:51
erroRight
python
笔记
python
开发语言
轻松监控
文件系统
变化:Watchdog | python小知识
轻松监控
文件系统
变化:Watchdog|python小知识在开发和运维过程中,监控
文件系统
以检测文件的变化是一项常见需求。
心上之秋
·
2025-02-14 12:51
python
开发语言
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他