E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群共享存储文件系统
文件系统
(File System — FS)
概念
文件系统
是Linux内部用来管理磁盘上文件的一套系统,主要体现在文件的存取、查找功能(本身是一套软件,对磁盘上存放的文件进行管理)。内核(Kernel)内核是操作系统内部最核心的软件。
夏L.
·
2025-03-23 13:11
linux
运维
服务器
【Linux】Hadoop-3.4.1的伪分布式
集群
的初步配置
配置步骤一、检查环境JDK#目前还是JDK8最适合Hadoopjava-versionecho$JAVA_HOMEHadoophadoopversionecho$HADOOP_HOME二、配置SSH免密登录Hadoop需要通过SSH管理节点(即使在伪分布式模式下)sudoaptinstallopenssh-server#安装SSH服务(如未安装)cd~/.ssh/ssh-keygen-trsa#生
孤独打铁匠Julian
·
2025-03-23 11:04
Linux
linux
hadoop
ubuntu
Kubernetes配置全解析:从小白到高手的进阶秘籍
无论是搭建
集群
、部署应用,还是优化资源利用,配置都贯穿始终。然而,K8s配置涉及众多参数与组件,错综复杂,令不少初学者望而却步。
ivwdcwso
·
2025-03-23 11:27
操作系统与云原生
kubernetes
容器
云原生
k8s
配置
Go 1.24 新特性一览
可借助os.Root实现安全
文件系统
操作,运用testing.B.Loop优化基准测试,利用runtime.AddCleanup完善资源管理,还有weak包优化内存、crypto包保障FIPS140-3
·
2025-03-23 10:08
go资讯编程语言程序员
达梦主备
集群
部署
DM数据守护提供多种解决方案,可以配置成实时主备、MPP主备、DMDSC主备或读写分离
集群
。实时主备由一个主库以及一个或者多个配置了实时(Realtime)归档的备库组成,其
sunny05296
·
2025-03-23 07:25
数据库
数据库
达梦
nebula graph传统使用Docker进行项目发版
nebulagraph传统使用Docker进行项目发版1.nebulagraph服务2.搭建ES
集群
3.注意事项3.1图数据库的启动顺序3.2模糊查询失效1.nebulagraph服务1.在测试服务器中执行如下命令
boy快快长大
·
2025-03-23 06:49
解决问题合集
Nebula
Graph数据库
docker
java
容器
DMDDM文档数据库学习分享
支持主备
集群
和分布式
集群
部署方式,单个节点故障不影响整个系统的正常运行。
合作愉快:)
·
2025-03-23 05:40
数据库
学习
flink作业访问zk出现acl报错问题分析
#问题现象向yarn
集群
提交flink作业的时候会出现zkacl的异常经确认:1.zk相关acl密码没有更改过2.重新部署客户端配置后提交任务同样报错3.修改flink的zk目录,重启后可以正常运行任务
spring208208
·
2025-03-23 03:47
大数据组件线上问题分析
flink
zookeeper
大数据
Hadoop
集群
规划与部署最佳实践
作者:禅与计算机程序设计艺术1.简介2009年2月2日,ApacheHadoop项目诞生。它是一个开源的分布式系统基础架构,用于存储、处理和分析海量的数据。Hadoop具有高容错性、可靠性、可扩展性、适应性等特征,因而广泛应用于数据仓库、日志分析、网络流量监测、推荐引擎、搜索引擎等领域。由于Hadoop采用“分而治之”的架构设计理念,因此可以轻松应对数据量、计算能力和存储成本的增长。2013年底,
AI天才研究院
·
2025-03-23 03:47
Python实战
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
k8s学习笔记(3)--- kubernetes核心技术概念
kubernetes核心技术概念1.容器(Container)2.API对象3.
集群
(Cluster)4.Master5.Node6.Pod7.复制控制器(ReplicationController,RC
梦谜
·
2025-03-23 01:02
k8s基础知识
k8基本核心概念
HBase安装
创建一个用户首先,建议从Unix创建一个单独的Hadoop用户,
文件系统
隔离Hadoop
文件系统
。按照下面给出创建
lianhedaxue
·
2025-03-23 01:01
Hadoop
hbase
HBase的架构介绍,安装及简单操作
Hadoop环境:HBase依赖于Hadoop,需要先安装并配置好Hadoop
集群
。确保Hadoop的相关服务(如HDFS、YARN等)已经正常启动。
pk_xz123456
·
2025-03-23 01:00
大数据
hbase
架构
数据库
linux渲染农场大连教程,Deadline 渲染农场搭建记录
渲染农场的工作模式:多台机器组建
集群
进行渲染,比如:
集群
中有2台渲染机器A和B,服务器会同时分配给A和B任务,A渲染第一帧,B渲染第二帧,当A完成那么服务器会继续分配第三帧,同样B服务器完成以后服务器分配第四帧
温柔彭于晏
·
2025-03-23 01:58
linux渲染农场大连教程
Kafka常见问题
Kafka
集群
,常见MQ面试问题Kafka
集群
,常见MQ问题Kafka名词介绍•Topic:消息队列,生产者和消费者面向的都是一个Topic•Broker:一个Kafka服务器就是一个Broker,一个
集群
由多个
C18298182575
·
2025-03-23 00:19
kafka
linq
分布式
云原生周刊丨CIO 洞察:Kubernetes 解锁 AI 新纪元
它旨在优化资源管理,确保K8s
集群
中的网络资源能够按需高效分配。DRANET采用Apache-2.0开源许可,鼓励社区贡献与扩展,是云原生环境下提升网络性能的创新解决方案。
KubeSphere 云原生
·
2025-03-22 22:43
云原生
kubernetes
人工智能
k8s
集群
版本升级
Kubernetes
集群
版本升级是为了获得最新的功能、增强的安全性和性能改进。然而,升级过程需要谨慎进行,特别是在生产环境中。
少陽君
·
2025-03-22 22:42
K8S
kubernetes
容器
云原生
新书速览|云原生Kubernetes自动化运维实践
《云原生Kubernetes自动化运维实践》本书内容:《云原生Kubernetes自动化运维实践》以一名大型企业
集群
运维工程师的实战经验为基础,全面系统地阐述Kubernetes(K8s)在自动化运维领域的技术应用
全栈开发圈
·
2025-03-22 22:11
云原生
运维
kubernetes
分析K8S中Node状态为`NotReady`问题
在Kubernetes(k8s)
集群
中,Node状态为NotReady通常意味着节点上存在某些问题,下面为你分析正常情况下节点应运行的容器以及解决NotReady状态的方法。
网络飞鸥
·
2025-03-22 22:09
Kubernetes
kubernetes
容器
云原生
2023年全国职业院校技能大赛(高职组)“云计算应用”赛项赛卷10(公有云)
模块三公有云(40分)企业选择国内公有云提供商,选择云主机、云网络、云硬盘、云防火墙、负载均衡等服务,可创建Web服务,共享文件存储服务,数据库服务,数据库
集群
等服务。
忘川_ydy
·
2025-03-22 21:05
云计算
云计算
kubernetes
openstack
docker
python
ansible
k8s
华为OD机试 - 目录删除 - 深度优先搜索dfs算法(Python/JS/C/C++ 2024 B卷 200分)
一、题目描述某
文件系统
中有N个目录,每个目录都有一个独一无二的ID。每个目录
哪 吒
·
2025-03-22 21:32
算法
华为od
深度优先
创建软链接(symbolic link)
Linux
文件系统
中,有所谓的链接(link),我们可以将其视为档案的别名,而链接又可分为两种:硬链接(hardlink)与软链接(symboliclink),硬链接的意思是一个档案可以有多个名称,而软链接的方式则是产生一个特殊的档案
yangtom249
·
2025-03-22 19:54
Linux
HDFS相关的面试题
•HDFS是Hadoop分布式
文件系统
,设计目标是实现对大规模数据的高吞吐量访问,适用于一次
努力的搬砖人.
·
2025-03-22 18:16
java
面试
hdfs
大规异构
集群
混合并行分布式训练系统,解决算力不均衡问题 HETHUB
视频教程在这:3.2大规模异构
集群
,混合并行分布式系统,解释算力不均衡问题HETHUB_哔哩哔哩_bilibili一、大规模异构
集群
出现的原因:同一种GPU数量有限难以构建大规模
集群
:训练大规模模型依赖于大量的计算资源
爱串门的小马驹
·
2025-03-22 16:29
万卡大规模集群大模型训练
异构集群
大规模集群
分布式
大模型训练
chokidar - chokidar 初识(初识案例演示、初识案例解读、初识案例测试)
一、chokidar1、chokidar概述chokidar是一个用于监视
文件系统
变化的Node.js库chokidar提供了一种简单、高效的方式来监视文件和目录的创建、修改、删除等操作chokidar
我命由我12345
·
2025-03-22 15:50
Node.js
简化库编程
node.js
js
javascript
前端框架
前端
npm
html5
hadoop3.x--搭建hadoop高可用
集群
(HA模式)
hadoop高可用
集群
(HA模式)一、安装前1.
集群
规划2.安装前配置3.安装jdk与hadoop4.克隆虚拟机与互信配置5.搭建zookeeper
集群
二、HDFS1.配置hdfs2.初始化启动hdfs
运维小菜
·
2025-03-22 14:17
hadoop
hadoop
hdfs
从零到一:Redis Cluster部署配置全流程详解,轻松搞定高可用分布式缓存!
本文将详细介绍RedisCluster的部署和配置全流程,帮助读者快速搭建一个高可用的Redis
集群
。1RedisCluster概述
IT成长日记
·
2025-03-22 14:07
#
数据库技术解析与应用实践
Redis
Cluster
redis
缓存
集群
软考系统架构设计师考试学习和考试的知识点大纲,覆盖所有考试考点
基础知识模块计算机组成与体系结构计算机硬件组成(CPU、内存、I/O设备)存储系统(Cache、RAID、虚拟内存)指令系统与流水线技术操作系统进程与线程管理(调度算法、死锁)内存管理(分页、分段、虚拟内存)
文件系统
与磁盘管理数据库系统关系数据库
DKPT
·
2025-03-22 10:03
#
系统架构设计师
系统架构
学习
【颠覆性缓存架构】Caffeine双引擎缓存实战:CPU和内存双优化,命中率提升到92%,内存减少75%
一、经典方案的致命陷阱:资源浪费之谜1.1真实事故现场案例回放:某电商大促期间,缓存
集群
CPU飙升至90%导
Julian.zhou
·
2025-03-22 09:28
架构相关
Java
开发基础技能
算法
缓存
架构
java
K8S
集群
新增和删除Node节点(K8s Cluster Adds and Removes Node Nodes)
实战:在已有K8S
集群
如何新增和删除Node节点在Kubernetes(K8S)
集群
中,Node节点是
集群
中的工作节点,它们运行着容器的实际实例。
Linux运维老纪
·
2025-03-22 08:17
天涯海角
k8s伴你同行
kubernetes
容器
云原生
云计算
运维开发
linux
hadoop
集群
配置-scp拓展使用
任务1:在hadoop102上,将hadoop101中/opt/module/hadoop-3.1.3目录拷贝到hadoop102上。分析:使用scp进行拉取操作:先登录到hadoop2使用命令:scp-rroot@hadoop101:/opt/module/hadoop-3.1.3/opt/module/任务2:在hadoop101上操作,将hadoop100中/opt/module目录下所有目
杜清卿
·
2025-03-22 06:28
hadoop
服务器
大数据
SpringBoot集成Pulsar 生产者与消费者示例代码
功能特点Pulsar的主要功能如下:原生支持Pulsar实例中的多个
集群
,并可跨
集群
无缝地复制消息。非常低的发布和端到端延迟。无缝扩展到超过一百万个主题。
七维大脑
·
2025-03-22 04:05
技术&解决方案分享
java
中间件
ZooKeeper
集群
高可用性测试与实践:从规划到故障模拟
#作者:任少近文章目录ZooKeeper
集群
环境规划1.
集群
数据一致性测试2.
集群
节点故障测试ZooKeeper
集群
高可用性测试的主要目的是确保在分布式环境中,ZooKeeper服务能够持续提供一致性和高可用性的协调服务
磐基Stack专业服务团队
·
2025-03-22 03:29
Zookeeper
zookeeper
可用性测试
Kafka跨
集群
数据备份与同步:MirrorMaker运用
#作者:张桐瑞文章目录前言MirrorMaker是什么运行MirrorMaker各个参数的含义前言在大多数情况下,我们会部署一套Kafka
集群
来支撑业务需求。
磐基Stack专业服务团队
·
2025-03-22 03:22
Kafka
kafka
分布式
《Linux设备驱动开发详解(第3版)》 第12章 Linux块设备驱动
12.2块设备的I/O栈块设备的I/O栈涉及多个层次,从用户空间的系统调用开始,经过VFS(虚拟
文件系统
)、通用块层,最终到达块设备驱动层。这部分也是理论性较强,直接的代码示例较少。
请向我看齐
·
2025-03-22 02:50
嵌入式
linux
驱动开发
运维
istio 介绍-01-一个用于连接、管理和保护微服务的开放平台 概览
Istio的控制平面在底层
集群
管理平台(例如Kubernetes)上提供了一个抽象层。
·
2025-03-22 01:01
后端java
Sqoop安装部署
ApacheSqoop简介Sqoop(SQL-to-Hadoop)是Apache开源项目,主要用于:将关系型数据库中的数据导入Hadoop分布式
文件系统
(HDFS)或相关组件(如Hive、HBase)。
愿与狸花过一生
·
2025-03-21 22:10
大数据
sqoop
hadoop
hive
知识蒸馏:让大模型“瘦身“而不失智慧的魔术
GPT-4的1750亿参数需要价值500万美元的GPU
集群
运行,但现实中的智能设备可能只有指甲盖大小。
一休哥助手
·
2025-03-21 21:06
人工智能
人工智能
YashanDB恢复
共享
集群
部署中,只能在主
集群
上执行恢复操作(即其角色必须为MASTER\_ROLE,可查询视图
·
2025-03-21 20:51
数据库
YashanDB SQL命令备份恢复
YashanDB官网,原文内容请见https://doc.yashandb.com/yashandb/23.3/zh/%E6%95%B0%E6%8D%AE%...SQL命令方式的备份恢复操作适用于单机/共享
集群
部署的数据库
·
2025-03-21 20:21
数据库
亿级分布式系统架构演进实战(一)- 总体概要
演进路线大纲阶段一:横向扩展(应对万级QPS)核心目标:突破单机性能瓶颈,建立弹性基础[Nginx]/|\[App1][App2][App3]←无状态服务
集群
\|/[DBProxy]←读写分离中间件/\
power-辰南
·
2025-03-21 18:35
java技术架构师成长专栏
高并发
分布式系统
微服务
架构设计
springcloud
对数据库的总结
一、数据库基础1.数据库是一个用于存储和操作数据的
文件系统
2.关系型数据库:是基于二维表存储的,每个表格由列和行组成,列代表属性,行代表约束,数据的组织和查询更加方便和高效。
·
2025-03-21 16:46
java
【赵渝强老师】达梦数据库MPP
集群
的架构
为了支持海量数据存储和处理等方面的需求,为高端数据仓库提供解决方案,达梦数据库提供了大规模并行处理MPP架构,以极低的成本代价,提供高性能的并行计算。通过使用MPP可以解决以下问题:需要较高的系统性能支持以支持大量的复杂查询操作硬件束缚对数据库响应能力的影响降低数据库成本视频讲解如下:https://www.bilibili.com/video/BV1dBftYoEkk/?aid=11386961
·
2025-03-21 16:12
数据库信创
优化Apache Spark性能之JVM参数配置指南
同时,要根据具体的工作负载和
集群
配置进行调整,并定期监控Spark应
weixin_30777913
·
2025-03-21 13:58
jvm
spark
大数据
开发语言
性能优化
【Kafka高级】Kafka性能优化与调优实践
本文将从生产者性能优化、消费者性能优化以及
集群
性能调优三个方面展开,结合实际代码示例和配置参数,帮助读者更好地理解和应用Kafka性能优化策略。
全栈追梦人
·
2025-03-21 12:50
kafka
性能优化
linq
【K8S】ImagePullBackOff状态问题排查。
含义当你在K8s
集群
中创建一个Pod时,Kubelet会尝试从指定的镜像仓库拉取所需的容器镜像。如果拉取镜像失败,Kubelet会进行重试。
执键行天涯
·
2025-03-21 12:13
K8s
kubernetes
容器
云原生
helm安装kubernetes-dashboard(2,Linux运维开发技巧
当前k8s
集群
版本1.23.61.1添加repo[root@masterhelm]#helmrepoaddkubernetes-dashboardhttps://kubernetes.github.io
2401_83974783
·
2025-03-21 11:06
2024年程序员学习
kubernetes
linux
运维开发
java NIO中的FileSystems工具类可以读取本地
文件系统
,ZIP/JAR等,无需解压处理,还可以复制文件
在JavaNIO(java.nio.file包)中,FileSystems是一个工具类,用于操作和管理
文件系统
。它提供了静态方法来获取或创建
文件系统
实例,并支持自定义
文件系统
实现。
爱的叹息
·
2025-03-21 11:05
Java
基础整理
java
nio
jar
RabbitMQ 与 Kafka:消息中间件的终极对比与选型指南
目录引言一、核心设计差异1.定位与数据模型二、性能与架构对比1.吞吐量与延迟2.
集群
与扩展三、功能特性对决1.消息可靠性2.消息路由四、典型场景与选型决策1.优先选择Kafka的场景2.优先选择RabbitM
海上彼尚
·
2025-03-21 11:35
node.js
rabbitmq
kafka
分布式
node.js
Docker Compose 和 Kubernetes(K8s)对比
DockerCompose和Kubernetes的区别对比项DockerComposeKubernetes(K8s)核心作用管理多个Docker容器管理容器编排(大规模应用)适用环境本地开发、测试环境生产环境、大规模
集群
容器编排能力基础编排
孽小倩
·
2025-03-21 09:49
docker
容器
docker
k8s
kubernetes
#Hadoop全分布式安装 #mysql安装 #hive安装
分布式(多台机器部署不同组件)与
集群
(多台机器部署相同组件)概念。Linux基础命令linux具有文件数:目录、文件,从根目录开始,路径具有唯一性。pwd:显示当前路径特殊符号:/:根目录.
砸吧砸吧
·
2025-03-21 09:14
hadoop
hive
yarn
mysql
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他