集群共享存储文件系统

hadoop-YARN

aladdin（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率
weixin_33736649·2024-02-12 07:44

Hadoop-MapReduce-Yarn集群搭建

搭建的部署节点图如下：hdfs和yarn是两个不同概念，两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器，它们的比例是1比1关系的。否则DataNode只能存储，不能做相应的计算处理。通过官网搭建：hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.ht
qq_2368521029·2024-02-12 07:44

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年·2024-02-12 07:43

Hadoop-HA高可用集群部署

(3)NameNode主要在以下两个方面影响HDFS集群➢NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启➢NameNode机器需要升级,包括软件、硬件升
魔笛Love·2024-02-12 07:13

Hadoop-Yarn-ResourceManagerHA

一、介绍在Hadoop2.4之前，ResourceManager是YARN集群中的单点故障ResourceManagerHA是通过Active/Standby体系结构实现的，在任何时候其中一个RM都是活动的
隔着天花板看星星·2024-02-12 07:42

openEuler-22.03-LTS-SP3 Kubernets集群部署实战

一、环境介绍1、Windows11专业版，VMwareWorkstation17，XShell、XFtp、openEuler-22.03-LTS-SP32、Kubernets集群节点规划节点名称节点IP
wanchengpeng·2024-02-12 06:02

org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0

上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master
橙汁啤酒厂·2024-02-12 05:24

HBase集群部署

1.HBase安装相关版本：Hadoop：2.7.3hbase：1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包，下载并解压到/opt目录下2.HBase参数配置2.1修改Master节点和Slave节点的/etc/hosts文件#vi/etc/hosts添加以下内容:172.30.0.10master172.30.0.11slave1172
橙汁啤酒厂·2024-02-12 05:23

Spark 作业执行

Spark基本组件，Master和Worker，负责运行Client和Driver作业执行框架每个SparkApplication由主控节点Master、集群资源管理节点ClusterManager、执行任务节点
Alex90·2024-02-12 05:04

普通程序员看k8s的账户管理

一、知识准备●账户管理分为：userAccount与serviceAccount●userAccount：通常是给人设计使用的，并且userAccount不在k8s集群内管理●serviceAccount
wilsonchai·2024-02-12 05:29

一键DVR视频文件恢复电脑丢失数据

软件可以帮助用户们在恢复视频的证据中来节省团队时间以及金钱，还能够在运行的DVR中，来扫描以及无人值守的一种导出，也就是因为这样用户们还可以在程序恢复那个重要的视频的证据时，就可以专注于其他的一个任务；软件还可以识别出各种DVR文件系统
skycht·2024-02-12 03:58

Spark 共享变量

通常，当传递给Spark操作(如map或reduce)的函数在远程集群节点上执行时，在函数中使用的所有外部变量都是单独拷贝的变量副本。
stone_zhu·2024-02-12 03:02

并行计算工具 MPI 简单教程

UsingMPIwithC并行程序使用户能够充分利用超级计算集群的多节点结构。消息传递接口(MPI)是一种标准，用于允许集群上的多个不同处理器相互通信。
疯狂的泰码君·2024-02-12 02:54

Java最最最基础的知识点

是一门兼容性很好的语言，跨平台支持的很好，比较常用的有Linux和Windows，所以首先，我将会跟大家分享以下两者的区别Linux与Windows的区别Linux是一个开源的操作系统，与Windows有三大不同点：文件系统不同
可乐教编程·2024-02-12 02:27

Java：K8S难点，大厂面试必问，三分钟吃透

当我们尝试去理解Kubernetes集群工作原理的时候，控制器肯定是一个难点。这是因为控制器有很多，具体实现大相径庭；且控制器的实现用到了一些较为晦涩的机制，不易理解。
Java罗·2024-02-12 01:47

haproxy配置代理tomcat和nginx_一文聊透负载均衡神器 LVS、Nginx、HAProxy的工作原理...

这是Bella酱的第78期分享当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，
weixin_39951929·2024-02-12 01:07

mysql数据库的pxc工具_CentOS7 下 MySQL 数据库 PXC 集群部署操作指导

背景最近在进行MySQL的PXC集群搭建使用和研究前期已完成了一篇记录文章：【CentOS7下MySQL之PXC集群部署【Docker+多机多节点】】但是，毕竟不是所有人都熟悉docker而作为开发人员
郑默默·2024-02-12 00:25

centos磁盘扩容

centos-root占用了过高问题1.查看其他分区占用情况df-hlimage.png2.扩容根目录的思路如下：如图片中的例子：/home的内存空间比较大，可以分给其他的根目录，将/home文件夹备份，删除/home文件系统所在的逻辑卷
福海鑫森·2024-02-12 00:53

Linux dump命令教程：如何安全快速备份你的文件系统（附实例详解和注意事项）

Linuxdump命令介绍dump命令在Linux中用于备份文件系统到某个存储设备。它备份的是整个文件系统，而不是单个文件。换句话说，它将所需的文件备份到磁带、磁盘或任何其他存储设备以进行安全存储。
我要下东西噢·2024-02-11 23:38

Linux笔记之Docker进行镜像备份与迁移

文章目录Linux笔记之Docker进行镜像备份与迁移1.导出容器文件系统为tar归档文件2.将tar归档文件导入为新的Docker镜像3.运行新的Docker镜像并创建容器1.导出容器文件系统为tar
努力脱单的害羞男孩·2024-02-11 23:31

架构演变及分布式解决方案

架构单体架构所有的功能都集中在一个项目中，并部署在同一台服务器，往往一个功能的阻塞会导致整个应用的阻塞，最终导致整个服务器不可用，随着业务模块的不断拓展，代码的可读性、维护性越来越差，测试成本也越来越高单体架构下的集群部署
大能嘚吧嘚·2024-02-11 22:39

gerrit调优——超级干货

一、确定配置大小根据gerrit使用的服务器集群的硬件配置来确定大小二、调整gerrit.configreceive.timeout处理传入更改和更新refs和Gerrit更改的超时。
KEY丶·2024-02-11 21:50

孩子，把你的手给我

这是我在大市集群的第4次语音分享。
心若向阳333·2024-02-11 21:44

如何在Windows平台访问Linux文件系统【ExtFS】

访问Linux文件系统ExtFS将是首选，您可以将extFS存储设备插入PC并访问其内容以进行读取，复制或修改。
听力巴士·2024-02-11 20:59

文件fd【Linux系统编程】

本文是基础IO的第一个部分，基础IO部分将主要讲解以下内容：文件fd文件系统软硬链接操作系统的内存管理以及动静态库。本节重点讲解文件fd，其余内容将在后面的博客更新。
勤奋的懒羊羊～·2024-02-11 20:47

使用kubeadm快速启用一个集群

使用kubeadm快速启用一个集群CentOS配置YUM源cat/etc/yum.repos.d/kubernetes.repo[kubernetes]name=kubernetesbaseurl=https
小陈运维·2024-02-11 20:50

通过hub.docker加git获取kubernetes镜像

使用工具kubeadm安装kubernetes集群是需要的镜像默认放在google容器仓库中，国内不便直接下载，这里记录通过hub.docker加git获取kubernetes镜像：1.登陆注册dockerID
奚落大神·2024-02-11 20:23

外部服务发现之 ingress

介绍其实就是从kuberenets集群外部访问集群的一个入口，将外部的请求转发到集群内不同的Service上，其实就相当于nginx、haproxy等负载均衡代理服务器，有的同学可能觉得我们直接使用nginx
liu__chao·2024-02-11 20:21

Redis之旅--Redis集群(十二)

一、RedisSentinel简介  Sentinel(哨兵)进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换
无剑_君·2024-02-11 20:23

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 18:09

Ubuntu搭建NFS服务

NFS，全称为网络文件系统(NetworkFileSystem)，是一个允许网络中的计算机共享其文件系统的协议。
·2024-02-11 18:56

极限挑战：使用 Go 打造百亿级文件系统的实践之旅

JuiceFS企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。
·2024-02-11 18:49

ClickHouse集群搭建及ODBC配置

以下是搭建ClickHouse集群及配置ODBC的步骤。首先是ClickHouse集群的搭建。假设你有三台服务器，IP分别为192.168.1.1，192.168.1.2，192.168.1.3。
·2024-02-11 18:02

记一次 Redis 数据库迁移

业务背景最近因业务需要将集群中的Redisdb8迁移到另一个库中。不需要把全部的Redis都迁移过去，只需要迁移db8到新服务器的db15。大概情况是这样，如图：当然也探索了一些
·2024-02-11 18:53

fsx 简介：适用于 JavaScript 的现代文件系统 API

JavaScript运行时中的文件系统API已经很久没有这么好了，这是我试图做出一个更好的文件系统API的尝试。我们今天拥有的JavaScriptAPI比十年前要好得多。
·2024-02-11 17:49

Flomesh Ingress 使用实践（一）基础功能

Ingress是对集群中服务的外部访问进行管理的API对象，典型的访问方式是HTTP。提供负载均衡、SSL终结和基于名称的虚拟托管。
·2024-02-11 17:23

HBase知识点总结

一、HBase基础HBase是一种建立在Hadoop文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·2024-02-11 17:17

从零开始写 OS 内核 - 虚拟内存初探

启动到实模式GDT与保护模式虚拟内存初探加载并进入kernel显示与打印全局描述符表GDT中断处理虚拟内存完善实现堆和malloc第一个kernel线程多线程切换锁与多线程同步进入用户态进程的实现系统调用简单的文件系统加载可执行程序键盘驱动运行
·2024-02-11 17:46

服务架构发展历程

（高并发问题）解决方案：集群（集群方案解决）会出现的如下问题：高并发、高可用、高性能提高系统的并发能力：集群操作：集群：同一个业务，部署在多个服务器上特点：项目采用集群（
坎坷终究平坦·2024-02-11 17:13

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 17:41

【博云2023】乘龙一跃腾云海，侧目抬手摘星河

我们的信心来自于努力耕耘终有收获博云为客户打造了可支撑万亿信托管理规模的云原生技术中台，支撑起客户的整个IT研发、运维系统；博云云管理平台产品支撑的单用户IT集群达到数千台服务器、上万台虚拟机，稳定保障着客户的业务系统运营
博云技术社区·2024-02-11 17:39

龙叔学ES：Elasticsearch XPACK安全认证

Xpack2、相关安全配置介绍2.1、xpack.security.enabled2.2、xpack.security.http.ssl2.3、xpack.security.transport.ssl3、ES集群认证配置
龙叔运维·2024-02-11 16:17

Hbase - 迁移数据[导出,导入]

有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作
kikiki2·2024-02-11 14:23

半监督语义分割论文学习记录

一致性训练的有效性在很大程度上取决于数据分布的行为，即集群假设，其中类必须由低密度区域分隔。在语义分割中，在输入中，我们没有观察到低密度区域
西瓜真的很皮啊·2024-02-11 14:19

Linux快速入门

一.Linux的结构目录1.1Linux的目录结构Linux为免费开源的系统，拥有众多发行版，为规范诸多的使用者对Linux系统目录的使用，Linux基金会发布了FHS标准（文件系统层次化标准）。
Duarte·2024-02-11 14:08

LSF 主机状态 unreach 分析

在LSF集群运行过程中，有主机状态变为unreach。熟悉LSF的朋友都知道主机状态为unreach表示主机上的SBD服务中断服务了，但其它服务LIM和RES还在正常运行。
boshushuoshuo·2024-02-11 13:51

Elasticearch和Kafka概念对比

1、概念对比kafka集群包含多个broker，每个broker都是一个kafka实例。每个服务器会有多个broker，我们暂且认为每个服务器包含一个broker。
Yisnow.·2024-02-11 12:37

Kafka 概念，安装，常用命令（一）

Kafka有点像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异，首先，Kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩。
响彻天堂丶·2024-02-11 12:06

minio server pool 的特点小结

minioserverpool是目前minio官方推荐的集群扩容方案，使用上简单，算是做到了真的集群扩容能力，操作简单，维护成本并不是很大。
网络飞鸥·2024-02-11 11:47

k8s 集群搭建 1.18.0

1.初始准备确保集群间机器互相ping通关闭selinux：sed-i's/enforcing/disabled/'/etc/selinux/configsetenforce0关闭swap：swapoff-a
dyyy_li·2024-02-11 11:04
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他