分布式文件第4页

Ceph分布式文件系统集群搭建详解

1、Ceph分布式文件系统简介Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph独一无二地在一个统一的系统中同时提供了对象、块、和文件存储功能。

蔚蓝色天空sky·2024-01-18 00:11

Ceph分布式文件系统集群搭建

目录一、规划设计二、环境准备三、部署ceph集群四、开启Dashboard一、规划设计准备四台虚拟机（部署三台服务器和一台计算机更好）,分别安装centos-7-x86_64操作系统，使用的ceph的版本minic版，网络地址及规划随机。节点名称IP地址系统版本部署进程数据盘Ceph1192.168.239.150Centos-7-x86_64MON+mgr+OSD/dev/sdbCeph2192

疯狂运维的树懒·2024-01-18 00:10

Ceph 分布式文件系统

Ceph是加州大学SantaCruz分校的SageWeil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。

ejinxian·2024-01-18 00:40

部署ceph分布式文件系统

部署ceph分布式文件系统1.配置ceph环境系统2.创建ceph集群监控mon3.创建存储设备osd4.查看集群状态,验证5.部署ceph文件系统使用一台服务器作为主服务器,其他可以通过for循环来整体实现

NJ诶·2024-01-18 00:10

Ceph分布式文件系统

目录1.存储基础单机DAS存储设备DASNASSAN单机存储的问题分布式存储分布式存储的类型2.Ceph简介Ceph优势Ceph架构Ceph组件OSD(ceph-osd)Monitor(ceph-mon)Manager(ceph-mgr)MDS(ceph-mds)PG(归置组)Pool(存储池/资源池/数据池)OSD存储后端FilestoreBluestoreBlueStore的主要功能Ceph数

Ybaocheng·2024-01-18 00:39

MongoDB面试系列-01

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。再高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在给Web应用提供可扩展的高性能数据存储解决方案。

梦睡了·2024-01-17 16:50

FastDFS 环境搭建及使用详解

文章目录1、简介1.1分布式文件系统1.2FastDFS1.3FastDFS架构2、环境搭建2.1FastDFS安装2.1.1安装前准备2.1.2安装包下载2.1.3安装libfastcommon2.1.4

程序员大佬超·2024-01-17 16:19

MongoDB 环境搭建及使用详解

连接3、MongoDB概念数据库（DATABASE）文档（Document）集合元数据4、常用语法创建数据库删除数据库创建集合查看创建的集合删除集合文档CRUD5、数据备份还原MongoDB是一个基于分布式文件存储的数据库

程序员大佬超·2024-01-17 16:46

大数据开发之Hadoop（HDFS）

1.1HDFS产出背景及定义1、HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统

Key-Key·2024-01-17 10:22

你其实并不懂分布式文件系统

一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。

王知无(import_bigdata)·2024-01-16 13:14

分布式文件系统应该从哪些方面考虑

分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。

吃胖点儿·2024-01-16 13:44

FRS升级DFSR（FRS迁移DFSR）--附实验手册

迁移状态简介：SYSVOL复制从使用文件复制服务（FRS）到使用分布式文件复制服务有四种状

AdatumCC·2024-01-16 07:24

Hive知识点

（面向分析的存储系统）主要特征：面向主题的，集成的，非易失的和时变的数据集合，用以支持管理决策HIve与Hadoop的关系：Hive需要构建在Hadoop基础上；Hive中所有数据都存储在Hadoop分布式文件系统中

꧁༺朝花夕逝༻꧂·2024-01-16 07:25

HDFS HA 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。

Studying！！！·2024-01-16 06:36

mac上搭建 hadoop 伪集群

它主要由以下几个部分组成：HDFS(HadoopDistributedFileSystem)：HDFS是Hadoop的分布式文件系统，具有较高的读写速度，很好的容错性和可伸缩性，为海量的数据提供了分布式存储

寂夜了无痕·2024-01-16 06:30

Hadoop分布式文件系统(三)

目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce实例进程1.7、MapReduce阶段组成1.8、MapReduce数据类型1.9、MapReduce官方示例1.9.1、示例说明--圆周率PI评估1.9.2、官方示例--WordCo

杀神lwz·2024-01-16 06:57

分布式计算平台 Hadoop 简介

其主要采用MapReduce分布式计算框架，包括根据GFS原理开发的分布式文件系统HDFS、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。

rookiexiong·2024-01-15 08:19

【阿里云镜像】配置阿里云镜像—MongoDB 镜像

阿里巴巴开源镜像站(aliyun.com)centOs安装并使用mongodb【国内镜像版】SWEENEY_HE的博客-CSDN博客mongodb国内镜像二、MongoDB镜像简介MongoDB是一个基于分布式文件存储的数据库

宝耶需努力·2024-01-15 08:18

java大数据hadoop2.92安装伪分布式文件系统

ApacheHadoop3.3.6–Hadoop:SettingupaSingleNodeCluster.1、解压缩到某个路径/usr/local/hadoop2、修改配置文件/usr/local/hadoop/etc/hadoop/hadoop-env.shexportJAVA_HOME=/usr/local/javajdk3、修改配置文件/usr/local/hadoop/etc/hadoop

crud-boy·2024-01-15 06:29

Minio安装及整合SpringBoot

一.MinIO概述官网地址：https://minio.org.cnMinIO是一款基于ApacheLicensev2.0开源协议的分布式文件系统（或者叫对象存储服务），可以做为云存储的解决方案用来保存海量的图片

- Hola -·2024-01-15 05:15

MongoDB学习笔记-20190423

MongoDB是一个基于分布式文件存储的数据库，是一个介于关系型数据库和非关系型数据库之间的产品，是非关系数据库当中功能最丰富、最像关系数据库的。

Loistein·2024-01-15 05:30

MongoDB安装与基本使用

一、简介1.1Mongodb是什么MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/1.2数据库是什么数据库（DataBase）是按照数据结构来组织

A-超·2024-01-14 23:23

分布式文件系统fastDFS-设计原理

一、分布式文件系统fastDFS-设计原理FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（trackerserver）、存储服务器（storageserver）和客户端（client）三个部分组成

青哥DevOps·2024-01-14 06:10

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。

思旭�·2024-01-13 12:32

IndexFS: Scaling File System Metadata Performance with Stateless Caching and Bulk Insertion——论文泛读

许多现有的分布式文件系统只关注提供对文件数据的高度并行快速访问，并缺乏可伸缩的元数据服务。受限的元数据可伸缩性妨碍了需要并发和高性能元数据操作的大规模并行应用程序。

妙BOOK言·2024-01-12 21:15

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。

Feng.Lee·2024-01-12 21:41

Hadoop 的核心 —— HDFS（1）

Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop的两个核心：HDFS分布式文件系统：存储是大数据技术的基础

土冥王·2024-01-12 16:13

hadoop分布式文件系统

Hadoop分布式文件系统分布式文件系统：管理网络中跨多台计算机存储的文件系统称为分布式文件系统。

Alonzo de blog·2024-01-12 08:27

Openstack云计算（五）ceph

Ceph简介：Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph]的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。

wmd13164306712·2024-01-12 07:50

Centos 7.2中MongoDB数据库的安装与卸载教程

一、前言大家都知道，MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。

拾柒丶_8257·2024-01-11 19:22

分布式文件系统FastDFS在CentOS7上的安装及与Springboot的整合

1.概述FastDFS是目前比较流行的分布式文件系统，可以很容易的实现横向扩展、动态扩容、灾备、高可用和负载均衡。

追风人聊Java·2024-01-11 18:40

glusterFS

一.概念1.介绍gluster是一个横向扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中，可以根据存储消耗需求快速调配额外的存储。

MoonSoin·2024-01-11 04:42

睿智闷骚男·2024-01-10 20:22

centOS系统yum安装和卸载mongodb

0.2Mongodb是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

ღ子鱼·2024-01-10 20:20

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复

不吃海带吃海苔·2024-01-10 16:15

GFS 分布式文件系统

GlusterFS特点●扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。（1）Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和I/O资源都可以独立增加），支持10GbE和InfiniBand等高速网络互联。（2）Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实

偷个月亮吗733·2024-01-10 14:00

MongoDB之概述、命令

基础知识是什么概念分布式文件存储数据库，提供高可用、可扩展、易部署的数据存储解决方案。结构BSON存储类型类似JSON的一种二进制存储格式。相比于JSON，提供更丰富的类型支持。

微风至夏·2024-01-10 08:44

Windows server 2008 R2下安装Mongodb 4.0

www.mongodb.com/download-center#community安装包名：mongodb-win32-x86_64-2008plus-ssl-4.0.4-signed.msiMongoDB是一个基于分布式文件存储的非关系型数据库

ktianc·2024-01-10 00:37

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce

WeeeicheN·2024-01-09 22:17

HDFS概述

背景定义背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统

欲无缘·2024-01-09 22:32

GFS分布式文件系统

GlusterFS是一个开源的分布式文件系统。二、GFS的特点1、扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。

Kido.S·2024-01-09 17:21

Hive基础知识

2）其本质是将SQL语句转换为MapReduce/Spark程序进行运算，底层数据由HDFS分布式文件系统进行存储。3）可以理解Hive就是MapReduce/SparkSql的客户端。

巷子里的猫X·2024-01-09 13:52

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。

善守的大龙猫·2024-01-08 10:48

Hadoop精选18道面试题(附回答思路)

2.简述HDFSHadoop分布式文件

Byyyi耀·2024-01-08 06:00

Hive元数据迁移及升级方案

具体分布式文件的存储、分布式计算的执行等均由后端的Hadoop来承接，如下图所示：基于上图架构，Hi

云原生大数据·2024-01-07 22:49

GFS论文解读(一)——设计概述

介绍在当今大数据时代，分布式文件系统已经成为处理海量数据的重要工具。而在这个领域中，「GFS（GoogleFileSystem）」论文无疑是一篇具有里程碑意义的文献。

健鑫.·2024-01-07 18:53

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS简介2.2、HDFS设计目标2.3、HDFS应用场景2.4、HDFS重要特性2.4.1、主从架构2.4.2、分块存储2.4.3、副本机制2.4.4、元数据记录2.4.5、namespace2.4

杀神lwz·2024-01-07 11:19

FastDFS分布式文件系统

1.什么是FastDFSFastDFS(FastDistributedfilesystem)是用c语言编写的一款开源的分布式文件系统。

GGbird·2024-01-07 11:03

Spark概述

多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算Spark只是一个计算框架，不像Hadoop一样包含了分布式文件系统和完备的调度系统

我像影子一样·2024-01-06 09:38

openEuler NFS多路径

简介网络文件系统(NFS)是一种分布式文件系统协议，最初由SunMicrosystems(Sun)于1984年开发，允许NFS客户端上的用户通过计算机网络访问NFS服务端上文件。

大隐隐于野·2024-01-06 08:49

推荐频道

分布式文件