GFS分布式文件系统

阿里云文件存储NAS简介和购买流程

阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统。
Yasser�·2022-11-20 17:06

Hadoop+Spark+Hive

Hadoop简介Hadoop采用MapReduce分布式计算框架，根据GFS原理开发了HDFS（分布式文件系统），并根据BigTable原理开发了HBase数据存储系统。
呆鸡.·2022-11-20 10:45

麒麟系统中Qt Creator调用protobuf库时，版本冲突解决方法

文件2.在QtCreator中通过导入外部库的方式导入protobuf的库（动态、静态都可以）3.代码编译通过，运行时提示protobuf版本冲突问题现象12:39:32:Starting/mnt/hgfs
聖斗士·2022-11-20 04:49

Linux中debugfs用法,在linux下使用debugfs恢复rm删除的文件

在linux下使用debugfs恢复rm删除的文件??以下方法在ext3的文件系统上测试通过，以下是通过root来实现的?
weixin_39831170·2022-11-19 19:53

大数据—人工智能领域高水平会议及热点技术汇总

大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.Hadoop安装与使用3.Hadoop集群的部署与使用4.Hadoop代表性组件三、分布式文件系统
renhongxia1·2022-11-19 18:01

Linux虚拟机共享文件夹不显示问题终极解决方法

VMwareWorkstationPro16.2.3build-19376536虚拟机：UbuntuX6422.04LTS问题描述VMware中设置并已启用共享文件夹；在Linux终端执行运行VMware-hgfsclient
alhagi·2022-11-19 18:40

大数据之 Hadoop 教程

Hadoop由三个关键部分组成：HDFS：Hadoop分布式文件系统，它是Hadoop数据存储层。MapReduce：数据计算框架YARN：负责资源管理和任务调度。一、什么是HDFSHDFS
种麦南山下·2022-11-19 08:44

GFS分布式文件系统及其部署

目录一、GlusterFS1MFS2GlusterFS二、GlusterFs特点1扩展性和高性能2高可用性3全局统一命名空间4弹性卷管理5基于标准协议三GlusterFS术语1Brick(存储块)2volume(逻辑卷)3FUSE4VFS5Glusterd(后台管理进程)四模块化堆枝式架构五GlusterFs的工作流程六弹性HASH算法1弹性HASH算法的优点七GlusterFs的卷类型1分布式卷
我于杀戮之中绽放·2022-11-18 10:04

FastDFS简介及安装部署（CentOS7）

目录一、分布式文件系统二、FastDFS简介三、FastDFS整体架构四、FastDFS安装1.检查Linux上是否安装了gcc、libevent、libevent-devel2.如果没有安装，则需进行安装
不凉帅·2022-11-15 17:09

分布式文件系统HDFS

HDFS简述HDFS是Hadoop的两大核心之一，用来分布式存储海量数据文件系统结构：HDFS结构类似于文件系统：HDFS实现目标：1.兼容廉价的硬件设施2.实现流数据读写3.支持大数据集4.支持简单的文件模型5.强大的跨平台兼容HDFS局限性：1.不合适低延迟的数据访问2.无法高效存储大量小文件3.不支持多用户写入及任意修改文件HFDS相关概念1.块块设计的好处：支持大规模文件存储简化系统设计，
小马哥不马虎·2022-11-13 21:09

对象存储 S3 在分布式文件系统中的应用

当前，业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋，文件存储不仅能兼顾多个应用和多个用户访问，更突出的优势是方便文件共享；对象存储凭借灵活性和扁平架构得到了广泛的好评，容量达到EB级以上，实现理论上的对象存储容量和对象数量无限扩充。然而，由于对象存储的访问接口协议单一，数据访问性能较差的问题，使其可适用的范围受到了一定程度的限制。以下内容是焱融科技架构师彭德跃
YAN_RONG_TECHNOLOGY·2022-11-13 14:11

vmware16虚拟机如何查看宿主机文件

vmware-hgfsclientvmhgfs-fuse.host://mnt/hgfs-ononempty-oallow_otherls/mnt/hgfs使用VMware虚拟机时，共享主机的文件夹可以方便的在虚拟机和主机之间传递文件
jnrjian·2022-11-11 00:35

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-11-11 00:22

Java后端：数据以树形结构返回

data":[{"id":1,"name":"AA","describe":"DFDSF","parentId":0,"level":1,"ancestors":"0","type":1,"url":"dgfsd
瓦莉拉啦啦·2022-11-10 14:40

云数据库RDS

基于阿里云分布式文件系统和固态盘SSD盘高性能存储，RSD支持MySQL，SQLServer
dream_heheda·2022-11-10 10:54

ceph翻译 Ceph: A Scalable, High-Performance Distributed File System

Ceph:AScalable,High-PerformanceDistributedFileSystemCeph：一个可扩展，高性能分布式文件系统SageA.WeilScottA.BrandtEthanL.MillerDarrellD.E.LongCarlosMaltzahn
Jason__Zhou·2022-11-10 10:51

【分布式架构的原理】淘宝的演进过程

需求变更频繁，版本迭代快二、大型网站的发展演变过程（淘宝）1.原始阶段2.应用服务和数据分离3.加入缓存提升网站访问速度4.使用服务器集群避免单点故障5.使用数据库集群6.使用cdn加速网站响应7.使用分布式文件系统
打乒乓球只会抽·2022-11-07 08:04

2022-11-05_fastdfs分布式文件系统环境搭建学习笔记.md

20221105_fastdfs分布式文件系统环境搭建学习笔记.md1概述FastDFS是一个由C语言实现的开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储，文件同步，文件访问（文件上传
kikop·2022-11-06 11:46

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-11-06 08:04

阿里Tablestore概览

阿里Tablestore是基于阿里盘古分布式文件系统的一个处理大数量的一个产品。可以将TableStore的架构简单理解为Lucene+BigTable。
早睡早起的黑猫·2022-11-02 11:26

Hadoop分布式文件系统：架构和设计要点Ⅰ（转）

Hadoop分布式文件系统：架构和设计要点Ⅰ（转）一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是
diz45481·2022-11-02 11:58

用 Hadoop 进行分布式并行编程Ⅰ（转）

进行分布式并行编程Ⅰ（转）2008-06-0614:42Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统
diz45481·2022-11-02 11:27

CentOS 8.2上安装部署NFS服务器和客户端

先决条件第三步：测试环境第四步：CentOS8上安装NFS服务器第五步：客户端系统上设置NFS客户端广告时间：第一步：NFS系统简单概述网络文件系统（NFS）也称为客户端/服务器文件系统，是一种流行的跨平台分布式文件系统协议
zll56281688·2022-11-02 00:26

HDFS分布式文件系统

3.1HDFS简介随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。3.1.1HDFS的概念HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式
Mr李小四·2022-10-24 18:50

撸了一个Spring Boot + VUE 框架开发的分布式网盘系统「源码开源」

简介基于SpringBoot+VUECLI@3框架开发的分布式文件系统，旨在为用户和企业提供一个简单、方便的文件存储方案，能够以完善的目录结构体系，对文件进行管理。
java小浩·2022-10-23 14:30

GlusterFS分布式文件系统

全局统一命名空间④弹性卷管理⑤基于标准协议4、GluserFS术语5、GlusterFS构成与工作流程工作流程GlusterFS的卷类型分布式卷条带卷复制卷分布式条带卷分布式复制卷条带复制卷分布式条带复制卷GFS
LIUXU23·2022-10-14 07:19

Hadoop分布式文件系统：结构与设计

Hadoop分布式文件系统：结构与设计1.介绍Hadoop分布式文件系统(HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。
weixin_33785108·2022-10-13 16:11

HDFS架构设计理念以及优缺点

其中Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）起到非常重要的作用，HDFS是Hadoop项目核心子项目，HDFS是分布式计算中数据存储管理的基础，它以文件的形式为上层应用提供海
梯度科技·2022-10-13 15:31

大数据分布式处理系统平台Hadoop的主要特征

HDFS是一个分布式文件系统，他具有高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。
梯度科技·2022-10-13 15:30

GFS分布式文件系统

2、GlusterFS特点二、GlusterFS专业术语三、GlusterFS构成1、GlusterFS总流程2、GFS的工作原理3、分布式gfs服务器存储四、GlusterFS的卷类型1、分布式卷2、
辛辣天蝎666·2022-10-12 20:21

大数据面试题汇总【持续更新】

前言本文内容是根据自身对相应知识的浅薄理解，如有错误欢迎指正~大数据生态圈Hadoop架构HDFS（分布式文件系统）:解决海量数据的存储问题NameNode：集群当中的主节点，管理元数据，主要用于管理集群当中的各种数据
Kazi_1024·2022-10-12 10:45

Linux 内核debugfs总结

最近用到debugfs这个东西，网上找了一堆资料，希望看完这一篇够了。前言内核开发者经常需要导出一些信息到用户空间，用于分析内核运行逻辑。
大吉机器人·2022-10-12 07:28

GFS分布式文件系统

GlusterFS特点1、扩展性和高性能2、高可用性3、全局同一命名空间4、弹性卷管理5、基于标准协议四、GlusterFS术语五、GlusterFS构成六、GlusterFS的工作流程七、弹性HASH算法八、GFS
吉吉吉吉吉吉吉吉吉吉·2022-10-12 07:15

JuiceFS v1.0 正式发布，首个面向生产环境的 LTS 版本

JuiceFS是为云环境设计的分布式文件系统，同时兼容POSIX、HDFS、S3访问协议，也可以使用CSI方式在Kubernetes中作为PV使用，在大数据、机器学习，和需要共享文件存储的场景中广泛使用
Juicedata·2022-10-11 09:48

理想汽车 x JuiceFS：从 Hadoop 到云原生的演进与思考

2008年左右，Hadoop成为了Apache顶级项目，并正式发布了1.0版本，它的基础主要是基于谷歌的三驾马车，GFS、MapReduce、BigTable去定义的。
Juicedata·2022-10-11 09:48

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
Juicedata·2022-10-11 09:16

JuiceFS 元数据引擎选型指南

当今的分布式文件系统中，有的（如S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如ls大目录
Juicedata·2022-10-11 09:15

GFS分布式文件系统

目录一、GlusterFS1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的卷类型(1)分布式卷分布式卷的特点(2)条带卷特点创建条带卷(3)复制卷特点创建复制卷(4)分布式条带卷(5)分布式复制卷二、GlusterFS集群1.准备环境(所有node节点上操作)(1)关闭防火墙(2)磁盘分区，并挂载(3)配置/etc/host
Drw_Dcm·2022-10-11 07:55

JuiceFS 元数据引擎选型指南

当今的分布式文件系统中，有的（如S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如ls大目录
·2022-10-10 16:42

实现fastdfs防盗链功能

1、背景我们可以通过fastdfs实现一个分布式文件系统，如果我们的fastdfs部署在外网，那么任何一个人知道了我们的上传接口，那么它就可以文件的上传和访问。
·2022-10-09 20:40

组件

、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS
·2022-10-09 19:08

ElasticSearch入门学习

ElasticSearch分布式全文搜索引擎6.X和7.X区别特别大1、入门大数据需要解决的两个问题：存储、计算Google和Hadoop技术对比GoogleHadoopGFSHDFSMapReduceMapReduceBidTableHBase
一只嘻嘻嘻·2022-10-08 18:10

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
·2022-09-30 17:46

HarmonyOS应用开发-分布式语音摄像头体验

一、组件说明使用HarmonyOS分布式文件系统和AI语音识别功能开发了一个分布式语音摄像头。使用此相机应用程序，同一分布式网络下的不同设备可以实时看到主设备拍摄的照片。
李洋-蛟龙腾飞公司·2022-09-30 00:32

鸿蒙开发实例｜分布式文件服务

01、分布式文件系统
TiAmo zhang·2022-09-30 00:39

STM32——2.4G无线通信实验

2、最高工作速率2Mbps，高效的GFSK调制，抗干
三只树懒·2022-09-29 19:45

Minio分布式存储入门（使用新版本）

一、分布式文件系统应用场景互联网海量非结构化数据的存储需求·电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片二、minio的基础概念2.1基础感念Object存储到minio
letg·2022-09-28 21:05

我眼中的大数据（二）——HDFS

如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。
平 凡 程 序 猿·2022-09-28 09:55

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn
平 凡 程 序 猿·2022-09-28 09:22

我眼中的大数据（一）

我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我
平 凡 程 序 猿·2022-09-22 14:20
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他