GFS分布式文件系统

对象存储 S3 在分布式文件系统中的应用

当前，业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋，文件存储不仅能兼顾多个应用和多个用户访问，更突出的优势是方便文件共享；对象存储凭借灵活性和扁平架构得到了广泛的好评，容量达到EB级以上，实现理论上的对象存储容量和对象数量无限扩充。然而，由于对象存储的访问接口协议单一，数据访问性能较差的问题，使其可适用的范围受到了一定程度的限制。以下内容是焱融科技架构师彭德跃
·2022-05-30 16:54

《大型网站技术架构演进与性能优化》之分布式改造[一]

必须具备分布式配置系统、分布式RPC框架、异步消息系统、分布式数据层、分布式文件系统、服务的发现、注册和管理。第三，必须解决状态一致性问题。
迦叶_金色的人生_荣耀而又辉煌·2022-05-30 08:39

ACA(大数据助理工程师备考)笔记

存储和计算能力提升4v1.体积巨大2.处理速度快3.价值密度低4.种类多来源结构化半结构化非结构化云计算大数据关系云计算提供计算与存储大数据在其基础上进行应用比如大数据发展历史大数据处理问题思路分而治之存储技术分布式文件系统大数据分析技术
撸码的xiao摩羯·2022-05-28 07:21

Hadoop3.0时代，怎么能不懂EC纠删码技术？| 个推技术实践

backblaze作为当前广泛流行的分布式文件系统，HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份，以实现数据可靠性目标
·2022-05-27 12:32

IDEA 中使用 Big Data Tools 连接大数据组件

它提供了使用Zeppelin，AWSS3，Spark，GoogleCloudStorage，Minio，Linode，数字开放空间，MicrosoftAzure和Hadoop分布式文件系统（HDFS）来
·2022-05-26 11:05

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
JuiceFS·2022-05-25 17:00

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
·2022-05-25 17:57

VMware虚拟机设置主机共享文件夹图文示例

虚拟机设置共享文件夹开启虚拟机使用共享文件夹连接上来之后查看一下/mnt目录下是否多出了一个hgfs的文件夹，如果没有这个文件夹，没成功.ls/mnt查看当前有哪些共享目录vmware-hgfsclient
七寻北里·2022-05-24 14:08

场景实践：使用RDS和ECS搭建个人博客

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL
·2022-05-23 14:33

图文详解 HDFS 的工作机制及其原理

初识Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop提供了一套分布式系统基础架构，核心内容包含HDFS(HadoopDistributedFileSystem,分布式文件系统)
Data跳动·2022-05-19 11:00

linux 分布式存储 软件,Ceph分布式存储系统

Ceph是根据加州大学SantaCruz分校的SageWeil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。
出圈唇享·2022-05-13 07:18

Ceph分布式存储工作原理(Ceph分布式块存储)

RADOS应运而生．１）RADOS（概念）:是ceph的核心之一，作为ceph分布式文件系统的一个子项目，特别为ceph的需求设计，能够
Mr..huang·2022-05-13 07:47

一、人工神经元模型与感知机

AI最核心------->深度学习------->与神经网络联系紧密传统人工神经网络是深度学习的基础Hadoop分布式文件系统的架构Namenode存储着文件系统的索引和元数据Datanode存储着具体的数据文件
weixin_30505225·2022-05-13 07:28

SpringBoot项目整合FastDFS+Nginx实现图片上传功能

目录FastDFS概述Fastdfs原理安装Fastdfs整合Nginx模块安装NginxSpringBoot整合FastdfsFastDFS概述FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理
·2022-05-12 14:59

k8s中应用GlusterFS类型StorageClass

GlusterFS在Kubernetes中的应用GlusterFS服务简介GlusterFS是一个可扩展，分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储。
vfanCloud·2022-05-12 11:00

虚拟机ubantu上共享文件神奇的突然失效了

对于Ubuntu18.04（或最近的Debian发行版），请尝试：sudovmhgfs-fuse.host://mnt/hgfs/-oallow_other-ouid=
carrymybaby·2022-05-08 07:19

centos安装配置hadoop超详细过程（含故障排除）

以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
格格巫 MMQ!!·2022-05-06 13:42

FastDFS 海量小文件存储解决之道

作者：vivo互联网服务器团队-ZhouChangqing一、FastDFS原理介绍FastDFS是一个C语言实现的开源轻量级分布式文件系统。
·2022-04-26 16:41

Minio基本使用与原理

@[toc]一、MinIo核心概念概念分布式文件系统，简称为OSS对象存储【文件，图片.......】。如图：二、MinIo应用场景应用场景主要是在微服务系统中使用。
·2022-04-22 21:53

BigData大数据开发路线详细完整结构知识体系学习大全（2022）

计算：（四）查询：（五）可视化：（六）任务调度：（七）集群监控：（八）元数据管理：（九）数据质量监控：二、开发平台（一）Hadoop大数据处理框架1、MapReduce磁盘离线分布式计算框架2、HDFS分布式文件系统
REMLILI·2022-04-22 20:46

2019年大数据从入门到精通应该具备的知识体系

大数据架构商业之路：从业务需求到技术方案》工具技能1、hadoop：常用于离线的复杂的大数据处理2、Spark：常用于离线的快速的大数据处理3、Storm：常用于在线的实时的大数据处理4、HDFS：Hadoop分布式文件系统
小迪和夫人·2022-04-22 07:03

上海巨微MG216单模蓝牙5.1BLE发射器

特点•收音机全球2.4GHzISM频段操作，2MHz信道间隔GFSK调制支持1Mbp
·2022-04-18 18:29

分布式存储论文研读（三）：DynamoDB

BackgroundSystemAssumptionsandRequirements与GFS，Bigtable等一样，DynamoDB有一些适用的场景。
·2022-04-16 09:13

Linux挂载文件系统时出现遇到问题wrong fs type

运行挂载命令如mount/dev/sdb1mnt出现错误：mount:wrongfstype,badoption,badsuperblockon/dev/sdc1,missingcodepageorhelperprogram
黑暗森林`·2022-04-15 10:24

分布式存储论文研读（二）：BigTable

首先和论文无关，还是想分享一下来自MalteSchwarzkopf博士毕业论文OperatingSystemsupportforwarehouse-scalecomputing的一张Google基础服务架构图：GFS
·2022-04-15 09:47

分布式存储论文研读（一）：GFS

本篇研读的论文是TheGoogleFileSystem，发表于2003年的SOSP，介绍了Google的GFS文件存储系统。
·2022-04-14 08:49

坐实大数据资源调度框架之王，Yarn为何这么牛

Hadoop主要组成：分布式文件系统HDFS分布式计算框架MapReduce分布式集群资源调度
华为云开发者社区·2022-04-12 15:00

都2022年了，HDFS为何还如此能战！

1、概述1.1简介Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HD
华为云开发者社区·2022-04-11 14:00

2-HDFS(分布式文件系统)

一、简介简介HDFS是Hadoop非常重要的核心之一，它也是由DougCutting基于Google公司03年10月开源的论文GFS做的开源实现，发展到目前为止，HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用
小帅明3号·2022-04-06 10:45

大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别

大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别概述DataNodeNameNode概述1、hsfs集群有两类节点（管理节点-工作节点）的运行模式，即一个namenode
Hanzerial·2022-04-05 07:16

【云计算】MapReduce工作原理 - 详解图

Google引爆大数据时代的三篇论文之一MapReduceGoogle大数据处理的3篇核心论文《TheGoogleFileSystem》：http://research.google.com/archive/gfs.html
司六米希·2022-04-02 07:32

《Spark快速大数据分析》——读书笔记（5）

对于存储在本地文件系统或分布式文件系统（比如NFS、HDFS、AmazonS3等）中的数据，Spark可以访问很多种不同的文件格式，包括文本文件、JSONSequenceFile以及protocalbuffer
水木-刘·2022-03-25 07:23

初识Hadoop

它受到最先由GoogleLab开发的Map/Reduce和GoogleFileSystem(GFS)的启发。
Iiversse·2022-03-25 07:50

初识Hadoop架构

初识hadoopGoogle的“三驾马车“GFSMapReduceBigTableHDFSHDFS是什么？
·2022-03-24 14:11

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践（下）

但是在具体场景适配方面我们还是遇到了一些问题，这些问题我们第一时间与社区反馈，社区都第一时间解决了我们的需求，这里主要讲下几个比较重要的特性支持：hostpath与nonroot的支持在Atlas平台中，我们对分布式文件系统设置了
·2022-03-24 14:26

巧用符号链接迁移 HDFS 数据，业务完全无感知！

问题JuiceFS是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了JuiceFS能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代HDFS。
·2022-03-24 14:46

Hdfs学习（一）

HDFS1、HDFS概述1.1简介HDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统，用来解决海量数据的存储问题。
·2022-03-24 14:03

GFS分布式文件系统

GFS分布式文件系统一、GlusterFS概述1、GlusterFS简介2、GlusterFS特点3、GlusterFS术语4、模块化堆栈式架构5、GlusterFS的工作流程二、HASH算法1、使用弹性
这小子贼帅·2022-03-20 07:31

大数据教程-01HDFS的基本组成和原理

一Hadoop历史背景起源于2003年谷歌的GoogleFileSystem相关论文，随后DougCutting（我们下面就叫他切哥吧）基于GFS的论文实现了分布式文件系统，并把它命名为NDFS（NutchDistributiedFileSystem
马一特·2022-03-18 20:00

Hadoop简介和体系架构

目录2．1Hadoop简介2．1．1Hadoop由来2．1．2Hadoop发展历程2．1．3Hadoop生态系统2．2Hadoop的体系架构2．2．1分布式文件系统HDFS2．2．2分布式计算框架MapReduce2
G不来也不去·2022-03-18 07:46

Hadoop HDFS 3.3.1分布式存储搭建

前言看了标题会不会诧异，怎么昆仑分布式数据库玩起了分布式文件系统？因为昆仑分布式数据库0.9版本起，要增加HDFS分布式文件备份功能，所以开发小哥哥工作中，就顺便把学习的过程分享出来。
KunlunDB·2022-03-16 06:17

关于虚拟机与主机的共享文件夹

注意：虚拟机中的共享文件夹都是统一放在/mnt/hgfs路径下的，可以直接cd进入，不能将文件移动到其他位置，移动后的文件夹不再是共享文件夹了。
·2022-03-15 20:41

论文阅读笔记《Generalized and Incremental Few-Shot Learning……》

GeneralizedandIncrementalFew-ShotLearningbyExplicitLearningandCalibrationwithoutForgetting0第一次写CSDN博客，记录一下自己看过的论文本论文出自ICCV20211对论文的理解这篇文章主要是解决了一个generalizedfew-shotlearning(GFSL
痛却不说话·2022-03-15 07:33

SpringBoot笔记：SpringBoot集成MinIO分布式文件系统

文章目录搭建MinIO集群SpringBoot集成添加依赖添加配置获取MinioClientMinioUtils完整工具类测试代码搭建MinIO集群首先搭建MinIO的分布式集群，集群搭建参考《CentOS7安装笔记：minio分布式集群搭建》SpringBoot集成添加依赖首先，添加如下依赖io.miniominio7.1.0添加配置在yml中添加如下配置：#minio连接参数minio:#UR
leo825...·2022-03-14 03:51

初识Hadoop架构

初识hadoopGoogle的“三驾马车“GFSMapReduceBigTableHDFSHDFS是什么？
·2022-03-13 23:58

linux环境下 FastDFS搭建文件管理系统

linux环境下进行部署FastDFS简介FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。
俺叫啥好嘞·2022-03-12 08:40

读谷歌3篇论文《Google File System》、《Google BigTabel》、《Google MapReduce》读后感

谷歌3篇论文读后感一、《GoogleFileSystem》GoogleGFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
码农的后花园·2022-03-09 12:45

OpenStack学习系列之十二：安装ceph并对接OpenStack

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。
喝杯茶·2022-03-02 16:00

肝了一个周末，万字百图彻底理解HDFS！

2、高可用：用集群来存储文件，这样的文件系统称为分布式文件系统（DistributedFileSystem），部分
小胡_鸭·2022-03-01 19:07

Ubuntu 16.04 /mnt/hgfs/下不显示共享文件夹的处理办法

Ubuntu16.04/mnt/hgfs/下不显示共享文件夹的处理办法###1.解决不显示共享文件夹1.apt-getinstallopen-vm-tools2.vmhgfs-fuse.host://mnt
·2022-02-28 14:09
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他