分布式文件系统MFS

Hadoop2学习路程-HDFS

Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。
Q75999·2023-08-10 09:48

每日优鲜mfsig unidbg逆向分析

每日优鲜mfsigunidbg逆向分析so层base64前面已经分析了Java层的调用，以及unidbg实现，接下来结合unidbg和ida对so层进行逆向。
ever_hu·2023-08-10 05:35

MapReducer之Map输入

在整个MapReducer阶段中，Map输入的文件，Reducer输出的文件都是存储在分布式文件系统中，但是Map任务处理的中间结果需要保存在本地磁盘，所以Map阶段需要考虑数据的局限性（即计算向数据靠拢
末央酒·2023-08-09 22:47

将图片存入数据湖Hudi

将图片存入ApacheHudi（HadoopUpserts,Deletes,andIncrementals）可以将图片数据转化为二进制数据存储，也可以将图片存储到分布式文件系统（如HDFS）或对象存储（
贾斯汀玛尔斯·2023-08-09 20:45

Spark使用parquet文件存储格式能带来哪些好处

1)如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准2)速度更快：从使用sparksql操作普通文件CSV和parquet文件速度对比上看，
小癫僧·2023-08-09 16:17

Beegfs分布式文件系统安装实践

环境在HPC高性能计算中，存储需要增加容量，尝试基于beegfs搭建一套分布式存储。以下节点都是CentOS7系统A节点作为beegfs客户端B节点ALL-In-One服务节点由于部署环境中没有外网，因而采用rpm包的形式进行安装，到此站点https://www.beegfs.io/release/beegfs_7_1/dists/rhel7/x86_64/下载相关rpm包各包定义如下：Manag
wolfwolfgod·2023-08-09 16:26

GFS分布式文件系统

特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议3.术语Brick(存储块)Volume(逻辑卷)FUSEVFSGlusterd4.工作流程5.卷类型6.部署GFS群集1.简介GFS(GlusterFS)是一个开源的分布式文件系统由存储服务器
dark_ones·2023-08-09 15:00

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。
值得一看的喵·2023-08-09 08:35

【Hadoop---07】HDFS 读 / 写 数据流程（面试重点）

HDFS写数据1.1HDFS写数据流程1.2关于副本结点的选择流程2.HDFS读数据1.HDFS写数据1.1HDFS写数据流程HDFS读写流程：HDFS客户端创建DistributedFileSystem(分布式文件系统
ElegantCodingWH·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode与DataNode回顾主节点和副本节点通常指的是Hadoop分布式文件系统（HDFS）中的NameNode和DataNode。
Matrix70·2023-08-09 08:18

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
达坦科技DatenLord·2023-08-09 07:53

上传图片视频

分布式文件系统MinIoMinIO提供多个语言版本SDK的支持，下边找到java版本的文档：地址：https://docs.min.io/docs/java-client-quickstart-guide.htmlMinIO
Chris-myx·2023-08-09 06:15

记录Java读取hdfs上的文件全过程

输入代码后就可以实现了总结前言跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面，提示：以下是一点见解一、项目大体流程我们想要上传到hdfs，首先就得知道hdfs是什么东西：本质：HDFS的中文翻译是Hadoop分布式文件系统
卡丘. 钦爱·2023-08-08 18:52

GFS 分布式文件系统

目录GlusterFS概述1．GlusterFS简介2．GlusterFS特点●扩展性和高性能3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法弹性HASH算法的优点：7．GlusterFS的卷类型8.部署GlusterFS群集编辑安装、启动GlusterFS（所有node节点上操作）添加节点到存储信任池中（在node1节点上操作）编辑在每个Node
飞翔小怪兽·2023-08-08 18:47

2019-10-18 pycharm激活码

56ZS5PQ1RF-eyJsaWNlbnNlSWQiOiI1NlpTNVBRMVJGIiwibGljZW5zZWVOYW1lIjoi5q2j54mI5o6I5p2DIC4iLCJhc3NpZ25lZU5hbWUiOiIiLCJhc3NpZ25lZUVtYWlsIjoiIiwibGljZW5zZVJlc3RyaWN0aW9uIjoiRm9yIGVkdWNhdGlvbmFsIHVzZSBvbmx5I
铁匠铺_de47·2023-08-08 17:33

【简单认识GFS分布式文件系统】

文章目录一.GlusterFS概述1.GlusterFS简介2.特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.GlusterFS的卷类型1、**分布式卷（Distributevolume）**2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布式复制卷（Dist
除我以外皆是我·2023-08-08 17:18

HDFS数据一致性

校验和4.为实现高可用，HDFS采用的诸多策略4.1冗余副本4.2机架感知4.3心跳机制4.4安全模式4.5校验和4.6回收站4.7元数据保护4.8快照机制1.概述Hadoop中有个重要的工具就是HDFS分布式文件系统
小学僧来啦·2023-08-08 13:53

GFS 分布式文件系统

目录1．GlusterFS简介2．GlusterFS特点3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法7．GlusterFS的卷类型8.部署GlusterFS群集8.1准备环境（所有node节点上操作）8.2安装、启动GlusterFS（所有node节点上操作）8.3添加节点到存储信任池中（在node1节点上操作）8.4创建卷8.5部署Glust
Tizzy33·2023-08-08 08:08

Hadoop RPC远程过程调用框架

HadoopRPC（远程过程调用）是Hadoop分布式文件系统（HDFS）和其他Hadoop生态系统组件之间通信的机制，使得分布式集群中的不同节点能够无缝地相互交流和交换数据。
贾斯汀玛尔斯·2023-08-08 05:56

GFS分布式文件系统

目录一、GlusterFS概念MFSGlusterFS特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议二、GlusterFS术语Brick（存储块）Volume（逻辑卷）FUSEVFSGlusterd
Liu_Fang_Hong·2023-08-08 01:29

springboot 对接 minio 分布式文件系统

1.minio介绍Minio是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者友好，认为存储应该是一个开发问题而不是一个运维问题。2.mi
前进滴蜗牛·2023-08-07 22:27

C#——将数据写入txt

File.Exists(path)){FileStreamfs=newFile
爱学习的man·2023-08-07 15:57

MapReduce基础原理、MR与MPP区别

概述MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算，HDFS用于海量数据的存储（HadoopDistributedFileSystem，Hadoop分布式文件系统
偷偷学习被我发现·2023-08-07 08:04

Linux 启动流程 -- BIOS/UEFI & bootloader & kernel & initramfs & systemd

Linux启动流程--BIOS/UEFI&bootloader&kernel&initramfs&systemd0.概述1.BIOS/UEFI启动阶段2.内核引导阶段2.1分区类型2.1.1MS-DOS2.1.2GPT2.2
jackchan-x·2023-08-07 08:31

GFS分布式文件系统

文章目录一、GFS的简介二、GlusterFS特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFSs术语四、GlusterFS构成五、GlusterFS工作流程六、弹性HASH算法七、GFS支持的七种卷1.分布式卷（Distributevolume）2.条带卷（Stripevolume）3.复制卷（Replicavolume）4.分布式条带卷（
2301_77369997·2023-08-07 07:50

IPFS白皮书（中文版）

IPFS(中文白皮书)IPFS-可快速索引的版本化的点对点文件系统摘要星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同
IPFS天何·2023-08-06 23:57

大数据——HDFS(分布式文件系统）

一，分布式系统概述Hadoop的两大核心组件HDFS（HadoopDistributedFilesystem）：是一个易于扩展的分布式文件系统，运行在成百上千台低成本的机器上。
风泩·2023-08-06 06:33

GFS分布式文件系统

目录一.文件系统简介1.1文件系统的组成1.2文件系统的作用1.3文件系统的挂载使用二.GFS分布式文件系统2.1GlusterFS简介2.2GlusterFS特点2.3GFS专业术语2.4GlusterFS
牛什么马什么·2023-08-05 23:45

Unity（C#）获取Texture2D

获取Texture2D：publicTexture2DGetTexture2DFromPath(stringpath){FileStreamfs=newFileStream(path,FileMode.Open
林淵.·2023-08-05 22:19

GFS 分布式文件系统

目录一、GlusterFS简介二、GlusterFS特点三、GlusterFS术语四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法七、GlusterFS的卷类型分布式卷（Distributevolume）：条带卷（Stripevolume）：复制卷（Replicavolume）：分布式条带卷（DistributeStripevolume）：分布式复制卷（Distribute
Mak1r522·2023-08-05 18:53

分布式文件系统HDFS

分布式文件系统HDFS（按块存储，默认一个block块128M）一、分布式文件系统HDFS1、产生背景传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。
fakerlove·2023-08-05 16:41

Hadoop权威指南读书笔记（三）——认识HDFS

管理跨多台计算机存储的数据/文件，是分布式文件系统角色的定位。Hadoop的分布式文件系统是HDFS，以流式数据访问模式（在后面对HDFS读取/写入文件进行剖析的时候会具体阐述）来存储超大的文件。
StevenPeng的学习之路·2023-08-05 13:39

Hadoop分布式文件系统——HDFS原理简介

其中大部分内容来自于github上一个大神的开源笔记，在此附上链接，表达版权所属以及敬意:github源地址一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的一个分布式文件系统
Brave_man_O·2023-08-05 13:08

《Hadoop权威指南》学习笔记（3）——Hadoop分布式文件系统

Hadoop分布式文件系统，即HDFS(HadoopDistributedFileSystem)。
啜晓伟·2023-08-05 13:08

C# 文件正由另一进程使用,因此该进程无法访问该文件解决方法

System.IO.FileStreamfs=newSystem.IO.FileStream(fileName,System.IO.FileMode.Open)这个方法打开文件的时候是以只读共享的方式打开的
deokoo·2023-08-04 14:58

GFS 分布式文件系统

目录一、GFS分布式文件系统1.1．GlusterFS简介1.2．GlusterFS特点1.3．GlusterFS术语1.4．模块化堆栈式架构1.5．GlusterFS的工作流程1.6．弹性HASH算法
恋如雨沚·2023-08-04 12:31

Hadoop-HDFS的Namenode及Datanode（参考Hadoop官网）

HDFS有什么特点，被设计做什么Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。
Matrix70·2023-08-04 09:51

HDFS架构刨析

secondarynamenode重要特性主从架构分块存储机制副本机制namespace元数据管理数据块存储概述HDFS是Hadoopdistributefilesystem的简称，意味：Hadoop分布式文件系统
fiveym·2023-08-04 09:48

大数据技术之Hadoop：HDFS集群安装篇（三）

目录分布式文件系统HDFS安装篇一、为什么海量数据需要分布式存储二、分布式的基础架构分析三、HDFS的基础架构四HDFS集群环境部署4.1下载安装包4.2集群规划4.3上传解压4.4配置HDFS集群4.5
何苏三月·2023-08-04 08:55

GFS分布式文件系统

GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume）：2.
Riky12·2023-08-04 08:48

GFS分布式文件系统概述以及集群部署

目录一、GlusterFS简介二、GlusterFS特点2.1扩展性和高性能2.2高可用性2.3全局统一命名空间2.4弹性卷管理2.5基于标准协议三、GlusterFS术语四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法七、GFS支持的七种卷7.1分布式卷（Distributevolume）7.2条带卷（Stripevolume）7.3复制卷（Replicavolume）7
匸&㕕·2023-08-04 05:09

GFS分布式文件系统

一、GFS概述1.1GFS简介1.2GFS特点1.2.1.扩展性和高性能1.2.2.高可用性1.2.3.全局统一命名空间1.2.4.弹性卷管理（Raid级别）1.2.5.基于标准协议1.3GFS术语1.3.1.Brick（存储块）1.3.2.Volume（逻辑卷）1.3.3.FUSE1.3.4.VFS1.3.5.Glusterd（后台管理进程）1.4GFS工作原理1.5弹性HASH算法二、GFS的
m0_58076958·2023-08-04 01:21

GFS分布式文件系统简介及部署

目录一、GFS概述1、文件系统①、文件系统组成②、文件系统的作用③、专业术语二、GFS特点三、GFS工作原理四、GFS卷1、GFS卷类型2、三大基本卷的特点①、分布式卷②、条带卷③、复制卷五、部署GFS集群1、部署节点集群2、部署客户端3、正常测试4、破坏性测试①、分布式卷数据（可查看，但缺少node2的demo5.log）②、条带卷（不可查看，不具备冗余）③、复制卷（可查看，有冗余）④、分布式条
天 行 者·2023-08-04 01:21

excel文件保存成CSV

SubCsvOutput()DimstrNowAsStringDimcsvFileAsStringDimlastRowAsStringDimtargetRangeAsRangeDimwbAsWorkbookDimfsoAsObjectstrNow
wuchunyu002·2023-08-04 01:40

GFS 分布式文件系统

GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介（1）开源的分布式文件系统。（2）由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。
不懂就问QAQ·2023-08-03 13:07

GFS 分布式文件系统

文章目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程5.1GlusterFS的工作原理5.2GlusterFS的工作流程图示5.3弹性HASH算法5.3.1弹性HASH算法的优点6.GlusterFS的卷类型6.1分布式卷（Distributevolume）6.1.1分布式卷概念6.1.
Zhang110_·2023-08-03 04:13

GFS分布式文件系统概述以及集群部署

目录一、GlusterFS简介二、GlusterFS特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS支持的七种卷1、分布式卷（Distributevolume）2、条带卷（Stripevolume）3、复制卷（Replicavolume）6.5分布式复制卷（Distribute
juuulia·2023-08-03 03:24

【分布式应用】GFS分布式文件系统

目录前言一、GlusterFS概述1.1GlusterFS简介1.2GlusterFS特点●扩展性和高性能●高可用性●全局统一命名空间●弹性卷管理●基于标准协议1.3GlusterFS术语●Brick（存储块）：●Volume（逻辑卷）：●FUSE：●VFS：●Glusterd（后台管理进程）：1.4模块化堆栈式架构1.5GlusterFS的工作流程1.6弹性HASH算法二、GlusterFS的卷
Utopia_dower·2023-08-02 16:23

GFS分布式文件系统

GFS分布式文件系统1.gfs简介2.gfs特点3.gfs术语brick（存储块）volume（逻辑卷）fusevfs4.gfs工作流程（重点）5.gfs卷类型分布式卷条带卷（数据不完整，会报错）复制卷分布式条带卷分布式复制卷总结
xiaowei0403·2023-08-02 08:19

qkfile重要落地应用“闪电盘”即将火爆上线

“闪电盘”是基于qkfile分布式文件系统，旨在为用户创造全新体验而打造的分布式云存储。“闪电盘”定位于中小文件的快捷分享，无需客户端，因其下载速度快如闪电而得名。
少年已不年少201901·2023-08-02 03:40
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他