分布式文件系统

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。

傲雪凌霜，松柏长青·2024-09-16 00:16

linux挂载文件夹

1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。

小码快撩·2024-09-15 19:58

nfs服务搭建

基哥度娘网络文件系统(NFS)是sun微系统最初开发的分布式文件系统协议,[1]允许客户端计算机上的用户通过计算机网络访问文件很像本地存储被访问。

GHope·2024-09-15 13:41

掌握检索技术：构建高效知识检索系统的架构与算法23

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进

是小旭啊·2024-09-14 13:50

掌握检索技术：构建高效知识检索系统的架构与算法21

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进

是小旭啊·2024-09-14 12:18

大数据分析与安全分析

海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现，主要包括大规模数据分析处理、数据挖掘、分布式文件系统

Zh&&Li·2024-09-11 03:21

千万级规模高性能、高并发的网络架构经验分享

INTO100沙龙时间：2015年11月21日下午地点：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域

搬砖养女人·2024-09-10 20:35

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。

CloudJourney·2024-09-10 12:39

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件

BigDataMLApplication·2024-09-10 00:38

分布式文件系统FastDFS动态扩容

当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group，则需要对此group对应的所有服务器挂载同样容量的磁盘，指定store_path1……，但这样做的

欢醉·2024-09-08 18:38

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。

傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。

傲雪凌霜，松柏长青·2024-09-08 17:07

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS

蓦然_·2024-09-08 15:50

JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

JuiceFS是为云环境设计的分布式文件系统，支持超过10种元数据引擎和30种以上的数据存储引擎。

Juicedata·2024-09-06 01:24

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式

进击的小白菜·2024-09-04 16:50

虚拟机安装hadoop，hbase（单机伪集群模式）

就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统

流~星~雨·2024-08-29 21:31

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分

sheansavage·2024-08-29 01:42

Django 后端架构开发：存储层调优策略解析

Django后端架构开发：存储层调优策略解析目录数据库读写分离实现与优化分布式文件系统在Django中的应用与优化Elasticsearch存储层优化策略前端页面静态化处理数据库读写分离实现与优化数据库读写分离是一种优化数据库性能的常见手段

Switch616·2024-08-27 02:13

HDFS的编程

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上

卍king卐然·2024-08-25 07:02

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。

难以触及的高度·2024-08-24 14:22

【RH134知识点问答题】第9章访问网络附加存储

NFS是一种分布式文件系统协议，主要功能包括：①允许远程计算机通过网络访问共享文件。②实现文件系统在客户端和服务器之间的透明访问。③支持文件的共享、读取和写入，使得多个计算机可以共享相同的文件

是芽芽哩！·2024-08-24 03:38

服务器虚拟化和云平台,云平台和服务器虚拟化区别

云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统

木子Hui·2024-03-20 05:14

HDFS

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件

weixin_51987187·2024-03-12 14:32

SeaweedFS部署

SeaweedFS介绍SeaweedFS是一个分布式文件系统应用场景：主要用于存储处理小文件、大文件分块成小文件上传Githup地址：https://github.com/chrislusf/seaweedfs

仙女陈·2024-03-02 04:46

论文阅读-Hydra: 用于持久内存和RDMA网络的分散文件系统

然而，现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构，导致访问延迟

向来痴_·2024-02-20 07:26

GlusterFS：开源分布式文件系统的深度解析与应用场景实践

GlusterFS作为一款开源的、高度可扩展的分布式文件系统，以其独特的无中心元数据设计和灵活的卷管理机制，在众多场景中脱颖而出，为解决大规模数据存储难题提供了强有力的支持。

超逮虾户·2024-02-19 19:20

hadoop硬件配置高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。

xcagy·2024-02-19 13:07

精彩回顾 I DatenLord Hackathon 2023圆满结束！

达坦科技基于其跨云分布式文件系统DatenLord项目，结合AI大模型时代背景，搭建了擂台。我们邀请参赛者为DatenLord的极端场景设计并实现缓存p2p传输和同步模块。

·2024-02-19 12:34

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。HDFS有两类工作节点：一个管理节点namenode、多个工作节点datenode，namenode维护文件系统树以及整颗树内所有的文件和目录。namenode记录每个文件中各个数据块所在的数据节点信息。但不永久保存块的位置信息，这些信息会在系统启动时根据数据节点信息重建。namenode

BigBigFlower·2024-02-19 11:56

分布式文件系统 SpringBoot+FastDFS+Vue.js【四】

分布式文件系统SpringBoot+FastDFS+Vue.js【四】八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3

良辰美景好时光·2024-02-19 10:21

分布式文件系统 SpringBoot+FastDFS+Vue.js【二】

分布式文件系统SpringBoot+FastDFS+Vue.js【二】六、实现上传功能并展示数据6.1.创建数据库6.2.创建springboot项目fastDFS-java6.3.引入依赖6.3.fastdfs-client

良辰美景好时光·2024-02-19 10:20

分布式文件系统 SpringBoot+FastDFS+Vue.js【三】

分布式文件系统SpringBoot+FastDFS+Vue.js【三】七、创建后台--分角色管理7.1.创建后台数据库表7.2.创建实体类7.2.1.Admin7.2.2.Menu7.2.3.MenuBean7.2.4

良辰美景好时光·2024-02-19 10:20

分布式文件系统 SpringBoot+FastDFS+Vue.js

分布式文件系统SpringBoot+FastDFS+Vue.js一、分布式文件系统1.1.文件系统1.2.什么是分布式文件系统1.3.分布式文件系统的出现1.3.主流的分布式文件系统1.4.分布式文件服务提供商

良辰美景好时光·2024-02-15 05:20

GFS分布式文件系统

目录引言一、文件系统的作用1.1、文件系统的挂载使用二、GlusterFS简介三、GlusterFS特点3.1、扩展性和高性能3.2、高可用性3.3、全局同一命名空间3.4、弹性卷管理3.5、基于标准协议四、GlusterFS术语五、GlusterFS构成六、GlusterFS的工作流程理解：七、弹性HASH算法弹性HASH算法优点八、GFS支持七种卷8.1、分布式卷（Distributevolu

IT.cat·2024-02-12 14:56

GFS 分布式文件系统

一、GlusterFS概述1．GlusterFS简介GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。

「已注销」·2024-02-12 14:56

详解 GFS分布式文件系统（条带卷/复制卷/分布式条带卷/分布式复制卷）

GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS工作流程6.弹性HASH算法7.GlusterFs

W.scaler·2024-02-12 14:55

畅购商城(十二)：接入微信扫码支付

好好学习，天天向上本文已收录至我的Github仓库DayDayUP：github.com/RobodLee/DayDayUP，欢迎Star畅购商城(一)：环境搭建畅购商城(二)：分布式文件系统FastDFS

Robod·2024-02-12 07:05

极限挑战：使用 Go 打造百亿级文件系统的实践之旅

JuiceFS企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。

·2024-02-11 18:49

MFS 分布式存储

MFS分布式存储MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个副本，然而对于访问MFS的客户端或者用户来说，整个分布式文件系统集群看起来就像一个资源一样

中门对狙·2024-02-11 01:30

2022-01-14 HDC2021技术分论坛：新能力让数据多端协同更便捷，数据跨端迁移更高效！

作者：yijian，终端OS分布式文件系统专家；gongashi，终端OS分布式数据管理专家HarmonyOS作为分布式操作系统，其分布式数据管理能力非常重要。

麻酱不会打麻将·2024-02-11 01:59

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。

管理大亨·2024-02-10 22:27

Spring Boot + Vue.js + FastDFS 实现分布式图片服务器（IDEA教学)

IDEA教学笔记详细课程目录什么是文件系统什么是分布式文件系统主流分布式文件系统介绍FastDFS介绍FastDFS工作原理FastDFS安装与配置FastDFS测试-搭建环境

公众号-老炮说Java·2024-02-09 07:46

常用的文件系统、存储类型小整理

趁假期整理学习一番~名称OSSFastDFSJuiceFSCIFSCephFSEFSNFS全称ObjectStorageService(对象存储服务)FastDistributedFileSystem(快速分布式文件系统

Hehuyi_In·2024-02-09 06:16

3.3-媒资管理之MinIo分布式文件系统上传视频

文章目录媒资管理5上传视频5.1需求分析5.2断点续传技术5.2.1什么是断点续传5.2.2分块与合并测试5.2.3视频上传流程5.2.4minio合并文件测试5.3接口定义5.4上传分块开发5.4.1DAO开发5.4.2Service开发5.4.2.1检查文件和分块5.4.2.2上传分块5.4.2.3上传分块测试5.5合并分块开发5.5.1service开发5.4.3接口层完善5.5.2合并分块

ANnianStriver·2024-02-08 17:36

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。

0X码上链·2024-02-08 15:48

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储

滚滚红尘_8133·2024-02-08 11:43

FastDFS搭建

html资源地址：https://sourceforge.net/projects/fastdfs/源码资源：https://github.com/happyfish100FastDFS是一个开源的轻量级分布式文件系统

超人001·2024-02-08 11:31

类比

一款开源的分布式文件系统，冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标类比：图书馆有什么用？

lzb30·2024-02-08 10:07

3.2-媒资管理之MinIo分布式文件系统+上传图片

媒资管理3分布式文件系统3.1什么是分布式文件系统要理解分布式文件系统首先了解什么是文件系统。

ANnianStriver·2024-02-08 04:34

【实验2】在Hadoop平台上部署WordCount程序

文章目录实验内容一、实验环境：二、实验内容与步骤（过程及数据记录）：5.分布式文件系统HDFS上的操作5.1利用Shell命令与HDFS进行交互5.2利用Web界面管理HDFS6.分布式文件系统HDFS

-借我杀死庸碌的情怀-·2024-02-07 05:27

推荐频道