分布式文件系统

高效存储大规模数据的方法与实现

分布式文件系统分布式文件系统是一种常见的大数据存储解决方案。它将数据划分为多个块，并将这些块存储在不同的机器上。这种方式可以提高数据的可靠性和可扩展性。
静谧星光c·2023-12-17 11:47

2018-06-14

hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统
hoose·2023-12-17 09:26

PDF转为图片

起初是用分布式文件系统，将pdf以流的形式直接传递给前端，前端使用canvas将dpf转为图片，再用jQuery、turn.js进行3
老攀呀·2023-12-17 04:56

NFS远程文件共享系统！

NFS（NetworkFileSystem，网络文件系统）是一种分布式文件系统，允许用户通过网络访问远程主机上的文件。
M乔木·2023-12-16 23:31

分布式文件存储系统Minio使用总结

分布式文件存储系统Minio使用总结1.分布式文件系统应用:1.1、Minlo介绍：Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
北执南念·2023-12-16 11:40

分布式文件系统及Minio配置及测试

功能强大，使用简单~分布式文件系统要理解分布式文件系统首先了解什么是文件系统。文件系统是方便对磁盘上的文件进行管理的一种系统。把若干计算机通过网络连接起来，共同提供存储和访问的服务。
happystudy_neu·2023-12-16 11:04

大数据学习（一）-------- HDFS

2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

Ceph入门到精通-ceph二次开发开源协议考虑

Ceph是一个开源的分布式存储系统，它由多个组件组成，包括分布式对象存储（RADOS）、分布式块存储（RBD）和分布式文件系统（CephFS）等。
瓦哥架构实战·2023-12-15 07:40

【Hadoop】

组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助分布式文件系统HadoopYARN
想当运维的程序猿·2023-12-15 07:43

HarmonyOS分布式文件系统开发指导

分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：●两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
Android小贾·2023-12-14 15:02

图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
数据萌新·2023-12-06 18:40

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。HDFS官方架构图一、NameNode（NN）——基于内存存储：不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件owership和permi
A尚学堂Nancy老师·2023-12-06 15:56

比较 Apache Hive 和 Spark

Hive是一个运行在Hadoop分布式文件系统上
vvoennvv·2023-12-06 06:50

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem
粥一样温柔·2023-12-06 05:40

分布式文件存储系统Minio，tuling，fox

MinIO|高性能，对Kubernetes友好的对象存储MinIOHighPerformanceObjectStorage—MinIOObjectStorageforLinux一分布式文件系统应用场景fastDFS
aiwokache·2023-12-06 01:28

Hadoop

Hadoop的基本架构包括以下几个核心组件：HDFS（HadoopDistributedFileSystem）：它是一个高度容错性的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式
憨憨小白·2023-12-05 06:30

IPFS将颠覆HTTP在互联网的霸主地位？

IPFS是一个点对点的分布式文件系统（比特币是一种点对点的电子现金系统），作为文件系统嘛，当然可以用来存储文件，这个文件包括文本、图片、视频等等。
仁正·2023-12-05 02:55

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

大数据生态圈及分布式文件系统HDFS实践-part1

Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。主要解决，海量数据的存储和海量数据的运算问题。1.2大数据特征容量大，种类多，速度快，价值高1、容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息微博，5亿用户，每天上亿条微博朋友圈，10亿用户，每天
落叶飘雪2014·2023-12-04 15:40

Java操作Hdfs(分布式文件系统)完成文件上传、下载和删除

Java操作Hdfs(分布式文件系统)文件上传实现创建Maven项目，项目命名Hadoop_hdfs导入pom.xml依赖4.0.0hadoophadoop0.0.1-SNAPSHOThadoop_learnorg.apache.hadoophadoop-client3.2.0
菜鸟小党·2023-12-04 15:39

HDFS和MapReduce综合实训：构建大数据处理应用

摘要：本文将介绍如何使用Hadoop分布式文件系统（HDFS）和MapReduce框架来构建大数据处理应用。
IbtnLisp·2023-12-04 15:09

【头歌实训】分布式文件系统 HDFS

文章目录第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明答案代码第2关：HDFS-JAVA接口之读取文件任务描述相关知识
撕得失败的标签·2023-12-04 15:08

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS
amuseme_lu·2023-12-04 05:39

大数据开发：HDFS Erasure Coding机制

Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。
成都加米谷大数据·2023-12-03 14:29

【开源存储】glusterfs分布式文件系统部署实践

文章目录一、前言1、介绍说明2、术语说明3、冗余模式3.1、复制卷（Replication）3.2、纠删卷（ErasureCode）二、部署说明1、软件安装2、集群部署2.1、前置准备2.2、部署过程a、添加节点b、配置存储c、创建glusterfs卷d、客户端挂载3、常用操作3.1、扩展卷（add-brick）3.2、收缩卷（remove-brick）三、Q&A1、volumecreate:re
Luxf0·2023-12-03 05:25

主要分布式文件系统架构对比分析：GFS vs. Tectonic vs. JuiceFS

为了满足不断增长的存储需求，分布式文件系统作为动态且可扩展的解决方案应运而生。
沃趣数据库管理平台·2023-12-02 00:34

IPFS：下一代分布式文件系统(filenet)

一概述星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同的文件系统的计算机设备。
壹五叁说IPFS·2023-12-01 19:24

Hadoop运行模式及目录结构

文章目录Hadoop运行模式本地模式伪分布式模式完全分布式模式Hadoop目录结构配置文件说明默认配置文件：自定义配置文件：Hadoop运行模式本地模式这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统
撕得失败的标签·2023-12-01 12:23

分布式文件系统FastDFS

FastDFS是什么FastDFS是一款开源的轻量级分布式文件系统：纯C实现，支持Linux、FreeBSD等UNIX系统类googleFS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java
会踢球的程序源·2023-12-01 12:00

[Ubuntu 18.04] RK3399搭建NFS服务实现共享目录

NFS（NetworkFileSystem）是一种分布式文件系统协议，允许远程计算机通过网络访问存储在另一台计算机上的文件。
嵌入式逍遥·2023-12-01 07:15

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算
奔跑的风2019·2023-12-01 04:34

FastDFS实现本地文件服务器

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
user__kk·2023-12-01 03:02

一篇文章，掌握所有开源数据库的现状

本次分享聚焦于数据库既结构化数据存储OLTP及NoSQL领域，不会涉及OLAP、对象存储、分布式文件系统。1开源RDBMS与互联网的崛起很长时间以来，关系型数据库一直是大公司的专利，市场被
M偶遇在沙漠·2023-12-01 01:00

HDFS简介

统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。  
武汉小旭旭·2023-11-30 20:40

HDFS详解

HDFS架构剖析HDFS，HadoopDistributeFileSystem（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。
liuhanyuu·2023-11-30 20:09

【Hadoop】分布式文件系统 HDFS

读过程3.HDFS故障类型和其检测方法故障类型和其检测方法读写故障的处理DataNode故障处理副本布局策略一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统
和瑚·2023-11-30 20:06

Hyper-v虚拟机Hadoop集群搭建

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
真.电脑人·2023-11-30 16:16

01数仓平台 Hadoop介绍与安装

HDFS架构概述HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。包含
kk_io·2023-11-30 13:38

Hadoop-HDFS角色工作机制

一、角色职责介绍  HadoopDistributedFileSystem(HDFS,分布式文件系统):HDFS是Hadoop应用程序使用分布式存储，HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷·2023-11-30 10:33

大数据-hadoop-hdfs

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
像影子追着光梦游_·2023-11-30 09:48

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12·2023-11-30 09:06

Docker 安装 FastDFS

简述FastDFS是一个开源的轻量级分布式文件系统，它的主要功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
虹猫日志·2023-11-29 23:50

大数据之HBase教程

Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。
@轻流·2023-11-29 20:00

fastdfs部署详解

创建存储文件目录拷贝配置文件修改配置文件启动检验上传三、添加nginx显示配置fastdfs-nginx-module安装nginx修改nginx配置文件启动nginx网页检验官方github支持官方解释：FastDFS是一个开源的高性能分布式文件系统
(～￣▽￣)～凤凰涅槃·2023-11-29 14:31

FastDFS 部署

二、FastDFS官方介绍FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不
点滴Java·2023-11-29 14:59

FastDFS部署

简介FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
一码归一码@·2023-11-29 14:54

Spark Streaming的基本数据流

在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的·2023-11-29 07:55

大数据从入门到实战 - 第2章 分布式文件系统HDFS

大数据从入门到实战-第2章分布式文件系统HDFS一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：HDFS的基本操作2、第2关：HDFS-JAVA接口之读取文件3、实验三HDFS-JAVA
发芽ing的小啊呜·2023-11-28 16:42

HDFS-实验指导书 -更新

ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统.HDFS使用多台计算机存储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统
撒娇的猫·2023-11-28 16:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他