分布式文件第14页

【大数据】HDFS的使用与集群角色（学习笔记）

Hadoop提供了文件系统的shell命令行客户端hadoopfs[genericoptions]2、文件系统协议HDFSShellCLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统

rexhao_wmh·2023-10-14 08:45

软泡芙·2023-10-14 07:35

大数据Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备HDFS是配合Hadoop使用的分布式文件系统，分为namenode:

叫我懒猫·2023-10-14 04:32

Hadoop3教程（二）：HDFS的定义及概述

但是像这样做跨服务器的数据管理和维护是很难的，所以就迫切需要一种方式，来协调管理多台机器上的文件，这就是分布式文件管理系

经年藏殊·2023-10-14 01:01

Ceph初步了解和ceph集群搭建测试

Ceph初步了解和ceph集群搭建测试常用分布式文件系统HadoopFastDFSCephGlusterFSLustre(太老了)Ceph概述Ceph是一个分布式文件系统具有高扩展、高可用(默认3副本存储数据一个挂了还有两个

icnvd·2023-10-13 22:32

解读Genaro黄皮书之存储网络：分布式存储，让搜索更精准节能

他们通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。在互联网时期，这些功能给大家带来了很多便利。

rainy_he·2023-10-13 21:14

基于QKFile的闪电盘应用

QKFile的中文翻译为“夸克分布式文件系统”,是一种全新的超媒体分发协议，通过内容和标识来寻址，并支持创建完全分布式应用程序，旨在使全球网络更快，更安全，更开放。

少年已不年少201901·2023-10-13 20:27

MongoDB学习

特性：特性1基于分布式文件存储的开源数据系统2可为web应用提供可扩展高性能的数据存储方案3将数据存储为一个文档，文档类似与jason格式MongoDB结构：MongoDB关系型数据库

Jayss_987·2023-10-13 18:48

Minio分布式文件系统学习笔记

docker单机安装服务端dockerrun-p9000:9000-p50000:50000--nameminio\-d--restart=always\-e"MINIO_ROOT_USER=admin"\-e"MINIO_ROOT_PASSWORD=xie@1234"\-v/opt/software/minio/data:/data\-v/opt/software/config:/root/.m

Gene兵·2023-10-13 13:25

【学习笔记】minIO分布式文件服务系统

MinIO一、概述1.1minIO是什么？MinIO是专门为海量数据存储、人工智能、大数据分析而设计的对象存储系统。（早前流行的还有FastDFS）据官方介绍，单个对象最大可存储5T，非常适合存储海量图片、视频、日志文件、备份数据和容器、虚拟镜像等。采用golang语言编译客户端和用户端交互采用http和https用户协议1.2为什么选择minIO？安装部署简单自带UI界面，操作简单，开箱即用性能

Xcong_Zhu·2023-10-13 13:14

短时间上手MongoDB

什么是MongoDBMongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。

weixin_34187822·2023-10-13 07:26

RDD（python

RDD创建从文件系统加载.textFile()支持本地文件系统分布式文件系统HDFS云端文件>>lines=sc.textFile("file:///usr/local/spark/mycode/rdd

KwokWyman·2023-10-12 21:01

Mongo

MongoDB是一个基于分布式文件存储的开源NoSQL数据库系统，由C++编写的。

努力学习，努力爱你！·2023-10-12 18:21

分布式文件服务器——Windows环境MinIO的三种部署模式

上节简单聊到MinIO：分布式文件存储服务——初识MinIO-CSDN博客，但没具化，本节开始展开在Windows环境下MinIO的三种部署模式：单机单节点、单机纠删码、集群模式。

流沙QS·2023-10-12 01:48

分布式文件服务器——初识MinIO

开篇MinIO——开源优秀的分布式对象存储系统。适用于AI的高性能分布式云存储MinIO提供高性能、与S3兼容的对象存储系统，让你自己能够构建自己的私有云储存服务。MinIO原生支持Kubernetes，它可用于每个独立的公共云、每个Kubernetes发行版、私有云和边缘的对象存储套件。MinIO是软件定义的，不需要购买其他任何硬件，在GNUAGPLv3下是100%开源的。如官网所说，MinIO

流沙QS·2023-10-12 01:14

4-17（NFS深入学习）

NFS（networkfilesystem）主要用于不同网络之间用作数据共享的文件系统@@@@@NFS一般应用于中小型企业，大型企业一般使用更加复杂的分布式文件系统，如：MoosefsFlusterFSFastDFS

轨_迹·2023-10-12 00:32

zookeeper节点数据类型介绍及集群搭建

一、zookeeper介绍zookeeper官网：ApacheZooKeeperzookeeper是一个分布式协调框架，保证的是CP，即一致性和分区容错性；zookeeper是一个分布式文件存储系统，文件节点可以存储数据

高如风·2023-10-11 23:27

spark原理和实践

数据生成后，需要存储元数据信息，选择合适的存储格式，像Parquet、ORC是两种高性能的列式存储，Hudi数据存储的中间件，优化存储的读写，也可以存储到分布式文件存储系统HDFS，分布式消息系统kafka

头顶假发·2023-10-11 04:13

阿里云——云数据库RDS

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL和MariaDBTX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼

aliyunduoduo·2023-10-11 02:30

林子雨慕课答案2021新版

CSDN博客第二章大数据技术原理与应用—第2讲大数据处理架构Hadoop（林子雨老师）课后习题_努力搬砖头的博客-CSDN博客_hadoop大数据技术原理与应用课后答案第三章大数据技术原理与应用—第3讲分布式文件系统

S_h_a_·2023-10-10 23:40

检验检疫系统（LIS）源码：C# + MVC + SQLserver + Redis

LIS系统源码技术特点：采用.NetCore新的技术框架、DEV报表、前端js封装、分布式文件存储、分布式缓存等，支持LIS独立部署，Docker部署等多种方式。

淘源码d·2023-10-10 18:37

go-fastdfs安装

go-fastdfs最简单、可靠、高效的分布式文件系统官方文档installdockergo-fastdfs安装#search命查找镜像dockersearchgo-fastdfs#pull镜像dockerpullgo-fasdfs

GUIN蚂蚁·2023-10-09 14:28

分布式文件系统HDFS(林子雨慕课课程)

文章目录3.分布式文件系统HDFS3.1分布式文件系统HDFS简介3.2HDFS相关概念3.3HDFS的体系结构3.4HDFS的存储原理3.5HDFS数据读写3.5.1HDFS的读数据过程3.5.2HDFS

几窗花鸢·2023-10-09 00:47

Hadoop之hdfs简介

HadoopHDFS:一个高可靠、高吞吐量的分布式文件存储系统HadoopMapReduce:一个分布式的离线并行计算框架HadoopYARN:一个新的MapReduce框架，任务调度与资源管理框架HadoopDistrib

墙角的枫叶·2023-10-08 07:53

【Hadoop】HDFS——分布式文件系统

文章目录一、Hadoop分布式文件系统架构1概念1.1文件存放在一个磁盘上效率低1.2字节数组1.3切分数据1.4拼接数据1.5偏移量1.6数据存储的原理2.Block拆分标准2.1拆分的数据块需要等大

嗯，哦，呵呵。·2023-10-08 07:21

Docker 安装 MongoDB

一、什么是MongoDBMongoDB是一个基于分布式文件存储的数据库。是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

时光有伱记忆成花·2023-10-07 21:01

fastFDS概述和使用

SpringBoot-fastFDS是一个集成了FastDFS分布式文件系统的框架，可以方便地实现文件上传和下载。

wenyqing·2023-10-07 20:08

大数据软件系统开发框架

1.ApacheHadoop：Hadoop是一个开源的分布式数据存储和处理框架，它包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。Hadoop可以处理大规模数据集的

defdsdddev·2023-10-07 15:54

大数据的生态圈

首先，我先带大家看下整个的hadoop的生态圈2针对每一个组件，我们进行详细的介绍：1、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版

myHope2017·2023-10-06 18:41

minio分布式文件存储 windows部署和 api 使用

本文介绍minioserver在windows的部署和api的使用，其中关于minio使用的配置类和工具类等可用源代码，可通过资源下载获得，此处不进行copy。资源地址：minio使用，poi解析，uid生成工具，策略工厂模式，模板管理完整功能，swagger集成，跨域，异常处理，分页等可用源代码-Java文档类资源-CSDN文库minio部署步骤1、下载windows版下载地址：https://

码码再也不用担心我的学习·2023-10-06 17:22

第03讲：MinIO分布式文件服务器

一、什么是MinIOMinio是个基于Golang编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。官网地址：MinIO|HighPerformance,KubernetesNativeObjectStorageopeninnewwindow官网文档地址：MinIO|TheMinIOQuickstartGuideopeninnewwindow官网文档（中文）地址：官网中文网址openinnew

Java秦老师·2023-10-06 17:22

MinIO分布式文件服务器搭建与入门

文章目录一、介绍1、对象存储和分布式文件简介2、MinIO简介3、MinIO特点二、MinIO安装入门1、介绍2、快速安装2.1Windows2.2Linux2.3MacOS2.4Docker(推荐)3

魅Lemon·2023-10-06 17:49

【Java互联网技术】MinIO分布式文件存储服务

应用场景互联网海量非结构化数据的存储基本概念Object：存储的基本对象，如文件、字节流等Bucket：存储Object的逻辑空间，相当于顶层文件夹Drive：存储数据的磁盘，在MinIO启动时，以参数的方式传入Set：多个Drive的集合。分布式部署时划分一个或多个Set，一个Object存在Set上，Set中的每个Drive中都会有相同的Object特点部署简单，整体只有一个二进制文件，还可支

晚风也很浪漫·2023-10-06 17:46

T-12-云计算 | Google分布式文件系统GFS

1.GFS的系统架构GFS的系统架构GFS将系统节点分为三个部分：GFS系统节点2.GFS的实现机制：客户端首先访问Master节点，获取交互的ChunkServer信息，然后访问这些ChunkServer，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与ChunkServer之间直接传输

月影诉残心·2023-10-05 20:04

Mongodb学习

一、初步了解1.1Mongodb是什么MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/1.2数据库是什么数据库（DataBase）是按照数据结构来组织

不积跬步无以至千里_f·2023-10-05 19:54

基于分布式文件存储的数据库 -------MongoDB（简介及安装）

文章目录前言一、什么是MongoDB?二、主要特点三、MongoDB工具1.监控2.GUI四、Windows平台安装MongoDB1，MongoDB下载2、解压文件3、创建data,logs文件4、安装MongoDB服务5、启动MongoDB服务（bin目录下“netstartmongdb”）6、mongo开启后台五、概念1、数据库2、文档(Document)3、集合前言MongoDB是由C++语

北街风·2023-10-05 14:48

在大数据相关技术中，HBase是个分布的、面向列的开源数据库，是一个适合于非结构化数据存储的数据库。

HDFS，适合运行在通用硬件上的分布式文件系统，是一个高度容错性的系统，适合部署在廉价的机器上。Hbase，是一个分布式的、面向列的开源数据库，适合于非结构化数据存储。

晨晨渝奇·2023-10-05 09:18

HDFS基础

搭建HDFS后简单介绍下这个分布式文件管理系统。块名称节点和数据节点在搭建hadoop集群时配置core-site.xml文件配置了hadoop.tmp.dir是NameNode的主目录。

_小许_·2023-10-05 05:15

1.HDFS基础知识

.HDFS基础知识1.HDFS基础知识2.HDFS操作3.HDFS读写流程1.1传统文件、存储文件系统：存储数据和管理数据的一种方式传统存储方式：程序是程序，数据是数据，处理时将数据转移到程序中1.2分布式文件存储的概念和现实

敲代码的羊·2023-10-05 05:41

大数据学习之HDFS基础

一、HDFS介绍基本介绍HDFS的全称是HadoopDistributedFileSystem，Hadoop的分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间

不是毛毛虫cl·2023-10-05 05:41

Hadoop之HDFS的使用

分布式文件管理系统有很多，HDFS只是其中一种实现注意：HDFS不适合存储小文件（几KB或几M的小文件）HDFS基础操作操作格式hdfsdfs-xxxschema://authority/path-xxx

帅帅的猪头·2023-10-05 05:10

minio分布式文件存储

基本介绍什么是MinIOMinIO是一款基于Go语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。基于ApacheLicensev2.0开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如NodeJS、Redis、MySQL等。官网：www.minio.org.cn/MinIO特点高性能：作为高性能对象存储，在标准硬件条件

小月亮6·2023-10-04 22:36

【译】Apache Hadoop 系列之三（用户指南）

目的该文档是用户使用Hadpoop分布式文件系统(HDFS)的起点，不管是作为hadoop集群的一部分来使用还是独立的通用分布式文件系统。

Kooola大数据·2023-10-04 16:02

BigData导论

发展历史2004年，Google三驾马车，分布式文件系统GFS、大数据分布式计算框架MapReduce、NoSQL数据库系统BigTable2006年，DougCutting（lucene的作者）根据论文原理初步实现了类似

Youth_C&B·2023-10-04 14:41

hadoop面试题！这6个！经常问！

简而言之，Hadoop由以下部分组成：HDFS（Hadoop分布式文件系统）：HDFS允许您以分布式和冗余的方式存储大量数据。

yoku酱·2023-10-03 17:41

GFS 分布式文件系统

目录GlusterFS概述GlusterFS简介GlusterFS特点GlusterFS术语模块化堆栈式架构GlusterFS的工作流程弹性HASH算法GlusterFS的卷类型部署GlusterFS群集关闭防火墙磁盘分区，并挂载修改主机名，配置/etc/hosts文件安装、启动GlusterFS（所有node节点上操作）创建分布式卷创建条带卷创建复制卷创建分布式条带卷创建分布式复制卷部署Glus

风落成风寻未至·2023-10-03 17:12

mongoDB 入门指南、示例

介绍：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。特点：高性能、易部署、易使用，存储数据非常方便。

zp522123428·2023-10-03 15:51

转载：如何提升磁盘IO性能

FastDFS是一个开源且高效的分布式文件系统。它的初始实现，文件以散列模式随机分布到多个目录，后来又添加了顺序存储实践。通

微微笑_198111·2023-10-03 15:34

分布式文件存储系统Minio实战

分布式文件系统应用场景互联网海量非结构化数据的存储需求电商网站：海量商品图片视频网站：海量视频文件网盘:海量文件社交网站：海量图片1.Minio介绍MinIO是一个基于ApacheLicensev2.0

小鱼儿&·2023-10-03 08:53

架构师必读：分布式文件系统原理与架构

为了解决这一难题，分布式文件系统（DistributedFileSystem）应运而生。分布式文件系统是指将存储文件的方式从单个服务器扩展到多台服务器上，解决文件存储和处理的性能

禅与计算机程序设计艺术·2023-10-03 03:33

推荐频道

分布式文件