fastDFS分布式文件系统

Hadoop分布式文件系统：架构和设计要点Ⅰ（转）

Hadoop分布式文件系统：架构和设计要点Ⅰ（转）一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是
diz45481·2022-11-02 11:58

用 Hadoop 进行分布式并行编程Ⅰ（转）

进行分布式并行编程Ⅰ（转）2008-06-0614:42Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统
diz45481·2022-11-02 11:27

CentOS 8.2上安装部署NFS服务器和客户端

先决条件第三步：测试环境第四步：CentOS8上安装NFS服务器第五步：客户端系统上设置NFS客户端广告时间：第一步：NFS系统简单概述网络文件系统（NFS）也称为客户端/服务器文件系统，是一种流行的跨平台分布式文件系统协议
zll56281688·2022-11-02 00:26

文件系统FastDFS和阿里云OSS

文章目录1.分布式文件存储-FastDFS1.1FastDFS简介1.1.1FastDFS体系结构1.1.2上传流程1.2FastDFS搭建(容器化部署)1.2.0Vmware虚拟机配置1.2.1.拉取镜像
m0_71012114·2022-11-01 08:34

HDFS分布式文件系统

3.1HDFS简介随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。3.1.1HDFS的概念HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式
Mr李小四·2022-10-24 18:50

撸了一个Spring Boot + VUE 框架开发的分布式网盘系统「源码开源」

简介基于SpringBoot+VUECLI@3框架开发的分布式文件系统，旨在为用户和企业提供一个简单、方便的文件存储方案，能够以完善的目录结构体系，对文件进行管理。
java小浩·2022-10-23 14:30

FastDFS合并存储原理

目录合并存储为什么要合并存储合并存储介绍合并存储前后的fileid介绍Trunk文件内部结构合并存储配置空闲空间概述为什么产生空余空间如何管理空余空间如何使用空闲平衡树TrunkServer空闲空间分配TrunkFile同步空闲平衡树重建为什么要重建空闲平衡树？TrunkBinlog压缩合并存储为什么要合并存储在处理【海量小文件（LOSF）】问题上，文件系统处理性能会受到显著的影响，在读写次数（I
xianghan收藏册·2022-10-18 11:48

GlusterFS分布式文件系统

文章目录前言一、文件系统1、组件2、作用3、文件系统的挂载使用二、GlusterFS概述1、GlusterFS简介2、GlusterFS特点①扩展性和高性能②高可用③全局统一命名空间④弹性卷管理⑤基于标准协议4、GluserFS术语5、GlusterFS构成与工作流程工作流程GlusterFS的卷类型分布式卷条带卷复制卷分布式条带卷分布式复制卷条带复制卷分布式条带复制卷GFS部署环境说明磁盘分区挂
LIUXU23·2022-10-14 07:19

Hadoop分布式文件系统：结构与设计

Hadoop分布式文件系统：结构与设计1.介绍Hadoop分布式文件系统(HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。
weixin_33785108·2022-10-13 16:11

FastDFS部署之踩坑.

开一台新的centos虚拟机.安装jdk1.8yuminstalljava-1.8.0-openjdk*自己配置环境变量也可以，个人选择.安装Nginx所需要的环境.（此案例自己下载nginx,自己编译.）安装环境可参考【https://www.jianshu.com/p/780a0530ed8f】安装libeventyum-yinstalllibevent1.png准备好安装包，并解压（没有包自
Demons_LLL·2022-10-13 16:38

HDFS架构设计理念以及优缺点

其中Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）起到非常重要的作用，HDFS是Hadoop项目核心子项目，HDFS是分布式计算中数据存储管理的基础，它以文件的形式为上层应用提供海
梯度科技·2022-10-13 15:31

大数据分布式处理系统平台Hadoop的主要特征

HDFS是一个分布式文件系统，他具有高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。
梯度科技·2022-10-13 15:30

FastDfs大文件分片上传和断点续传

目录前言分片上传思想实现思路上传校验文件上传FastDfs大文件分片上传PS前言其实之前在大文件分片上传与极速秒传实现文章中我写过一次关于分片上传和断点续传,但其实那个时候对断点续传的理解及其有限.最近在项目里需要对大文件进行分片上传
朝花不迟暮·2022-10-13 13:12

GFS分布式文件系统

目录一、GlusterFS简介1、GlusterFS是什么？2、GlusterFS特点二、GlusterFS专业术语三、GlusterFS构成1、GlusterFS总流程2、GFS的工作原理3、分布式gfs服务器存储四、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷五、部署GlusterFS集群实验1、集群环境2、更改节点名称和关闭防火墙3、节点进行磁盘
辛辣天蝎666·2022-10-12 20:21

大数据面试题汇总【持续更新】

前言本文内容是根据自身对相应知识的浅薄理解，如有错误欢迎指正~大数据生态圈Hadoop架构HDFS（分布式文件系统）:解决海量数据的存储问题NameNode：集群当中的主节点，管理元数据，主要用于管理集群当中的各种数据
Kazi_1024·2022-10-12 10:45

GFS分布式文件系统

目录引言一、文件系统的作用1、文件系统的挂载使用二、GlusterFS简介三、GlusterFS特点1、扩展性和高性能2、高可用性3、全局同一命名空间4、弹性卷管理5、基于标准协议四、GlusterFS术语五、GlusterFS构成六、GlusterFS的工作流程七、弹性HASH算法八、GFS支持七种卷1、分布式卷（Distributevolume）2、条带卷（Stripevolume）3、复制卷
吉吉吉吉吉吉吉吉吉吉·2022-10-12 07:15

JuiceFS v1.0 正式发布，首个面向生产环境的 LTS 版本

JuiceFS是为云环境设计的分布式文件系统，同时兼容POSIX、HDFS、S3访问协议，也可以使用CSI方式在Kubernetes中作为PV使用，在大数据、机器学习，和需要共享文件存储的场景中广泛使用
Juicedata·2022-10-11 09:48

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
Juicedata·2022-10-11 09:16

JuiceFS 元数据引擎选型指南

当今的分布式文件系统中，有的（如S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如ls大目录
Juicedata·2022-10-11 09:15

GFS分布式文件系统

目录一、GlusterFS1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的卷类型(1)分布式卷分布式卷的特点(2)条带卷特点创建条带卷(3)复制卷特点创建复制卷(4)分布式条带卷(5)分布式复制卷二、GlusterFS集群1.准备环境(所有node节点上操作)(1)关闭防火墙(2)磁盘分区，并挂载(3)配置/etc/host
Drw_Dcm·2022-10-11 07:55

JuiceFS 元数据引擎选型指南

当今的分布式文件系统中，有的（如S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如ls大目录
·2022-10-10 16:42

实现fastdfs防盗链功能

1、背景我们可以通过fastdfs实现一个分布式文件系统，如果我们的fastdfs部署在外网，那么任何一个人知道了我们的上传接口，那么它就可以文件的上传和访问。
·2022-10-09 20:40

Springboot+Mybatis+ajax实现文件上传下载功能

这里使用的是单机版的文件上传下载功能，如果是搞分布式，建议直接使用FastDFS1.新建一个Springboot项目，在pom.xml中导入如下依赖4.0.0org.springframework.bootspring-boot-starter-parent2.2.5
A~good~fight·2022-10-09 15:32

SpringBoot整合fastdfs

1、背景在前一节中，我们搭建了一个单机版的fastdfs服务，此处我们将fastdfs与springboot进行整合，实现文件的上传和下载。
·2022-10-08 23:42

centos7上单机安装fastdfs6.0.9

fastdfs就是一个免费的，此处记录一下如何搭建一个单机版的fastdfs环境。
·2022-10-08 08:43

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
·2022-09-30 17:46

HarmonyOS应用开发-分布式语音摄像头体验

一、组件说明使用HarmonyOS分布式文件系统和AI语音识别功能开发了一个分布式语音摄像头。使用此相机应用程序，同一分布式网络下的不同设备可以实时看到主设备拍摄的照片。
李洋-蛟龙腾飞公司·2022-09-30 00:32

鸿蒙开发实例｜分布式文件服务

01、分布式文件系统
TiAmo zhang·2022-09-30 00:39

Minio分布式存储入门（使用新版本）

一、分布式文件系统应用场景互联网海量非结构化数据的存储需求·电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片二、minio的基础概念2.1基础感念Object存储到minio
letg·2022-09-28 21:05

我眼中的大数据（二）——HDFS

如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。
平 凡 程 序 猿·2022-09-28 09:55

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn
平 凡 程 序 猿·2022-09-28 09:22

Springboot 2.x 开发案例之整合MinIo文件服务

开发案例之整合MinIo文件服务官网地址：https://docs.min.io/cn/java-client-quickstart-guide.html前言在之前的图床开发中撸主曾使用了分布式文件服务FASTDFS
大米饭66·2022-09-26 13:00

SpringBoot2.x仿B站第四章打造高性能的视频与弹幕系统笔记及源码

文章目录1.搭建FastDFS文件服务器1.1FastDfs的架构图1.2Nginx结合FastDFS实现文件资源HTTP访问内网穿透2.SpringBoot整合FastDFS3.视频功能开发3.1断点续传
要去北上广的sakura·2022-09-25 01:07

ELK从零搭建(filebeat+kafka+logstash+es+kibana)

方案是边缘端定时打包日志上传到fastdfs，然后把url推送到业务端，业务根据url从fastdfs上获取到日志，解压缩到指定目录，filebeat获取到日志发生变化，然后解析发送到kafka，logstash
guaotianxia·2022-09-24 09:32

8个维度的c++后台开发技能树如何学习？为什么不推荐c/c++程序员做mfc/qt开发

为什么不推荐c/c++程序员做mfc/qt开发专注后台服务器开发，包括C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P
linux大本营·2022-09-22 21:26

35岁c/c++程序员，十几年工作经验，为什么还会有中年危机

|技术深度还是技术广度专注于后台服务器开发，包括C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，音视频流媒体，CDN，P2P，K8S，Docker
linux大本营·2022-09-22 21:26

Linux内核该如何学习？linux内核源码该怎么读？

专注后台服务器开发，包括C/C++，Linux，内核，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，
linux大本营·2022-09-22 21:26

我眼中的大数据（一）

我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我
平 凡 程 序 猿·2022-09-22 14:20

开源云原生分布式文件系统 - JuiceFS

大家最耳熟能详的分布式文件系统当属HDFS，它的全称是HadoopDistributedFileSystem，在Hadoop技术栈盛行时大放异彩。
七包辣条·2022-09-19 16:23

有了这个开源工具后，我五点就下班了

学习日记】原创、在CSDN首发、需要转载请联系博主如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦开源项目:【轮子之王】文章目录前言工具介绍一、excel工具二、csv工具三、ftp工具四、分布式文件系统工具工具更新集成方案介绍关联文章写在最后前言
IT学习日记·2022-09-15 03:03

hadoop文件存储位置_hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析...

hdfs默认数据存放路径1.默认存放路径：{hadoop.tmp.dir}=/tmp/hadoop-${user.name}即：$>/tmp/hadoop-hyxy，注意：/tmp是临时存放文件的路径，但是有时候系统重启，或者数据量太大的时候，系统会删除里面某些数据，因此一般会修改路径到当前用户目录下：即：$>/home/hyxy/tmp/hadoop理解格式化：理解格式化的含义{创建dfs/na
莎鸥·2022-09-14 12:05

分布式文件系统HDFS架构解析

本文简要整理HDFS分布式文件系统的整体架构和关键技术，进一步了解不同分布式存储技术实现原因上的差异。
solihawk·2022-09-14 12:33

04-Hadoop之HDFS分布式文件系统详解

HDFS详解一、HDFS概述1.1HDFS定义HDFS(HadoopDistributionFileSystem)，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2HDFS优缺点（1）优点a.高
深夜书屋·2022-09-14 12:30

HDFS是啥？HDFS原理 HDFS详解

HDFS概念HDFS（HadoopDistributedFileSystem）：它是一个分布式文件系统，用于存储文件，通过目录树来定位文件；HDF
lljazxx·2022-09-14 12:24

hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析

hdfs默认数据存放路径1.默认存放路径：{hadoop.tmp.dir}=/tmp/hadoop-${user.name}即：$>/tmp/hadoop-hyxy，注意：/tmp是临时存放文件的路径，但是有时候系统重启，或者数据量太大的时候，系统会删除里面某些数据，因此一般会修改路径到当前用户目录下：即：$>/home/hyxy/tmp/hadoop理解格式化：理解格式化的含义{创建dfs/na
普通网友·2022-09-14 11:46

Hadoop，Spark，Tez的区别与联系

Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超
Fang GL·2022-09-10 07:46

Github最新霸榜，Alibaba架构师手写的分布式系统核心原理手册

包括分布式操作系统、分布式程序设计语言及其编译系统、分布式文件系统分布式数据库系统等等，这些也都是分布式的关键技术。不难看出，产生分布式的最主要驱动力量，是我们对于性能、可用性及可扩展性的不懈追求。
Java爱好狂.·2022-09-09 07:39

一文看懂分布式存储架构

目录一、集中存储结构二、分布式存储1、分布式存储的兴起2、分布式存储的重要性3、分布式存储的种类和比较三、分布式理论浅析1、一致性和可用性2、数据分布3、复制4、分布式协议5、跨机房部署四、分布式文件系统
Java烟雨·2022-09-07 21:14

大数据面试总结-hadoop

总之，Hadoop包括以下内容：HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统
不愿做秃头男孩·2022-09-06 19:32

hadoop常见组件及其功能

一、介绍1：1.Hadoop本质上是：分布式文件系统(HDFS)+分布式计算框架(Mapreduce)+调度系统Yarn搭建起来的分布式大数据处理框架。
Michaelwubo·2022-09-06 15:08
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他