fastDFS分布式文件系统

2022-01-14 HDC2021技术分论坛：新能力让数据多端协同更便捷，数据跨端迁移更高效！

作者：yijian，终端OS分布式文件系统专家；gongashi，终端OS分布式数据管理专家HarmonyOS作为分布式操作系统，其分布式数据管理能力非常重要。
麻酱不会打麻将·2024-02-11 01:59

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。
管理大亨·2024-02-10 22:27

fastdfs安装

参考网址：https://hub.docker.com/r/season/fastdfshttps://www.cnblogs.com/provence666/p/10987156.html1.拉取fastdfs
onthemoving·2024-02-10 10:50

Spring Boot + Vue.js + FastDFS 实现分布式图片服务器（IDEA教学)

这个教程的项目采用SpringBoot+Vue.js+FastDFS开发一套完整实用的分布式图片服务。该教程采用IDEA教学，有完整的源码和笔记。
公众号-老炮说Java·2024-02-09 07:46

常用的文件系统、存储类型小整理

最近接触到了五花八门的文件系统、存储类型，名词听得头大，趁假期整理学习一番~名称OSSFastDFSJuiceFSCIFSCephFSEFSNFS全称ObjectStorageService(对象存储服务
Hehuyi_In·2024-02-09 06:16

3.3-媒资管理之MinIo分布式文件系统上传视频

文章目录媒资管理5上传视频5.1需求分析5.2断点续传技术5.2.1什么是断点续传5.2.2分块与合并测试5.2.3视频上传流程5.2.4minio合并文件测试5.3接口定义5.4上传分块开发5.4.1DAO开发5.4.2Service开发5.4.2.1检查文件和分块5.4.2.2上传分块5.4.2.3上传分块测试5.5合并分块开发5.5.1service开发5.4.3接口层完善5.5.2合并分块
ANnianStriver·2024-02-08 17:36

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。
0X码上链·2024-02-08 15:48

Springboot整合fastDfs管理使用文件笔记

一、安装搭建请参考：centos系统安装搭建fastDFS二、需要开放的端口1、80(nginx)2、22122(tracker)3、23000(storage)三、步骤1、创建新Springboot项目
Joe14103·2024-02-08 14:46

ubuntu下编译nginx平滑添加stream模块以及fastdfs访问模块

前言参考资料：ubntu下单机配置fastdfs作为开发环境（2）—nginx生产环境下再编译+fastdfs扩展模块的编译编译nginx平滑添加stream模块nginxstream模块初探Ubuntu16.04
码农下的天桥·2024-02-08 11:31

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储
滚滚红尘_8133·2024-02-08 11:43

FastDFS搭建

一.介绍技术论坛：http://bbs.chinaunix.net/forum-240-1.html资源地址：https://sourceforge.net/projects/fastdfs/源码资源：
超人001·2024-02-08 11:31

类比

分布式图片服务器FastDFS是什么？一款开源的分布式文件系统，冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标类比：图书馆有什么用？
lzb30·2024-02-08 10:07

3.2-媒资管理之MinIo分布式文件系统+上传图片

媒资管理3分布式文件系统3.1什么是分布式文件系统要理解分布式文件系统首先了解什么是文件系统。
ANnianStriver·2024-02-08 04:34

基于SpringBoot3的快速迭代平台

SpringBoot3的快速开发平台，采用前后端分离的模式，前端采用ElementPlus组件，后端采用SpringBoot3、Sa-token、Mybatis-Plus、Redis、RabbitMQ、FastDFS
快乐的木子李·2024-02-08 03:58

【实验2】在Hadoop平台上部署WordCount程序

文章目录实验内容一、实验环境：二、实验内容与步骤（过程及数据记录）：5.分布式文件系统HDFS上的操作5.1利用Shell命令与HDFS进行交互5.2利用Web界面管理HDFS6.分布式文件系统HDFS
-借我杀死庸碌的情怀-·2024-02-07 05:27

分布式文件系统HDFS的组成架构，及相关知识点归纳。

1.每存一个文件，需要消耗150字节，不管你是1kb,还是128m,2.分布式文件系统HDFS的组成架构namenode——4个功能1-管理hdfs的名称空间2-配置副本策略3-管理数据块映射信息4-处理客户端的读写请求
小米的南瓜洲·2024-02-06 23:37

SpringBoot-基础篇03

之前搭建了整个开发环境实现了登录注册，springBoot整合mybatis完成增删改查，今天完成分页查询，使用阿里云oss存储照片等资源，后期会尝试自己搭建分布式文件系统来实现。
小元祖·2024-02-06 14:38

HDFS入门基础

HDFS总结在现代的企业环境中，海量数据超过单台物理计算机的存储能力，分布式文件系统应运而生，对数据分区存储于若干物理主机，管理网络中跨多台计算机存储的文件系统。
nucty·2024-02-06 05:33

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

分布式文件系统JuiceFS测试总结

前言2021年开始，开源社区出现了一款名为JuiceFS的云原生分布式文件系统。这是一款由国内公司开源的分布式文件系统，2021年1月在GitHub上开源，支持k8s原生适配及多种应用场景。
啊码·2024-02-06 03:34

首次！这样搭建SpringBoot脚手架，整合OSS效果翻倍

最早我搞过FTP，然后又用过FastDFS，接私活的时候我用MongoDB也凑合凑合。现如今时代不同了，开始流行起了OSS。
磕代码的阿轩·2024-02-06 02:26

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

论文阅读-CARD：一种针对复制元数据服务器集群的拥塞感知请求调度方案

：CARD:ACongestion-AwareRequestDispatchingSchemeforReplicatedMetadataServerCluster摘要复制元数据服务器集群（RMSC）在分布式文件系统中非常高效
向来痴_·2024-02-05 14:54

impala与kudu进行集成

概要Impala是一个开源的高效率的SQL查询引擎，用于查询存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口，允许用户使用SQL语言
shandongwill·2024-02-05 07:44

(二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能

前言本节内容我们主要介绍一下如何在springboot项目中集成fastdfs组件，实现文件的上传与下载。关于fastdfs服务中间键的安装过程，本节内容不做介绍。
厉害哥哥吖·2024-02-05 07:07

1.0 Hadoop 教程

其核心部件包括分布式文件系统(HadoopDFS，HDFS)和Ma
二当家的素材网·2024-02-05 06:38

SpringBoot 整合 Minio 上传文件

Minio上传文件如果不使用云服务的话,需要本地搭建,一般选择FastDFS但是FastDFS安装比较复杂,今天了解一款安装使用更简单的存储系统MinIOMinIO是一款高性能、分布式的对象存储系统.它是一款软件产品
Java码农·2024-02-04 12:53

springboot 文件下载

具体思路：a.确定项目中哪些资源可以被下载aa.txt用户须知.doc…b.将可以被下载资源放入服务器指定位置、文件上传服务器fastdfs(dfs分布式文件存储系统1000个节点冗余备份)c.项目中开发一个下载页面
忘忧记·2024-02-04 11:41

论文阅读-一种用于大规模分布式文件系统中基于深度强化学习的自适应元数据管理方案

名称：AnAdaptiveMetadataManagementSchemeBasedonDeepReinforcementLearningforLarge-ScaleDistributedFileSystemsI.引言如今，大型集群文件系统的规模已达到PB甚至EB级别，由此产生的数据呈指数级增长。系统架构师不断设计和优化技术和方法，以向用户提供理想的服务。在这种情况下，元数据管理在提高系统性能中扮
向来痴_·2024-02-03 17:59

MinIO很强-让我放弃FastDFS拥抱MinIO的8个理由

为了帮公司节约成本，之前一直是使用fastDFS作为文件服务器，准确的说是图片服务器。直到我发现了MinIO，我决定放弃FastDFS。关于MinIO的使用方法，我就不说了。
字母哥课堂·2024-02-03 16:53

Hadoop：学习HDFS，看完这篇就够了！

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。
爱写代码的July·2024-02-03 08:09

分布式文件系统（DFS）-- 详解

1.了解分布式文件系统1.1了解什么是分布式文件系统分布式文件系统（DistributedFileSystem，DFS）是一种计算机文件系统，它将网络上不同计算机的文件系统集成在一起，使得用户就像在自己的本地机器上一样访问和操作文件
LtMamba·2024-02-02 18:23

fastdfs --详解

1.为什么会存在fastdfs参考链接–了解为什么有分布式参考链接–分布式文件系统详解FastDFS是一个开源的轻量级分布式文件系统，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB[storageserverlist
LtMamba·2024-02-02 18:18

Docker多节点部署Minio分布式文件系统并测试

文章目录一、前提准备二、文件配置1.`.env`2.`env/minio.env`3.`docker-compose-minio.yml`三、测试四、Java测试1.引入依赖2.增删改一、前提准备准备如下文件夹和文件./├──docker-compose-minio.yml├──.env├──env│├──minio.env├──minio│├──minio1││├──data1││└──data
木子dn·2024-02-02 01:07

NFS 网络文件系统

NFS协议是在分布式文件系统的基础上发展而来的，最早由SunMicrosystems开发，现已成为一个通用的文件共享协议，在UNIX和类UNIX系统中广泛使用。特点：
樂夢·2024-02-01 23:08

1 初识Ceph

Ceph是加州大学SantaCruz分校的SageWeil专为博士论文设计的分布式文件系统，支持对象存储、块存储和文件存储。从2004年新建第一个文件夹至今，经历了多次迭代，目前已是分布式存储的首选。
DaemonXiao·2024-02-01 21:21

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

什么是分布式系统！以及分布式系统架构的优缺点

包括分布式操作系统、分布式程序设计语言及其编译系统、分布式文件系统分
架构师Javaspring·2024-01-31 15:57

centos7 无法启动，停留在开机页面，报错 A start job is running for /etc/rc.d/rc.local compatibility 解决办法

问题描述centos7部署的服务因服务器IP更换，出现报错"Astartjobisrunningfor/etc/rc.d/rc.localcompatibility"，因IP地址更换，在fastdfs服务中设置开机自启动
寰宇001·2024-01-31 11:57

VMware无法启动，停留在开机页面，报错 A start job is running for /etc/rc.d/rc.local compatibility 解决办法

问题描述centos7部署的服务因服务器IP更换，出现报错"Astartjobisrunningfor/etc/rc.d/rc.localcompatibility"，因IP地址更换，在fastdfs服务中设置开机自启动
拿红罗卜钓鱼·2024-01-31 11:25

大数据存储与管理

大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理，包括Hadoop分布式文件系统(HDFS)和分布式数据库（Hbase）;体系结构：一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林·2024-01-31 07:25

大数据----4.hadoop分布式框架搭建

-使用本地文件系统，而不是分布式文件系统。-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce
学无止境的大象·2024-01-31 06:49

HDFS Federation前世今生

一背景熟悉大数据的人应该都知道，HDFS是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。
跟着大数据和AI去旅行·2024-01-31 05:31

Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系

Flink定期获取所有状态的快照，并将这些快照复制到持久化的位置，例如分布式文件系统。如果发生故障，Flink可以恢复应用程序的完整状态并继续处理，就如同没有出现过异常。Fli
PONY LEE·2024-01-31 04:22

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce作业之间数据共享只有一个办法，就是将其写到一个稳定的外部存储系统，如分布式文件系统
fcyh·2024-01-30 15:46

2.图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
__元昊__·2024-01-30 03:59

hadoop必记知识点（1）

其中，HDFS为分布式文件系统，负责数据存储；MapR
运维仙人·2024-01-30 02:40

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

GFS--Google File System论文翻译和理解

一、系统设计目标高可用的大文件分布式文件系统。二、关键点Architecture-架构：有哪些Server，每个Server的功能。Master存储的MetaData的结构。client写数据流程。
不争_900c·2024-01-29 23:00

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义：Hadoop分布式文件系统
丨程序之道丨·2024-01-29 17:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他