fastDFS分布式文件系统

Golang使用MinIO

最近在使用Golang做了一个网盘项目（学习），文件存储一直保存在本地（各厂商提供的oss贵），所以就在思考怎么来处理这些文件，类似的方案很对hdfs、fastdfs，但这其中MinIO是最近几年比较火热的一个项目
HumbleSwage·2023-08-18 19:51

实现无限存储：基于JuiceFS 创建 Samba 和 NFS 共享

本文将以Linux系统为例，介绍如何将JuiceFS（云原生分布式文件系统）作为Samba和NFS的底层存储，为企业提供高度可扩展的无限云存储解
Juicedata·2023-08-17 22:49

文件系统考古4：如何支持多个文件系统

SteveKleiman是分布式文件系统领域的专家，在SunMicrosystem工作了多年，曾参与开发SunNetworkFileSystem（NFS）等项
Juicedata·2023-08-17 22:49

springboot打包成jar包部署，无法访问到fastDFS配置文件【已解决】

最近做了一个项目，包含文件上传功能，本地运行很正常，打成jar包部署到服务器上时，结果就报错了，花了几个小时的时间才发现是因为无法访问到fastDFS的配置文件dfds_client.conf，导致报错
笙之响往·2023-08-17 15:58

HDFS原理剖析

一、概述HDFS是Hadoop的分布式文件系统（HadoopDistributedFileSystem），实现大规模数据可靠的分布式读写。
Hello.Reader·2023-08-16 21:21

HDFS基本原理

Hadoop（HDFS）HadoopDistributedFileSystem，分布式文件系统hdfs-architecture.png架构中的基本概念block基本存储单位，一般64M，比数据库中的页要大很多基本的读写单位
流浪山人·2023-08-16 18:33

java fastdfs实现文件(图片)的上传下载

1、首先引入依赖、目录结构：com.github.tobatofastdfs-client1.26.52、在application.yml中添加如下配置spring:profiles:active:dev
jjw_zyfx·2023-08-16 17:04

监控“黑科技” | XDFS“天眼”技术再升级！

监控项目犹如XDFS衍生出的“天眼”，洞察XDFS分布式文件系统内部的压力和延迟。运维人员、客户可做到实时掌握存储的健
大道云行TaoCloud·2023-08-16 10:28

将数据库文件压缩并上传到文件服务器

1.引入上传工具和压缩包工具org.springframeworkspring-testcom.zlpayzl-util-fastdfs0.0.1-SNAPSHOT2.组装需要上传的数据并压缩@AutowiredprivateFastDFSClientfastDFSClient
weixin_46949892·2023-08-16 08:57

大数据传输的定义与大数据传输解决方案的选择

常用的大数据传输技术有Hadoop分布式文件系统（HDFS）、基于TCP/IP协议的传输控制协议（TCP）、用户数据报协议（UDP）、文件传输协议（FTP）和远程复制协议（rsync）等。
镭速·2023-08-15 18:14

Springboot实现文件上传

实现图片上传服务，需要有存储的支持，那么我们的解决方案有以下几种：1.直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难2.使用分布式文件系统进行存储(MinioFastDFS)优点：容易实现扩容缺点
·2023-08-15 16:16

Hadoop组件

HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。
叱咤少帅（少帅）·2023-08-15 08:20

C++ 网络编程项目fastDFS分布式文件系统（二）-redis部分

目录1.数据库类型1.1基本概念1.2关系/非关系型数据库搭配使用2.Redis2.1基本知识点2.2redis常用命令-String类型-List类型-Set类型-SortedSet类型-Hash类型Key相关的命令2.3redis配置文件2.4redis数据持久化3hiredis的使用1.数据库类型1.1基本概念1.关系型数据库-sql-操作数据必须要使用sql语句-数据存储在磁盘-存储的数据
cat_fish_rain·2023-08-15 03:41

C++ 网络编程项目fastDFS分布式文件系统（一）

目录1.项目架构图1.1一些概念1.2项目架构图2.分布式文件系统2.1传统文件系统2.2分布式文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS
cat_fish_rain·2023-08-15 03:10

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

redis及fastDfs 数据迁移步骤

redis数据迁移：redis数据迁移比较危险，因为项目中很多的唯一性流水编码是直接存储在redis中的，而且客户对流水的连贯性要求较高，所以redis必须稳定的迁移到新环境中对于支持新节点直接访问redis服务器的情况，可以执行SLAVEOF命令或者设置slaveof选项，让新服务器去复制原服务器（主从同步）。在同步结束后，将原redis服务器停机（停止写入redis），然后调整应用服务器的指向
查无此人_chazz·2023-08-15 01:06

SpringCloud的新闻资讯项目02--- app端文章查看，静态化freemarker，分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO说明：此文章项目为黑马教程，本人只是作为学习使用1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表
@烟雨倾城ゝ·2023-08-14 14:24

黑马头条项目学习--Day2: app端文章查看,静态化freemarker,分布式文件系统minIO

app端文章Day02:app端文章查看，静态化freemarker,分布式文件系统minIOa.app端文章列表查询1)需求分析2)实现思路b.app端文章详细1)需求分析2)Freemarker概述
中二Espresso·2023-08-14 14:23

谁能讲清楚Spark之Spark逻辑处理流程

一.spark处理流程概览spark典型的逻辑处理流程包括四部分：1数据源：数据源表示的是原始数据，数据可以存放在本地文件系统和分布式文件系统中，如HDFS、分布式Key-Value数据（HBase）等
数据咩·2023-08-14 14:39

Ceph分布式存储系统

它使用分布式文件系统、块存储和对象存储来满足不同的存储需求。可扩展性：Ceph可以轻松地扩展
summer_west_fish·2023-08-14 11:18

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

如何让你的图片服务也有类似OSS的图片处理功能

原文链接前言有自己机房的公司一般都有一套存储系统用于存储公司的图片、视频、音频、文件等数据，常见的存储系统有以NAS、FASTDFS为代表的传统文件存储，和以Minio为代表的对象存储系统，随着云服务的兴起很多公司逐渐将数据迁移到以阿里云
赵侠客·2023-08-14 06:11

分布式文件存储系统-FastDFS

前言：FastDFS是一个分布式文件存储系统，主要用于存储和管理大规模的文件数据，如图片、视频、文档等，是淘宝前架构师为了存储图片用C语言开发出来的系统。
一路向东_·2023-08-14 05:15

GFS分布式文件系统

文章目录GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume
三年健将计划·2023-08-13 16:22

1.阿里云对象存储OSS

实现文件上传服务，需要有存储的支持，解决方案有以下几种：存储方式优点缺点直接保存到硬盘开发便捷，成本低扩容困难分布式文件系统容易实现扩容开发复杂，需要成熟产品支持第三方存储服务开发简单，强大功能，免维护付费
LB_bei·2023-08-13 12:08

fastdfs无法获取服务端连接资源:can‘t create connection to/192.168.0.xxx:23000] with root cause

解决办法是：比如：（我的）vim/etc/fdfs/storage.conf在里边修改如图:修改tracker_server为宿主机的IP地址.再重启servicefdfs_storagedrestart/etc/init.d/fdfs_trackerdrestartOK！
huayal·2023-08-12 09:44

hadoop之HDFS

HDFS基础：分布式文件系统，适合一次写入，多次读出的场景，适合用来做数据分析HDFS的组成架构：Namenode:是master，存储元数据信息，配置副本策略，处理客户端的请求，DataNode：是slave
USTC_IT·2023-08-12 04:26

FileSystem类的方法使用

所属的包：org.apache.hadoop.fsFileSystem-->通用文件系统的抽象基类，可以作为一个分布式文件系统的实现，也可以作为连接本地磁盘的文件系统本地版存在于小型的hadoop实例和测试中
天心有情·2023-08-12 01:48

Hbase伪分布式搭建与完全分布式搭建

也就是将来hbase文件被flush成文件的存放地址，区别于hdfs分布式文件系统。
南宫萧言·2023-08-11 08:23

阿里云服务器搭建FTP图片服务器[图文详解]

FastDFS是用c语言编写的一款开源的分布式文件系统。
油炸小波·2023-08-10 19:46

2019-07-10 fastdfs安装调试

https://hub.docker.com/r/qbanxiaoli/fastdfshttps://www.cnblogs.com/LiZhiW/p/4278452.htmlTrackerd的详细配置
Albert陈凯·2023-08-10 19:18

web kettle 数据采集

最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。
屌屌的程序猿·2023-08-10 18:57

Kubernetes使用GlusterFS实现数据持久化

介绍GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设
程序员同行者·2023-08-10 14:06

MinIO部署&简单使用

前言前面我们做了分布式文件存储系统FastDFS的部署应用，其安装还是比较繁琐的，而且实际生产的应用限制较大，下面，介绍一款开源的文件系统——MinIO，它是一种对象存储解决方案，提供与AmazonWebServicesS3
雅俗共赏zyyyyyy·2023-08-10 11:49

Hadoop 三大组件之HDFS

HDFS存储原理2.1分布式文件存储2.2NameNode元数据管理3.HDFS读写流程3.1HDFS写入流程3.2HDFS数据读取HDFS（HadoopDistributedFiledSystem）分布式文件系统是
不忘初欣丶·2023-08-10 09:49

Hadoop2学习路程-HDFS

Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。
Q75999·2023-08-10 09:48

后端开发11.文件上传模块

控制器packagejkw.controller;importcom.github.tobato.fastdfs.domain.fdfs.StorePath;importcom.github.tobato.fastdfs.service.FastFileStorageClient
月木学长·2023-08-10 08:31

MapReducer之Map输入

在整个MapReducer阶段中，Map输入的文件，Reducer输出的文件都是存储在分布式文件系统中，但是Map任务处理的中间结果需要保存在本地磁盘，所以Map阶段需要考虑数据的局限性（即计算向数据靠拢
末央酒·2023-08-09 22:47

将图片存入数据湖Hudi

将图片存入ApacheHudi（HadoopUpserts,Deletes,andIncrementals）可以将图片数据转化为二进制数据存储，也可以将图片存储到分布式文件系统（如HDFS）或对象存储（
贾斯汀玛尔斯·2023-08-09 20:45

Spark使用parquet文件存储格式能带来哪些好处

1)如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准2)速度更快：从使用sparksql操作普通文件CSV和parquet文件速度对比上看，
小癫僧·2023-08-09 16:17

Beegfs分布式文件系统安装实践

环境在HPC高性能计算中，存储需要增加容量，尝试基于beegfs搭建一套分布式存储。以下节点都是CentOS7系统A节点作为beegfs客户端B节点ALL-In-One服务节点由于部署环境中没有外网，因而采用rpm包的形式进行安装，到此站点https://www.beegfs.io/release/beegfs_7_1/dists/rhel7/x86_64/下载相关rpm包各包定义如下：Manag
wolfwolfgod·2023-08-09 16:26

GFS分布式文件系统

特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议3.术语Brick(存储块)Volume(逻辑卷)FUSEVFSGlusterd4.工作流程5.卷类型6.部署GFS群集1.简介GFS(GlusterFS)是一个开源的分布式文件系统由存储服务器
dark_ones·2023-08-09 15:00

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。
值得一看的喵·2023-08-09 08:35

【Hadoop---07】HDFS 读 / 写 数据流程（面试重点）

HDFS写数据1.1HDFS写数据流程1.2关于副本结点的选择流程2.HDFS读数据1.HDFS写数据1.1HDFS写数据流程HDFS读写流程：HDFS客户端创建DistributedFileSystem(分布式文件系统
ElegantCodingWH·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode与DataNode回顾主节点和副本节点通常指的是Hadoop分布式文件系统（HDFS）中的NameNode和DataNode。
Matrix70·2023-08-09 08:18

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
达坦科技DatenLord·2023-08-09 07:53

上传图片视频

分布式文件系统MinIoMinIO提供多个语言版本SDK的支持，下边找到java版本的文档：地址：https://docs.min.io/docs/java-client-quickstart-guide.htmlMinIO
Chris-myx·2023-08-09 06:15

记录Java读取hdfs上的文件全过程

输入代码后就可以实现了总结前言跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面，提示：以下是一点见解一、项目大体流程我们想要上传到hdfs，首先就得知道hdfs是什么东西：本质：HDFS的中文翻译是Hadoop分布式文件系统
卡丘. 钦爱·2023-08-08 18:52

GFS 分布式文件系统

目录GlusterFS概述1．GlusterFS简介2．GlusterFS特点●扩展性和高性能3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法弹性HASH算法的优点：7．GlusterFS的卷类型8.部署GlusterFS群集编辑安装、启动GlusterFS（所有node节点上操作）添加节点到存储信任池中（在node1节点上操作）编辑在每个Node
飞翔小怪兽·2023-08-08 18:47

【简单认识GFS分布式文件系统】

文章目录一.GlusterFS概述1.GlusterFS简介2.特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.GlusterFS的卷类型1、**分布式卷（Distributevolume）**2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布式复制卷（Dist
除我以外皆是我·2023-08-08 17:18
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他