ftp+分布式文件系统

监控“黑科技” | XDFS“天眼”技术再升级！

监控项目犹如XDFS衍生出的“天眼”，洞察XDFS分布式文件系统内部的压力和延迟。运维人员、客户可做到实时掌握存储的健
大道云行TaoCloud·2023-08-16 10:28

大数据传输的定义与大数据传输解决方案的选择

常用的大数据传输技术有Hadoop分布式文件系统（HDFS）、基于TCP/IP协议的传输控制协议（TCP）、用户数据报协议（UDP）、文件传输协议（FTP）和远程复制协议（rsync）等。
镭速·2023-08-15 18:14

Springboot实现文件上传

实现图片上传服务，需要有存储的支持，那么我们的解决方案有以下几种：1.直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难2.使用分布式文件系统进行存储(MinioFastDFS)优点：容易实现扩容缺点
·2023-08-15 16:16

Hadoop组件

HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。
叱咤少帅（少帅）·2023-08-15 08:20

C++ 网络编程项目fastDFS分布式文件系统（二）-redis部分

目录1.数据库类型1.1基本概念1.2关系/非关系型数据库搭配使用2.Redis2.1基本知识点2.2redis常用命令-String类型-List类型-Set类型-SortedSet类型-Hash类型Key相关的命令2.3redis配置文件2.4redis数据持久化3hiredis的使用1.数据库类型1.1基本概念1.关系型数据库-sql-操作数据必须要使用sql语句-数据存储在磁盘-存储的数据
cat_fish_rain·2023-08-15 03:41

C++ 网络编程项目fastDFS分布式文件系统（一）

目录1.项目架构图1.1一些概念1.2项目架构图2.分布式文件系统2.1传统文件系统2.2分布式文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS
cat_fish_rain·2023-08-15 03:10

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

SpringCloud的新闻资讯项目02--- app端文章查看，静态化freemarker，分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO说明：此文章项目为黑马教程，本人只是作为学习使用1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表
@烟雨倾城ゝ·2023-08-14 14:24

黑马头条项目学习--Day2: app端文章查看,静态化freemarker,分布式文件系统minIO

app端文章Day02:app端文章查看，静态化freemarker,分布式文件系统minIOa.app端文章列表查询1)需求分析2)实现思路b.app端文章详细1)需求分析2)Freemarker概述
中二Espresso·2023-08-14 14:23

谁能讲清楚Spark之Spark逻辑处理流程

一.spark处理流程概览spark典型的逻辑处理流程包括四部分：1数据源：数据源表示的是原始数据，数据可以存放在本地文件系统和分布式文件系统中，如HDFS、分布式Key-Value数据（HBase）等
数据咩·2023-08-14 14:39

Ceph分布式存储系统

它使用分布式文件系统、块存储和对象存储来满足不同的存储需求。可扩展性：Ceph可以轻松地扩展
summer_west_fish·2023-08-14 11:18

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

GFS分布式文件系统

文章目录GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume
三年健将计划·2023-08-13 16:22

1.阿里云对象存储OSS

实现文件上传服务，需要有存储的支持，解决方案有以下几种：存储方式优点缺点直接保存到硬盘开发便捷，成本低扩容困难分布式文件系统容易实现扩容开发复杂，需要成熟产品支持第三方存储服务开发简单，强大功能，免维护付费
LB_bei·2023-08-13 12:08

hadoop之HDFS

HDFS基础：分布式文件系统，适合一次写入，多次读出的场景，适合用来做数据分析HDFS的组成架构：Namenode:是master，存储元数据信息，配置副本策略，处理客户端的请求，DataNode：是slave
USTC_IT·2023-08-12 04:26

FileSystem类的方法使用

所属的包：org.apache.hadoop.fsFileSystem-->通用文件系统的抽象基类，可以作为一个分布式文件系统的实现，也可以作为连接本地磁盘的文件系统本地版存在于小型的hadoop实例和测试中
天心有情·2023-08-12 01:48

Hbase伪分布式搭建与完全分布式搭建

也就是将来hbase文件被flush成文件的存放地址，区别于hdfs分布式文件系统。
南宫萧言·2023-08-11 08:23

阿里云服务器搭建FTP图片服务器[图文详解]

FastDFS是用c语言编写的一款开源的分布式文件系统。
油炸小波·2023-08-10 19:46

web kettle 数据采集

最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。
屌屌的程序猿·2023-08-10 18:57

Kubernetes使用GlusterFS实现数据持久化

介绍GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设
程序员同行者·2023-08-10 14:06

Hadoop 三大组件之HDFS

HDFS存储原理2.1分布式文件存储2.2NameNode元数据管理3.HDFS读写流程3.1HDFS写入流程3.2HDFS数据读取HDFS（HadoopDistributedFiledSystem）分布式文件系统是
不忘初欣丶·2023-08-10 09:49

Hadoop2学习路程-HDFS

Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。
Q75999·2023-08-10 09:48

MapReducer之Map输入

在整个MapReducer阶段中，Map输入的文件，Reducer输出的文件都是存储在分布式文件系统中，但是Map任务处理的中间结果需要保存在本地磁盘，所以Map阶段需要考虑数据的局限性（即计算向数据靠拢
末央酒·2023-08-09 22:47

将图片存入数据湖Hudi

将图片存入ApacheHudi（HadoopUpserts,Deletes,andIncrementals）可以将图片数据转化为二进制数据存储，也可以将图片存储到分布式文件系统（如HDFS）或对象存储（
贾斯汀玛尔斯·2023-08-09 20:45

Spark使用parquet文件存储格式能带来哪些好处

1)如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准2)速度更快：从使用sparksql操作普通文件CSV和parquet文件速度对比上看，
小癫僧·2023-08-09 16:17

Beegfs分布式文件系统安装实践

环境在HPC高性能计算中，存储需要增加容量，尝试基于beegfs搭建一套分布式存储。以下节点都是CentOS7系统A节点作为beegfs客户端B节点ALL-In-One服务节点由于部署环境中没有外网，因而采用rpm包的形式进行安装，到此站点https://www.beegfs.io/release/beegfs_7_1/dists/rhel7/x86_64/下载相关rpm包各包定义如下：Manag
wolfwolfgod·2023-08-09 16:26

GFS分布式文件系统

特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议3.术语Brick(存储块)Volume(逻辑卷)FUSEVFSGlusterd4.工作流程5.卷类型6.部署GFS群集1.简介GFS(GlusterFS)是一个开源的分布式文件系统由存储服务器
dark_ones·2023-08-09 15:00

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。
值得一看的喵·2023-08-09 08:35

【Hadoop---07】HDFS 读 / 写 数据流程（面试重点）

HDFS写数据1.1HDFS写数据流程1.2关于副本结点的选择流程2.HDFS读数据1.HDFS写数据1.1HDFS写数据流程HDFS读写流程：HDFS客户端创建DistributedFileSystem(分布式文件系统
ElegantCodingWH·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode与DataNode回顾主节点和副本节点通常指的是Hadoop分布式文件系统（HDFS）中的NameNode和DataNode。
Matrix70·2023-08-09 08:18

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
达坦科技DatenLord·2023-08-09 07:53

上传图片视频

分布式文件系统MinIoMinIO提供多个语言版本SDK的支持，下边找到java版本的文档：地址：https://docs.min.io/docs/java-client-quickstart-guide.htmlMinIO
Chris-myx·2023-08-09 06:15

记录Java读取hdfs上的文件全过程

输入代码后就可以实现了总结前言跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面，提示：以下是一点见解一、项目大体流程我们想要上传到hdfs，首先就得知道hdfs是什么东西：本质：HDFS的中文翻译是Hadoop分布式文件系统
卡丘. 钦爱·2023-08-08 18:52

GFS 分布式文件系统

目录GlusterFS概述1．GlusterFS简介2．GlusterFS特点●扩展性和高性能3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法弹性HASH算法的优点：7．GlusterFS的卷类型8.部署GlusterFS群集编辑安装、启动GlusterFS（所有node节点上操作）添加节点到存储信任池中（在node1节点上操作）编辑在每个Node
飞翔小怪兽·2023-08-08 18:47

【简单认识GFS分布式文件系统】

文章目录一.GlusterFS概述1.GlusterFS简介2.特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.GlusterFS的卷类型1、**分布式卷（Distributevolume）**2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布式复制卷（Dist
除我以外皆是我·2023-08-08 17:18

HDFS数据一致性

校验和4.为实现高可用，HDFS采用的诸多策略4.1冗余副本4.2机架感知4.3心跳机制4.4安全模式4.5校验和4.6回收站4.7元数据保护4.8快照机制1.概述Hadoop中有个重要的工具就是HDFS分布式文件系统
小学僧来啦·2023-08-08 13:53

GFS 分布式文件系统

目录1．GlusterFS简介2．GlusterFS特点3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法7．GlusterFS的卷类型8.部署GlusterFS群集8.1准备环境（所有node节点上操作）8.2安装、启动GlusterFS（所有node节点上操作）8.3添加节点到存储信任池中（在node1节点上操作）8.4创建卷8.5部署Glust
Tizzy33·2023-08-08 08:08

Hadoop RPC远程过程调用框架

HadoopRPC（远程过程调用）是Hadoop分布式文件系统（HDFS）和其他Hadoop生态系统组件之间通信的机制，使得分布式集群中的不同节点能够无缝地相互交流和交换数据。
贾斯汀玛尔斯·2023-08-08 05:56

GFS分布式文件系统

目录一、GlusterFS概念MFSGlusterFS特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议二、GlusterFS术语Brick（存储块）Volume（逻辑卷）FUSEVFSGlusterd（后台管理进程）模块化堆栈式架构三、GlusterFS工作流程弹性HASH算法四、GlusterFS的卷类型分布式卷（Distributevolume）分布式卷特点条带卷（Stripe
Liu_Fang_Hong·2023-08-08 01:29

springboot 对接 minio 分布式文件系统

1.minio介绍Minio是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者友好，认为存储应该是一个开发问题而不是一个运维问题。2.mi
前进滴蜗牛·2023-08-07 22:27

MapReduce基础原理、MR与MPP区别

概述MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算，HDFS用于海量数据的存储（HadoopDistributedFileSystem，Hadoop分布式文件系统
偷偷学习被我发现·2023-08-07 08:04

GFS分布式文件系统

文章目录一、GFS的简介二、GlusterFS特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFSs术语四、GlusterFS构成五、GlusterFS工作流程六、弹性HASH算法七、GFS支持的七种卷1.分布式卷（Distributevolume）2.条带卷（Stripevolume）3.复制卷（Replicavolume）4.分布式条带卷（
2301_77369997·2023-08-07 07:50

IPFS白皮书（中文版）

IPFS(中文白皮书)IPFS-可快速索引的版本化的点对点文件系统摘要星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同
IPFS天何·2023-08-06 23:57

大数据——HDFS(分布式文件系统）

一，分布式系统概述Hadoop的两大核心组件HDFS（HadoopDistributedFilesystem）：是一个易于扩展的分布式文件系统，运行在成百上千台低成本的机器上。
风泩·2023-08-06 06:33

GFS分布式文件系统

目录一.文件系统简介1.1文件系统的组成1.2文件系统的作用1.3文件系统的挂载使用二.GFS分布式文件系统2.1GlusterFS简介2.2GlusterFS特点2.3GFS专业术语2.4GlusterFS
牛什么马什么·2023-08-05 23:45

GFS 分布式文件系统

目录一、GlusterFS简介二、GlusterFS特点三、GlusterFS术语四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法七、GlusterFS的卷类型分布式卷（Distributevolume）：条带卷（Stripevolume）：复制卷（Replicavolume）：分布式条带卷（DistributeStripevolume）：分布式复制卷（Distribute
Mak1r522·2023-08-05 18:53

分布式文件系统HDFS

分布式文件系统HDFS（按块存储，默认一个block块128M）一、分布式文件系统HDFS1、产生背景传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。
fakerlove·2023-08-05 16:41

Hadoop权威指南读书笔记（三）——认识HDFS

管理跨多台计算机存储的数据/文件，是分布式文件系统角色的定位。Hadoop的分布式文件系统是HDFS，以流式数据访问模式（在后面对HDFS读取/写入文件进行剖析的时候会具体阐述）来存储超大的文件。
StevenPeng的学习之路·2023-08-05 13:39

Hadoop分布式文件系统——HDFS原理简介

其中大部分内容来自于github上一个大神的开源笔记，在此附上链接，表达版权所属以及敬意:github源地址一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的一个分布式文件系统
Brave_man_O·2023-08-05 13:08

《Hadoop权威指南》学习笔记（3）——Hadoop分布式文件系统

Hadoop分布式文件系统，即HDFS(HadoopDistributedFileSystem)。
啜晓伟·2023-08-05 13:08
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他