ftp+分布式文件系统

HDFS(分布式文件系统)

Block(数据块)：HDFS上面基本默认的基本存储单位，大小一般为128M一个大的文件会被拆分成一个个的数据块，然后存储在不同的机器。若小于block的大小，则实际占用的空间为其文件的大小基本的读写单位，每次读的都是一个块，每个块都会被复制到多台机器HDFS采用的是master/slave架构。一个HDFS集群是由一个NameNode和多个DataNode构成。NameNode(元数据节点)和D
GakkiLove·2022-02-04 23:58

Hadoop RPC机制详解

远程过程调用(RPC)是一种常用的分布式网络通信协议，他允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无需额外地为这个交互作用编程，大大的简化了分布式程序开发作为一个分布式文件系统
SmallBird_·2022-02-03 04:08

Hadoop

Hadoop与三遍论文密不可分：①2003年，谷歌发布的分布式文件系统GFS的论文，可以用于解决海量数据存储的问题。②2004年，谷歌发布了MapReduce的论文，可以用于解决海量数据计算的问题。
一任平生cq·2022-01-18 15:35

Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS

HDFS作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其HDFS作为状态快照存储地址，且Hadoop框架较重，在k8s集群中占用大量资源，现考虑将其替换为更轻量级的分布式文件系统
另存為·2022-01-16 14:47

Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS

HDFS作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其HDFS作为状态快照存储地址，且Hadoop框架较重，在k8s集群中占用大量资源，现考虑将其替换为更轻量级的分布式文件系统
·2022-01-16 14:11

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
·2022-01-11 16:21

新能力让数据多端协同更便捷，数据跨端迁移更高效！

作者：yijian，终端OS分布式文件系统专家；gongashi，终端OS分布式数据管理专家HarmonyOS作为分布式操作系统，其分布式数据管理能力非常重要。
·2022-01-11 11:28

巧用符号链接迁移 HDFS 数据，业务完全无感知！

问题JuiceFS是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了JuiceFS能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代HDFS。
·2021-12-21 16:18

IPFS是什么？IPFS原理、IPFS存储

以下内容调研截止到2021/11/5日IPFS简介IPFS是一种内容可寻址、点对点、分布式文件系统。IPFS采用内容-地址寻址技术，即通过文件内容进行检索而不是通过文件的网络地址。
k_kK·2021-12-07 14:00

星环科技分布式文件系统TDFS大揭秘（上）

星环科技是一家致力于打造企业级大数据基础软件，围绕数据全生命周期为企业提供基础软件及支持的厂商。在这个数据驱动的数字化世界中，来自社交媒体、金融科技等不同领域的数据正在大幅度增长，例如大量商业报告、网页、图像和音视频等。如今，接近80%的数据都是非结构化的。不同于结构化半结构化数据的良好结构，存储和处理如此庞大的非结构化数据集正在成为传统计算技术的挑战。本文将着重介绍星环科技新推出的一款致力于打造
·2021-12-06 18:19

Hdfs学习（一）

HDFS1、HDFS概述1.1简介HDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统，用来解决海量数据的存储问题。
·2021-12-01 17:27

Linux下Hadoop 2.7.3 安装搭建过程

LinuxHadoop2.7.3安装搭建Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
·2021-11-30 14:37

大数据的中流砥柱——HDFS hdfs及其特点 hdfs的重要功能 hdfs机制

没有hdfs，大数据就是空话——me（开个玩笑哈哈哈）1、hdfs入门、hdfs介绍HDFS（HadoopDistributedFileSystem），也叫分布式文件系统。
'一生所爱·2021-11-28 17:55

大数据高级开发工程师——Hadoop学习笔记（2）

文章目录Hadoop进阶篇HDFS：Hadoop分布式文件系统分布式文件系统的理解HDFS架构详细剖析1.分块存储2.3副本存储3.
yangwei_sir·2021-11-26 20:41

如何利用 JuiceFS 的性能工具做文件系统分析和调优

作为一个云上的分布式文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
·2021-11-25 16:00

如何利用 JuiceFS 的性能工具做文件系统分析和调优

作为一个云上的分布式文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
JuiceFS·2021-11-25 15:00

MFS分布式存储

MFS分布式存储一、前言（1）MFS原理MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
帅先生Poison·2021-11-23 16:07

使用 KubeSphere 应用商店 5 分钟内快速部署 JuiceFS

作者：朱唯唯，尹珉JuiceFS简介JuiceFS是为海量数据设计的分布式文件系统，使用对象存储来做数据持久化，避免重复造轮子，还能大大降低工程复杂度，让用户专注解决元数据和访问协议部分的难题。
·2021-11-23 15:56

Hadoop经典案例——单词统计

(1）打开HDFS的UI,选择Utilities→Browsethefilesystem查看分布式文件系统里的数据文件，可以看到新建的HDFS上没有任何数据文件。
IT_CHEN_JJ·2021-11-20 00:31

Hadoop 入门笔记—核心组件 HDFS

作者：幻好来源：恒生LIGHT云社区基本概念HDFS(HadoopDistributedFileSystem)是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
·2021-11-19 14:47

FastDFS分布式文件系统详解

本文章转自：乐字节文章主要讲解：FastDFS分布式文件系统详解获取更多Java相关资料可以关注公众号《乐字节》发送：999文件系统是操作系统用于在磁盘或分区上组织文件的方法和数据结构。
·2021-11-17 10:19

GFS分布式文件系统

目录前言一、GlusterFS概述1、简介2、特点3、常用术语4、模块化堆栈式架构5、组件二、工作原理1、流程2、弹性HASH算法三、GlusterFS卷类型1、分类2、类型介绍2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷3、汇总四、GlusterFS部署1、环境2、开局配置2.1所有的节点node都操作下面这些步骤，这里以node1：20.0.0.21为列2.2创建
HB199753·2021-11-16 18:12

Ceph 存储介绍

存储系统的逻辑层次结构六、RADOS的系统逻辑结构七、Ceph数据存储过程八、CephIO流程及数据分布1.正常IO流程图2.新主IO流程图九、CephPool和PG分布情况一、Ceph简介  ceph是一种统一的分布式文件系统
公博义·2021-11-11 14:00

Linux系统(四)之docker

docker：一、安装docker二、docker卸载三、配置docker镜像加速器四、安装mysql五、安装oracle六、安装redis（自）七、部署springboot项目八、分布式文件系统FastDFS
faramita_of_mine·2021-11-08 07:00

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云计算发展方向奠定了基础
·2021-10-28 12:45

头歌Educoder云计算与大数据——实验三 分布式文件系统HDFS

实验三分布式文件系统HDFS第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明代码实现第2关：HDFS-JAVA接口之读取文件任务描述相关知识
36.6°·2021-10-23 19:07

37-综合架构-NFS服务（网络文件系统）

NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS1.1
文娟_狼剩·2021-10-21 14:19

Hadoop 入门笔记 十四 : HDFS架构原理

一.HDFS架构剖析1.HDFS整体概述HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。
·2021-10-20 17:24

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云
·2021-10-18 16:25

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云
阿里云云栖号·2021-10-18 15:26

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云
·2021-10-18 13:27

Hadoop 入门笔记四 : 分布式文件HDFS

简介HDFS（HadoopDistributedFileSystem）是ApacheHadoop项目的一个子项目，它的设计初衷是为了能够支持高吞吐和超大文件读写操作HDFS是一种能够在普通硬件上运行的分布式文件系统
·2021-10-15 21:48

hadoop入门一 : hadoop介绍

核心组件有：HDFS（分布式文件系统）：解决海量数
·2021-10-15 15:53

学习笔记Hadoop（一）—— Hadoop介绍

二、Hadoop核心组件2.1、ApacheHadoop简介2.2、主要模块2.3、Hadoop分布式文件系统-HDFS2.4、Hadoop任务调度和资源管理框架-YARN2.5、Hadoop分布式编程模型
别呀·2021-09-24 20:24

云原生大数据架构中实时计算维表和结果表的选型实践

作者|志羽来源|阿里技术公众号一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库
·2021-09-16 11:30

srb-阿里短信sms服务和分布式文件系统oss

srb-阿里短信sms服务搭建环境,需要pom依赖,配置文件,启动类后端controller接口,接收到手机号码,进行断言判断,随机数生成,封装进map集合后端业务层需要下面的配置属性设置类srb-分布式文件存储oss文件上传配置文件从配置文件读取常量(同sms)后端controller,处理文件,拿到文件输入流,模块名字,和文件原始名字(目的是为了拿到后缀),返回保存在oss服务器上的url后端
Ycy_·2021-09-10 00:54

为什么说FIL未来必涨？FIL未来会涨到多少？怎么挖FIL?

3、它是一个对等的分布式文件系统，它尝试为所有计算设备连接同一个文件系统。在某些方面，IPFS类似于万维网，但它也可以被视作一个独立的BitTorrent群、在同一
·2021-09-06 17:03

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统

文章目录前言1.HDFS特点2.命令行和API操作HDFS（1）Shell命令行客户端（2）API客户端连接HDFS的两种方式（3）API客户端上传下载文件（4）API客户端文件详情及文件类型判断（5）API客户端IO流操作（6）API客户端IO流的seek读取3.HDFS读写机制解析4.HDFS元数据管理机制（1）Namenode、Fsimage及Edits编辑日志（2）2NN及CheckPoi
cutercorley·2021-09-04 21:36

一、初识Hadoop

Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（HadoopDistributedFileSystem）。
阿文灬·2021-08-29 16:56

开源分布式文件系统大检阅

前言我们的YRCloudFile是一款面向云时代的分布式文件系统，它的主要特点是支持海量小文件的高性能数据访问，对Kubernetes平台的无缝支持，混合云场景下的数据支撑。
·2021-08-25 13:03

ipfs怎么样了? ipfs打造共识 共赢 共享的全球生态圈？

因此，ipfs的诞生是时代发展的结果，ipfs分布式存储和分布式文件系统就应运而生。ipfs怎么样了？ipfs未来打造共识共赢共享的全球生态圈？小编来给说一说！+v：ipfs-899ipfs怎么样了？
·2021-08-20 19:19

百亿级分布式文件系统之元数据设计

前言在上一篇《如何实现支持百亿级文件的分布式文件存储》中，我们简单“鸟瞰”了实现支持海量文件的分布式文件存储的关键思路，本文我们开始讨论各个模块的设计思路和部分细节。先从元数据服务开始，元数据服务一般被简称为MDS，表示MetaDataService，或MetaDataServer。MDS数据在磁盘中如何管理当我们说要做支持百亿文件的MDS时，我们要做什么？我们先从业务需求说起。绝大多数业务，尤其
·2021-08-16 11:21

IPFS部署静态网站，并指定域名访问

什么是IPFS（Inter-PlanetaryFileSystem）IPFS是一个对等的分布式文件系统，它尝试为所有计算设备连接同一个文件系统。
雨田君的记事本·2021-08-15 11:19

分布式文件系统之FastDFS

前言什么是分布式文件系统随着文件数据的越来越多，通过tomcat或nginx虚拟化的静态资源文件在单一的一个服务器节点内是存不下的，如果用多个节点来存储也是不利于管理和维护，所以我们需要一个系统来管理多台计算机节点上的文件数据
外星喵·2021-08-08 23:39

主流分布式文件系统选型，写得太好了！

作者：张轲1983来源：https://www.jianshu.com/p/fc0...一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。
·2021-08-03 09:19

Hadoop

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），其中一个组件是HDFS。
小马过河R·2021-08-02 10:34

青云科技林源：国产替代释放巨大市场机会

青云科技于峰会上发布了端到端云原生战略，包括KubeSphere容器生态家族、云原生块存储QingStorNeonIO、云原生分布式文件系统HydroFS、云原生数据库RadonDB、低代码全象云平台等
经济观察报·2021-07-31 14:29

青云科技林源：国产替代释放巨大市场机会

青云科技于峰会上发布了端到端云原生战略，包括KubeSphere容器生态家族、云原生块存储QingStorNeonIO、云原生分布式文件系统HydroFS、云原生数据库RadonDB、低代码全象云平台等
经济观察报·2021-07-31 13:53

青云科技林源：国产替代释放巨大市场机会

青云科技于峰会上发布了端到端云原生战略，包括KubeSphere容器生态家族、云原生块存储QingStorNeonIO、云原生分布式文件系统HydroFS、云原生数据库RadonDB、低代码全象云平台等
经济观察报·2021-07-31 12:19

Nginx反向代理至go-fastdfs案例讲解

背景go-fastdfs是支持http协议的一款分布式文件系统，在一般的项目中，很少是直接将文件系统的地址暴露出来的，大多数都会通过nginx等软件进行反代过去，由于我司的业务和网络环境场景相对特殊，由公网部分
·2021-07-31 11:24
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他