ftp+分布式文件系统

GlusterFS元数据机制分析

TaoCloud团队原创：微信公众号文章访问GlusterFS作为一个免费开源的分布式文件系统，以其简约的架构设计，完善的协议支持，无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点，拥有着旺盛的生命力
刘爱贵·2020-08-19 10:45

GlusterFS分布式文件系统快速管理

TaoCloudXDFS基于GlusterFS开源分布式文件系统，进行了系统优化、工程化、定制化和产品化工作，五年以上的实践积累了大量实践经验，包括客户案例、最佳实践、定制开发、咨询服务和技术培训。
刘爱贵·2020-08-19 10:14

分布式计算框架与分布式文件系统

分布式计算框架与分布式文件系统是两个概念。分布式计算框架是用于处理大数据的一种模型，而分布式文件系统可以用于大数据的存储。
左直拳·2020-08-19 10:33

【GlusterFS学习之一】：GlusterFS分布式文件系统的基本概念及搭建

最近因为工作的需要在接触GlusterFS，在未来的一段时间之内应该都要与之打交道，刚刚接触分布式文件系统，对很多概念和机制都不是很清楚，通过一段时间的学习有一点浅显的认识，那么就把这段时间的了解到的内容做个简单的笔记
忆之独秀·2020-08-19 10:28

用 Hadoop 进行分布式并行编程Ⅰ

Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统HDFS(HadoopDistributedFileSystem
laoliu_soso·2020-08-19 10:55

用 Hadoop 进行分布式并行编程, 第 3 部分

一前言在本系列文章的第一篇：用Hadoop进行分布式并行编程，第1部分：基本概念与安装部署中，介绍了MapReduce计算模型，分布式文件系统HDFS，分布式并行计算等的基本原理,并且详细介绍了如何安装
kylt·2020-08-19 10:17

用 Hadoop 进行分布式并行编程, 第 1 部分

Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统HDFS(HadoopDistributedFileSystem
kylt·2020-08-19 10:17

分布式文件系统HDFS原理篇

所谓分布式文件系统就是通过网络实现文件在多台主机上进行分布式存储的文件系统！它一般采用“客户端/服务器端”的模。
走出去拍拍照·2020-08-19 10:55

Hadoop深入学习：HDFS分布式文件系统的体系结构

Hadoop之所以成为能够让用户可以轻松架构和使用的分布式计算平台，用户可以在其上管理、开发和并行处理大数据的应用，其根本就是由于HDFS起的基础作用。HDFS主要由以下优点：1）、支持操大文件，一般来说，一个Hadoop文件系统可以轻松的存储TB、PB级别的数据。2）、检测和快速应对硬件故障，在大量通用的廉价硬件构建的集群上，特别是硬件故障很常见，一班的HDFS系统由成百上千台存储着数据文件的服
iteye_1868·2020-08-19 10:11

用 Hadoop 进行分布式并行编程，第 1 部分

Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统HDFS(HadoopDistributedFileSystem
ibmjournal·2020-08-19 10:24

经典论文翻译导读之《Google File System》

与传统的分布式文件系统一样，GFS着眼在几个重要的目标，比如性能、可伸缩性、可靠性和可用性。不过它也会优先
在hust快乐的学习·2020-08-19 10:02

Google文件系统GFS

Google文件系统（GoogleFileSystem，GFS）是一个大型的分布式文件系统。
hll174·2020-08-19 10:23

Spark与Hadoop关系

Spark与Hadoop关系Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。
Data_IT_Farmer·2020-08-19 09:41

glusterfs简介

如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre
rayylee·2020-08-19 09:34

Hadoop入门及常用组件介绍

文章目录大数据体系架构hadoop介绍Hadoop生态系统主要组件HDFS(分布式文件系统)MapReduce(分布式计算框架)Spark(基于内存的分布式计算框架)Storm(实时的分布式计算框架)Flink
凡眼观世界·2020-08-19 09:34

分布式存储--理解分布式文件系统、分布式块存储、分布式对象存储、分布式数据库

1.单机文件系统vs分布式文件系统传统单机文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。
网络安全研发随想·2020-08-19 09:37

分布式文件系统HDFS介绍

分布式文件系统比较出名的有HDFS和GFS，其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。
ch3rry·2020-08-19 09:39

Hadoop白皮书(1)：分布式文件系统HDFS简介

Hadoop分布式文件系统(HDFS)是运行在通用硬件上的分布式文件系统。HDFS提供了一个高度容错性和高吞吐量的海量数据存储解决方案。
dide8651·2020-08-19 09:30

Hadoop并行计算原理与分布式并发编程

我们通常说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统，它是在通信网络互联的多处理机体系结构上执行任务的，包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等
cshuig·2020-08-19 09:19

dsf

/blog.sina.com.cn/s/blog_6b89db7a0101gbcy.html换个角度深入理解GlusterFSGlusterFS（GNUClusterFileSystem）是一个开源的分布式文件系统
cpongo1·2020-08-19 09:37

adoop入门学习笔记

HDFS现在都知道是Hadoop分布式文件系统，但是关于它的其它方面比如说它的体系结构
bansonsour·2020-08-19 08:20

Hadoop学习第一篇---hadoop背景介绍及基本组件简介

——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架MAPREDUCE，可用于处理海量
linus.lin·2020-08-19 08:09

Hadoop平台Hdfs分布式文件系统

HDFS（分布式文件系统）1架构简介hdfs采用的是master/slave模型。一个hdfscluster包含一个NameNode和一些列的DataNode。
QuitePig·2020-08-19 08:20

分布式文件存储——简介

1、分布式文件系统种类简介：常见的分布式文件系统有：GlusterFS、GoogleFS、FastDFS、TFS等，各自适用的领域不同，它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
LSY_csdn_·2020-08-19 08:39

Hadoop生态系统介绍及HDFS与MapReduce原理详细阐述

下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。是Hadoop体系中数据存储管理的基础。它是一个
zhongwen7710·2020-08-19 07:29

HDFS知识点

优缺点HDFS命令行操作HDFSJAVAApiHDFSWebConsoleHDFS回收站HDFS快照HDFS用户权限管理HDFS配额管理HDFS安全模式HDFS底层原理HDFS的设计HDFS即Hadoop分布式文件系统
maniYkk·2020-08-19 07:20

Hadoop三大核心(HDFS,YARN,MapReduce)

Hadoop三大核心1.HDFSHDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。
thy的博客·2020-08-19 07:23

Hadoop学习（一）：分布式文件系统HDFS

HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
有理想的番茄·2020-08-19 07:46

GlusterFS架构介绍（一）

分布式文件系统--glusterfs老规矩，先上个草图~图解：1）节点node1和node2建立peer关系，节点中各有一个分区vda3；2）分别把vda3做成卷组vg、池pool、精简lv、glusterfs
weixin_33819479·2020-08-19 07:11

HDFS知识点总结

1、HDFS的设计HDFS是什么：HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统
weixin_30387423·2020-08-19 07:26

分布式存储基础知识

可以用表进行表示的半结构化的数据：介于上述两种数据类型之间，数据之间的关系简单，典型的代码是html文件针对这几种不同的数据类型，分布式存储系统适合处理不同的类型的数据，将分布式存储系统划分为以下几种：分布式文件系统
祚儿疯·2020-08-19 07:15

开源分布式文件系统比较

from:http://www.lnmpblog.com/archives/323要使用分布式文件系统来降低成本，于是搜寻了开源的分布式文件系统。
joliny·2020-08-19 06:14

[转]开源分布式文件系统：Gluster File System

随着网络浪潮的风起云涌，个人感觉数年前某公司放言，”世界只需几台计算机“，真的离我们越来越近了，计算和存储都将向服务端转移，hoho，大型机的时代又来临了么？网格计算中，计算网格提供计算能力，随便一个手持设备，一个什么终端，都可以付费的使用大型机的计算能力，而且是随时随地，真的很美好。而存储网格呢，一个终端什么都不需要存，只需是online的，那么你所需的操作系统，应用程序，都唾手可得，hoho有
黑夜路人·2020-08-19 06:04

hadoop核心组件介绍、HDFS 分布式文件系统

一、大数据与Hadoop1.1大数据简介1.1.1大数据的定义–大数据由巨型数据集组成,这些数据集大小常超出人类在可接受时间下的收集、使用、管理和处理能力。1.1.2大数据能做什么–把数据集合幵后进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定即时交通路况等;这样的用途正是大型数据集盛行的原因1.2什么是Hadoop–Hadoop是一种分析和
@谷哥·2020-08-19 06:32

hadoop核心组件分布式文件系统HDFS、资源调度管理系统YARN、分布式计算框架MapReduce

分布式存储系统的第一印象HDFS是基于谷歌的GFS的克隆版本HDFS的特点：可扩展性（当节点不够添加一台机器就可以了），可容错的（多副本的方式可存储的），海量数据的存储将上传文件切分成指定大小的数据块（128M）并以多副本的存储在多个机器上（处理对象任然是文件，具体的切分、多副本和容错由hadoop完成）fiflename文件名称numreplicas数据重复次数block-id被重复的数据编号资
fort110·2020-08-19 06:58

分布式文件系统HDFS简介

1，概述分布式文件系统是通过网络实现文件在多台主机上进行分布式存储的文件系统。
Pharaoh's Concubine·2020-08-19 06:54

GlusterFS从这里开始

**一、简介**GlusterFS是一个开源免费的分布式文件系统，具有完全去中心化、堆栈式设计、全局统一命名空间、高可用、高性能和横向扩展等特点。
Mr__Chao·2020-08-19 06:24

Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE

日萌社人工智能AI：KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）1.1什么是HadoopHadoop名字的由来作者：DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使
あずにゃん·2020-08-19 06:59

KeepAlived+DRDB+MFS安装及配置

KeepAlived+DRDB+MFS安装及配置好几年前就研究过一些分布式文件系统，如gfs等。但真正让人满意的不多（总有各种各样的问题，如稳定性差，架构复杂，性能损失高等等）。
IT黑旋风·2020-08-19 06:08

Hadoop技术(一)分布式文件系统HDFS

分布式文件系统HDFS第一章统一思维单机大数据处理实现以及问题问题引入现在收集到的想法问题升级第二章Hadoop一Hadoop简介HDFS优点HDFS缺点二Hadoop分布式文件系统HDFS相关介绍HDFS
时间静止不是简史·2020-08-19 06:07

Hadoop核心组件之HDFS详解【运行机制、安装、操作与实战、NameNode高可用】

一、Hadoop的3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce——实现在很多机器上分布式并行运算分布式资源调度平台：YARN——帮用户调度大量的
itcats_cn·2020-08-19 06:25

开源分布式文件系统大检阅

前言我们的YRCloudFile是一款面向云时代的分布式文件系统，它的主要特点是支持海量小文件的高性能数据访问，对Kubernetes平台的无缝支持，混合云场景下的数据支撑。
YAN_RONG_TECHNOLOGY·2020-08-19 06:19

Hadoop教程（三）：HDFS、MapReduce、程序入门实践

Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，基于Hadoop的应用程序使用HDFS。HDFS是专为存储超大数据文件，运行在集群的商品硬件上。
GarfieldEr007·2020-08-19 06:45

hadoop 的核心知识点 01 Hdfs，yarn的原理和执行流程图，以及一些简单的shell操作已经基本的API

的文件管理系统是hdfs设计理念HDFS的设计理念源于非常朴素的思想；当数据集的大小超过单台计算机的存储能力时，就有必要将其进行分区并存储到若干台单独的计算机上，而管理网络中跨多台计算机存储的文件系统称为分布式文件系统
我的代码没错·2020-08-19 06:39

Hadoop快速入门（一）

配套技术：大规模并行处理数据库（MPP），数据挖掘，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统。Hadoop:以HDFS和mapreduce为核心。
炒鸡辣鸡复读机·2020-08-19 05:45

google分布式文件系统（GFS）

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML图表FLowchart流程图导出与导入导出导入欢迎使用Mark
weixin_37519761·2020-08-19 05:01

文件系统 fsck和e2fsck

reiserfs,jfs,swapswap:交换分区光盘：iso9660Windows：fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统：NFS,CIFS集群文件系统：GFS2,OCFS2分布式文件系统
weixin_34409703·2020-08-19 05:53

Hadoop与Spark技术入门

1Hadoop系统概述1.1Hadoop简介Hadoop最初起源于搜索引擎子项目Nutch，是Apache基金会的开源大数据计算平台，其核心组件设计包含有分布式文件系统HDFS及分布式计算框架MapReduce
tmac1027·2020-08-19 04:07

day9 FastDFS

FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。
牛板筋不筋·2020-08-19 03:36

Hadoop快速入门

目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。
ssyan·2020-08-19 00:29
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他