ftp+分布式文件系统

坐实大数据资源调度框架之王，Yarn为何这么牛

Hadoop主要组成：分布式文件系统HDFS分布式计算框架MapReduce分布式集群资源调度
华为云开发者社区·2022-04-12 15:00

都2022年了，HDFS为何还如此能战！

1、概述1.1简介Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HD
华为云开发者社区·2022-04-11 14:00

2-HDFS(分布式文件系统)

它也是由DougCutting基于Google公司03年10月开源的论文GFS做的开源实现，发展到目前为止，HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统
小帅明3号·2022-04-06 10:45

大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别

大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别概述DataNodeNameNode概述1、hsfs集群有两类节点（管理节点-工作节点）的运行模式，即一个namenode
Hanzerial·2022-04-05 07:16

《Spark快速大数据分析》——读书笔记（5）

对于存储在本地文件系统或分布式文件系统（比如NFS、HDFS、AmazonS3等）中的数据，Spark可以访问很多种不同的文件格式，包括文本文件、JSONSequenceFile以及protocalbuffer
水木-刘·2022-03-25 07:23

初识Hadoop架构

HDFS是基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将成百上千的计算机，组成存储集群。优点：可以处理超大文件、支持流式数据访问(一次写入，多次读取)、低成本运行。
·2022-03-24 14:11

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践（下）

但是在具体场景适配方面我们还是遇到了一些问题，这些问题我们第一时间与社区反馈，社区都第一时间解决了我们的需求，这里主要讲下几个比较重要的特性支持：hostpath与nonroot的支持在Atlas平台中，我们对分布式文件系统设置了
·2022-03-24 14:26

巧用符号链接迁移 HDFS 数据，业务完全无感知！

问题JuiceFS是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了JuiceFS能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代HDFS。
·2022-03-24 14:46

Hdfs学习（一）

HDFS1、HDFS概述1.1简介HDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统，用来解决海量数据的存储问题。
·2022-03-24 14:03

GFS分布式文件系统

GFS分布式文件系统一、GlusterFS概述1、GlusterFS简介2、GlusterFS特点3、GlusterFS术语4、模块化堆栈式架构5、GlusterFS的工作流程二、HASH算法1、使用弹性
这小子贼帅·2022-03-20 07:31

大数据教程-01HDFS的基本组成和原理

一Hadoop历史背景起源于2003年谷歌的GoogleFileSystem相关论文，随后DougCutting（我们下面就叫他切哥吧）基于GFS的论文实现了分布式文件系统，并把它命名为NDFS（NutchDistributiedFileSystem
马一特·2022-03-18 20:00

Hadoop简介和体系架构

目录2．1Hadoop简介2．1．1Hadoop由来2．1．2Hadoop发展历程2．1．3Hadoop生态系统2．2Hadoop的体系架构2．2．1分布式文件系统HDFS2．2．2分布式计算框架MapReduce2
G不来也不去·2022-03-18 07:46

Hadoop HDFS 3.3.1分布式存储搭建

前言看了标题会不会诧异，怎么昆仑分布式数据库玩起了分布式文件系统？因为昆仑分布式数据库0.9版本起，要增加HDFS分布式文件备份功能，所以开发小哥哥工作中，就顺便把学习的过程分享出来。
KunlunDB·2022-03-16 06:17

SpringBoot笔记：SpringBoot集成MinIO分布式文件系统

文章目录搭建MinIO集群SpringBoot集成添加依赖添加配置获取MinioClientMinioUtils完整工具类测试代码搭建MinIO集群首先搭建MinIO的分布式集群，集群搭建参考《CentOS7安装笔记：minio分布式集群搭建》SpringBoot集成添加依赖首先，添加如下依赖io.miniominio7.1.0添加配置在yml中添加如下配置：#minio连接参数minio:#UR
leo825...·2022-03-14 03:51

初识Hadoop架构

HDFS是基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将成百上千的计算机，组成存储集群。优点：可以处理超大文件、支持流式数据访问(一次写入，多次读取)、低成本运行。
·2022-03-13 23:58

linux环境下 FastDFS搭建文件管理系统

linux环境下进行部署FastDFS简介FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。
俺叫啥好嘞·2022-03-12 08:40

读谷歌3篇论文《Google File System》、《Google BigTabel》、《Google MapReduce》读后感

谷歌3篇论文读后感一、《GoogleFileSystem》GoogleGFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
码农的后花园·2022-03-09 12:45

OpenStack学习系列之十二：安装ceph并对接OpenStack

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。
喝杯茶·2022-03-02 16:00

肝了一个周末，万字百图彻底理解HDFS！

2、高可用：用集群来存储文件，这样的文件系统称为分布式文件系统（DistributedFileSystem），部分
小胡_鸭·2022-03-01 19:07

终端怎么进入hadoop_Hadoop HDFS的Shell操作实例

我们知道HDFS是Hadoop的分布式文件系统，那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧，这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。
weixin_39789499·2022-02-28 10:35

深入浅出Hadoop实战开发

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HD
遥远的东方·2022-02-28 10:30

Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)-张勇-专题视频课程

全面深入的Hadoop实战教程)—756人已学习课程介绍以ApacheHadoop2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：模块一：Hadoop2.x入门模块二：分布式文件系统
sundaytian·2022-02-28 10:27

FastDFS安装和简介详细总结

1、fastDFS简介1FastDFS是用c语言编写的一款开源的分布式文件系统。
JimmyThomas·2022-02-27 16:00

hadoop学习笔记（一）：hadoop生态系统及简介

HDFS：分布式文件系统MapReduce：分布式计算框架Zookeeper：分布式协作
weixin_30652271·2022-02-27 09:11

Hadoop HDFS 3.3.1分布式存储搭建

前言看了标题会不会诧异，怎么昆仑分布式数据库玩起了分布式文件系统？因为昆仑分布式数据库0.9版本起，要增加HDFS分布式文件备份功能，所以开发小哥哥工作中，就顺便把学习的过程分享出来。
·2022-02-24 17:29

Git 分布式文件系统 - Git 的分支机制

分支是git的杀手锏功能之一。就和绝地武士能够运用原力解决问题一样，gitter必须能够熟练运用分支迅速应对问题。本章节会带领读者一起探寻git分支的设计思想，使后续的git修行更加的顺利。Git如何存储数据理解Git分支机制之前，回顾一下Git存储数据的原理是十分有必要的。当我们在命令行中执行以下命令产生一次提交后，Git内部发生了什么？#在git的工作空间新建三个文件。vimgitbranch
给你添麻烦了·2022-02-21 01:56

[转]理解MapReduce

Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，
dechuan·2022-02-20 23:20

HDFS 用户手册

HDFSUsersGuidePurpose本文档是用户使用HDFS的启蒙文档，不管是作为Hadoop集群的一部分，还是独立运行的通用分布式文件系统。
偷油考拉·2022-02-20 22:56

Hadoop 生态系统

1.Hbase1.Nosqlkey-value存储2.最大化利用内存2.HDFS1.hadoopdistributefilesystem分布式文件系统。2.最大化利用磁盘。
Velic·2022-02-20 13:37

DataHome专栏： IPFS 100问之IPFS和HTTP的区别

在IPFS网络中的节点将构成一个分布式文件系统。为什么说IPFS将取代HTTP呢？IPFS将会带给我们什么新的体验呢？
DataHome·2022-02-20 06:02

hadoop是什么：分布式系统基础架构

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS
嘿嘿海海·2022-02-20 01:00

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践（下）

但是在具体场景适配方面我们还是遇到了一些问题，这些问题我们第一时间与社区反馈，社区都第一时间解决了我们的需求，这里主要讲下几个比较重要的特性支持：hostpath与nonroot的支持在Atlas平台中，我们对分布式文件系统设置了
·2022-02-18 14:46

[老实李] HDFS笔记

一.HDFS简介1.HDFS简介HDFS是hadoop的核心子项目，是一个可以运行在普通硬件设备上的分布式文件系统，也就是容错很高；是基于流数据模式访问和处理超大文件的需求开发的，它具有高容错，高可靠性
老实李·2022-02-17 15:38

CDH组件简介

1.HDFS：Hadoop分布式文件系统被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。
豪大大大·2022-02-17 08:48

FastDFS安装部署

在学习taotao商城这个视频的过程中、用到了fastdfs、刚好自己有一台服务器就自己学习了下、参考了网上多篇文章、感谢各位分享~~FastDFS是c写的开源分布式文件系统、充分考虑了冗余被人、负载均衡
牛牛_735d·2022-02-16 20:29

【大数据哔哔集20210122】面试官问我HDFS丢不丢数据？我啪就把这个文章甩到他脸上

file数据一致性HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。
王知无·2022-02-16 06:13

02.fastDFS分布式文件上传下载解决方案

fastDFS分布式文件上传解决方案一、fastDFS介绍1).特点c语言编写的一款开源的分布式文件系统;充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传
哈哈大圣·2022-02-16 01:55

IPFS系列01-IPFS 前世今生

关于IPFS的理解，网上众说纷纭，很多人说它是区块链项目，也有人说它是分布式文件系统，还有人说它是矿机...这里我们先抛开那些概念，首先我们看看IPFS官网(https://ipfs.io)对它的描述
Rock_Yang·2022-02-16 00:00

FastDFS高可用集群架构配置搭建及使用

一，概述FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。
就叫小木木呀·2022-02-15 19:36

分布式文件系统调研

数据存储方式文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。文件存储会以文件和文件夹的层次结构来整理和呈现数据；块存储会将数据拆分到任意划分且大小相同的卷中;对象存储会管理数据并将其链接至关联的元数据。三者的本质差别是使用数据的“用户”不同：文件存储的用户是自然人块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库对象存储的用户则是其它计
Minority·2022-02-14 13:43

minIO高可用

1.概述1.1.介绍minIO是目前一个比较轻量级的分布式文件系统，遵循apache2.0开源协议。
黑科技王子·2022-02-14 09:04

好玩的大数据之8：Hadoop安装（hadoop-3.2.1，伪分布式部署方式）

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
张文斌_2020·2022-02-13 20:44

400ToJava:133-分布式文件系统FastDFS-安装配置

html资源地址：https://sourceforge.net/projects/fastdfs/源码资源：https://github.com/happyfish100FastDFS是一个开源的轻量级分布式文件系统
加菲猫DY·2022-02-12 09:35

CentOS 7.2搭建FastDFS 分布式文件系统，实现高可用集群

分布式集群搭建结构双Tracker2组Group轮询存储策略Keepalived+Nginx高可用Nginx缓存4个存储节点一、集群规划清单1.安装清单软件名称版本百度云盘存放名称FastDFS5.11fastdfs-5.11.zipFastDFS-Nginx-module无fastdfs-nginx-module-master.zipLibFastCommon1.0.36libfastcommo
溯水心生·2022-02-11 11:44

FastDFS搭建单机图片服务器（一）

根据分布式文件系统-FastDFS在CentOS下配置安装部署和分布式文件系统-FastDFS配置Nginx模块及上传测试一步一步搭建的，但还是碰到了版本太低，导致安装报错的问题。
氨基钠·2022-02-11 02:47

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
JuiceFS·2022-02-09 16:43

Hadoop学习笔记

参考：http://www.cnblogs.com/heavenwang/p/3988033.html1.基本概念Hadoop是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和
yz_wang·2022-02-09 16:30

Java实现图片上传至FastDFS入门教程

FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（trackerserver）、存储服务器（storageserver）和客
·2022-02-08 11:02

FastDFS环境搭建

FastDFS是一个开源的分布式文件系统。废话不多说，这是开源git地址：https://github.com/happyfish100我的安装包全部是在git上下载的。
扑棱扑棱的小菜鸟·2022-02-06 08:17

Hadoop并行计算原理与分布式并发编程

我们通常说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统，它是在通信网络互联的多处理机体系结构上执行任务的，包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等
漫天雪_昆仑巅·2022-02-05 07:37
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他