ftp+分布式文件系统

HDFS文件系统

管理着跨计算机网络存储的文件系统称为分布式文件系统。HDFS全称为HadoopDistributedFilesystem，是Hadoop的分布式文件系统，也是当下开源社区最受欢迎的分布式文件系统。
杨赟快跑·2021-01-13 12:09

分布式存储引擎大厂实战（开篇）

开篇引言为什么会出现分布式系统分布式系统的发展史传统存储分布式存储现状云存储分布式系统的现状云存储智能化标准化分布式系统的基石——分布式存储引擎分布式键值系统分布式文件系统分布式表格系统引言 随着互联网的不断发展
神技圈子·2021-01-12 19:34

云端共享文件系统 JuiceFS 在 2021 年选择开源

今天，云原生分布式文件系统官方公众号Juicedata果汁数据科技发布消息称JuiceFS已经开源了！
宗恩·2021-01-12 15:50

技术干货！HDFS读写原理和代码简单实现

HDFS（Hadoop分布式文件系统）是ApacheHadoop项目的一个子项目。HDFS支持海量数据的存储，允许用户把成百上千的计算机组成存储集群，其中的每一台计算机称为一个节点。
华为云开发者社区·2021-01-12 10:49

技术干货！HDFS读写原理和代码简单实现

HDFS（Hadoop分布式文件系统）是ApacheHadoop项目的一个子项目。HDFS支持海量数据的存储，允许用户把成百上千的计算机组成存储集群，其中的每一台计算机称为一个节点。
华为云开发者社区·2021-01-12 09:32

2021，JuiceFS 开源啦

JuiceFS是什么JuiceFS是为海量数据设计的分布式文件系统，使用对象存储来做数据持久化，避免重复造轮子，还能大大降低工程复杂度，让我们专注解决元数据和访问协议部分的难题。
开源精选·2021-01-11 16:49

分布式存储 GlusterFS 介绍与部署

1.glusterfs概述GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患
民工哥·2021-01-11 11:15

IPFS星际文件系统(中文白皮书)

IPFS-可快速索引的版本化的点对点文件系统作者：JuanBenet([email protected])译者：郭光华([email protected])摘要星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同的文件系统的计算机设备
焦仕可 Christina·2021-01-10 17:05

GFS分布式文件系统部署解析

文章目录前言一GlusterFS概述1.1GlusterFS简介1.2GlusterFS特点1.3GlusterFS术语1.4模块化堆栈式架构二GlusterFS工作原理2.1GlusterFS工作流程：2.2弹性HASH算法2.3GlusterFS的卷类型2.3.1分布式卷2.3.1.1分布式卷（异地存储）2.3.1.2分布式卷的特点2.3.1.3创建分布式卷2.3.2条带卷2.3.2.1条带卷
weixin_50345481·2021-01-04 02:03

GFS分布式文件系统与GFS群集架构的部署

文章目录1.GlusterFS概述1.1GlusterFS简介1.2GlusterFS特点1.3GFS专业术语1.4模块化堆栈式架构2.GlusterFS工作流程与原理2.1工作流程2.2工作原理3.GlusterFS的卷类型3.1分布式卷3.2条带卷3.3复制卷3.4分布式条带卷3.5分布式复制卷3.6相关区别4.GFS群集部署4.1环境部署4.1.1项目拓扑图4.1.2项目磁盘环境的设置4.2
人生梦复梦·2021-01-04 01:24

SpringBoot + fastDFS 的简单总结

原理及下载什么是fastDFSfastDFS是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,特别适合以文件为载体的在线服务，如图片网站
Jeee·2021-01-03 20:51

SpringBoot + fastDFS 的简单总结

原理及下载什么是fastDFSfastDFS是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,特别适合以文件为载体的在线服务，如图片网站
Jeee·2021-01-03 19:31

minio获取上传文件_SpringBoot 系列教程 一百零四 MinIo文件服务

在前面的一篇文章中，详细的给大家介绍了如何在Centos7.x环境下从零开始搭建分布式文件系统MinIo，错过的朋友可以点这里：从零搭建分布式文件系统MinIO比FastDFS要更合适那么继上一篇文章之后
成都AG超玩会老帅·2021-01-02 06:02

HDFS简介

分布式文件系统特点容忍硬件故障，3个副本，RS（x，y）纠删码RS（10，4）膨胀率1.4RAID5流式数据存储只支持追加，删除，而不能修改大数据集（100w个文件300m内存）简单的一致性模型（是强一致性
懒无趣·2021-01-01 21:51

dfs hdfs 修改文件名称_图文详解HDFS工作机制

本篇主要从下面几个方面进行展开HDFS是什么漫画看懂HDFS骚操作HDFS架构原理一、HDFS是什么HDFS(HadoopDistributedFileSystem)分布式文件系统，它是谷歌的GFS提出后出现的一种用户级文件系统
weixin_39953481·2021-01-01 15:18

在麒麟V10服务器上编译安装GlusterFS

1准备工作GlusterFS(GNUClusterFileSystem)是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节点，所有节点全部平等。
PKS生态服务平台·2020-12-31 09:43

FastDFS上传图片

@FastDFS分布式文件存储分布式文件系统优点：1：解决了传统方式的单点故障问题，如果某一个节点出现故障还有其他的节点可以用来读取和写入文件。2：可以提供数据备份，避免因磁盘损坏导致的文件丢失。
CANDH·2020-12-30 19:34

Hadoop之HDFS(一)概述与常用Shell操作

1.HDFS概述1.1HDFS简介HDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统，用来解决海量数据的存储问题。
leafgood·2020-12-29 20:28

Hadoop之HDFS(一)概述与常用Shell操作

1.HDFS概述1.1HDFS简介HDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统，用来解决海量数据的存储问题。
leafgood·2020-12-29 20:28

element上传大文件就报错500_详解Element-UI中上传的文件前端处理

":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统
kkhenry·2020-12-29 08:32

Hadoop学习（ HDFS实现分布式存储：

并对网络中的文件系统进行集中管理,由此构成分布式文件系统(HDFS)HDFS概述介绍:在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在：集群上的文
Java.慈祥·2020-12-26 17:23

python字典类型写入文件_python 字典写入文件

":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统
连根塞·2020-12-24 23:37

论文笔记《Wharf_Sharing_Docker Images_in_a_Distributed_File_System》

SharingDockerImagesinaDistributedFileSystem会议：SoCC’18原文：https://doi.org/10.1145/3267809.3267836梗概Wharf：通过分布式文件系统进行
一把健·2020-12-24 21:21

实战 FastDFS Java 客户端上传文件

FastDFS服务端安装参考文章：分布式文件系统之FastDFS安装FastDFSJava客户端先从GitHub上将项目源码克隆下来：$gitclonehttps://github.com/happyfish100
暮夏有五·2020-12-24 04:35

实战 FastDFS Java 客户端上传文件

FastDFS服务端安装参考文章：分布式文件系统之FastDFS安装FastDFSJava客户端先从GitHub上将项目源码克隆下来：$gitclonehttps://github.com/happyfish100
暮夏有五·2020-12-24 04:27

分布式文件系统之 FastDFS

FastDFS百度百科FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
暮夏有五·2020-12-24 04:27

大数据框架Hadoop：第二章 计算框架MapReduc（二）分区、排序、归并、分组以及MapTask和ReduceTask

系列文章目录大数据框架Hadoop：第一章HDFS分布式文件系统(一)大数据框架Hadoop：第一章HDFS分布式文件系统(二)大数据框架Hadoop：第二章计算框架MapReduce（一）大数据框架Hadoop
BB侠的大数据之旅·2020-12-22 16:30

Hadoop伪分布式集群部署

Hadoop实现了一个分布式文件系统（HadoopDist
Tyf--·2020-12-22 16:04

python批量处理图片保存到另外一个文件夹_python批量复制图片到另一个文件夹

":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统
weixin_39911066·2020-12-21 13:57

Kali Linux中搭建好Hadoop后安装和配置Hive的方法 (干货，超详细！)

简介：  Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完
～晨曦静竹～·2020-12-18 21:13

大数据、人工智能、云计算知识概括

大数据与人工智能知识概括大数据简介云计算人工智能大数据简介什么是大数据：举例：①商品推荐：问题：1、大量的订单如何存储2、大量的订单如何计算②天气预报：问题：1、大量的天气数据如何存储2、大量的天气数据如何计算本质：①数据的存储：分布式文件系统
GeorgeLin98·2020-12-15 01:00

Hadoop框架：Yarn基本结构和运行原理

本文源码：GitHub·点这里||GitEE·点这里一、Yarn基本结构Hadoop三大核心组件：分布式文件系统HDFS、分布式计算框架MapReduce，分布式集群资源调度框架Yarn。
知了一笑·2020-12-13 16:05

Hadoop框架：Yarn基本结构和运行原理

本文源码：GitHub·点这里||GitEE·点这里一、Yarn基本结构Hadoop三大核心组件：分布式文件系统HDFS、分布式计算框架MapReduce，分布式集群资源调度框架Yarn。
知了一笑·2020-12-13 16:43

Hadoop基础（一）：分布式文件系统HDFS

文章目录一、HDFS架构1.HDFS设计思想2.HDFS组成架构Client：客户端NameNode：元数据节点（Master）DateNode：数据存储节点（Slave）SecondaryNameNode：从元数据节点（非NameNode热备）3.HDFS副本机制文件块副本机制4.HDFS优缺点优点缺点二、HDFS常用命令基本语法常用命令三、HDFSJavaAPI四、HDFS读写流程写数据流程读
XavierYen·2020-12-11 03:27

HashData与HDFS的高效数据交换

背景与挑战在对象存储技术出现和普及之前，HDFS（Hadoop分布式文件系统）是市场上为数不多的开源、免费、高性价比（相对于昂贵的SAN系统）PB级存储系统，大量用于企业数据归档场景。
HashData·2020-12-10 14:52

计算存储 分布式服务 分布式文件系统 虚拟化 云 容器概念学习

作者QQ群：852283276微信：arm80x86微信公众号：青儿创客基地B站：主页https://space.bilibili.com/208826118参考系统扩展方式开源主流分布式文件系统简单介绍主流分布式文件系统的的应用场景和优缺点
三遍猪·2020-12-03 16:58

Hadoop平台搭建和大数据分析-网络配置

Hadoop平台搭建和大数据分析Hadoop概念简介Hadoop是由Apache研发的开源分布式基础架构，它由Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)及一些相关项目组成
啾啾啾七·2020-12-03 09:40

Hadoop入门|HDFS分布式文件系统

写在前面我自己一直比较喜欢大数据这个方向的工作，虽然自己也在大数据相关的岗位上工作了小两年，但一直没有系统的学习过大数据相关的知识。说到自身经历，可能和大部分程序员一样，一直混迹于小公司，我从第一家公司离职的理由就是拖欠工资，那个时候又是刚毕业，手里没有一点积蓄，后来实在没办法只能离职求活路。不过很感谢第一家公司，在那是我进步最快的地方，我从事大数据岗位也是那家公司花钱让我去学习的。除了是小公司，
大数据学习宝典·2020-11-30 22:36

基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyu·2020-11-30 16:01

基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyu·2020-11-30 16:49

用nginx+FastDFS一步步搭建文件管理系统

一、FastDFS介绍FastDFS开源地址：https://github.com/happyfish100参考：分布式文件系统FastDFS设计原理参考：FastDFS分布式文件系统个人封装的FastDFSJavaAPI
·2020-11-25 13:42

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
java_small_ant·2020-11-23 00:12

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
SpringForAll社区·2020-11-23 00:00

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
java_small_ant·2020-11-22 23:05

Hadoop 框架学习笔记之整体认知

狭义：Hadoop由三部分组成：HDFS：分布式文件系统存储MapReduce：分布式离线计算框架YARN：资源调度框架广义：不仅是Hadoop框架，之外还有周边框架，比如Flume：日志数据采集；Sqoop
SpringForAll社区·2020-11-22 23:34

Ceph#分布式存储Ceph集群的部署和使用

文章目录分布式存储Ceph一、存储的分类１、本地文件系统２、网络文件系统----做远程共享３、分布式文件系统特点４、分布式文件系统存储使用架构５、非分布式文件系统６、分布式文件系统的特性７、块存储８、对象存储二
kakaops·2020-11-20 14:52

IPFS星际文件系统科普

在IPFS网络中的节点将构成一个分布式文件系统。它是一个开放源代码项目，自2014年开始由ProtocolLabs在开源社区的帮助下发展。其最初由JuanBenet设计。
IPFSKING·2020-11-19 22:58

HCIA-Big Data华为认证大数据工程师在线课程笔记

文章目录一、简介二、HDFS分布式文件系统三、MapReduce分布式离线批处理和Yarn资源协调四、Spark2.x基于内存的分布式计算五、HBase分布式NoSQL数据库HBase架构关键流程和特性
L小Ray想有腮·2020-11-19 16:21

HDFS分布式文件系统

HDFS简介HDFS是Hadoop核心组成,是分布式存储服务HDFS是分布式文件系统中的一种HDFS的重要概念HDFS通过统一的命名空间目录树来定位文件另外,它是分布式的,由很多服务器联合起来实现其功能
chain_xx_wdm·2020-11-13 11:20

Apache Hadoop的重要组成

Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块HDFSHadoopDistributeFileSystem一个高可靠,高吞量的分布式文件系统
chain_xx_wdm·2020-11-13 11:19
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他