ftp+分布式文件系统

大数据系列——Hadoop理论

核心组件包括分布式文件系统(HDFS)、MapReduce、YARN；HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，YARN为MapRedu
mql007007·2023-03-26 18:42

HIVE操作基础实战

hive是基于Hadoop的一个数据仓库工具，提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据。
巴拉巴拉_9515·2023-03-26 11:42

Hadoop中Block和Split的区别

在很多分布式文件系统中我们都可
星星之火在心中·2023-03-24 20:07

XSKY新一代分布式文件系统XGFS揭秘——元数据服务

01存储介质的高速发展上一代分布式文件系统元数据服务（MDS），多半基于HDD/SSD介质设计；这种设计不仅元数据访问性能不佳，而且为了实现在慢速介质上通过数量堆积来实现性能与空间扩展，做出了很多架构
XSKY星辰天合·2023-03-24 02:12

Hadoop入门

主要模块包括:分布式文件系统：HDFS实现将文件分布式存储在很多的服务器上分布式计算框架：MapReduce实现在很多机器上分布式并行计算分布式资源调度框架：YARN实现集群资源管理以及作业的调度HDFS
NealLemon·2023-03-24 01:08

Hadoop 核心介绍

ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统.HDFS使用多台计算机存储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统
EdwinGates·2023-03-24 00:01

hive部署的3种模式，及应用差异

1、hive的技术原理hive是基于Hadoop的数据仓库系统，可以查询、分析和存储在HDFS分布式文件系统中的数据，将结构化的数据文件映射为一张数据库表，转换SQL语句为MapReduce任务运行，对外提供完整的
沉思的雨季·2023-03-23 22:15

分布式文件系统[MinIO]YYDS

每天有所学习,这似乎是人生中最美妙的事情了吧!byCodeMartain前情回顾:FastDFS-分布式文件管理系统简单的说就是一个服务器用于存放图片,一个服务器用于处理业务,每个服务器干的事不一样;感兴趣可以查看之前的文章–FastDFS-分布式文件管理系统今天要学习的是MiniIO,springboot整合下的分布式文件管理系统;什么是MinIO先百度一下什么是MinIO:Minio是个基于G
CodeMartain·2023-03-23 20:16

大数据基础之Hadoop和Spark

（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算第二节：JAVA和大数据是什么关系？
我和程序猿的日常·2023-03-23 13:54

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。
weixin_30387663·2023-03-23 02:19

namenode启动过程简要分析

datanode;2)原始数据都被分成固定大小（最后一个block除外）的block存储在各个DataNode上，namenode只负责存储metadata：文件名、副本数、存储在哪个DataNode等等信息，整个分布式文件系统的所有
紫苓·2023-03-22 10:50

2019-07-30

存储和成本管理14.1数据压缩在分布式文件系统中，为了提高数据的可用性与性能，通常会将数据存储3分，这就意味着存储1TB的逻辑数据，实际上会占用3TB的物理空间。
AliceGYY·2023-03-21 22:22

HDFS简介：不用HDFS我们如何存储大规模数据

单机时代，主要的解决方案是RAID；分布式时代，主要解决方案是分布式文件系统。其实不论是在RAID还是分布式文件系统，大规模数据存储都需要解决几个核心问题，这些问题都是什么呢？
f192469fc2d5·2023-03-18 12:44

Linux下文件系统FastDFS集群部署

简介FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
ProMonkey_LAIN·2023-03-17 18:09

FastDFS分布式图片存储器的搭建

分布式文件系统是指可以将用户上传的很多很多文件保存在多台计算机上，主要解决单台服务器硬盘容量不够用问题，并且能够做到数据传输的负载均衡、以及数据存储的主从备份。
博弈or博野·2023-03-17 09:38

HDFS文件操作

HDFS什么是HDFS它是一个分布式文件系统，适合一次写入多次读出。不支持文件的随机读写，支持对文件的追加。原因：HDFS在存储文件时，以块的形式存储。
吃块西瓜写代码·2023-03-16 04:15

年薪60万大数据架构师教你Hadoop如何安装！还不快来看！

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
大数据学习05·2023-03-15 20:10

基于Ubuntu搭建FastDFS分布式文件系统

一、FastDFS简介FastDFS是由淘宝余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能
ReoShine·2023-03-15 18:34

Hadoop 分布式文件系统

KeyWords:HDFS,datablockHDFS的设计超大文件：指的是几百MB，几百GB设置几百TB大小的文件流式数据访问：一次写入、多次读取是最高效的访问模式。每次分析都将涉及该数据集的大部分甚至全部，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更为重要商用硬件：不必运行在昂贵且高可靠的硬件上。所以HDFS遇到节点故障的几率较高，所以被设计成能够继续运行且不让用户觉察到明显的中断
Grits·2023-03-15 06:45

Hadoop学习-HDFS

Hdoop之HDFS什么是HDFS背景及意义背景随着数据量的增加，一个操作系统存不下所有数据，就需要分配到更多的操作系统磁盘中，为了方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件系统
数据的小伙伴·2023-03-14 22:29

【大数据】HDFS客户端命令行(hdfs dfs)详细使用说明

命令使用概览查看帮助使用说明lsdfducountsetfaclgetfaclgetmergecpcopyFromLocal和putcopyToLocal和-getappendToFile概览hadoop分布式文件系统客户端命令行操作全局变量说明
笑起来贼好看·2023-03-14 22:50

HDFS工作流程（工作机制）解析

HDFS分布式文件系统在这篇文章参考了尚硅谷以及Github上的相关文章1HDFS的数据流1.1HDFS写数据流程1.1.1剖析文件写入（1）客户端（这里的客户端指的是上传文件的机器）通过DistributedFileSystem
- Xu1Aan！·2023-03-14 22:43

云数据库RDS介绍

1）基于分布式文件系统和SSD盘高性能存储2）支持MySQL、SQLServer、PostgreSQL、MariaDBTX引擎3）具备容灾、备份、恢复、监控、迁移等全面能力，例如可提供数据备份恢复、同城容灾
富贵007·2023-03-13 19:13

win10下hadoop伪分布式搭建

hadoop的单机模式、伪分布式、完全分布式1、单机（非分布式）模式这种模式是在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统2、伪分布式运行模式这种模式也是在一种单机上运行，使用不同的
地球上有个王家庄·2023-03-13 19:38

大数据hadoop生态体系之HDFS常用shell脚本(9)

hadoop体系的hdfs分布式文件系统可以通过shell脚本命令进行操作文件。早期使用的是hadoopfs命令来操作系统文件，现在建议使用hdfsdfs来替代hadoopfs命令操作文件。
welun·2023-03-13 16:10

hadoop学习心得20-09-08

一、HDFS1、HDFS简介HDFS（HadoopDistributedFileSystem），是一个分布式文件系统，用于存储文件，通过目录树来定位文件。
airleaya·2023-03-13 16:20

大数据｜HDFS分布式文件系统

统一管理分布在集群上的文件系统统称为分布式文件系统。HDFS是基于流数据模式访问和处理
啦啦右一·2023-03-13 07:40

大数据｜Hadoop系统

狭义上说，Hadoop的核心组件有：HDFS（分布式文件系统）：解决海量数据存储MapR
啦啦右一·2023-03-13 07:40

HDFS知识点总结

1.HDFS：HDFS：HadoopDistributedFileSystemHadoop分布式文件系统优点:存储海量数据：HDFS可横向扩展，其存储的文件可以支持PB级数据容错性高：数据保存多个副本，
longLiveData·2023-03-12 07:50

minio&前后端分离上传视频/上传大文件——前后端分离断点续传&minio分片上传实现

分布式文件系统-minio：第一章：分布式文件系统介绍与minio介绍与使用（附miniojavaclient使用）第二章：minio&前后端分离上传视频/上传大文件——前后端分离断点续传&minio分片上传实现文章目录
是谢添啊·2023-03-12 04:38

大数据开发-分布式文件系统HDFS

HDFS,全称HadoopDistributedFileSystem,意思是分布式文件系统。
jason_syf·2023-03-11 15:59

大数据大比拼：Hive vs HBase，你知道两者的区别和适用场景吗？

HiveApacheHive是一种基于Hadoop的数据仓库软件，它允许用户使用SQL来查询和管理存储在Hadoop分布式文件系统(HDFS)上的大型数据集。Hive的
陈书予·2023-03-11 08:12

【C语言开源项目】盘点 GitHub 上不错的 4 个C语言项目

今天盘点GitHub上不错的四个C语言开源项目，分别是：01.分布式文件系统02.云存储系统03.游戏模拟器mGBA04.太空侵略者复刻版01.分布式文件系统FastDFS是一款开源的分布式文件系统，功能主要包括
一起学编程·2023-03-11 03:57

hadoop （一）环境搭建及示例运行

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSyst
cnliu·2023-03-10 20:21

分布式存储glusterfs

如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre
唯爱熊·2023-03-10 07:37

物联网云平台技术

未来链接物联网的设备将要达到100亿级别2、比如可穿戴式设备，家庭全屋智能，工业网关存储1、分布式的时序数据库，涉及关系型数据库和NoSQL，主要有MySQL和HBase、MongoDB、Redis、Cassandra等2、分布式文件系统
lvghua·2023-03-10 05:52

阿里云RDS云数据库的使用

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL、PPAS（PostgrePlusAdvancedServer，高度兼容Oracle数据库）和
-爪子·2023-03-09 14:13

Hadoop三大组件之——HDFS概述

HDFS的概述HDFS产生背景HDFS（HadoopDistributedFileSystem分布式文件系统），源自于Goole于2003年10月发表的GFS论文，是GFS的克隆版，具有如下特点：（1）
渐行渐近的岁月·2023-03-09 07:06

Hadoop分布式文件系统——HDFS

一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
Cynicism_Kevin·2023-03-09 07:05

二、大数据组件之HDFS

HDFS全称是HadoopDistributedFileSystem,也就是Hadoop分布式文件系统，是一种在硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。
阿靖哦·2023-03-09 06:30

SpringBoot 集成FastDFS（十一）

  FastDFS是一款高性能的分布式文件系统。主要功能包括：文件存储，文件同步，文件访问（上传下载）。它可以解决高容量和负载均衡的问题。
码农新锐公众号·2023-03-09 03:57

【glusterFS】CentOS7.x上分布式文件系统glusterFS 的安装配置

glusterFS是一个开源的分布式文件系统,于2011年被红帽收购.它具有高扩展性、高性能、高可用性、可横向扩展的弹性特点,无元数
Bogon·2023-03-08 22:17

hadoop （master/slave）主从结构

hadoop(master/slave)主从结构  相比于基于P2P模型的分布式文件系统架构，HDFS采用的是基于Master/Slave主从架构的分布式文件系统，一个HDFS集群包含一个单独的Master
空断·2023-03-08 21:42

大数据框架Hadoop：第二章 计算框架MapReduce（一）

系列文章目录大数据框架Hadoop：第一章HDFS分布式文件系统(一)大数据框架Hadoop：第一章HDFS分布式文件系统(二)大数据框架Hadoop：第二章计算框架MapReduce（一）文章目录系列文章目录前言一
BB侠的大数据之旅·2023-02-28 08:49

【Fastdfs】| 入门连续剧——安装

作者：狮子也疯狂专栏：《spring开发》坚持做好每一步，幸运之神自然会降临在你的身上目录一.前言Ⅰ.为什么要使用分布式文件系统？
狮子也疯狂·2023-02-28 05:40

Hadoop-3.3.4完全分布式安装（包含VMware16和Ubuntu22的下载安装及配置）、搭建、配置教程，以及Hadoop基础简介

一、Hadoop简介1、Hadoop项目基础结构注：本篇文章主要涉及到：HDFS（分布式文件系统）、YARN（资源管理和调度框架）、以及MapReduce（离线计算）。以下就是本篇文章所采用的的架构。
wake D·2023-02-25 07:39

MFS分布式文件系统（二）---被删除文件及意外宕机的恢复

目录一、被删除文件的恢复1、垃圾回收站2、在客户端删除文件3、创建元数据目录二、恢复意外挂掉的moosemaster及moosechunk1、未正常关闭moosemaster导致服务启动失败的解决方法2、未正常关闭moosechunk导致服务启动失败的解决方法一、被删除文件的恢复1、垃圾回收站被删除的文件能够存放在“垃圾箱”的时间就是一个隔离时间，用mfsgettrashtime命令查看，用mfs
wlxiaozhuzhu·2023-02-23 16:29

分布式文件系统MooseFS(一)-----MFS简介+部署+应用

目录一、分布式文件系统二、MooseFS简介三、MooseFS的体系结构四、Moosemfs系统的搭建与部署1、master-server的部署2、chunkserver的部署3、访问web界面4、在master
wlxiaozhuzhu·2023-02-23 16:59

Hadoop概述

Hadoop组成（面试重点）HDFS架构概述HadoopDistributedFileSystem,简称HDFS,是一个分布式文件系统。
无聊大侠hello world·2023-02-23 06:41

HDFS 架构

HDFS是Hadoop生态下的分布式文件系统，基于Linux本地文件系统上的文件系统，它的特点是：支持超大文件存储流式数据访问硬件故障的检测和快速应对简单的一致性模型不适合低延时数据访问、不适合大量小文件的存储
wayyyy·2023-02-19 03:49
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他