ftp+分布式文件系统

Hadoop HDFS命令

hadoop集群搭建好之后，通过HDFS命令操作HDFS分布式文件系统，HDFS命令与linux命令类似所有命令有/bin/hadoop脚本引发，可以使用命令查看帮助文档hadoopfs-help使用HDFS
木北鲜生·2022-11-29 15:16

11.26学习笔记（hadoop）

HIVE：实现数据仓库功能对历史数据进行分析，把SQL语句转化成MR作业执行（批量数据处理）PIG：流数据处理，轻量级数据分析Oozie：工作流管理工具Zookeeper：分布式协调一致性服务HDFS：分布式文件系统
Rbdash·2022-11-27 22:21

MapReduce

4.1MapReduce概述2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统和MapReduce的论文，公布了Google的GFS和MapReduce的基本原理和主要设计思想
Mr李小四·2022-11-27 14:20

大数据技术习题

文章目录第一章大数据概述第二章Hadoop第三章分布式文件系统HDFS重点回顾HBase查看所有表：创建表：查看表的基本信息：表的启用/禁用：删除表添加列族删除列族插入数据Get查询Scan查询条件过滤第五章
银晗·2022-11-24 06:54

大数据技术原理与应用 第二篇 大数据存储与管理（一） 笔记

目录第三章分布式文件系统HDFS一、分布式文件系统1.1计算机集群基本架构1.2分布式文件系统结构二、HDFS2.1HDFS特点2.2HDFS的体系结构2.3HDFS的存储原理第四章、分布式数据库HBase
月望曦·2022-11-23 14:28

大数据如何分析

适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
中琛源科技·2022-11-23 04:13

机器学习基础

机器学习和大数据的区别和联系首先，回顾大数据的4V特征：数据量大TB-PB-ZBHDFS分布式文件系统数据种类多结构化数据-Mysql为主的存储和处理非结构化数据-文本、图像、音频-HDFS、MR
erainm·2022-11-22 03:40

hadoop学习日记与资料整理

hadoop文件分布式系统的三大组成部分1、HDFS2、MR3、YARN一、HDFS1.HDFS原理了解2.hdfs文件读取过程过程描述：（1）客户端调用FileSyste对象的open()方法在分布式文件系统中打开要读取的文件
焚阳与星辰·2022-11-21 22:07

阿里云PostgreSQL简介和购买流程

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼
Yasser�·2022-11-20 17:28

阿里云文件存储NAS简介及应用场景

区别于传统企业文件存储NAS，阿里云文件存储NAS是一个在公共云上支持弹性扩展，高可靠，高可用，高性能的分布式文件系统。它基于POXIS文件接口，天然适配原生操作系统，
weixin_34015566·2022-11-20 17:23

正确使用阿里云NAS文件存储服务系列之文件权限校验

1、简介阿里云在3月份推出了NAS服务，可以让用户无需对现有应用做任何修改，就可以使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。
weixin_34203426·2022-11-20 17:23

阿里云文件存储NAS简介和购买流程

阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统。
Yasser�·2022-11-20 17:06

Hadoop+Spark+Hive

Hadoop简介Hadoop采用MapReduce分布式计算框架，根据GFS原理开发了HDFS（分布式文件系统），并根据BigTable原理开发了HBase数据存储系统。
呆鸡.·2022-11-20 10:45

大数据—人工智能领域高水平会议及热点技术汇总

大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.Hadoop安装与使用3.Hadoop集群的部署与使用4.Hadoop代表性组件三、分布式文件系统
renhongxia1·2022-11-19 18:01

大数据之 Hadoop 教程

Hadoop由三个关键部分组成：HDFS：Hadoop分布式文件系统，它是Hadoop数据存储层。MapReduce：数据计算框架YARN：负责资源管理和任务调度。一、什么是HDFSHDFS
种麦南山下·2022-11-19 08:44

GFS分布式文件系统及其部署

目录一、GlusterFS1MFS2GlusterFS二、GlusterFs特点1扩展性和高性能2高可用性3全局统一命名空间4弹性卷管理5基于标准协议三GlusterFS术语1Brick(存储块)2volume(逻辑卷)3FUSE4VFS5Glusterd(后台管理进程)四模块化堆枝式架构五GlusterFs的工作流程六弹性HASH算法1弹性HASH算法的优点七GlusterFs的卷类型1分布式卷
我于杀戮之中绽放·2022-11-18 10:04

FastDFS简介及安装部署（CentOS7）

目录一、分布式文件系统二、FastDFS简介三、FastDFS整体架构四、FastDFS安装1.检查Linux上是否安装了gcc、libevent、libevent-devel2.如果没有安装，则需进行安装
不凉帅·2022-11-15 17:09

分布式文件系统HDFS

HDFS简述HDFS是Hadoop的两大核心之一，用来分布式存储海量数据文件系统结构：HDFS结构类似于文件系统：HDFS实现目标：1.兼容廉价的硬件设施2.实现流数据读写3.支持大数据集4.支持简单的文件模型5.强大的跨平台兼容HDFS局限性：1.不合适低延迟的数据访问2.无法高效存储大量小文件3.不支持多用户写入及任意修改文件HFDS相关概念1.块块设计的好处：支持大规模文件存储简化系统设计，
小马哥不马虎·2022-11-13 21:09

对象存储 S3 在分布式文件系统中的应用

当前，业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋，文件存储不仅能兼顾多个应用和多个用户访问，更突出的优势是方便文件共享；对象存储凭借灵活性和扁平架构得到了广泛的好评，容量达到EB级以上，实现理论上的对象存储容量和对象数量无限扩充。然而，由于对象存储的访问接口协议单一，数据访问性能较差的问题，使其可适用的范围受到了一定程度的限制。以下内容是焱融科技架构师彭德跃
YAN_RONG_TECHNOLOGY·2022-11-13 14:11

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-11-11 00:22

云数据库RDS

基于阿里云分布式文件系统和固态盘SSD盘高性能存储，RSD支持MySQL，SQLServer
dream_heheda·2022-11-10 10:54

ceph翻译 Ceph: A Scalable, High-Performance Distributed File System

Ceph:AScalable,High-PerformanceDistributedFileSystemCeph：一个可扩展，高性能分布式文件系统SageA.WeilScottA.BrandtEthanL.MillerDarrellD.E.LongCarlosMaltzahn
Jason__Zhou·2022-11-10 10:51

【分布式架构的原理】淘宝的演进过程

需求变更频繁，版本迭代快二、大型网站的发展演变过程（淘宝）1.原始阶段2.应用服务和数据分离3.加入缓存提升网站访问速度4.使用服务器集群避免单点故障5.使用数据库集群6.使用cdn加速网站响应7.使用分布式文件系统
打乒乓球只会抽·2022-11-07 08:04

2022-11-05_fastdfs分布式文件系统环境搭建学习笔记.md

20221105_fastdfs分布式文件系统环境搭建学习笔记.md1概述FastDFS是一个由C语言实现的开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储，文件同步，文件访问（文件上传
kikop·2022-11-06 11:46

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-11-06 08:04

阿里Tablestore概览

阿里Tablestore是基于阿里盘古分布式文件系统的一个处理大数量的一个产品。可以将TableStore的架构简单理解为Lucene+BigTable。
早睡早起的黑猫·2022-11-02 11:26

Hadoop分布式文件系统：架构和设计要点Ⅰ（转）

Hadoop分布式文件系统：架构和设计要点Ⅰ（转）一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是
diz45481·2022-11-02 11:58

用 Hadoop 进行分布式并行编程Ⅰ（转）

进行分布式并行编程Ⅰ（转）2008-06-0614:42Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统
diz45481·2022-11-02 11:27

CentOS 8.2上安装部署NFS服务器和客户端

先决条件第三步：测试环境第四步：CentOS8上安装NFS服务器第五步：客户端系统上设置NFS客户端广告时间：第一步：NFS系统简单概述网络文件系统（NFS）也称为客户端/服务器文件系统，是一种流行的跨平台分布式文件系统协议
zll56281688·2022-11-02 00:26

HDFS分布式文件系统

3.1HDFS简介随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。3.1.1HDFS的概念HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式
Mr李小四·2022-10-24 18:50

撸了一个Spring Boot + VUE 框架开发的分布式网盘系统「源码开源」

简介基于SpringBoot+VUECLI@3框架开发的分布式文件系统，旨在为用户和企业提供一个简单、方便的文件存储方案，能够以完善的目录结构体系，对文件进行管理。
java小浩·2022-10-23 14:30

GlusterFS分布式文件系统

文章目录前言一、文件系统1、组件2、作用3、文件系统的挂载使用二、GlusterFS概述1、GlusterFS简介2、GlusterFS特点①扩展性和高性能②高可用③全局统一命名空间④弹性卷管理⑤基于标准协议4、GluserFS术语5、GlusterFS构成与工作流程工作流程GlusterFS的卷类型分布式卷条带卷复制卷分布式条带卷分布式复制卷条带复制卷分布式条带复制卷GFS部署环境说明磁盘分区挂
LIUXU23·2022-10-14 07:19

Hadoop分布式文件系统：结构与设计

Hadoop分布式文件系统：结构与设计1.介绍Hadoop分布式文件系统(HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。
weixin_33785108·2022-10-13 16:11

HDFS架构设计理念以及优缺点

其中Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）起到非常重要的作用，HDFS是Hadoop项目核心子项目，HDFS是分布式计算中数据存储管理的基础，它以文件的形式为上层应用提供海
梯度科技·2022-10-13 15:31

大数据分布式处理系统平台Hadoop的主要特征

HDFS是一个分布式文件系统，他具有高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。
梯度科技·2022-10-13 15:30

GFS分布式文件系统

目录一、GlusterFS简介1、GlusterFS是什么？2、GlusterFS特点二、GlusterFS专业术语三、GlusterFS构成1、GlusterFS总流程2、GFS的工作原理3、分布式gfs服务器存储四、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷五、部署GlusterFS集群实验1、集群环境2、更改节点名称和关闭防火墙3、节点进行磁盘
辛辣天蝎666·2022-10-12 20:21

大数据面试题汇总【持续更新】

前言本文内容是根据自身对相应知识的浅薄理解，如有错误欢迎指正~大数据生态圈Hadoop架构HDFS（分布式文件系统）:解决海量数据的存储问题NameNode：集群当中的主节点，管理元数据，主要用于管理集群当中的各种数据
Kazi_1024·2022-10-12 10:45

GFS分布式文件系统

目录引言一、文件系统的作用1、文件系统的挂载使用二、GlusterFS简介三、GlusterFS特点1、扩展性和高性能2、高可用性3、全局同一命名空间4、弹性卷管理5、基于标准协议四、GlusterFS术语五、GlusterFS构成六、GlusterFS的工作流程七、弹性HASH算法八、GFS支持七种卷1、分布式卷（Distributevolume）2、条带卷（Stripevolume）3、复制卷
吉吉吉吉吉吉吉吉吉吉·2022-10-12 07:15

JuiceFS v1.0 正式发布，首个面向生产环境的 LTS 版本

JuiceFS是为云环境设计的分布式文件系统，同时兼容POSIX、HDFS、S3访问协议，也可以使用CSI方式在Kubernetes中作为PV使用，在大数据、机器学习，和需要共享文件存储的场景中广泛使用
Juicedata·2022-10-11 09:48

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
Juicedata·2022-10-11 09:16

JuiceFS 元数据引擎选型指南

当今的分布式文件系统中，有的（如S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如ls大目录
Juicedata·2022-10-11 09:15

GFS分布式文件系统

目录一、GlusterFS1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的卷类型(1)分布式卷分布式卷的特点(2)条带卷特点创建条带卷(3)复制卷特点创建复制卷(4)分布式条带卷(5)分布式复制卷二、GlusterFS集群1.准备环境(所有node节点上操作)(1)关闭防火墙(2)磁盘分区，并挂载(3)配置/etc/host
Drw_Dcm·2022-10-11 07:55

JuiceFS 元数据引擎选型指南

当今的分布式文件系统中，有的（如S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如ls大目录
·2022-10-10 16:42

实现fastdfs防盗链功能

1、背景我们可以通过fastdfs实现一个分布式文件系统，如果我们的fastdfs部署在外网，那么任何一个人知道了我们的上传接口，那么它就可以文件的上传和访问。
·2022-10-09 20:40

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
·2022-09-30 17:46

HarmonyOS应用开发-分布式语音摄像头体验

一、组件说明使用HarmonyOS分布式文件系统和AI语音识别功能开发了一个分布式语音摄像头。使用此相机应用程序，同一分布式网络下的不同设备可以实时看到主设备拍摄的照片。
李洋-蛟龙腾飞公司·2022-09-30 00:32

鸿蒙开发实例｜分布式文件服务

01、分布式文件系统
TiAmo zhang·2022-09-30 00:39

Minio分布式存储入门（使用新版本）

一、分布式文件系统应用场景互联网海量非结构化数据的存储需求·电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片二、minio的基础概念2.1基础感念Object存储到minio
letg·2022-09-28 21:05

我眼中的大数据（二）——HDFS

如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。
平 凡 程 序 猿·2022-09-28 09:55

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn
平 凡 程 序 猿·2022-09-28 09:22
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他