fastDFS分布式文件系统

十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）

三期总目录链接目录一、GlusterFS相关知识介绍（一）简介1、GlusterFS介绍二、glusterFs实例（一）准备环境1、分区2、node1~node4安装软件--yum方式（需要配置本地其他目录的yum仓库）3、node1~node4所有节点启动glusterfs4、添加节点，只在node1上执行操作即可5、查看群集状态（二）创建卷1、创建分布式卷2、创建条带卷3、创建复制卷4、创建分
乘浪初心·2022-07-19 13:12

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
·2022-07-18 18:01

Hadoop 生态系统的构成（Hadoop 生态系统组件释义）

HDFS：HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是Hadoop体系中数据存储管理的基础。它是一个高度容错的
乐在编程学习园·2022-07-18 13:11

Spark总结（SparkCore,SparkSQL,SparkStreaming）

hadoop是一个分布式计算开源框架，包含分布式文件系统HDFS、MapReduce分布式计算的软件架构和Yarn资源管理调度系统。
ambitfly·2022-07-16 15:58

Tech Talk | HDFS 在 Shopee 的演进

本期话题本期分享将介绍分布式文件系统HDFS（HadoopDistributedFileSystem）在Shopee如何从一个小型集群发展到由数千个节点组成的联邦集群，以及在这一过程中我们遇到的问题与解决措施
·2022-07-15 11:07

Hadoop原理之——HDFS原理

Hadoop原理之——HDFS原理Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce
zhangbijun1230·2022-07-14 15:48

Hadoop分布式文件系统——HDFS

Hadoop分布式文件系统——HDFS一、介绍二、HDFS设计原理2.1HDFS架构2.2文件系统命名空间2.3数据复制2.4数据复制的实现原理2.5副本的选择2.6架构的稳定性1.心跳机制和重新复制2
码上代码·2022-07-14 15:46

Hadoop分布式文件系统——HDFS介绍

Hadoop分布式文件系统——HDFS介绍1、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上
youminglan·2022-07-14 15:16

HADOOP学习笔记——HDFS

hdfs的写流程网络拓扑-节点距离机架感知（副本节点的选择）namenode和secondarynamenode的工作机制DataNode的工作机制hdfs的容错机制什么是hdfs首先我们要知道hdfs是分布式文件系统
CHSN·2022-07-14 15:14

Hadoop核心HDFS——HDFS概念及优缺点

Hadoop：Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)Hadoop核心HDFS分布式文件系统：存储是大数据技术的基础
南瓜数据客栈·2022-07-14 15:14

hadoop核心组件——HDFS系列讲解之HDFS基本介绍

分块存储抽象成数据块的好处块缓存HDFS副本机制名字空间（NameSpace）Namenode功能Datanode功能机架感知HDFS基本介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统
LeeBoolean·2022-07-14 15:13

GFS分布式文件系统概述以及集群部署

目录引言：一、GlusterFS简介二、GlusterFS特点2.1扩展性和高性能2.2高可用性2.3全局统一命名空间2.4弹性卷管理2.5基于标准协议三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS支持的七种卷6.1分布式卷（Distributevolume）6.2条带卷（Stripevolume）6.3复制卷（Replicavolume）6.4分布式条带卷
爱看square dancing的老奶奶·2022-07-06 09:22

Hive、HDFS和hadoop关系

询计划被转化为MapReduce任务，在Hadoop中执行（有些查询没有MR任务，如：select*fromtable）Hadoop和Hive都是用UTF-8编码的Hadoop三大组件：分布式文件系统：
怕不是个弱智·2022-07-05 16:22

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

HDFS数据平衡

一、datanode之间的数据平衡1.1、介绍Hadoop分布式文件系统（HadoopDistributedFilSystem），简称HDFS，被设计成适合运行在通用硬件上的分布式文件系统。
一寸HUI·2022-06-30 19:00

由ASP.NET Core根据路径下载文件异常引发的探究

由于项目中存在文件下载功能，没有使用类似MinIO或OSS之类的分布式文件系统，而是下载本地文件，也就是根据本地文件路径进行下载。
yi念之间·2022-06-29 09:00

docker容器间进行数据共享的三种实现方式

如果涉及到跨服务器容器的数据共享，实际上是涉及到服务器之间的数据同步或分布式文件系统，基本不属于docker技术范畴。一、BindMounts方式共享数据
·2022-06-23 15:10

Hadoop大数据从入门到精通-任亮-专题视频课程

Hadoop大数据从入门到精通—48021人已学习课程介绍Hadoop分布式文件系统（HDFS）和MapReduce的工作原理如何优化Hadoop机群所需要的硬件配置搭建Hadoop机群所需要考虑的网络因素如何利用
renlianggee·2022-06-22 08:54

07-Hadoop HDFS之分布式文件系统、NameNode、DataNode和SecondaryNameNode的基础概念

五、Hadoop-HDFS5.1Hadoop的历史5.1.1Hadoop的进化史NutchHadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。Google2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。GFS:GoogleFi
愛してるから·2022-06-21 09:05

【Hadoop生态】-HDFS的理解

灵魂之问，先把我的理解摆上来，HDFS是一种分布式文件系统，HDFS可以让用户的读写操作作用在分布式的存储设备，例如多台计算机、集群式服务器。
Zlouts·2022-06-20 12:30

大数据-2：Hadoop生态以及HDFS部署

独立运行/Local(Standalone)Mode3.2伪分布式集群/Pseudo-DistributedMode3.3全分布式集群/Fully-DistributedMode1.Haoop简介MFS作为分布式文件系统
LeeHoo0·2022-06-20 12:58

springboot项目结合fastdfs做文件上传

前面一篇博客介绍通过docker构建fastdfs，并且在storage容器中通过fdfs_upload_file命令成功上传了一个文件，最后通过http://ip:8888/group/path访问到了文件
luffy5459·2022-06-11 09:16

探索云原生技术之基石-Docker容器入门篇(4)

文章目录探索云原生技术之基石-Docker容器入门篇(4)什么是云原生什么是DockerDocker安装常用的软件Ubuntu安装FastDFS安装RabbitMQ安装MySQL5.7安装（生产
摸鱼打酱油·2022-06-05 19:20

FastDFS 技术整理

1、FastDFS1.1、了解基础概念1.1.1、什么是分布式文件系统？
紫邪情·2022-06-05 17:00

一文带你了解优秀的Go 语言开源项目

1.文件系统（FileSystem）篇用于大文件版本控制的Git扩展–git-lfs用于小文件的简单且高度可扩展的分布式文件系统–SeaweedFSGo实现的跨平台文件系统监控库–fsnotifyGo实现的高性能
kuokay·2022-06-02 07:19

初识HBase

adistributed,scalable,bigdatastore.HBaseisatypeof"NoSQL"database.HBase是一个分布式、可伸缩的Hadoop数据库，HBase是在HDFS（分布式文件系统
MusicDancing·2022-05-30 16:19

对象存储 S3 在分布式文件系统中的应用

当前，业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋，文件存储不仅能兼顾多个应用和多个用户访问，更突出的优势是方便文件共享；对象存储凭借灵活性和扁平架构得到了广泛的好评，容量达到EB级以上，实现理论上的对象存储容量和对象数量无限扩充。然而，由于对象存储的访问接口协议单一，数据访问性能较差的问题，使其可适用的范围受到了一定程度的限制。以下内容是焱融科技架构师彭德跃
·2022-05-30 16:54

《大型网站技术架构演进与性能优化》之分布式改造[一]

必须具备分布式配置系统、分布式RPC框架、异步消息系统、分布式数据层、分布式文件系统、服务的发现、注册和管理。第三，必须解决状态一致性问题。
迦叶_金色的人生_荣耀而又辉煌·2022-05-30 08:39

ACA(大数据助理工程师备考)笔记

存储和计算能力提升4v1.体积巨大2.处理速度快3.价值密度低4.种类多来源结构化半结构化非结构化云计算大数据关系云计算提供计算与存储大数据在其基础上进行应用比如大数据发展历史大数据处理问题思路分而治之存储技术分布式文件系统大数据分析技术
撸码的xiao摩羯·2022-05-28 07:21

Hadoop3.0时代，怎么能不懂EC纠删码技术？| 个推技术实践

backblaze作为当前广泛流行的分布式文件系统，HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份，以实现数据可靠性目标
·2022-05-27 12:32

CentOS7安装Nignx完整步骤

1.先安装fastdfs-nginx-module-mastecd/optunzip-ofastdfs-nginx-module-master.zip-d/usr/localcd/usr/local/fastdfs-nginx-module-master
仔细是个好习惯·2022-05-27 08:17

安装FastDFS图片服务器

1.安装FastDFS安装网址：CentOS764位虚拟机安装FastDFS完整步骤_顶尖高中生的博客-CSDN博客2.Java代码测试FastDFS文件上传相关依赖：net.oschina.zcx7878fastdfs-client-java1.27.0.0fastdfs.conf
仔细是个好习惯·2022-05-27 08:17

SpringBoot 整合 Minio 上传文件

Minio上传文件如果不使用云服务的话,需要本地搭建,一般选择FastDFS但是FastDFS安装比较复杂,今天了解一款安装使用更简单的存储系统MinIOMinIO是一款高性能、分布式的对象存储系统.它是一款软件产品
·2022-05-26 20:54

IDEA 中使用 Big Data Tools 连接大数据组件

它提供了使用Zeppelin，AWSS3，Spark，GoogleCloudStorage，Minio，Linode，数字开放空间，MicrosoftAzure和Hadoop分布式文件系统（HDFS）来
·2022-05-26 11:05

SpringBoot整合Minio实现上传文件的完整步骤记录

客户端依赖配置文件配置文件配置类创建minio客户端文件地址返回路径实体类上传文件工具类测试上传文件Controller测试上传控制台也可以看到上传的视频总结Minio上传文件如果不使用云服务的话,需要本地搭建,一般选择FastDFS
·2022-05-26 11:03

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
JuiceFS·2022-05-25 17:00

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
·2022-05-25 17:57

场景实践：使用RDS和ECS搭建个人博客

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL
·2022-05-23 14:33

图文详解 HDFS 的工作机制及其原理

初识Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop提供了一套分布式系统基础架构，核心内容包含HDFS(HadoopDistributedFileSystem,分布式文件系统)
Data跳动·2022-05-19 11:00

MAC系统中使用docker方式安装FastDFS

MAC系统中使用docker方式安装FastDFS拉取镜像使用docker拉取镜像，docker要更换镜像源，否则下载过慢dockerpulldelron/fastdfs可以使用命令dockerimages
·2022-05-18 16:00

linux 分布式存储 软件,Ceph分布式存储系统

Ceph是根据加州大学SantaCruz分校的SageWeil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。
出圈唇享·2022-05-13 07:18

Ceph分布式存储工作原理(Ceph分布式块存储)

RADOS应运而生．１）RADOS（概念）:是ceph的核心之一，作为ceph分布式文件系统的一个子项目，特别为ceph的需求设计，能够
Mr..huang·2022-05-13 07:47

一、人工神经元模型与感知机

AI最核心------->深度学习------->与神经网络联系紧密传统人工神经网络是深度学习的基础Hadoop分布式文件系统的架构Namenode存储着文件系统的索引和元数据Datanode存储着具体的数据文件
weixin_30505225·2022-05-13 07:28

SpringBoot项目整合FastDFS+Nginx实现图片上传功能

目录FastDFS概述Fastdfs原理安装Fastdfs整合Nginx模块安装NginxSpringBoot整合FastdfsFastDFS概述FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理
·2022-05-12 14:59

SpringBoot集成FastDFS

fastdfs-clientJava客户端并没有存在maven仓库，需要手动下载打包安装进本地仓库。
D_A_I_H_A_O·2022-05-12 12:51

k8s中应用GlusterFS类型StorageClass

GlusterFS在Kubernetes中的应用GlusterFS服务简介GlusterFS是一个可扩展，分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储。
vfanCloud·2022-05-12 11:00

SpringBoot整合MinIO实现文件上传的方法详解

不过对于中小公司来说，除了购买OSS服务之外，也可以自己搭建专业的文件服务器，自己搭建专门的文件服务器的话，曾经比较专业的做法是FastDFS，松哥之前也专门为之录过视频发在B站上，感
·2022-05-10 12:04

一个简单易用的文件上传方案

不过对于中小公司来说，除了购买OSS服务之外，也可以自己搭建专业的文件服务器，自己搭建专门的文件服务器的话，曾经比较专业的做法是FastDFS，松哥之前也专门为之录过视频发在B站上，感兴趣的小伙伴可以自行查看
·2022-05-09 20:12

centos安装配置hadoop超详细过程（含故障排除）

以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
格格巫 MMQ!!·2022-05-06 13:42

minio的单机安装以及使用

安装步骤参考如下两个博客一个参考了下载，一个参考了启动minio有web控制面板可以参考如下链接自己看看就明白了安装minio相较于fastdfs简单太多了https://www.jianshu.com
·2022-05-03 19:41
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他