ftp+分布式文件系统

【Hadoop】HDFS 原理

Hadoop分布式文件系统(HDFS)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。HadoopYARN：作业调度和集群资源管理的框架。
和风与影·2022-08-02 09:30

【最强宝典】后端面试知识点合集

网络情况复杂安全环境恶劣需求快速变更，发布频繁渐进式发展二、大型网站架构演化发展历程初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加速网站响应使用分布式文件系统和分布式数据库系统使用
进朱者赤·2022-08-01 10:36

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_67403240·2022-07-29 19:09

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

Springboot与vue实例讲解实现前后端分离的人事管理系统

系统亮点：使用REDIS进行数据缓存，优化查询性能；使用分布式文件系统进行文件存储服务；基于Springboot+vue实现前后
·2022-07-27 14:23

IPFS挖矿会步比特币的后尘吗？

IPFS称为“星际文件系统”，通俗点说，IPFS属于（P2P）分布式文件系统，称为ProtocolLab。虽然IPFS是一种存储数据的技
shuoyue0723·2022-07-27 09:36

[云原生专题-36]：K8S - 核心概念 - 存储抽象- Pod之间的数据共享与数据持久化 - 网络文件系统、网络分布式数据库

article/details/122820381目录第1章如何给pod传递数据或参数第2章数据的存储抽象概述2.1数据共享与数据持久化基本概念2.2不同Pod之间的数据共享诉求与可能的方案第3章网络分布式文件系统
文火冰糖的硅基工坊·2022-07-22 09:57

十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）

三期总目录链接目录一、GlusterFS相关知识介绍（一）简介1、GlusterFS介绍二、glusterFs实例（一）准备环境1、分区2、node1~node4安装软件--yum方式（需要配置本地其他目录的yum仓库）3、node1~node4所有节点启动glusterfs4、添加节点，只在node1上执行操作即可5、查看群集状态（二）创建卷1、创建分布式卷2、创建条带卷3、创建复制卷4、创建分
乘浪初心·2022-07-19 13:12

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
·2022-07-18 18:01

Hadoop 生态系统的构成（Hadoop 生态系统组件释义）

HDFS：HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是Hadoop体系中数据存储管理的基础。它是一个高度容错的
乐在编程学习园·2022-07-18 13:11

Spark总结（SparkCore,SparkSQL,SparkStreaming）

hadoop是一个分布式计算开源框架，包含分布式文件系统HDFS、MapReduce分布式计算的软件架构和Yarn资源管理调度系统。
ambitfly·2022-07-16 15:58

Tech Talk | HDFS 在 Shopee 的演进

本期话题本期分享将介绍分布式文件系统HDFS（HadoopDistributedFileSystem）在Shopee如何从一个小型集群发展到由数千个节点组成的联邦集群，以及在这一过程中我们遇到的问题与解决措施
·2022-07-15 11:07

Hadoop原理之——HDFS原理

Hadoop原理之——HDFS原理Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce
zhangbijun1230·2022-07-14 15:48

Hadoop分布式文件系统——HDFS

Hadoop分布式文件系统——HDFS一、介绍二、HDFS设计原理2.1HDFS架构2.2文件系统命名空间2.3数据复制2.4数据复制的实现原理2.5副本的选择2.6架构的稳定性1.心跳机制和重新复制2
码上代码·2022-07-14 15:46

Hadoop分布式文件系统——HDFS介绍

Hadoop分布式文件系统——HDFS介绍1、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上
youminglan·2022-07-14 15:16

HADOOP学习笔记——HDFS

hdfs的写流程网络拓扑-节点距离机架感知（副本节点的选择）namenode和secondarynamenode的工作机制DataNode的工作机制hdfs的容错机制什么是hdfs首先我们要知道hdfs是分布式文件系统
CHSN·2022-07-14 15:14

Hadoop核心HDFS——HDFS概念及优缺点

Hadoop：Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)Hadoop核心HDFS分布式文件系统：存储是大数据技术的基础
南瓜数据客栈·2022-07-14 15:14

hadoop核心组件——HDFS系列讲解之HDFS基本介绍

分块存储抽象成数据块的好处块缓存HDFS副本机制名字空间（NameSpace）Namenode功能Datanode功能机架感知HDFS基本介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统
LeeBoolean·2022-07-14 15:13

GFS分布式文件系统概述以及集群部署

目录引言：一、GlusterFS简介二、GlusterFS特点2.1扩展性和高性能2.2高可用性2.3全局统一命名空间2.4弹性卷管理2.5基于标准协议三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS支持的七种卷6.1分布式卷（Distributevolume）6.2条带卷（Stripevolume）6.3复制卷（Replicavolume）6.4分布式条带卷
爱看square dancing的老奶奶·2022-07-06 09:22

Hive、HDFS和hadoop关系

询计划被转化为MapReduce任务，在Hadoop中执行（有些查询没有MR任务，如：select*fromtable）Hadoop和Hive都是用UTF-8编码的Hadoop三大组件：分布式文件系统：
怕不是个弱智·2022-07-05 16:22

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

HDFS数据平衡

一、datanode之间的数据平衡1.1、介绍Hadoop分布式文件系统（HadoopDistributedFilSystem），简称HDFS，被设计成适合运行在通用硬件上的分布式文件系统。
一寸HUI·2022-06-30 19:00

由ASP.NET Core根据路径下载文件异常引发的探究

由于项目中存在文件下载功能，没有使用类似MinIO或OSS之类的分布式文件系统，而是下载本地文件，也就是根据本地文件路径进行下载。
yi念之间·2022-06-29 09:00

docker容器间进行数据共享的三种实现方式

如果涉及到跨服务器容器的数据共享，实际上是涉及到服务器之间的数据同步或分布式文件系统，基本不属于docker技术范畴。一、BindMounts方式共享数据
·2022-06-23 15:10

Hadoop大数据从入门到精通-任亮-专题视频课程

Hadoop大数据从入门到精通—48021人已学习课程介绍Hadoop分布式文件系统（HDFS）和MapReduce的工作原理如何优化Hadoop机群所需要的硬件配置搭建Hadoop机群所需要考虑的网络因素如何利用
renlianggee·2022-06-22 08:54

07-Hadoop HDFS之分布式文件系统、NameNode、DataNode和SecondaryNameNode的基础概念

五、Hadoop-HDFS5.1Hadoop的历史5.1.1Hadoop的进化史NutchHadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。Google2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。GFS:GoogleFi
愛してるから·2022-06-21 09:05

【Hadoop生态】-HDFS的理解

灵魂之问，先把我的理解摆上来，HDFS是一种分布式文件系统，HDFS可以让用户的读写操作作用在分布式的存储设备，例如多台计算机、集群式服务器。
Zlouts·2022-06-20 12:30

大数据-2：Hadoop生态以及HDFS部署

独立运行/Local(Standalone)Mode3.2伪分布式集群/Pseudo-DistributedMode3.3全分布式集群/Fully-DistributedMode1.Haoop简介MFS作为分布式文件系统
LeeHoo0·2022-06-20 12:58

FastDFS 技术整理

1、FastDFS1.1、了解基础概念1.1.1、什么是分布式文件系统？
紫邪情·2022-06-05 17:00

一文带你了解优秀的Go 语言开源项目

1.文件系统（FileSystem）篇用于大文件版本控制的Git扩展–git-lfs用于小文件的简单且高度可扩展的分布式文件系统–SeaweedFSGo实现的跨平台文件系统监控库–fsnotifyGo实现的高性能
kuokay·2022-06-02 07:19

初识HBase

adistributed,scalable,bigdatastore.HBaseisatypeof"NoSQL"database.HBase是一个分布式、可伸缩的Hadoop数据库，HBase是在HDFS（分布式文件系统
MusicDancing·2022-05-30 16:19

对象存储 S3 在分布式文件系统中的应用

当前，业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋，文件存储不仅能兼顾多个应用和多个用户访问，更突出的优势是方便文件共享；对象存储凭借灵活性和扁平架构得到了广泛的好评，容量达到EB级以上，实现理论上的对象存储容量和对象数量无限扩充。然而，由于对象存储的访问接口协议单一，数据访问性能较差的问题，使其可适用的范围受到了一定程度的限制。以下内容是焱融科技架构师彭德跃
·2022-05-30 16:54

《大型网站技术架构演进与性能优化》之分布式改造[一]

必须具备分布式配置系统、分布式RPC框架、异步消息系统、分布式数据层、分布式文件系统、服务的发现、注册和管理。第三，必须解决状态一致性问题。
迦叶_金色的人生_荣耀而又辉煌·2022-05-30 08:39

ACA(大数据助理工程师备考)笔记

存储和计算能力提升4v1.体积巨大2.处理速度快3.价值密度低4.种类多来源结构化半结构化非结构化云计算大数据关系云计算提供计算与存储大数据在其基础上进行应用比如大数据发展历史大数据处理问题思路分而治之存储技术分布式文件系统大数据分析技术
撸码的xiao摩羯·2022-05-28 07:21

Hadoop3.0时代，怎么能不懂EC纠删码技术？| 个推技术实践

backblaze作为当前广泛流行的分布式文件系统，HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份，以实现数据可靠性目标
·2022-05-27 12:32

IDEA 中使用 Big Data Tools 连接大数据组件

它提供了使用Zeppelin，AWSS3，Spark，GoogleCloudStorage，Minio，Linode，数字开放空间，MicrosoftAzure和Hadoop分布式文件系统（HDFS）来
·2022-05-26 11:05

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
JuiceFS·2022-05-25 17:00

Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统，用户通常需要直观地了解整个系统的容量、文件数量、CPU负载、磁盘IO、缓存等指标的变化。
·2022-05-25 17:57

场景实践：使用RDS和ECS搭建个人博客

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL
·2022-05-23 14:33

图文详解 HDFS 的工作机制及其原理

初识Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop提供了一套分布式系统基础架构，核心内容包含HDFS(HadoopDistributedFileSystem,分布式文件系统)
Data跳动·2022-05-19 11:00

linux 分布式存储 软件,Ceph分布式存储系统

Ceph是根据加州大学SantaCruz分校的SageWeil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。
出圈唇享·2022-05-13 07:18

Ceph分布式存储工作原理(Ceph分布式块存储)

RADOS应运而生．１）RADOS（概念）:是ceph的核心之一，作为ceph分布式文件系统的一个子项目，特别为ceph的需求设计，能够
Mr..huang·2022-05-13 07:47

一、人工神经元模型与感知机

AI最核心------->深度学习------->与神经网络联系紧密传统人工神经网络是深度学习的基础Hadoop分布式文件系统的架构Namenode存储着文件系统的索引和元数据Datanode存储着具体的数据文件
weixin_30505225·2022-05-13 07:28

SpringBoot项目整合FastDFS+Nginx实现图片上传功能

目录FastDFS概述Fastdfs原理安装Fastdfs整合Nginx模块安装NginxSpringBoot整合FastdfsFastDFS概述FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理
·2022-05-12 14:59

k8s中应用GlusterFS类型StorageClass

GlusterFS在Kubernetes中的应用GlusterFS服务简介GlusterFS是一个可扩展，分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储。
vfanCloud·2022-05-12 11:00

centos安装配置hadoop超详细过程（含故障排除）

以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
格格巫 MMQ!!·2022-05-06 13:42

FastDFS 海量小文件存储解决之道

作者：vivo互联网服务器团队-ZhouChangqing一、FastDFS原理介绍FastDFS是一个C语言实现的开源轻量级分布式文件系统。
·2022-04-26 16:41

Minio基本使用与原理

@[toc]一、MinIo核心概念概念分布式文件系统，简称为OSS对象存储【文件，图片.......】。如图：二、MinIo应用场景应用场景主要是在微服务系统中使用。
·2022-04-22 21:53

BigData大数据开发路线详细完整结构知识体系学习大全（2022）

计算：（四）查询：（五）可视化：（六）任务调度：（七）集群监控：（八）元数据管理：（九）数据质量监控：二、开发平台（一）Hadoop大数据处理框架1、MapReduce磁盘离线分布式计算框架2、HDFS分布式文件系统
REMLILI·2022-04-22 20:46

2019年大数据从入门到精通应该具备的知识体系

大数据架构商业之路：从业务需求到技术方案》工具技能1、hadoop：常用于离线的复杂的大数据处理2、Spark：常用于离线的快速的大数据处理3、Storm：常用于在线的实时的大数据处理4、HDFS：Hadoop分布式文件系统
小迪和夫人·2022-04-22 07:03
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他