GFS分布式文件系统

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

SpringCloud的新闻资讯项目02--- app端文章查看，静态化freemarker，分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO说明：此文章项目为黑马教程，本人只是作为学习使用1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表
@烟雨倾城ゝ·2023-08-14 14:24

黑马头条项目学习--Day2: app端文章查看,静态化freemarker,分布式文件系统minIO

app端文章Day02:app端文章查看，静态化freemarker,分布式文件系统minIOa.app端文章列表查询1)需求分析2)实现思路b.app端文章详细1)需求分析2)Freemarker概述
中二Espresso·2023-08-14 14:23

谁能讲清楚Spark之Spark逻辑处理流程

一.spark处理流程概览spark典型的逻辑处理流程包括四部分：1数据源：数据源表示的是原始数据，数据可以存放在本地文件系统和分布式文件系统中，如HDFS、分布式Key-Value数据（HBase）等
数据咩·2023-08-14 14:39

Ceph分布式存储系统

它使用分布式文件系统、块存储和对象存储来满足不同的存储需求。可扩展性：Ceph可以轻松地扩展
summer_west_fish·2023-08-14 11:18

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

GFS分布式文件系统

文章目录GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume
三年健将计划·2023-08-13 16:22

1.阿里云对象存储OSS

实现文件上传服务，需要有存储的支持，解决方案有以下几种：存储方式优点缺点直接保存到硬盘开发便捷，成本低扩容困难分布式文件系统容易实现扩容开发复杂，需要成熟产品支持第三方存储服务开发简单，强大功能，免维护付费
LB_bei·2023-08-13 12:08

uprobe trace多线程mutex等待耗时

问题背景环境ubuntu2204服务器支持debugfsuprobe，为了提升应用程序的性能，需要量化不同参数下多线程主程序等待在mutex上的耗时区别linuxdocument中对uprobeevents
shenhuxi_yu·2023-08-13 05:27

史上最全！大数据开源框架技术扫盲

、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS
hanxiaolaa·2023-08-12 16:22

hadoop之HDFS

HDFS基础：分布式文件系统，适合一次写入，多次读出的场景，适合用来做数据分析HDFS的组成架构：Namenode:是master，存储元数据信息，配置副本策略，处理客户端的请求，DataNode：是slave
USTC_IT·2023-08-12 04:26

FileSystem类的方法使用

所属的包：org.apache.hadoop.fsFileSystem-->通用文件系统的抽象基类，可以作为一个分布式文件系统的实现，也可以作为连接本地磁盘的文件系统本地版存在于小型的hadoop实例和测试中
天心有情·2023-08-12 01:48

Hbase伪分布式搭建与完全分布式搭建

也就是将来hbase文件被flush成文件的存放地址，区别于hdfs分布式文件系统。
南宫萧言·2023-08-11 08:23

阿里云服务器搭建FTP图片服务器[图文详解]

FastDFS是用c语言编写的一款开源的分布式文件系统。
油炸小波·2023-08-10 19:46

web kettle 数据采集

最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。
屌屌的程序猿·2023-08-10 18:57

Kubernetes使用GlusterFS实现数据持久化

介绍GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设
程序员同行者·2023-08-10 14:06

ROCKCHIP ~ 查看NPU/GPU/CPU 频率/使用率

mount-tdebugfsdebugfs/sys/kernel/debugmount|grepdebugNPU输入以下命令查看NPU频率：cat/sys/kernel/debug/clk/clk_scmi_npu
南柯好萌·2023-08-10 13:25

搭建一个高可用的Zookeeper环境

根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase；而在这三篇论文里都提及Google的一个lockservice---Chubby
Vernon·2023-08-10 11:30

Hadoop 三大组件之HDFS

HDFS存储原理2.1分布式文件存储2.2NameNode元数据管理3.HDFS读写流程3.1HDFS写入流程3.2HDFS数据读取HDFS（HadoopDistributedFiledSystem）分布式文件系统是
不忘初欣丶·2023-08-10 09:49

Hadoop2学习路程-HDFS

Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。
Q75999·2023-08-10 09:48

MapReducer之Map输入

在整个MapReducer阶段中，Map输入的文件，Reducer输出的文件都是存储在分布式文件系统中，但是Map任务处理的中间结果需要保存在本地磁盘，所以Map阶段需要考虑数据的局限性（即计算向数据靠拢
末央酒·2023-08-09 22:47

将图片存入数据湖Hudi

将图片存入ApacheHudi（HadoopUpserts,Deletes,andIncrementals）可以将图片数据转化为二进制数据存储，也可以将图片存储到分布式文件系统（如HDFS）或对象存储（
贾斯汀玛尔斯·2023-08-09 20:45

视频笔记三：GFS

GFS论文还提到了很多关于容错、备份和一致性的问题。GFS本身是Google内部一个很成功的实用系统，其关键点被很好的组织到一块发表成为了学术论文，从硬件到软件，涵盖了很多问题，值得我们学习。
xiaohao204·2023-08-09 19:11

vmware 共享文件找不到

一切都安装好了，但是就是找不到共享文件夹，安装的时候还出现了一个错误MountingHGFSshares:[FAILED]找了好多文章好多方法，最后终于ok了。
梁世勇·2023-08-09 19:30

文献检索

这是什么情况，保存为网页链接，下次打开还要重新打开网页，多么耗时间，于是发现了一个神奇的网站，附上链接：https://gfsoso.99lb.net/sci-hub.html如果下载时遇到这样的情况：
辰安娜·2023-08-09 17:07

Spark使用parquet文件存储格式能带来哪些好处

1)如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准2)速度更快：从使用sparksql操作普通文件CSV和parquet文件速度对比上看，
小癫僧·2023-08-09 16:17

Beegfs分布式文件系统安装实践

环境在HPC高性能计算中，存储需要增加容量，尝试基于beegfs搭建一套分布式存储。
wolfwolfgod·2023-08-09 16:26

GFS分布式文件系统

目录1.简介2.特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议3.术语Brick(存储块)Volume(逻辑卷)FUSEVFSGlusterd4.工作流程5.卷类型6.部署GFS群集1
dark_ones·2023-08-09 15:00

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。
值得一看的喵·2023-08-09 08:35

【Hadoop---07】HDFS 读 / 写 数据流程（面试重点）

HDFS写数据1.1HDFS写数据流程1.2关于副本结点的选择流程2.HDFS读数据1.HDFS写数据1.1HDFS写数据流程HDFS读写流程：HDFS客户端创建DistributedFileSystem(分布式文件系统
ElegantCodingWH·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode与DataNode回顾主节点和副本节点通常指的是Hadoop分布式文件系统（HDFS）中的NameNode和DataNode。
Matrix70·2023-08-09 08:18

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
达坦科技DatenLord·2023-08-09 07:53

上传图片视频

分布式文件系统MinIoMinIO提供多个语言版本SDK的支持，下边找到java版本的文档：地址：https://docs.min.io/docs/java-client-quickstart-guide.htmlMinIO
Chris-myx·2023-08-09 06:15

记录Java读取hdfs上的文件全过程

输入代码后就可以实现了总结前言跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面，提示：以下是一点见解一、项目大体流程我们想要上传到hdfs，首先就得知道hdfs是什么东西：本质：HDFS的中文翻译是Hadoop分布式文件系统
卡丘. 钦爱·2023-08-08 18:52

GFS 分布式文件系统

目录GlusterFS概述1．GlusterFS简介2．GlusterFS特点●扩展性和高性能3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法弹性HASH算法的优点：7．GlusterFS的卷类型8.部署GlusterFS群集编辑安装、启动GlusterFS（所有node节点上操作）添加节点到存储信任池中（在node1节点上操作）编辑在每个Node
飞翔小怪兽·2023-08-08 18:47

【简单认识GFS分布式文件系统】

文章目录一.GlusterFS概述1.GlusterFS简介2.特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.GlusterFS的卷类型1、**分布式卷（Distributevolume）**2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布式复制卷（Dist
除我以外皆是我·2023-08-08 17:18

HDFS数据一致性

校验和4.为实现高可用，HDFS采用的诸多策略4.1冗余副本4.2机架感知4.3心跳机制4.4安全模式4.5校验和4.6回收站4.7元数据保护4.8快照机制1.概述Hadoop中有个重要的工具就是HDFS分布式文件系统
小学僧来啦·2023-08-08 13:53

Google分布式系统三大论文解析

毫无疑问，Google是在这一领域的开山鼻祖，为往圣继绝学，作者将重温Google在分布式系统领域的三大经典论文——GFS、MapReduce、BigTable。
知春路SpideMan·2023-08-08 11:13

分布式学习前瞻

的，可以说是开山鼻祖，后来为了处理更多其他的场景所面临的的问题，于是出现了Spark、Strom等计算框架存储：存储又分为两方面文件系统：决定了数据在磁盘上的存储模式，以及系统对文件数据的操作——比如GFS
Kevin照墨·2023-08-08 11:42

GFS 分布式文件系统

目录1．GlusterFS简介2．GlusterFS特点3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法7．GlusterFS的卷类型8.部署GlusterFS群集8.1准备环境（所有node节点上操作）8.2安装、启动GlusterFS（所有node节点上操作）8.3添加节点到存储信任池中（在node1节点上操作）8.4创建卷8.5部署Glust
Tizzy33·2023-08-08 08:08

Hadoop RPC远程过程调用框架

HadoopRPC（远程过程调用）是Hadoop分布式文件系统（HDFS）和其他Hadoop生态系统组件之间通信的机制，使得分布式集群中的不同节点能够无缝地相互交流和交换数据。
贾斯汀玛尔斯·2023-08-08 05:56

GFS分布式文件系统

目录一、GlusterFS概念MFSGlusterFS特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议二、GlusterFS术语Brick（存储块）Volume（逻辑卷）FUSEVFSGlusterd（后台管理进程）模块化堆栈式架构三、GlusterFS工作流程弹性HASH算法四、GlusterFS的卷类型分布式卷（Distributevolume）分布式卷特点条带卷（Stripe
Liu_Fang_Hong·2023-08-08 01:29

springboot 对接 minio 分布式文件系统

1.minio介绍Minio是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者友好，认为存储应该是一个开发问题而不是一个运维问题。2.mi
前进滴蜗牛·2023-08-07 22:27

openEuler 20.*版本无法在arm机器上安装

*二、问题描述U盘安装，卡在loadkernelmoduleconfigfs处，风扇还是间歇性高强度工作。
杜小甫_cloverd·2023-08-07 18:38

MapReduce基础原理、MR与MPP区别

概述MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算，HDFS用于海量数据的存储（HadoopDistributedFileSystem，Hadoop分布式文件系统
偷偷学习被我发现·2023-08-07 08:04

GFS分布式文件系统

文章目录一、GFS的简介二、GlusterFS特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFSs术语四、GlusterFS构成五、GlusterFS
2301_77369997·2023-08-07 07:50

IPFS白皮书（中文版）

IPFS(中文白皮书)IPFS-可快速索引的版本化的点对点文件系统摘要星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同
IPFS天何·2023-08-06 23:57

简易加密window.btoa及window.atob

加密window.btoa("[email protected]")"a2lsaW1zQGFsaXl1bi5jb20="解密window.atob("a2lsaW1zQGFsaXl1bi5jb20=")
叶叶叶同学·2023-08-06 12:23

大数据——HDFS(分布式文件系统）

一，分布式系统概述Hadoop的两大核心组件HDFS（HadoopDistributedFilesystem）：是一个易于扩展的分布式文件系统，运行在成百上千台低成本的机器上。
风泩·2023-08-06 06:33

GFS分布式文件系统

目录一.文件系统简介1.1文件系统的组成1.2文件系统的作用1.3文件系统的挂载使用二.GFS分布式文件系统2.1GlusterFS简介2.2GlusterFS特点2.3GFS专业术语2.4GlusterFS
牛什么马什么·2023-08-05 23:45
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他