E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
NFS 网络文件系统
NFS协议是在
分布式文件系统
的基础上发展而来的,最早由SunMicrosystems开发,现已成为一个通用的文件共享协议,在UNIX和类UNIX系统中广泛使用。特点:
樂夢
·
2024-02-01 23:08
网络
linux
运维
服务器
1 初识Ceph
Ceph是加州大学SantaCruz分校的SageWeil专为博士论文设计的
分布式文件系统
,支持对象存储、块存储和文件存储。从2004年新建第一个文件夹至今,经历了多次迭代,目前已是分布式存储的首选。
DaemonXiao
·
2024-02-01 21:21
大数据高频面试题一:hive和Oracle的区别
Hive和Oracle数据库最大的区别在于存储和计算方面:Hive存储在hdfs上(Hadoop
分布式文件系统
容错性高),Oracle将数保存在本地文件系统中。
半亩书田
·
2024-02-01 02:47
面试题
hive
hadoop
大数据
什么是分布式系统!以及分布式系统架构的优缺点
包括分布式操作系统、分布式程序设计语言及其编译系统、
分布式文件系统
分
架构师Javaspring
·
2024-01-31 15:57
大数据存储与管理
大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理,包括Hadoop
分布式文件系统
(HDFS)和分布式数据库(Hbase);体系结构:一、
分布式文件系统
HDFS1.HDFS体系结构2.HDFS
Kris林
·
2024-01-31 07:25
大数据----4.hadoop分布式框架搭建
-使用本地文件系统,而不是
分布式文件系统
。-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce
学无止境的大象
·
2024-01-31 06:49
#
大数据
hadoop
HDFS Federation前世今生
一背景熟悉大数据的人应该都知道,HDFS是一个
分布式文件系统
,它是基于谷歌的GFS实现的开源系统,设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。
跟着大数据和AI去旅行
·
2024-01-31 05:31
大数据从入门到精通
hdfs
rbf
viewfs
Flink中StateBackend(工作状态)与Checkpoint(状态快照)的关系
Flink定期获取所有状态的快照,并将这些快照复制到持久化的位置,例如
分布式文件系统
。如果发生故障,Flink可以恢复应用程序的完整状态并继续处理,就如同没有出现过异常。Fli
PONY LEE
·
2024-01-31 04:22
Flink
flink
大数据
Spark的核心RDD(Resilient Distributed Datasets弹性分布式数据集)
除可复制的文件系统(HDFS)外没有提供其他存储的概念,这就导致在网络上进行数据复制而增加了大量的消耗,而对于两个的MapReduce作业之间数据共享只有一个办法,就是将其写到一个稳定的外部存储系统,如
分布式文件系统
fcyh
·
2024-01-30 15:46
Spark
2.图说HDFS基本原理
英文原版作者:ManeeshVarshney,
[email protected]
是现在最受欢迎和被人们说熟知的
分布式文件系统
。
__元昊__
·
2024-01-30 03:59
hadoop必记知识点(1)
其中,HDFS为
分布式文件系统
,负责数据存储;MapR
运维仙人
·
2024-01-30 02:40
hadoop
大数据
分布式
大数据 - Hadoop系列《三》- MapReduce(分布式计算引擎)概述
上一篇文章:大数据-Hadoop系列《三》-HDFS(
分布式文件系统
)概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn
·
2024-01-29 23:31
大数据
hadoop
大数据
hadoop
hdfs
GFS--Google File System论文翻译和理解
一、系统设计目标高可用的大文件
分布式文件系统
。二、关键点Architecture-架构:有哪些Server,每个Server的功能。Master存储的MetaData的结构。client写数据流程。
不争_900c
·
2024-01-29 23:00
全面解析基于Hadoop模型的数据分析平台框架
本文主要讲解以下两个方面:♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义:Hadoop
分布式文件系统
丨程序之道丨
·
2024-01-29 17:04
HDFS
HDFS入门1.1.HDFS介绍HDFS是HadoopDistributeFileSystem的简称,意为:Hadoop
分布式文件系统
。是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。
VincentLeon
·
2024-01-29 08:44
SpringBoot中实现阿里云OSS对象存储
实现文件上传服务,需要有存储的支持,那么我们的解决方案将以下几种:直接将图片保存到服务的硬盘(springmvc中的文件上传)优点:开发便捷,成本低缺点:扩容困难使用
分布式文件系统
进行存储优点:
努力学习的小飞侠
·
2024-01-28 18:33
springboot小知识
spring
boot
阿里云
java
分布式数据实现跨设备数据同步的N个秘密 | 分布式数据管理解析(二)
这都得益于分布式数据管理平台抽象出的三大关键技术——分布式数据库,
分布式文件系统
和融合搜索。那么这三大技术究竟如何具体实现全场景多设备上的数据保存,数据同步,数据访问,让我们一一来详细解读。
码中之牛
·
2024-01-28 03:10
OpenHarmony
鸿蒙
Harmony
OS
分布式
harmonyos
华为
Openharmony
移动开发
进程间通讯
1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)
Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop
分布式文件系统
中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL
yuyuyuyo
·
2024-01-27 05:53
[AIGC 大数据基础] 浅谈hdfs
HDFS(HadoopDistributedFileSystem)是ApacheHadoop生态系统的一部分,是一个
分布式文件系统
。
程序员三木
·
2024-01-27 01:00
大后端
大数据
AIGC
hdfs
大数据开发必备工具——Hadoop及整体架构介绍
它由几个关键的组件组成,其中最核心的是Hadoop
分布式文件系统
(HDFS)和MapReduce计算模型。
love6a6
·
2024-01-26 21:03
大数据
hadoop
架构
一文了解Ceph原理以及常见ceph指令
涉及初衷是成为一个可避免单点故障的
分布式文件系统
,提供较好的性能、可靠性和可扩展性。通过网络将数据分散存储在多台独
听说唐僧不吃肉
·
2024-01-26 13:08
分布式存储
ceph
CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读
尽管已经开发了许多
分布式文件系统
以扩展到数千台计算机的集群,但由于在地理距离上提供期望的文件系统语义和工具(如线性化操作、分层访问控制、标准命令行工具等)的困难,这些
妙BOOK言
·
2024-01-25 14:02
论文阅读
论文阅读
元数据
如何使用静态化freemarker和
分布式文件系统
minIO去存储静态文件 增强访问效率
有的时候把网页文章根据id查询出来可能更快一些但是如果作为静态化处理的话效率可能更好一点目录一、freemarker1.freemarker介绍2、环境搭建&&快速入门2.1pom文件2.2配置文件2.3创建模型类2.4创建模板2.5创建controller2.6测试3.freemarker基础3.1)基础语法种类3.2)集合指令(List和Map)3.3)if指令3.4)运算符3.5)空值处理3
学习中的程序媛~
·
2024-01-25 10:31
java
开发语言
缓存
Hudi学习笔记(一)
大数据发展背景Hudi用于管理
分布式文件系统
上大型分析数据集存储,支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更,也支持下游系统对这个数据集的增量处理。
一一|一一一亅
·
2024-01-25 09:37
学习
笔记
Hadoop HDFS 实现原理图文详解
一、HDFS体系结构1.1HDFS简介Hadoop
分布式文件系统
(HDFS)是运行在通用硬件(commodityhardware)上的
分布式文件系统
(DistributedFileSystem)。
禅与计算机程序设计艺术
·
2024-01-25 07:49
hbase 总结
HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop
分布式文件系统
(HDFS)上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l
·
2024-01-24 08:24
大数据
hbase
分布式文件系统
代码详解
全局设置Dataserver定义proto远程调用函数serviceDataServer{//创建文件,对应touch命令rpcCreateFile(CreateFileRequest)returns(BaseResponse){}//创建文件夹,对应mkdir命令rpcCreateDirectory(CreateDirectoryRequest)returns(BaseResponse){}//
误伤这又何妨
·
2024-01-24 07:24
分布式
数据库
python
linux
【架构】分布式系统及相关技术栈初了解
1.3分布式系统的功能解耦分布式系统按层次划分:2)分布式架构的演变1、初始阶段架构2、应用服务和数据服务分离3、使用缓存改善性能4、使用应用服务器集群5、数据库读写分离6、反向代理和CDN加速7、
分布式文件系统
和分布式数据库
黑黑白白君
·
2024-01-23 15:14
后端
分布式
分布式存储
分布式计算
负载均衡
架构
FastDFS分布式文件存储
为什么会有
分布式文件系统
?
分布式文件系统
是面对互联网的需求而产生。因为互联网时代要对海量数据进行存储。很显然靠简单的增加硬盘个数已经满足不了我们的要求。
愚人钊呀
·
2024-01-23 09:12
SpringBoot
分布式
CentOS 7部署 Ceph分布式存储架构
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、
分布式文件系统
。
大帅同学
·
2024-01-23 09:48
Hadoop -- HDFS
1.什么是Hadoophadoop中有3个核心组件:
分布式文件系统
:HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi
·
2024-01-23 02:42
大数据
hdfs
hadoop
Hadooop和Hbase是什么关系
HBase通过Hadoop的HDFS(Hadoop
分布式文件系统
)和MapReduce实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
1.使用
分布式文件系统
Minio管理文件
分布式文件系统
DFS分类文件系统文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索文件系统是负责管理和存储文件的系统软件
echo 云清
·
2024-01-22 15:39
#
分布式文件系统
php
开发语言
Minio
分布式文心系统
java
【GitHub项目推荐--不错的 C 开源项目】【转载】
今天老逛盘点GitHub上不错的C语言开源项目,分别是:1.云存储系统2.
分布式文件系统
3.太空侵略者复刻版4.C语言教程5.Nginx、Redis01.云存储系统Seafile是一个用C语言编写的云存储系统
旅之灵夫
·
2024-01-21 22:19
GitHub项目推荐
c语言
开源
开发语言
大数据导论(3)---大数据技术
文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2
分布式文件系统
HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜
·
2024-01-20 21:28
大数据导论
大数据导论
大数据技术
课程学习
Docker Desktop 部署单机minio节点
命令都是可以复用的
分布式文件系统
概念
分布式文件系统
具有冗余性,大量数据分散到不同的节点上存储。
xxx-xail
·
2024-01-20 21:57
minio
docker
大数据Hadoop入门——HDFS
分布式文件系统
基础
HDFS总结在现代的企业环境中,海量数据超过单台物理计算机的存储能力,
分布式文件系统
应运而生,对数据分区存储于若干物理主机,管理网络中跨多台计算机存储的文件系统。
nucty
·
2024-01-20 16:00
大数据
大数据
hadoop
hdfs
Linux环境搭建FastDFS文件服务器(附带Nginx安装)
首先简单介绍一下FastDFS是淘宝资深架构师余庆老师主导开源的一个
分布式文件系统
,用C语言编写。适应与中小企业,对文件不分块。主要有Tracker(管理)和Storage(储存)。
liaozk_c
·
2024-01-20 13:55
Linux服务器中间件安装部署
服务器
linux
nginx
个人开发
jvm
FastDFS之快速入门、上手
知识概念
分布式文件系统
通过计算机网络将各个物理存储资源连接起来。通过
分布式文件系统
,将网络上任意资源以逻辑上的树形结构展现,让用户访问网络上的共享文件更见简便。
微风至夏
·
2024-01-20 12:03
海量数据存储专栏
fastdfs
Hadoop基础知识
狭义上说,Hadoop指Apache这款开源框架,它的核心组件有:HDFS(
分布式文件系统
):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(分布式运算编程框架
坐在风口上de猪
·
2024-01-20 10:10
hadoop
大数据
分布式
信息系统项目管理---范围管理论文草稿
人力资源管理,成本管理范围管理项目背景项目规模发起单位目的项目内容组织结构项目周期交付段产品等我的指责,切入论文的题目;项目范围管理2800400字摘要本文讨论了中国xx研究院开发的大型规模标准型号车载
分布式文件系统
的范围管理
禾乃儿_xiuer
·
2024-01-19 05:29
系统架构
HDFS 系统架构
HDFSArchitectureIntroductionHadoopDistributedFileSystem(HDFS)是设计可以运行于普通商业硬件上的
分布式文件系统
。
偷油考拉
·
2024-01-18 03:52
Ceph
分布式文件系统
集群搭建详解
1、Ceph
分布式文件系统
简介Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、
分布式文件系统
。Ceph独一无二地在一个统一的系统中同时提供了对象、块、和文件存储功能。
蔚蓝色天空sky
·
2024-01-18 00:11
分布式
ceph
分布式文件系统
Ceph
分布式文件系统
集群搭建
目录一、规划设计二、环境准备三、部署ceph集群四、开启Dashboard一、规划设计准备四台虚拟机(部署三台服务器和一台计算机更好),分别安装centos-7-x86_64操作系统,使用的ceph的版本minic版,网络地址及规划随机。节点名称IP地址系统版本部署进程数据盘Ceph1192.168.239.150Centos-7-x86_64MON+mgr+OSD/dev/sdbCeph2192
疯狂运维的树懒
·
2024-01-18 00:10
ceph
云存储
云计算
七牛云存储
linux
运维
Ceph
分布式文件系统
Ceph是加州大学SantaCruz分校的SageWeil(DreamHost的联合创始人)专为博士论文设计的新一代自由软件
分布式文件系统
。
ejinxian
·
2024-01-18 00:40
架构设计
Ceph
分布式文件系统
分布式文件
部署ceph
分布式文件系统
部署ceph
分布式文件系统
1.配置ceph环境系统2.创建ceph集群监控mon3.创建存储设备osd4.查看集群状态,验证5.部署ceph文件系统使用一台服务器作为主服务器,其他可以通过for循环来整体实现
NJ诶
·
2024-01-18 00:10
ceph
Ceph
分布式文件系统
目录1.存储基础单机DAS存储设备DASNASSAN单机存储的问题分布式存储分布式存储的类型2.Ceph简介Ceph优势Ceph架构Ceph组件OSD(ceph-osd)Monitor(ceph-mon)Manager(ceph-mgr)MDS(ceph-mds)PG(归置组)Pool(存储池/资源池/数据池)OSD存储后端FilestoreBluestoreBlueStore的主要功能Ceph数
Ybaocheng
·
2024-01-18 00:39
ceph
FastDFS 环境搭建及使用详解
文章目录1、简介1.1
分布式文件系统
1.2FastDFS1.3FastDFS架构2、环境搭建2.1FastDFS安装2.1.1安装前准备2.1.2安装包下载2.1.3安装libfastcommon2.1.4
程序员大佬超
·
2024-01-17 16:19
FastDFS
hdfs
FastDFS
你其实并不懂
分布式文件系统
一、概述
分布式文件系统
是分布式领域的一个基础应用,其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。
王知无(import_bigdata)
·
2024-01-16 13:14
分布式
大数据
hadoop
数据库
java
分布式文件系统
应该从哪些方面考虑
分布式文件系统
是分布式领域的一个基础应用,其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。
吃胖点儿
·
2024-01-16 13:44
分布式系统
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他