E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
阿里云
分布式文件系统
OSS实现文件上传、删除与下载
介绍OSS:阿里云
分布式文件系统
网址:OSS控制台作用如果在应用程序所在服务器上做文件上传与下载会给服务器造成很大压力,所以项目会使用独立的文件系统。
龙域、白泽
·
2023-12-28 07:46
阿里云
优质博客
spring
boot
阿里云
PathManager功能
在很多深度学习框架和工具中,PathManager被用作一个文件路径的管理器,它可以自动适应不同的文件系统,包括本地文件系统和
分布式文件系统
。以下是一些PathManager类可能提供的基本功能
何处不逢君
·
2023-12-27 15:45
深度学习
深度学习
人工智能
embedding
目标检测
计算机视觉
python
Spark与Hadoop的关系和区别
它包括两个核心组件:Hadoop
分布式文件系统
(HDFS):用于存储大规模数据的
分布式文件系统
。H
晓之以理的喵~~
·
2023-12-27 12:13
Spark
spark
hadoop
大数据
[spark] DataFrame 的 checkpoint
在ApacheSpark中,DataFrame的checkpoint方法用于强制执行一个物理计划并将结果缓存到
分布式文件系统
,以防止在计算过程中临时数据丢失。
言之。
·
2023-12-27 06:29
spark
大数据
分布式
Hadoop大数据实战系列文章之HDFS文件系统
Hadoop附带了一个名为HDFS(Hadoop
分布式文件系统
)的
分布式文件系统
,专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务。
测试帮日记
·
2023-12-26 21:39
修改nfs服务的依赖服务rpcbind的111端口
NFS和rpcbind的关系NFS(NetworkFileSystem)是一种
分布式文件系统
,它允许在不同的计算机之间共享文件。在进行NFS共享之前,需要先启动RPCbind服务。
花蹦蹦精他哥
·
2023-12-26 13:32
linux
服务器
运维
如何准备系统设计面试?
2:设计一个框架比如RPC框架、消息队列、缓存框架、
分布式文件系统
等等。3:设计某某系统中的一个功能比如哔哩哔哩的点赞功能。
_River_
·
2023-12-26 04:16
大数据技术——处理架构Hadoop
软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构•Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中•Hadoop的核心是
分布式文件系统
Imrea
·
2023-12-26 01:55
大数据
架构
hadoop
架构设计内容分享(七十六):分布式存储架构分析
目录一、集中存储结构二、分布式存储三、分布式理论浅析四、
分布式文件系统
五、分布式键值系统一、集中存储结构说到分布式存储,我们先来看一下传统的存储是怎么个样子。
之乎者也·
·
2023-12-25 20:01
架构设计
内容分享
分布式
内容分享
分布式
架构
【Hadoop】HDFS shell操作与管理工具
HDFSshell操作HDFS管理工具dfsadminfsck均衡器HDFSshell操作HDFS是存取数据的
分布式文件系统
,对HDFS的操作就是文件系统的基本操作,如文件的创建、修改、删除、修改权限,
不怕娜
·
2023-12-24 18:41
hadoop
hdfs
npm
【Hadoop】HDFS简介——是什么/优缺点/适用场景
HDFS不适用场景HDFS是什么源自Google的GFS论文Google于2003年10月发表HDFS是GFS的一个克隆版HDFS(HadoopDistributedFileSystem)是易于扩展的
分布式文件系统
不怕娜
·
2023-12-24 18:11
hadoop
hdfs
大数据
文章分享-1周-怎么理解分布式、高并发、多线程?
涉及领域非常多,例如
分布式文件系统
(例如fast
庄泽锐
·
2023-12-24 16:07
Hadoop学习笔记(一)分布式文件存储系统 —— HDFS
概念HDFS(HadoopDistributedFileSystem),Hadoop
分布式文件系统
,用来存超大文件的。
zhang35
·
2023-12-24 08:54
大数据技术栈
大数据
分布式
Hadoop
入门
hdfs
Hadoop学习之HDFS——小白入门笔记
一、
分布式文件系统
1.
分布式文件系统
解决问题:海量数据的高效存储2.
分布式文件系统
是将文件分布存储到多个计算机节点上。
cainiao22222
·
2023-12-24 08:52
hadoop
hdfs
hadoop
hdfs
Java从入门到入坑(架构篇)
Dubbo服务注册、服务发现,服务治理http://dubbo.apache.org/zh-cn/3:分布式数据库怎样打造一个分布式数据库、什么时候需要分布式数据库、mycat、otter、HBase4:
分布式文件系统
小小弓长张
·
2023-12-23 15:07
minio 分布式对象存储
分布式文件系统
应用1.1、Minlo介绍Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
锅锅嗨
·
2023-12-23 09:55
分布式
大数据指标中台构建核心技术解析
主要围绕以下四个方面展开:1.网易数帆大数据产品介绍2.网易数帆指标中台3.指标中台核心技术解析4.未来规划及展望01网易数帆大数据产品介绍1.网易数据分析的发展历史网易自2006年开始使用大数据技术组件,如分布式数据库、
分布式文件系统
王知无(import_bigdata)
·
2023-12-22 11:56
大数据
大数据---33.HBase数据结构
一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库(即非关系型数据库),依托Hadoop
分布式文件系统
HDFS提供分布式数据存储,利用MapReduce来处理海量数据,用Zookeeper
学无止境的大象
·
2023-12-21 19:07
大数据
hbase
数据结构
计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计
spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程:python爬取直播数据存到.csv文件、mysql数据库(备份数据集),上传CSV到hdfs
分布式文件系统
上
计算机毕业设计大神
·
2023-12-21 19:26
Flume多路复用模式把接收数据注入kafka 的同时,将数据备份到HDFS目录
示例配置如下:fs.defaultFShdfs://localhost:9000hdfs-site.xml:设置HDFS(Hadoop
分布式文件系统
)的参数,例如数据块复制因子、NameNode的存储路径等
HaveAGoodDay.
·
2023-12-21 17:52
Flume
大数据应用开发赛项
Hadoop
大数据
flume
kafka
hadoop
hdfs
hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件
在Hadoop
分布式文件系统
(HDFS)中,你可以使用hadoopfs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制,包括目录中的子目录和子文件。
言之。
·
2023-12-21 14:27
hdfs
hadoop
大数据
GFS
分布式文件系统
gfdglusterFS开源的
分布式文件系统
存储服务器客户端以及网络(NFS/samba)网关传统式老的分布式系统是依赖于元服务器,元服务器保存存储节点的目录树信息。
早上的星星
·
2023-12-20 20:22
mysql
数据库
SeaweedFS介绍安装集群部署总结
什么是SeaweedFSSeaweedFS是一种简单的、高度可扩展的
分布式文件系统
。SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。
编程无霸哥
·
2023-12-20 17:07
HDFS工作机制和原理
HDFS是一种分部式的文件系统,在他出现以前就已经存在了很多中
分布式文件系统
,但是他们都是部署在服务器上,需要高的POSIX接口,同时他们默认服务器是稳定的可以提供大量资源。
Tim在路上
·
2023-12-20 15:36
ceph存储服务结构介绍以及速度优化的方法
以下是这些存储服务的简要介绍和结构:CephFS(Ceph文件系统):结构:CephFS是Ceph提供的
分布式文件系统
,它基于RADOS(可扩展自动分布式对象存储)构建。
小果运维
·
2023-12-20 14:19
ceph
ceph
存储
分布式
优化
速度
go-fastdfs
go-fastdfs是一个基于http协议的
分布式文件系统
,它基于大道至简的设计理念,一切从简设计,使得它的运维及扩展变得更加简单,它具有高性能、高可靠、无中心、免维护等优点。
芋头哥
·
2023-12-19 20:41
中间件
docker
go-fastdfs
从零开始了解大数据(三):HDFS
分布式文件系统
篇
目录前言一、HDFS
分布式文件系统
基础1.数据与元数据2.分布式存储系统的核心属性3.HDFS的设计目标4.HDFS的重要特性二、HDFSShell操作1.HDFSShell命令行简介2.HDFSShell
橘子-青衫
·
2023-12-19 13:23
大数据
从零开始了解大数据
大数据
数据分析
数据挖掘
hadoop
短视频矩阵系统多账号搭建技术源码(源头3年开发者技术独立搭建)
通过使用
分布式文件系统
(例如AWSS3)和自动化上传工具,可以实现批量上传功能,并通过设置定时任务和
云罗互动yx898978
·
2023-12-19 13:52
短视频矩阵源码
矩阵
矩阵源码
短视频矩阵源码
大数据技术11:Hadoop 原理与运行机制
前言:HDFS(HadoopDistributedFileSystem)是Hadoop下的
分布式文件系统
,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
Java架构何哥
·
2023-12-18 21:56
大数据治理
hadoop
大数据
分布式
Hadoop分布式系统基础框架
Hadoop Single Node Cluster的安装
安装位置设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS
分布式文件系统
创建并格式化
艾醒(AiXing-w)
·
2023-12-18 16:50
hadoop
hadoop
大数据
分布式
Ceph存储
没有冗余,不具备容错功能raid1100%容错raid5最少三块性能不如raid0容错不如raid1raid0+raid1性能+容错raid时代-->分布式存储(ceph)时代1PB级别用raid很难实现
分布式文件系统
文件系统管理的物理存储资源不一定直接连接在本地节点上
叫我家驹范
·
2023-12-18 15:15
存储
GFS
分布式文件系统
GFS
分布式文件系统
:全称:gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络(NFS/samba)网关传统式老的分布式系统元服务器,元服务器保存存储节点的目录树信息。
DDYYmmm
·
2023-12-18 05:26
运维
Hadoop (海量数据存储及计算) 基本概念
[1]Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
ronmy
·
2023-12-18 02:51
大数据
Hadoop
大数据
海量数据
存储
分布式文件系统
之HDFS
前言一、HDFS简介1.1HDFS产出背景及定义1)HDFS产生背景先给大家介绍一下什么叫HDFS,我们生活在信息爆炸的时代,随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2)HDFS定义HDFS(HadoopDistribu
僖僖cc
·
2023-12-17 17:41
hdfs
hadoop
大数据
从传统型数据库到非关系型数据库
其本质是一个具有数据存储功能的复杂系统软件,数据库最终把数据保存在计算机硬盘,但数据库并不是直接读写数据在硬盘,而是中间隔了一层操作系统,通过文件系统把数据保存为本地文件系统的数据文件;我们讲过Hadoop,
分布式文件系统
僖僖cc
·
2023-12-17 17:38
数据库
nosql
高效存储大规模数据的方法与实现
分布式文件系统
分布式文件系统
是一种常见的大数据存储解决方案。它将数据划分为多个块,并将这些块存储在不同的机器上。这种方式可以提高数据的可靠性和可扩展性。
静谧星光c
·
2023-12-17 11:47
大数据
2018-06-14
hadoop.apache.org/2.Hadoop的狭义和褒义认识:狭义:软件(HDFS、MapReduce、Yarn)褒义:以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x:HDFS:
分布式文件系统
hoose
·
2023-12-17 09:26
PDF转为图片
起初是用
分布式文件系统
,将pdf以流的形式直接传递给前端,前端使用canvas将dpf转为图片,再用jQuery、turn.js进行3
老攀呀
·
2023-12-17 04:56
Java
pdf
NFS远程文件共享系统!
NFS(NetworkFileSystem,网络文件系统)是一种
分布式文件系统
,允许用户通过网络访问远程主机上的文件。
M乔木
·
2023-12-16 23:31
日常分享
开发语言
鸿蒙系统
linux
分布式文件存储系统Minio使用总结
分布式文件存储系统Minio使用总结1.
分布式文件系统
应用:1.1、Minlo介绍:Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
北执南念
·
2023-12-16 11:40
微服务
分布式
分布式文件系统
及Minio配置及测试
功能强大,使用简单~
分布式文件系统
要理解
分布式文件系统
首先了解什么是文件系统。文件系统是方便对磁盘上的文件进行管理的一种系统。把若干计算机通过网络连接起来,共同提供存储和访问的服务。
happystudy_neu
·
2023-12-16 11:04
微服务
分布式
java
大数据学习(一)-------- HDFS
2、hadoophadoop有三个核心组件:hdfs:
分布式文件系统
mapreduce:分布式运算编程框架yarn:分布式资源调度平台3
大数据流动
·
2023-12-15 21:01
Ceph入门到精通-ceph二次开发开源协议考虑
Ceph是一个开源的分布式存储系统,它由多个组件组成,包括分布式对象存储(RADOS)、分布式块存储(RBD)和
分布式文件系统
(CephFS)等。
瓦哥架构实战
·
2023-12-15 07:40
Ceph入门到精通
ceph
开源协议
【Hadoop】
组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助
分布式文件系统
HadoopYARN
想当运维的程序猿
·
2023-12-15 07:43
hadoop
大数据
分布式
HarmonyOS
分布式文件系统
开发指导
分布式文件系统
概述
分布式文件系统
(hmdfs,HarmonyOSDistributedFileSystem)提供跨设备的文件访问能力,适用于如下场景:●两台设备组网,用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
Android小贾
·
2023-12-14 15:02
HarmonyOS
OpenHarmony
移动开发
harmonyos
华为
OpenHarmony
移动开发
分布式
图说HDFS基本原理
英文原版作者:ManeeshVarshney,
[email protected]
是现在最受欢迎和被人们说熟知的
分布式文件系统
。
数据萌新
·
2023-12-06 18:40
大数据Hadoop
分布式文件系统
HDFS的两类节点NameNode和DataNode
HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。HDFS官方架构图一、NameNode(NN)——基于内存存储:不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件owership和permi
A尚学堂Nancy老师
·
2023-12-06 15:56
比较 Apache Hive 和 Spark
Hive是一个运行在Hadoop
分布式文件系统
上
vvoennvv
·
2023-12-06 06:50
apache
hive
spark
【读书笔记】《大数据技术体系详解:原理、架构与实践》03.
分布式文件系统
这些文件形式的数据具有价值高、数据大、流式产生等特点,需要一个
分布式文件系统
存储它们,该文件系统应具有良好的容错性、扩展性和易用的API,而HDFS(HadoopDistributedFileSystem
粥一样温柔
·
2023-12-06 05:40
分布式文件存储系统Minio,tuling,fox
MinIO|高性能,对Kubernetes友好的对象存储MinIOHighPerformanceObjectStorage—MinIOObjectStorageforLinux一
分布式文件系统
应用场景fastDFS
aiwokache
·
2023-12-06 01:28
#
06
微服务架构
分布式
数据库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他