E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
操作系统知识点总结(十三)共享文件(硬链接和软链接)
这些文件的分享是通过
分布式文件系统
、远程文件系统、分布式信息系统实现的。这些系统允许多个客户通过C/S模型共享网络中的服务器文件。现代常用的两
Wimb
·
2023-10-24 15:23
基础理论
操作系统
文件管理
【hadoop——HDFS操作常用的Shell命令】
1.Hadoop
分布式文件系统
(HadoopDistributedFileSystem,HDFS)是Hadoop核心组件之一,我们已经安装好了Hadoop2.7.1,其中已经包含了HDFS组件,不需要另外安装最基本的
所 爱
·
2023-10-24 14:34
hadoop
hadoop
hdfs
大数据中的
分布式文件系统
HDFS的选择题
一.单选题(共10题,50分)(单选题)
分布式文件系统
指的是什么?
不想做程序猿的员
·
2023-10-24 02:39
大数据
hdfs
hadoop
MinIO 介绍 与 FastDFS 对比
官网:https://www.minio.org.cn
分布式文件系统
概念
分布式文件系统
具有冗余性,大量数据分
一只小毛驴
·
2023-10-24 00:49
博客
spring
boot
go-fastdfs安装(国产
分布式文件系统
)
开源协议:Unlicense官网地址:https://sjqzhang.github.io/go-fastdfs/#vision安装:wget--no-check-certificatehttps://github.com/sjqzhang/go-fastdfs/releases/download/v1.3.1/fileserver-Ofileserver&&chmod+xfileserver&&
bj_wasin
·
2023-10-24 00:48
开发语言
后端
Redis学习笔记——NoSQL
商品的图片:采用
分布式文件系统
,如淘宝的TFS、Hadoop的HDFS、Google的GFS等。商品的关键字(搜索引擎):淘宝内用ISearch。商品的波段性的热点高频信息:内存数据库
从程序猿到程序员
·
2023-10-23 06:51
Redis
Hadoop HDFS
分布式文件系统
(介绍以及基础操作命令)
目录一、为什么需要分布式存储?二、分布式的基础架构分析三、HDFS基础架构1.HDFS简介四、HDFS集群启停命令1.一键启停脚本2.单进程启停五、HDFS基本操作命令1.创建文件夹2.查看指定目录下内容3.上传文件到HDFS指定目录下4.查看HDFS文件内容5.下载HDFS文件6.拷贝HDFS文件7.追加数据到HDFS文件中8.HDFS数据移动操作9.HDFS数据删除操作六、HDFS权限不足解决
菜鸟一千零八十六号
·
2023-10-23 05:25
大数据
hadoop
hdfs
大数据
高效存储大规模数据
分布式文件系统
分布式文件系统
是一种将数据分布在多个节点上的存储系统。它提供了高可用性、可扩展性和容错性。
心之所向,或千或百
·
2023-10-23 01:47
大数据
大数据
分布式文件系统
介绍与minio介绍与使用(附minio java client 使用)
分布式文件系统
-minio:第一章:
分布式文件系统
介绍与minio介绍与使用(附miniojavaclient使用)第二章:minio&前后端分离上传视频/上传大文件——前后端分离断点续传&minio分片上传实现文章目录
是谢添啊
·
2023-10-22 21:24
#
java开发实战知识
java
网络
对象存储
linux
go
常用
分布式文件系统
(对象存储)对比-SeaweedFS、Minio
常用
分布式文件系统
,相对比较热门的有Minio,SeaweedFS,FastDFS,ceph。主要对比一下Minio,SeaweedFS。什么是SeaweedFS?
振宅的博客
·
2023-10-22 21:20
分布式文件系统
dfs
FastDFS(
分布式文件系统
)
Tracker:标准服务端口22122、HTTP端口8080Storage:标准服务端口23000、HTTP端口8888文章目录一、架构二、文件上传、下载、删除1时序图2流程说明3代码实现一、架构架构图:Client:客户端。使用java语言编写的项目属于客户端。TrackerServer:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。在内存中记录集群中group和storageserve
AloneDrifters
·
2023-10-22 18:08
分布式
微服务
中间件
java
linux
hadoop完全分布式搭建与集群测试
Hadoop实现了一个
分布式文件系统
(DistributedFileSystem),其中一个组件是HDFS(HadoopDistributed
青春的样子1
·
2023-10-21 19:39
大数据
大数据
hadoop
分布式
hdfs
mapreduce
分布式文件系统
FastDFS实战
1.
分布式文件系统
应用场景互联网海量非结构化数据的存储需求:电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片2.FastDFS介绍https://github.com/happyfish100
小鱼儿&
·
2023-10-21 17:34
dfs
DFS(
分布式文件系统
)与 DFSR(
分布式文件系统
复制)的区别
DFS(
分布式文件系统
)和DFSR(
分布式文件系统
复制)是两种不同的技术,尽管它们在名称上有一些相似之处,但它们的用途和功能有所不同。
Par@ish
·
2023-10-20 14:04
系统运维管理
深度优先
算法
DFS
DFSR
Sqoop技术文档笔记
它可以将结构化数据从关系型数据库(如MySQL、Oracle、SQLServer等)导入到Hadoop的
分布式文件系统
(HDFS)或hive中,并且可以将数据从HDFS、hive导出到关系型数据库中。
小辉懂编程
·
2023-10-20 11:30
sqoop
sqoop
hadoop
hive
必看的11个开源项目
SagooIOT-轻量级的物联网平台管理系统Mars3D-三维地球平台软件系统JuiceFS-为云环境设计,兼容POSIX、HDFS和S3协议的
分布式文件系统
fsr-集资产管理系统+监控系统+简单自愈系统为一体的运维管理故障自愈系统
少壮不努力老大敲代码
·
2023-10-20 06:46
开源
hive数据仓库安装与使用
hive的元数据存放在mysql(或者derby)中,真正的数据存放在dfs
分布式文件系统
内,hive底层封装了很多mapreduce的任务,通过sql语句调度相应的任务。
rose and war
·
2023-10-20 01:24
大数据
hive
数据仓库
hadoop
MapReduce面试题+详解
“MapReduce”框架中用户需要指定的主要配置参数有:
分布式文件系统
中作业的输入位置作业在
分布式文件系统
中的输出位置数据输入格式数据输出格式包含地图功能的类包含reduce函数的类包含映射器、减速器和驱动程序类的
Young_IT
·
2023-10-19 22:13
大数据开发
hadoop
大数据
分布式
mapreduce
Hive篇面试题+详解
Hive的主要功能是将结构化数据映射到Hadoop的
分布式文件系统
(HDFS)上,并提供高级查询和分析功能。2.Hive与传统关系型数据库的区别是什么?
Young_IT
·
2023-10-19 22:39
大数据开发
hadoop
hive
大数据
湖仓一体架构的特性
湖仓一体架构是一种数据架构模式,具有以下特性:统一存储:湖仓一体架构将数据湖和数据仓库合并为一个整体,将结构化数据和非结构化数据存储在同一个存储系统中,如Hadoop
分布式文件系统
(HDFS)或云存储服务
abckingaa
·
2023-10-19 17:55
DB
DB
FastDFS、pojo
FastDFSdistributedfilesystem
分布式文件系统
pojoplainordinaryjavaobject简单的Java对象
Tree27th
·
2023-10-19 12:29
大规模数据处理中心:构建高效的数据处理架构
以下是一个示例的Python代码,用于演示如何使用Hadoop
分布式文件系统
(HDFS)进行数据存储和管理。
抱紧大佬大腿不松开
·
2023-10-19 02:57
大数据
架构
大数据
hadoop和hive、spark、presto、tez是什么关系
它由许多组件组成,包括HDFS(
分布式文件系统
)和MapReduce(分布式计算引擎)。Hive是一个基于Hadoop的数据仓库系统,它允许用户使用SQL语言来查询和分析大型数据集。
草履虫稽亚娜
·
2023-10-19 02:55
hadoop
hive
spark
大数据
分布式
常见的八种
分布式文件系统
介绍
常见的
分布式文件系统
有,GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。
小小哭包
·
2023-10-18 13:32
中间件
分布式文件系统
HDFS
GFS
TFS
MogileFS
FastDFS
mooseFS
hadoop详解
HDFS:1.HDFS文件系统:HDFS是大数据开源框架hadoop的组件之一,全称(HadoopDistributedFileSystem),它是一个
分布式文件系统
,由多台服务器联合起来实现文件存储功能
不吃饭的猪
·
2023-10-18 10:49
hadoop
大数据
分布式
hadoop
分布式文件系统
(HDFS)
1.HDFS系统介绍Hadoop
分布式文件系统
HDFS(HadoopDistributedFileSystem)是一个能够兼容普通硬件环境的
分布式文件系统
,和现有的
分布式文件系统
不同的地方是,Hadoop
旺仔Lhh
·
2023-10-17 20:03
hdfs
hadoop
big
data
Hadoop
分布式文件系统
-HDFS
1.介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的
分布式文件系统
,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
shangjg3
·
2023-10-17 19:53
大数据计算引擎
Hadoop
hadoop
hdfs
大数据
Python+Pickle/Parquet/HDF5...不同文件格式存储模式下的量化因子计算性能对比
为了应对这一挑战,一部分用户选择了
分布式文件系统
,并使用Pickle、Feather、Npz、Hdf5、以及Parquet等格式来存储数据,并结合Python进行量化金融计算。
DolphinDB智臾科技
·
2023-10-17 16:26
python
python量化
量化金融
因子分析
数据分析
高频数据
Level
2
Hadoop原理及部署初探
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
weixin_34010949
·
2023-10-17 15:21
大数据
爬虫
运维
Hadoop原理及部署初探(转)
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
wbj0110
·
2023-10-17 15:51
Hadoop
Hadoop
2.3 初探Hadoop世界
Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程(二)Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性(三)Hadoop的生态体系1、HDFS
分布式文件系统
howard2005
·
2023-10-17 14:15
数据清洗和预处理
大数据离线分析
hadoop
大数据
分布式
GFS
分布式文件系统
&实验
GFS概念Gluster是一个开源的
分布式文件系统
它是一个C/S架构由存储服务器、客户端以及NFS/Samba存储网关组成没有元数据服务器组件,这有助于提升整个系统的性能,可靠性和稳定性文件系统定义负责实现数据存储方式
五彩斑斓的黑@
·
2023-10-17 10:14
数据库
ceph 代码分析 读_Ceph代码分析
Ceph
分布式文件系统
的代码分析的文章网上是比较少的,本团队成员对ceph做过详细的代码阅读,包括mds、osd、client等模块,但是缺少条理清晰的文档总结。
一只快乐的小柠檬
·
2023-10-17 07:54
ceph
代码分析
读
分布式文件系统
元数据服务方式总结(HDFS、CephFS、CurveFS)
上一篇文章https://blog.csdn.net/qq_58034031/article/details/129518612分享了一篇20222论文,讲述在大型
分布式文件系统
中高效元数据服务,以此为启发总结了目前主流
分布式文件系统
它们是如何管理元数据的
兜兜不是豆
·
2023-10-17 07:22
存储
ceph
hdfs
一、什么是ceph以及ceph的应用
什么是ceph以及ceph的应用一、Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、
分布式文件系统
。
Hello world9212
·
2023-10-15 12:24
分布式
运维
大数据技术Hive详解
说明:Hive处理的数据存储在HDFS;Hive分析数据底层的实现是MapReduce;执行程序运行在Yarn上;1.
分布式文件系统
HDFS存储架构与
wespten
·
2023-10-15 12:04
Hadoop
Hive
Spark
大数据安全
hive
大数据
hadoop
Hadoop Hive sql 语法详解
Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop
分布式文件系统
中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将
hong2511
·
2023-10-15 12:30
hive
语法
hadoop
详解
sql
走进HBase
什么是Hbase建立在Hadoop之上HDFS
分布式文件系统
,面向列的存储系统列式数据库是针对行数据库而言的,行式数据库是以一行数据作为一个存储单元,而列式数据库是以一列数据为一个存储单元,针对HBase
、小H
·
2023-10-15 09:41
hbase
TFS文件系统
TFS(TaobaoFileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的
分布式文件系统
,其设计目标是支持海量的非结构化数据的存储;TFS使用C++语言开发,需要运行在64bitLinuxOS
梦里花又落
·
2023-10-14 13:00
TFS
Hadoop生态圈:Hadoop的发展及其模块架构解析
Hadoop的设计目标是将存储和计算分离,并通过高容错性的
分布式文件系统
HDFS(HadoopDistributedFileSyst
禅与计算机程序设计艺术
·
2023-10-14 09:24
大数据AI人工智能
机器学习
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
【大数据】HDFS概述(学习笔记)
一、文件系统、
分布式文件系统
1、传统文件系统文件系统是一种存储和组织数据的方法,实现了数据的存储、分级组织、访问和获取等操作。文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念。
rexhao_wmh
·
2023-10-14 08:45
大数据
hadoop
学习
【大数据】HDFS的使用与集群角色(学习笔记)
Hadoop提供了文件系统的shell命令行客户端hadoopfs[genericoptions]2、文件系统协议HDFSShellCLI支持操作多种文件系统,包括本地文件系统(file:///)、
分布式文件系统
rexhao_wmh
·
2023-10-14 08:45
大数据
hdfs
学习
【云计算】相关解决方案介绍
文章目录1.1云服务环境Eucalyptus1.1.1介绍1.1.2开源协议及语言1.1.3官方网站1.2开源云计算平台abiCloud1.2.1开源协议及语言1.2.2官方网站1.3
分布式文件系统
Hadoop1.3.1
软泡芙
·
2023-10-14 07:35
开发
云计算
解决方案
大数据Hadoop集群搭建-04安装配置HDFS
Hadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备HDFS是配合Hadoop使用的
分布式文件系统
,分为namenode:
叫我懒猫
·
2023-10-14 04:32
Ceph初步了解和ceph集群搭建测试
Ceph初步了解和ceph集群搭建测试常用
分布式文件系统
HadoopFastDFSCephGlusterFSLustre(太老了)Ceph概述Ceph是一个
分布式文件系统
具有高扩展、高可用(默认3副本存储数据一个挂了还有两个
icnvd
·
2023-10-13 22:32
Linux
ceph
解读Genaro黄皮书之存储网络:分布式存储,让搜索更精准节能
他们通过集群应用、网络技术或
分布式文件系统
等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能。在互联网时期,这些功能给大家带来了很多便利。
rainy_he
·
2023-10-13 21:14
基于QKFile的闪电盘应用
QKFile的中文翻译为“夸克
分布式文件系统
”,是一种全新的超媒体分发协议,通过内容和标识来寻址,并支持创建完全分布式应用程序,旨在使全球网络更快,更安全,更开放。
少年已不年少201901
·
2023-10-13 20:27
Minio
分布式文件系统
学习笔记
docker单机安装服务端dockerrun-p9000:9000-p50000:50000--nameminio\-d--restart=always\-e"MINIO_ROOT_USER=admin"\-e"MINIO_ROOT_PASSWORD=xie@1234"\-v/opt/software/minio/data:/data\-v/opt/software/config:/root/.m
Gene兵
·
2023-10-13 13:25
java
学习笔记
minio
RDD(python
RDD创建从文件系统加载.textFile()支持本地文件系统
分布式文件系统
HDFS云端文件>>lines=sc.textFile("file:///usr/local/spark/mycode/rdd
KwokWyman
·
2023-10-12 21:01
python
hdfs
big
data
4-17(NFS深入学习)
NFS(networkfilesystem)主要用于不同网络之间用作数据共享的文件系统@@@@@NFS一般应用于中小型企业,大型企业一般使用更加复杂的
分布式文件系统
,如:MoosefsFlusterFSFastDFS
轨_迹
·
2023-10-12 00:32
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他