E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
【云存储】主流
分布式文件系统
介绍
目录1、引言2、云存储与
分布式文件系统
2.1、云存储2.2、
分布式文件系统
3、Google的三大云计算与云存储论文3.1、TheGoogleFileSystem(谷歌文件系统)3.2、MapReduce
dvlinker
·
2023-07-15 06:02
技术分享系列
云存储
分布式文件系统
GFS
FastDFS
HDFS
Ceph
TFS
Redis超详细入门到精通
1.7、什么是Noqsl1.8、Nosql特点2、Nosql的四大分类文档型数据库(bson格式和json一样):列储存数据库
分布式文件系统
图关系数据库3、Redis入
不太懂编程
·
2023-07-15 05:51
redis
nosql
数据库
HarmonyOS学习路之开发篇—数据管理(分布式文件服务)
基本概念分布式文件分布式文件是指依赖于
分布式文件系统
,分散存储在多个用户设备上的文件,应用间的分布式文件目录互相隔离,不同应用的文件不能互相访问。
爱吃土豆丝的打工人
·
2023-07-15 02:00
HarmonyOS
学习(java开发篇)
harmonyos
学习
分布式
文件管理
华为
Network
FastDFS 介绍
简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存
踩踩踩从踩
·
2023-07-14 16:33
数据库及海量数据存储
java
中间件
(四)kafka从入门到精通之安装教程
它的主要作用是实现数据的实时同步和分发,可以用于实现分布式数据库、
分布式文件系统
、分布式日志系统等。Zookeeper的设计目标是高可用性、高性能、低延迟,它支持多种客
隐 风
·
2023-07-14 14:12
kafka专区
java消息中间件笔记
kafka
java
分布式
zookeeper
linux
2023黑马头条.微服务项目.跟学笔记(二)
2023黑马头条.微服务项目.跟学笔记二app端文章查看,静态化freemarker,
分布式文件系统
minIO今日简介学习内容1.文章列表加载1.1需求分析1.2表结构分析思考:表的垂直拆分1.3导入文章数据库
心向阳光的天域
·
2023-07-14 08:33
Spring
Cloud微服务
微服务
笔记
数据库
《构建高性能web站点》笔记
数据的网络传输、服务器并发处理能力、动态内容缓存、动态脚本加速、浏览器缓存、web服务器缓存、反向代理缓存、web组件分离、分布式缓存、数据库性能优化、web负载均衡、共享文件系统、内容分发和同步、
分布式文件系统
SkTj
·
2023-07-13 21:10
FastDFS文件系统
FastDFS文件系统环境+代码实现一.FastDFS1.什么是FastDFSFastDFS:FastDistributedFileSystem,快速的
分布式文件系统
,是一款用c语言开发的开源的
分布式文件系统
MyBlogHiHi
·
2023-07-13 15:56
hdfs
hadoop 3.1.2 安装在 Windows
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
droxy
·
2023-07-05 15:30
Linux虚拟机ens33无法连接问题
今天学习FsatDFS想要在虚拟机搭一个
分布式文件系统
发现没法连接我的虚拟机,我的虚拟机是centos7net模式进去ifconfig发现没有以往的eth0而是一个ens33的东西并且没有IP我的解决办法是
ch132
·
2023-06-24 11:03
Linux
「分布式技术专题」两种向量化执行引擎的实现方法
高并发场景中,可以把大量的请求合并,改为调用批量接口;大数据下读取
分布式文件系统
时,如果要读取大量的小文件,可以将这些小文件打成tar包,或者批量一次打开100~500个文件;数据库插入数据时,修改单条插入为批量插入等
国产数据库Hubble
·
2023-06-24 10:20
【运维这些事儿】- 网络文件系统之NFS
NFS是一种
分布式文件系统
,通过网络可以将不同操作系统的文件共享。其通信协议定基于TCP/IP协议层,将远程的计算机磁盘挂载到本地,读写文件跟本地磁盘一样。
努力做一名技术
·
2023-06-24 09:58
运维这些事儿
网络
运维
linux
【运维知识进阶篇】集群架构-NFS网络文件系统
NFS系统和Windows网络共享、网络驱动器类似,只不过Windows用于局域网,NFS用于企业集群架构中,大型网站会用到更复杂的
分布式文件系统
FastDFS,glusterfs,HDFS等等。
我是koten
·
2023-06-24 09:54
#
进阶运维知识
运维知识分享
运维
架构
linux
centos
服务器
FastDFS文件服务器安装配置使用
1.FastDFS架构简介
分布式文件系统
分布式文件系统
(DistributedFileSystem)是一个软件/软件服务器,这个软件可以用来管理文件。
·
2023-06-24 03:09
Spark的核心RDD
除可复制的文件系统(HDFS)外没有提供其他存储的概念,这就导致在网络上进行数据复制而增加了大量的消耗,而对于两个的MapReduce作业之间数据共享只有一个办法,就是将其写到一个稳定的外部存储系统,如
分布式文件系统
·
2023-06-24 03:55
FastDFS-分布式文件存储
FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储,文件同步,文件访问(文件上传,文件下载)等,解决了大容量存储和负载均衡的问题,FastDFS为互联网量身定制,充分考虑了冗余备份
Champion_61f4
·
2023-06-23 13:54
一文详解
分布式文件系统
FastDFS
1、序FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
·
2023-06-23 10:34
后端运维linux程序员服务器
【大数据】大数据期末速通 (四) HBASE
https://www.icourse163.org/course/XMU-1002335004大数据综述处理架构Hadoop
分布式文件系统
HDFS分布式数据库HBASE简介谷歌以前内部大规模网页搜索使用
gongfpp
·
2023-06-23 02:16
学习笔记
大数据
hbase
hadoop
什么是分布式软件系统
它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、
分布式文件系统
和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708
·
2023-06-22 19:47
分布式
数据库
网络
通过Java实现HDFS操作及访问
①要用Java操作
分布式文件系统
,首先找到操作文档。②在hadoop官网ApacheHadoop上找到版本列表③进入ApacheHadoop找到对应的版本。
Distantfbc
·
2023-06-22 08:18
hadoop
java
hdfs
开发语言
Hadoop Map/Reduce实现细节
在Hadoop中,
分布式文件系统
,很大程度上,是为各种分布式计算需求所服务的。我们说
分布式文件系统
就是加了分布式的文件系统,类似的定义推广到
小小哭包
·
2023-06-22 07:22
大数据
Java
付费专栏
数学建模
java
开发语言
mapreduce
Hadoop
dfs.nameservices参数
当在Hadoop集群中配置高可用性(HighAvailability)时,dfs.nameservices参数在Hadoop
分布式文件系统
(HDFS)中起着重要的作用。
sun13047140038
·
2023-06-22 00:42
深度优先
hadoop
hdfs
企业级大数据平台建设参考 淘宝滴滴美团360快手京东
适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,
分布式文件系统
,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
jane9872
·
2023-06-21 09:45
python
开发语言
6道常见hadoop面试题及答案解析
总之,Hadoop包括以下内容: HDFS(HadoopDistributedFileSystem,Hadoop
分布式文件系统
):HDFS允许你以一种分布式和冗余的方式存储大量数据。
入伍击寇
·
2023-06-21 09:40
hadoop
大数据
hdfs
HDFS初认识
Hadoop
分布式文件系统
(HDFS)是一个
分布式文件系统
,HDFS与现有的
分布式文件系统
有许多相似之处。但是,与其他
分布式文件系统
的差异是很大的。HDFS全称为
WHYBIGDATA
·
2023-06-20 09:42
大数据技术栈文档
Hadoop
hdfs
hadoop
大数据
Databend 开源周报 第 83 期
SupportforWebHDFSHDFS是大数据生态中流行的
分布式文件系统
,也是Databend支持的存储后端之一。但要在此前的实现中,如果要访问HD
Databend
·
2023-06-20 03:45
数据库
FastDFS总结
目录概述什么是
分布式文件系统
核心概念目录结构上传机制下载机制Linux中搭建FastDFS常用指令SpringBoot整合FastDFSFastDFS集成Nginx概述FastDFS是一个开源的轻量级
分布式文件系统
c_mmmmmmm
·
2023-06-20 00:27
nginx
运维
服务器
分布式
linux
《大数据分析-Hive》
Hive是大数据(hadoop)生态系统非常重要的一个工具,它提供了一种类SQL的语言,可以查询存储在Hadoop
分布式文件系统
(HDFS)中的数据,也可以查询Hadoop数据库(Hbase)中的数据,
数据分析杂杂念
·
2023-06-19 18:53
什么是分布式软件系统
它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、
分布式文件系统
和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
微服务商城技术分享
·
2023-06-19 16:57
分布式
数据库
网络
分布式系统学习第一天 fastDFS框架学习
目录1.项目架构图1.1一些概念1.2项目架构图2.
分布式文件系统
2.1传统文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS的启动
没有网名L
·
2023-06-19 13:28
分布式学习
学习
服务器
6道常见hadoop面试题
总之,Hadoop包括以下内容: HDFS(HadoopDistributedFileSystem,Hadoop
分布式文件系统
):HDFS允许你以一种分布式和冗余的方式存储大量数据。
红红火火a
·
2023-06-19 04:20
hadoop
大数据
hdfs
Ceph分布式存储笔记
文章目录ceph分布式存储存储分类分布式存储分类HadoopHDFS(大数据
分布式文件系统
)OpenStack的对象存储Swift公有云对象存储GlusterFSGPFS和HDFS的区别Cephcephg
Salute_Lch
·
2023-06-19 01:54
ceph
分布式存储
数据集上传和管理 - FATE v1.8.0
前言实际上,除了直接上传数据文件以外,FATE还支持绑定数据库或是
分布式文件系统
的数据(tablebinding)具体可以参考fate-flow的官方文档:DataAccess-FATEFlow(federatedai
BiancaZY
·
2023-06-19 00:50
FATE联邦学习
大数据
spark
分布式
NFS服务器安装及NFS制备程序安装
NFS服务器安装及NFS制备程序安装NFS服务器安装NFS是一种
分布式文件系统
协议,由sun公司开发,旨在允许客户端主机可以像访问本地存储一样通过网络访问服务端文件安装NFS服务器登录需要安装NFS服务器的主机执行以下命令完成
炒栗子不加糖
·
2023-06-18 21:57
Kubernetes实践
Kubernetes实践
cephfs设置与挂载
ceph文件系统ceph文件系统的名称是cephFS,它是一个POSIX兼容的
分布式文件系统
,并使用cephRADOS存储数据。
时空无限
·
2023-06-18 07:09
ceph
ceph
大数据
HDFS
分布式文件系统
按块存储支持大规模文件存储简化系统设计数据备份名称节点,整个HDFS集群的管家。
茶尽
·
2023-06-17 17:28
hadoop基础
org.apache.hadoop.fs.FileSystem文件系统类抽象类//静态方法创建对象publicstaticFileSystemnewInstance(URIuri,Configurationconf,Stringuser)/*参数一URI
分布式文件系统
子非我104
·
2023-06-17 03:52
hadoop
hdfs
java
【服务器数据恢复】OneFS文件系统下误删除文件的数据恢复案例
EMCIsilon存储结构:Isilon群集存储系统使用的是
分布式文件系统
OneFS。Isilon群集存储系统的每个节点均为单一OneFS文件系统,Isilon在进行横向扩展时不会影响数据的正常使用。
北亚数据恢复
·
2023-06-16 21:52
服务器数据恢复
虚拟机数据恢复
数据恢复
北亚数据恢复
数据恢复
服务器数据恢复
存储数据恢复
Python + HDF5 因子计算与 DolphinDB 一体化因子计算方案对比
由此,一部分用户选择了
分布式文件系统
,使用HDF5存储数据,并结合Python进行量化金融计算。
DolphinDB智臾科技
·
2023-06-16 16:04
量化金融
量化交易
python
因子挖掘
因子计算
高频因子
【服务器数据恢复】OneFS文件系统下虚拟机数据恢复案例
EMCIsilon存储结构:Isilon群集存储系统使用的是
分布式文件系统
OneFS。Isilon群集存储系统的每个节点均为单一OneFS文件系统,Isilon在进行横向扩展时不会影响数据的正常使用。
·
2023-06-16 15:03
数据恢复
hadoop、hive、hbase的关系
hadoop它是一个分布式计算+
分布式文件系统
,前者其实就是MapReduce,后者是HDFS。
mengml_smile
·
2023-06-16 12:49
bigdata
hadoop
大数据
hive
大数据学习记录(hadoop hive flume azkaban sqoop)
大数据学习记录(hadoophiveflumeazkabansqoop)1.hadoop对海量数据进行分布式处理2.核心组件:HDFS(
分布式文件系统
)、YARN(运算资源调度系统)、MAPREDUCE
左上晨
·
2023-06-16 10:58
大数据
hadoop
hive
flume
azkaban
分布式文件系统
HDFS
分布式文件系统
HDFS
分布式文件系统
计算机集群结构
分布式文件系统
的结构
分布式文件系统
的设计需求HDFS简介HDFS相关概念块HDFS总体框架HDFSClient名称节点和数据节点名称节点数据节点第二名称节点
so.far_away
·
2023-06-15 14:34
大数据技术原理与应用
hdfs
服务器
java
Hive面试题十道
Hive将结构化数据映射到Hadoop的
分布式文件系统
(HDFS)上,并通过MapReduce任务执行查询操作。问题2:Hive的主要特性是什么?
MIDSUMMER_yy
·
2023-06-15 13:31
hive
大数据
Hive的概念
Hive概述Hive是一个基于Hadoop的数据仓库系统,它提供了类似与SQL的查询语言HiveQL,可以将结构化数据存储在Hadoop
分布式文件系统
中,并通过MapReduce进行过处理。
陆卿之
·
2023-06-15 11:15
大数据
hive
hadoop
大数据
Hadoop yarn运行机制及调度过程知识
hadoop主要组件有hdfs、yarn,hdfs是
分布式文件系统
,主要是进行文件的存储,而yarn是hadoop集群资源管理系统,支持分布式计算模式,下面将介绍yarn的运行和调度过程。
稻草人_d41b
·
2023-06-15 02:45
Hadoop面试题十道
答案:Hadoop的核心组件包括以下几个:Hadoop
分布式文件系统
(HDFS):用于存储数据的
分布式文件系统
。MapReduce:一种分布式
MIDSUMMER_yy
·
2023-06-14 15:34
hadoop
mapreduce
大数据
HDFS架构简介
可靠性:Hadoop能自动地维护数据的多份副本,并且在任务失败后重新自动部署计算任务Hadoop2.0时期的架构图Hadoop的核心组件:HDFS(
分布式文件系统
)、MapRe
ArthurIsUsed
·
2023-06-14 13:13
分布式文件系统
HDFS
2.
分布式文件系统
HDFS1.引入HDFS【面试点】问题一:如果一个文件中有10个数值,一行一个,并且都可以用int来度量。
程序员胖五
·
2023-06-14 00:30
hdfs
大数据
分布式存储中建立高效回收站的设计思考
我们希望
分布式文件系统
下的回收站是一个高效的回收站系统。在实现的时候需要考虑性能问题,不能去影响正常的io请求,在恢复的时候是一个比较轻的操作,并且需要有一定的扩展性。
·
2023-06-13 18:21
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他