E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
深入浅出分布式存储的设计与优化之道
分布式文件系统
和分布式块存储作为云存储中重要的技术,成为奠定云存储发展的重要基石。对于大多数专注于云计算本身的IT技术人员来说,对
分布式文件系统
和分布式块存储未
UCloud_TShare
·
2023-11-12 05:43
技术分享
分布式存储
优化
Spring Boot总结(六):Spring Boot SSO
SpringBoot界面设计SpringBoot总结(四):提高数据库访问性能SpringBoot总结(五):安全设计SpringBoot总结(六):SpringBootSSOSpringBoot总结(七):使用
分布式文件系统
「已注销」
·
2023-11-11 19:05
java
java
后端
hadoop、jboss未授权访问漏洞复现与未授权访问漏洞学习(内含服务器与中间件的区别)
,由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除,下载,目录浏览甚至命令执行等操作主要HDFS(Hadoop
分布式文件系统
不想当脚本小子的脚本小子
·
2023-11-11 17:28
中间件漏洞复现
安全原理
中间件
安全漏洞
2023.11-9 hive数据仓库,概念,架构
)优点2)缺点四.Hive和数据库比较1)查询语言2)数据更新3)执行延迟4)数据规模五.hive架构流程六.MetaStore元数据管理三种模式一.HDFS、HBase、Hive的区别1、HDFS(
分布式文件系统
白白的wj
·
2023-11-11 01:36
数据仓库
hive
hadoop
分布式软件开发的相关技术
分布式存储系统:了解分布式存储的概念和常见的分布式存储系统,如
分布式文件系统
、分布式数据库、NoSQL数据库等。分布式数据处理:熟悉大数据处理和分布式数据处理框架,如ApacheHa
假装得大佬
·
2023-11-10 06:05
分布式
银河麒麟高级服务器部署glusterfs
前言GFS是一个可扩展的
分布式文件系统
,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。
yuchen008
·
2023-11-09 10:25
linux
运维
服务器
kylin
分布式
版本控制工具之TFS的使用
TFS是微软下面得一款版本控制工具,百度百科说其优点是高可扩展、高可用、高性能、面向互联网服务的
分布式文件系统
。(然鹅我并不懂)现在记录一下怎么使用吧。
C#ToJava
·
2023-11-08 22:50
版本控制
TFS
git
java笔记:
分布式文件系统
+FastDFS+Nginx
java笔记:
分布式文件系统
+FastDFS+Nginx
分布式文件系统
概述什么是文件系统?
m0_49234730
·
2023-11-08 12:05
java学习笔记
java
分布式系统
分布式
分布式设计
(集群)FastDFS集群 + Nginx负载 安装部署流程
FastDFS简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
IT界的一颗新星
·
2023-11-08 12:01
Linux
linux
centos
nginx
Haddop,HDFS和MapDeduce简单理论
HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件:HDFS:
分布式文件系统
,存储海量数据。
杰KaMi
·
2023-11-07 06:25
linux
hadoop
大数据
Spark基础知识点
分布式文件系统
(HadoopDistributedFileSystem)当数据集达到一定规模,单机无法处理把数据分布到各个独立的机器上(多机器共同协作)网络HDFS优缺点优点:构建在廉价的机器上使用大数据处理高容错硬件错误流式数据访问大规模数据集简单的一致性模型
蛋炒双黄蛋
·
2023-11-07 05:04
Spark
数据库
大数据组件 in K8S
大数据的发展历史大数据技术起源于Google在2004年前后发表的三篇论文,
分布式文件系统
GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable,俗称"三驾马车"。
无精疯
·
2023-11-06 23:22
【数据开发】大数据平台架构,Hive / THive介绍
其中,Hive是一种基于Hadoop的数据仓库工具,可以将结构化的数据映射到Hadoop的
分布式文件系统
上,并提供类SQL查询功能。
小哈里
·
2023-11-06 23:12
#
后端开发
大数据
架构
hive
【大数据处理框架】Hadoop大数据处理框架,包括其底层原理、架构、编程模型、生态圈
文章目录底层原理架构编程模型生态圈Hadoop是一个开源的大数据处理框架,它包含了底层的
分布式文件系统
和分布式计算资源管理系统,以及高级的数据处理编程接口。
我是廖志伟
·
2023-11-06 15:41
#
大数据开发
hadoop
架构
大数据
Hadoopo-MapReduce(数据处理)
以Hadoop
分布式文件系统
(HadoopDistrributedFileSystem,HDFS)和MapReduce(GoogleMapReduce的开源实现)为核心的Hadoop,为用户提供了系统底层细节透明的分布式基
qq_42601983
·
2023-11-06 05:53
【基础篇】大数据学习笔记(4)相关名词解释
GFS:GoogleFileSystemGoogle文件系统HDFS:HadoopDsitributedFileSystemHadoop
分布式文件系统
Zookeeper:分布式应用程序协调服务,是Hadoop
风也醉
·
2023-11-06 02:54
大数据技术中的数据存储
分布式文件系统
(DistributedFileSystem)
分布式文件系统
是大数据存储的基础。它能够将数据分布在不同的节点上,实现数据的分布式存储和访问。Hadoop
分布式文件系统
(HadoopDi
幻想世界中的绚丽色彩
·
2023-11-05 22:58
大数据
linux kvm集群 漂移,KVM虚拟化集群技术概述
笔者在生产环境使用的集群有两种存储方式,基于商业存储和基于开源
分布式文件系统
weixin_39587822
·
2023-11-05 17:07
linux
kvm集群
漂移
大数据入门:Hadoop HDFS存储原理
HDFS即Hadoopdistributedfilesystem(hadoop
分布式文件系统
),在Hadoop当中负责分布式存储阶段的任务,它是一个分布式的文件
成都加米谷大数据
·
2023-11-05 16:35
FastFS OSS MinIO 区别
FastFS是一个
分布式文件系统
,它提供了高性能、高可靠性的文件存储和访问服务。它主要用于大规模数据存储和处理,适用于需要频繁读写大文件的场景。
李昊哲小课
·
2023-11-05 02:54
Java
java
linux
大数据中的
分布式文件系统
MapReduce的选择题
一.选择题一.单选题(共9题,49.5分)(单选题)下列传统并行计算框架,说法错误的是哪一项?A.刀片服务器、高速网、SAN,价格贵,扩展性差上B.共享式(共享内存/共享存储),容错性好C.编程难度高D.实时、细粒度计算、计算密集型正确答案:B:共享式(共享内存/共享存储),容错性好;5.5分(单选题)下列关于MapReduce模型的描述,错误的是哪一项?A.MapReduce采用“分而治之”策略
不想做程序猿的员
·
2023-11-04 22:39
大数据
mapreduce
用CentOS搭建hadoop
其中HDFS
分布式文件系统
中存储是大数据技术的基础;MapReduce编程模型中分布式计算是大数据应用的解决方案。
我一定要研究生毕业.
·
2023-11-03 15:09
hadoop
centos
hdfs
mapreduce
centos安装配置hadoop超详细过程(含故障排除)
以Hadoop
分布式文件系统
(HDFS,HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
格格巫 MMQ!!
·
2023-11-03 15:09
liunx
centos
IPFS:下一代
分布式文件系统
一概述星际文件系统是一种点对点的
分布式文件系统
,旨在连接所有有相同的文件系统的计算机设备。
壹五叁说IPFS
·
2023-11-03 05:17
HashData与HDFS的高效数据交换
背景与挑战在对象存储技术出现和普及之前,HDFS(Hadoop
分布式文件系统
)是市场上为数不多的开源、免费、高性价比(相对于昂贵的SAN系统)PB级存储系统,大量用于企业数据归档场景。
HashData酷克数据
·
2023-11-02 16:06
产品动态
数据仓库
HRM项目总结
elementui+div+css后端:使用微服务(springCloud)+SSM,mybatis-plus2.项目架构分析(重点)使用技术分析:MySQL:用于存储数据redis:用于存放缓存FastDFS:
分布式文件系统
qq_40360083
·
2023-11-02 15:43
HRM项目总结
java
Hadoop HDFS(
分布式文件系统
)
一、HadoopHDFS(
分布式文件系统
)为什么要分布式存储数据假设一个文件有100tb,我们就把文件划分为多个部分,放入到多个服务器靠数量取胜,多台服务器组合,才能Hold住数据量太大,单机存储能力有上限
syst1m'
·
2023-11-02 10:06
大数据
hadoop
hdfs
大数据
SeaweedFS介绍安装集群部署总结
什么是SeaweedFSSeaweedFS是一种简单的、高度可扩展的
分布式文件系统
。SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。
五霸哥
·
2023-11-02 09:31
分布式文件存储
后端
java
go语言
分布式存储
分布式文件存储MinIO实战
1.
分布式文件系统
应用场景互联网海量非结构化数据的存储需求电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片1.1Minio介绍MinIO是一个基于ApacheLicensev2.0
程序猿二鍋頭
·
2023-11-02 07:41
分布式-微服务核心技术
java
分布式存储
CH7-HarmonyOS数据持久化
关系型数据库基本概念数据库的增删改查数据库谓词的使用查询结果集的使用开发步骤4.对象关系数据库基本概念运作机制ORM开发过程数据服务端开发步骤访问数据库-客户端5.偏好文件开发示例6.分布式数据服务分布式数据库ACID特性运作机制操作步骤7.
分布式文件系统
服务运
一条大蟒蛇6666
·
2023-11-02 05:54
HarmonyOS移动开发
harmonyos
华为
java
数据持久化
数据库
Hive面试题
hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop
分布式文件系统
中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能;可以将
布小昕
·
2023-11-01 20:58
面试
Hive面试
【面经】谈谈你对FastDFS的了解
FastDFS是什么FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
ThinkPet
·
2023-10-31 21:54
面试八股文
开源技术
FastDFS
分布式文件系统
分布式文件系统
之FastDFS
1.什么是FastDFS1.1.介绍FastDFS是用c语言编写的一款开源的
分布式文件系统
。
Demon先生
·
2023-10-31 14:58
FastDFS
分布式文件系统
就是解决这些问题的!1.1什么是文件系统文件数据是如何存储的1.png1.2
分布式文件系统
一台电脑存储量有限,并且并发吞吐量也有限,如何提高性能?一吨货物,我要运送到吐
Yuanc丶
·
2023-10-30 17:21
hadoop组件及各自的功能
Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…1.HDFS:
分布式文件系统
2.Yarn:分布式资源管理系统,3.MapReduce:Hadoop的编程框架4.Pig
ZK_0705
·
2023-10-30 10:17
大数据
hadoop
大数据
HDFS(一)HDFS基本介绍
分块存储抽象成数据块的好处HDFS副本机制名字空间(NameSpace)NameNode功能DataNode功能机架感知原理HDFS是HadoopDistributeFileSystem的简称,意为:Hadoop
分布式文件系统
红叶゜
·
2023-10-30 07:27
学习笔记
#
HDFS
大数据
hdfs
大数据之 impala教程
换句话说,Impala是性能最高的SQL引擎(提供类似RDBMS的体验),它提供了访问存储在Hadoop
分布式文件系统
中的数据的最快方法。二、为什么选择Impala?Impal
种麦南山下
·
2023-10-30 07:45
hadoop
大数据
hadoop
hive
Mysql数据库分库分表实践
目前应用系统的最大瓶颈出现在数据库,主要是基于数据库的逻辑存储结构,和磁盘的物理特性决定了随机读取效率低下,无法靠简单磁盘阵列的扩展或者
分布式文件系统
,来提升性能。
Wengy.Xu
·
2023-10-29 15:31
数据库
mysql
数据库
MongoDB 的优点
文档结构的存储方式,能够更便捷地获取数据内置GridFS,支持大容量存储GridFS是一个出色的
分布式文件系统
,可以支持海量的数据存储。
65649e6a691f
·
2023-10-28 08:53
hadoop详解
HDFS:1.HDFS文件系统:HDFS是大数据开源框架hadoop的组件之一,全称(HadoopDistributedFileSystem),它是一个
分布式文件系统
,由多台服务器联合起来实现文件存储功能
不吃饭的猪
·
2023-10-28 07:46
hadoop
大数据
分布式
hadoop--HDFS基础(适合初学者)
文章目录1HDFS
分布式文件系统
基础1.1文件系统1.2
分布式文件系统
1.3HDFS简介1.4HDFS起源发展1.5HDFS设计目标1.6HDFS应用场景1.7HDFS重要特性2HDFSshell操作2.1HDFSshell
火 玄
·
2023-10-28 04:07
hadoop
hadoop
hdfs
大数据
Flink Streaming-Sink
文件系统连接器支持对本地文件系统或
分布式文件系统
的读取和写入。可以通过
hyunbar
·
2023-10-28 02:49
Flink
大数据
flink
big
data
hadoop
NVMe End-to-End Protection Information
NVMe协议里定义SSD控制器可以支持给每个逻辑块(也就是用户数据)增加额外的元数据,主机如何使用元数据区域自定义(如
分布式文件系统
的元数据),元数据最常见的用途之一是传递PI端到端保护信息(end-to-endprotectioninformation
eaglelau
·
2023-10-27 18:03
NVMe
SSD
服务器
淘宝
分布式文件系统
(四)-索引文件的定义
淘宝
分布式文件系统
(四)–>索引头文件的定义目录:1.简单说明整个模块各功能的实现2.具体的实现过程一、块的初始化1、生成主块文件根据id创建文件预分配空间2、生成索引文件根据id创建文件头部初始化-》
零二年的冬
·
2023-10-27 08:34
淘宝分布式文件存储系统
数据库
分布式
tfs
linux
服务器
c++
存储与数据库 | 字节青训营笔记
技术RAID出现的背景RAID0RAID1RAID0+1二、数据库1、难道数据库和存储系统不一样吗2、数据库vs经典存储三、主流产品剖析1、单机存储本地文件系统key-value存储2、分布式存储系统
分布式文件系统
分布式对象存储
卒获有所闻
·
2023-10-25 09:57
字节跳动青训营
数据库
缓存
后端
你想了解的
分布式文件系统
HDFS,看这一篇就够了
1、
分布式文件系统
计算机集群结构
分布式文件系统
把文件分布存储到多个节点(计算机)上,成千上万的计算机节点构成计算机集群。
与李_han
·
2023-10-25 01:48
HDFS
分布式文件系统
设计原理
Hadoop
分布式文件系统
(HDFS)是一种被设计成适合运行在通用硬件上的
分布式文件系统
。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。
zhaohong_bo
·
2023-10-24 19:34
学习笔记
HDFS
分布式文件系统
设计原理
分布式文件系统
设计主要关注几个方面
分布式文件系统
设计主要关注几个方面:设计特点、分布式能力、性能、容灾、维护和扩展、成本
分布式文件系统
主要关键技术:全局名字空间、缓存一致性、安全性、可用性、可扩展性其他关键技术:文件系统的快照和备份技术
iCoding91
·
2023-10-24 19:30
分布式
分布式文件系统
分布式
设计
Hadoop伪分布式集群笔记
1、基本介绍以下是从其他地方抄过来了,目的是对即将要学的东西做一个基本的了解HDFS(
分布式文件系统
):解决海量数据存储YARN(作业调度和集群资源管理框架):解决资源任务调度MAPREDUCE(分布式运算变成框架
爆炒八酱
·
2023-10-24 16:40
hadoop
hadoop
分布式
大数据
共享文件:硬链接和软链接
这些文件的分享是通过
分布式文件系统
、远程文件系统、分布式信息系统实现的。这些系统允许多个客户通过C/S模型共享网络中的服务器文件。现代常用的两
晚安丶
·
2023-10-24 15:58
操作系统
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他