E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ftp+分布式文件系统
Hive知识点
(面向分析的存储系统)主要特征:面向主题的,集成的,非易失的和时变的数据集合,用以支持管理决策HIve与Hadoop的关系:Hive需要构建在Hadoop基础上;Hive中所有数据都存储在Hadoop
分布式文件系统
中
꧁༺朝花夕逝༻꧂
·
2024-01-16 07:25
hive
hadoop
数据仓库
HDFS HA 集群搭建 - 基于Quorum Journal Manager(hadoop2.7.1)
0、前置概念0.1checkpoint检查点在Hadoop
分布式文件系统
(HDFS)中,检查点(Checkpointing)是一个关键的过程,它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying!!!
·
2024-01-16 06:36
中间件
hdfs
hadoop
大数据
mac上搭建 hadoop 伪集群
它主要由以下几个部分组成:HDFS(HadoopDistributedFileSystem):HDFS是Hadoop的
分布式文件系统
,具有较高的读写速度,很好的容错性和可伸缩性,为海量的数据提供了分布式存储
寂夜了无痕
·
2024-01-16 06:30
大数据
macos
hadoop
大数据
Hadoop
分布式文件系统
(三)
目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce实例进程1.7、MapReduce阶段组成1.8、MapReduce数据类型1.9、MapReduce官方示例1.9.1、示例说明--圆周率PI评估1.9.2、官方示例--WordCo
杀神lwz
·
2024-01-16 06:57
大数据
hadoop
大数据
分布式
分布式计算平台 Hadoop 简介
其主要采用MapReduce分布式计算框架,包括根据GFS原理开发的
分布式文件系统
HDFS、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。
rookiexiong
·
2024-01-15 08:19
Hadoop学习
分布式
hadoop
大数据
java大数据hadoop2.92安装伪
分布式文件系统
ApacheHadoop3.3.6–Hadoop:SettingupaSingleNodeCluster.1、解压缩到某个路径/usr/local/hadoop2、修改配置文件/usr/local/hadoop/etc/hadoop/hadoop-env.shexportJAVA_HOME=/usr/local/javajdk3、修改配置文件/usr/local/hadoop/etc/hadoop
crud-boy
·
2024-01-15 06:29
java大数据
大数据
java
Minio安装及整合SpringBoot
一.MinIO概述官网地址:https://minio.org.cnMinIO是一款基于ApacheLicensev2.0开源协议的
分布式文件系统
(或者叫对象存储服务),可以做为云存储的解决方案用来保存海量的图片
- Hola -
·
2024-01-15 05:15
java
ide
分布式文件系统
fastDFS-设计原理
一、
分布式文件系统
fastDFS-设计原理FastDFS是一个开源的轻量级
分布式文件系统
,由跟踪服务器(trackerserver)、存储服务器(storageserver)和客户端(client)三个部分组成
青哥DevOps
·
2024-01-14 06:10
HDFS及各组件功能介绍
Hadoop
分布式文件系统
(HadoopDistributedFileSystem,HDFS)是Hadoop生态系统的核心组件之一,它是设计用于存储和处理大规模数据集的
分布式文件系统
。
思旭�
·
2024-01-13 12:32
hdfs
hadoop
大数据
IndexFS: Scaling File System Metadata Performance with Stateless Caching and Bulk Insertion——论文泛读
许多现有的
分布式文件系统
只关注提供对文件数据的高度并行快速访问,并缺乏可伸缩的元数据服务。受限的元数据可伸缩性妨碍了需要并发和高性能元数据操作的大规模并行应用程序。
妙BOOK言
·
2024-01-12 21:15
论文阅读
论文阅读
分布式
如何进行大数据系统测试
大数据系统常见的架构形式有如下几种:Hadoop架构:HadoopDistributedFileSystem(HDFS):这是一种
分布式文件系统
,设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee
·
2024-01-12 21:41
系统测试
项目管理
测试工具
大数据
Hadoop 的核心 —— HDFS(1)
Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(
分布式文件系统
)+MapReduce(分布式计算)Hadoop的两个核心:HDFS
分布式文件系统
:存储是大数据技术的基础
土冥王
·
2024-01-12 16:13
hadoop
分布式文件系统
Hadoop
分布式文件系统
分布式文件系统
:管理网络中跨多台计算机存储的文件系统称为
分布式文件系统
。
Alonzo de blog
·
2024-01-12 08:27
hadoop
hadoop
大数据
hdfs
Openstack云计算(五)ceph
Ceph简介:Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、
分布式文件系统
。ceph]的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。
wmd13164306712
·
2024-01-12 07:50
openstack
云计算
ceph
分布式文件系统
FastDFS在CentOS7上的安装及与Springboot的整合
1.概述FastDFS是目前比较流行的
分布式文件系统
,可以很容易的实现横向扩展、动态扩容、灾备、高可用和负载均衡。
追风人聊Java
·
2024-01-11 18:40
glusterFS
一.概念1.介绍gluster是一个横向扩展的
分布式文件系统
,可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中,可以根据存储消耗需求快速调配额外的存储。
MoonSoin
·
2024-01-11 04:42
k8s
云原生
glusterFS
文件存储
kubernetes
文件下载相关的技术
服务器上的文件系统可以是本地文件系统(如ext4、NTFS等)或
分布式文件系统
(如HDFS、AmazonS3等),具体取决于服务器的架构和需求。
睿智闷骚男
·
2024-01-10 20:22
常识
笔记
大数据学习记录hadoop(2)
四、hadoop之HDFS4.1HDFS的定义HDFS定义:
分布式文件系统
HDFS使用场景:一次写入,多次读写4.2HDFS的优缺点优点:1)高容错性(1)数据自动保存多个副本(2)某个副本丢失后,可以自动恢复
不吃海带吃海苔
·
2024-01-10 16:15
GFS
分布式文件系统
GlusterFS特点●扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。(1)Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能(磁盘、计算和I/O资源都可以独立增加),支持10GbE和InfiniBand等高速网络互联。(2)Gluster弹性哈希(ElasticHash)解决了GlusterFS对元数据服务器的依赖,改善了单点故障和性能瓶颈,真正实
偷个月亮吗733
·
2024-01-10 14:00
linux
笔记:分布式大数据技术原理(一)Hadoop 框架
Hadoop中有3个核心组件:
分布式文件系统
:HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MapReduce
WeeeicheN
·
2024-01-09 22:17
Big
Data
big
data
hadoop
GFS
分布式文件系统
GlusterFS是一个开源的
分布式文件系统
。二、GFS的特点1、扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。
Kido.S
·
2024-01-09 17:21
笔记
Hive基础知识
2)其本质是将SQL语句转换为MapReduce/Spark程序进行运算,底层数据由HDFS
分布式文件系统
进行存储。3)可以理解Hive就是MapReduce/SparkSql的客户端。
巷子里的猫X
·
2024-01-09 13:52
数据分析
hive
大数据
hadoop
大数据 Yarn - 资源调度框架
Hadoop主要是由三部分组成,除了前面我讲过的
分布式文件系统
HDFS、分布式计算框架MapReduce,还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫
·
2024-01-08 10:48
大数据
大数据
GFS论文解读(一)——设计概述
介绍在当今大数据时代,
分布式文件系统
已经成为处理海量数据的重要工具。而在这个领域中,「GFS(GoogleFileSystem)」论文无疑是一篇具有里程碑意义的文献。
健鑫.
·
2024-01-07 18:53
GFS论文解读
大数据
hadoop
hdfs
Hadoop
分布式文件系统
(二)
目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS简介2.2、HDFS设计目标2.3、HDFS应用场景2.4、HDFS重要特性2.4.1、主从架构2.4.2、分块存储2.4.3、副本机制2.4.4、元数据记录2.4.5、namespace2.4
杀神lwz
·
2024-01-07 11:19
大数据
hadoop
大数据
分布式
FastDFS
分布式文件系统
1.什么是FastDFSFastDFS(FastDistributedfilesystem)是用c语言编写的一款开源的
分布式文件系统
。
GGbird
·
2024-01-07 11:03
Spark概述
多用途的集群计算系统,相对于HadoopMapReduce将中间结果保存在磁盘中,Spark使用了内存保存中间结果,能在数据尚未写入硬盘时在内存中进行运算Spark只是一个计算框架,不像Hadoop一样包含了
分布式文件系统
和完备的调度系统
我像影子一样
·
2024-01-06 09:38
Spark
大数据
spark
大数据
openEuler NFS多路径
简介网络文件系统(NFS)是一种
分布式文件系统
协议,最初由SunMicrosystems(Sun)于1984年开发,允许NFS客户端上的用户通过计算机网络访问NFS服务端上文件。
大隐隐于野
·
2024-01-06 08:49
存储专栏
nfs
架构(1)
初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加上网站相应使用
分布式文件系统
和分布式数据库系统使用NoSQL和搜索引擎
龙贝子
·
2024-01-06 02:19
面试题
架构
架构
大数据 HDFS-存储的王者
如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop
分布式文件系统
HDFS就是烧菜
善守的大龙猫
·
2024-01-05 21:48
大数据
大数据
hdfs
hadoop
Hadoop(04) HDFS编程实践操作
Hadoop
分布式文件系统
(HadoopDistributedFileSystem,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS组件,不需要另外安装。
Eufeo
·
2024-01-05 09:25
Hadoop
hadoop
hdfs
大数据
java与大数据:Hadoop与MapReduce
它由两个核心组件组成:Hadoop
分布式文件系统
(HDFS):HDFS是Hadoop的存储系统,它将大数据集分割成多个块,并将这些块分布
naer_chongya
·
2024-01-05 08:38
大数据
java
hadoop
Linux NFS的整体架构与核心代码解析
NFS文件系统的架构分析NFS
分布式文件系统
是一个客户端-服务端架构(CS架构)。其客户端是Linux内核中的一个文件系统,跟Ext4和XFS类似,它是虚拟文件系统下的一个具体实现。
大隐隐于野
·
2024-01-04 04:36
存储专栏
linux
架构
运维
从零开始了解大数据(七):总结
系列文章目录从零开始了解大数据(一):数据分析入门篇-CSDN博客从零开始了解大数据(二):Hadoop篇-CSDN博客从零开始了解大数据(三):HDFS
分布式文件系统
篇-CSDN博客从零开始了解大数据
橘子-青衫
·
2024-01-04 02:19
从零开始了解大数据
大数据
大数据
hadoop
hive
big
data
hdfs
数据仓库
大数据技术原理与应用期末考试题
A、利用
分布式文件系统
、数据仓库、关系数据库等实现对结构化、半结构化和非结构化海量数据的存储和管理B、利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析C、构建隐私数据保护体系和数据安全体系
无敌海苔咪
·
2024-01-03 08:03
大数据开源框架
期末
大数据
分布式文件系统
—FastDFS
分布式文件系统
就是解决这些问题的!1.1什么是文件系统文件数据是如何存储的??1.2
分布式文件系统
一台电脑存储量有限,并且并发吞吐量也有限,如何提高性能?
YMeng_Zhang
·
2024-01-02 13:01
【Hadoop】如何启动和关闭Hadoop集群
将新的
分布式文件系统
格式化为hdfs:$HADOOP_HOME/bin/hdfsnamenode-format启动namenode和datanode有两种方
不怕娜
·
2024-01-02 10:29
hadoop
大数据
分布式
大数据 - Hadoop系列《三》- HDFS(
分布式文件系统
)概述
5.1hdfs的概念HDFS
分布式文件系统
,全称为:HadoopDistributedFileSystem。
王哪跑nn
·
2024-01-02 06:06
大数据
大数据
hadoop
hdfs
【2023】hadoop基础介绍
资源管控调度YARN架构提交任务到**YARN中运行**Hadoop组成hadoop安装教程可以看我这篇文章===>hadoop通过docker安装HDFS组件:是Hadoop内的分布式存储组件,可以构建
分布式文件系统
用于数据存储
方渐鸿
·
2024-01-02 03:26
数据分析
hadoop
大数据
分布式
python
安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
前言Hadoop包括三种安装模式:单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用
分布式文件系统
HDFS;伪分布式模式:存储采用
分布式文件系统
HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上
Stitch .
·
2024-01-01 10:09
我的大学笔记
Hadoop
分布式
大数据
hadoop
笔记
linux
mysql
hive
分布式文件系统
的介绍
什么是
分布式文件系统
跨越多个服务器或者多个位置的文件系统。
旅僧
·
2024-01-01 07:27
#
计算机组成原理
大数据
分布式
缘起:BigTable
2003年的GFS:GFS是一个可扩展的
分布式文件系统
,主要解决传统单机文件系统中磁盘小,数据存储无冗余等问题
一纸微言
·
2024-01-01 03:22
sqoop的导入命令详解
sqoop的背景sqoop是一个配合大数据hadoop做数据底层的导入导出操作,需要配合hive及
分布式文件系统
(hdfs或blob)一起使用,在大数据ETL应用领域,sqoop占据主流。
夜空痕
·
2023-12-31 13:55
FastDFS集群搭建
FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
fanlcwowo
·
2023-12-31 03:39
linux
服务器
运维
架构 - 理解架构的演进
架构-理解架构的演进架构演进初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加上网站相应使用
分布式文件系统
和分布式数据库使用
小小兔在普陀山走神啊
·
2023-12-31 00:30
#
架构基础
架构
GFS
分布式文件系统
(详解与配置)
存储存储是计算机系统中用于保留数据、程序和信息的过程和设备。它包括了数据的永久性保存,以便在需要时可以检索、读取和操作。存储可以分为多种类型,包括:存储类型主存储(RAM-RandomAccessMemory)用于存储正在运行的程序、操作系统和当前需要的数据。是临时性的,失去电源时数据会丢失。辅助存储硬盘驱动器(HDD):常见的机械式存储设备,以磁盘存储数据。固态驱动器(SSD):使用闪存技术,速
木合杉
·
2023-12-30 01:32
系统
系统架构
开源轻量级
分布式文件系统
FastDFS本地部署并实现远程访问服务器
文章目录前言1.本地搭建FastDFS文件系统1.1环境安装1.2安装libfastcommon1.3安装FastDFS1.4配置Tracker1.5配置Storage1.6测试上传下载1.7与Nginx整合1.8安装Nginx1.9配置Nginx2.局域网测试访问FastDFS3.安装cpolar内网穿透4.配置公网访问地址5.固定公网地址5.1保留二级子域名5.2配置二级子域名6.测试访问固定
一棵西兰花
·
2023-12-29 23:38
cpolar
开源
服务器
运维
cpolar
内网穿透
分布式存储考点梳理 + 高频面试题
面试中如何考察分布式存储广义的分布式存储根据不同的应用领域,划分为以下的类别:分布式协同系统
分布式文件系统
分布式任务调度框架分布式NoSQL存储分布式关系数据库各种消息队列MQ流式计算框架当然,这只是一种划分方式
小小哭包
·
2023-12-29 21:15
分布式
分布式
分布式存储
百度沧海文件存储CFS推出新一代Namespace架构
随着移动互联网、物联网、AI计算等技术和市场的迅速发展,数据规模指数级膨胀,对于
分布式文件系统
作为大规模数据场景的存储底座提出了更高的要求。
大隐隐于野
·
2023-12-28 15:48
存储专栏
cfs
filesystem
Hadoop之HDFS 详细教程
首要的基础功能就是文件系统,在Hadoop中使用FileSystem这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类,在我们实际工作中,用到的最多的就是HDFS(
分布式文件系统
白鸽呀
·
2023-12-28 11:29
大数据
hadoop
hdfs
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他