E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件存储系统
HDFS的设计架构
HDFS是Hadoop生态系统中的
分布式文件
系统,设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点,适合运行在廉价硬件上。
F_0125
·
2025-03-09 05:21
Hadoop
hdfs
hbase
hadoop
MongoDB基本操作
MongoDB是一个基于
分布式文件
存储的数据
徐诗
·
2025-03-09 03:12
mongodb
数据库
nosql
大数据运维实战指南:零基础入门与核心技术解析(第一篇)
大数据运维实战指南:零基础入门与核心技术解析(第一篇)系列文章目录第一篇:大数据运维概述与核心技能体系第二篇:Hadoop生态体系与集群部署实战第三篇:分布式
存储系统
运维与优化第四篇:资源调度框架YARN
emmm形成中
·
2025-03-09 01:19
大数据
运维
rclone命令详解
rclone是一个功能强大的开源命令行工具,用于在不同
存储系统
(如本地磁盘、云存储服务等)之间进行文件同步、复制、移动、删除等操作。以下是对rclone命令的详细解释和实例说明。
网络飞鸥
·
2025-03-09 01:18
S3
linux
运维
服务器
论分布式
存储系统
架构设计
传统集中式的
存储系统
架构逐渐暴露出性能瓶颈、可靠性差、扩展性不足等问题,无法满足日益增长的数据存储需求。在这种背景下,分布式
存储系统
(DistributedStorageSystem)应运而生。
一休哥助手
·
2025-03-08 21:37
架构
软考系统架构师
分布式
鸿蒙系统
分布式文件
概述、访问、拷贝
1.
分布式文件
系统概述
分布式文件
系统(hmdfs,HarmonyOSDistributedFileSystem)提供跨设备的文件访问能力,适用于如下场景:两台设备组网,用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
小时代的大玩家
·
2025-03-08 09:20
鸿蒙
harmonyos
分布式
华为
Ceph实战(一)-分布式存储介绍与原理架构概述
还有一个重要原因就是我同时要补充kubernetes、rancher专栏必定会涉及到有状态的存储资源抽象(StatefulSet、PV、PVC、StorageClass等),首先绕不开的就是高可用的分布式
存储系统
深度视觉机器
·
2025-03-08 07:57
Centos7
Ceph
分布式存储介绍与原理架构概述
【代码详解】信道编码——低密度奇偶校验码LDPC
LDPC(低密度奇偶校验码)是一种高效的纠错编码技术,广泛应用于现代通信和
存储系统
。
禾风hefeng
·
2025-03-07 21:27
语义通信
算法
Python的那些事第四十篇:Redis的Python客户端Redis-py
Redis是一个高性能的键值
存储系统
,广泛用于缓存、消息队列、数据库等领域。redis-py提供了丰富的API,使得在Python中操作Redis变得简单高效。
暮雨哀尘
·
2025-03-07 12:56
Python的那些事
bootstrap
前端
html
python
redis
开发语言
哈希算法
湖仓一体化及冷、热、实时三级存储
其核心思想是兼顾数据湖的存储灵活性和数据仓库的管理与计算能力,使得结构化、半结构化、非结构化数据能够在同一
存储系统
中高效管理和分析。二、为什么需要湖仓一体?数据湖的缺陷:缺乏强Schema,查询
麦当当MDD
·
2025-03-07 12:24
数据仓库
Spark
大数据
数据库
数据仓库
数据库架构
存储性能调优:掌握I/O性能调优和缓存策略配置
引言在数字化转型加速的今天,数据已成为企业核心资产,而
存储系统
的性能直接影响业务响应速度、用户体验和IT基础设施的总体效率。
Morris只会敲命令
·
2025-03-07 09:38
缓存
大数据面试系列之——Hadoop
Hadoop的三个核心:HDFS(分布式
存储系统
)MapReduce(分布式计算系统)YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式:直接解压安装,不存在分布式
存储系统
2.伪分布式
潜心_守道
·
2025-03-07 07:17
大数据
面经
面试
大数据
Hadoop
【区块链+绿色低碳】数字碳链 | FISCO BCOS应用案例
项目采用了关系型数据库MySQL和高性能的键值对
存储系统
Redis,并将这两种数据库与FIS
FISCO_BCOS
·
2025-03-06 23:53
FISCO
BCOS产业应用发展报告
区块链
绿色低碳
ARM V7内存术语
**2020/12/2811:58qing*//**shuyu*/LPAE:大物理地址扩展IPA:中间物理地址PMSA:ProtectedMemorySystemArchitectureVMSA:虚拟
存储系统
架构
xiaozhiwise
·
2025-03-06 13:25
Assembly
arm
阿里云MaxCompute面试题汇总及参考答案
与传统数据仓库的区别解释MaxCompute分层架构设计原则,与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲(Fuxi)分布式调度系统工作原理盘古(Pangu)分布式
存储系统
数据分片策略计算与存储分离架构的资源弹性扩展方案解释
大模型大数据攻城狮
·
2025-03-06 10:05
阿里云
odps
云计算
机器学习
大数据面试
大数据面经
增量数据
hadoop
的核心架构主要包括HDFS(HadoopDistributedFileSystem)和YARN(YetAnotherResourceNegotiator),以及MapReduce计算框架:1.1HDFS(
分布式文件
系统
百里自来卷
·
2025-03-06 06:00
hadoop
大数据
分布式
深入检索:专业知识检索的高级算法与架构策略
这可以通过将索引数据分片存储在不同的节点上,并使用
分布式文件
系统或对象存储来存储大规模的索引数据。任务分配:设计任务调度器,负责将查询请求分配到空闲的节点上进
是小旭啊
·
2025-03-06 05:52
架构
Java 大视界 -- Java 大数据
分布式文件
系统的性能调优实战(101)
亲爱的朋友们,热烈欢迎来到青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程!一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:大数据新视
青云交
·
2025-03-05 18:25
大数据新视界
Java
大视界
java
大数据
Java
大数据
分布式文件系统
性能调优
HDFS
Impala
Redis集群部署深度解析:主从、哨兵、分片与Cluster模式实战指南
1.引言Redis作为高性能的键值
存储系统
,广泛应用于缓存、实时分析、消息队列等场景。然而,单机Redis存在以下局限性:容量瓶颈:受限于单机内存容量。性能瓶颈:单线程模型下,写操作吞吐量受限。
格子先生Lab
·
2025-03-05 12:51
redis
数据库
缓存
凤凰架构-演进中的架构
原始分布式时代1、惠普公司=》网络运算架构(NCA)=》远程服务调用的雏形卡内基梅隆大学=》AFS文件系统=》
分布式文件
系统的最早实现麻省理工学院=》Kerberos协议=》服务认证和访问控制的基础性协议
metazz
·
2025-03-05 02:37
分布式
微服务
NFS配置全解析:让文件共享变得如此简单
1NFS简介NFS(NetworkFileSystem):是一种
分布式文件
系统协议,允许用户通过网络访问远程文件系统,就像访问本地文件一样。它最初由SunMicro
IT成长日记
·
2025-03-04 23:44
#
Linux
技术探索与实践
linux
运维
网络
网络协议
HarmonyNext实战案例:基于ArkTS的
分布式文件
共享系统开发
本文将详细介绍如何使用ArkTS语言开发一个
分布式文件
共享系统,通过实战案例深入讲解其实现原理和代码编写过程。该系统允许用户在不同设备间共享文件,并支持文件的实时同步和访问控制。
·
2025-03-04 14:00
前端
快速理解Redis
Redis是一种开源的、基于内存的数据结构
存储系统
,它可以用作数据库、缓存和消息中间件等。下面是对Redis的详细解析,包括其基本特性、数据结构、应用场景、安装及配置等方面的内容。
黄尚圈圈
·
2025-03-04 09:57
redis
sql
深入解析Redis:核心特性与应用场景
1.Redis的本质与定位Redis(RemoteDictionaryServer)是一个开源的、基于内存的键值对
存储系统
,属于NoSQL数据库的范畴。
月落星还在
·
2025-03-04 09:24
redis
redis
数据库
缓存
避免Hive和Spark生成HDFS小文件
HDFS是为大数据设计的
分布式文件
系统,对大数据做了存储做了针对性的优化,但却不适合存储海量小文件。
穷目楼
·
2025-03-03 22:36
数据库
大数据
大数据
spark
hive
hadoop
Redis学习归纳总结--包含redis的所有基础知识点
Redisredis是开源的,内存中的数据结构
存储系统
,他可以用作数据库,缓存和消息中间件它支持多种类型的数据结构,如字符串,散列,列表,突然关机可能导致内存内容丢失,所以redis有磁盘持久化,减少损失
小白白007
·
2025-03-03 21:26
数据库
redis
数据库
java
缓存
后端
面试题:你们的服务是怎么做日志收集的?
为了便于集中管理和分析,需要将日志收集到一个中心化的
存储系统
中。日志收集的流程日志收集通常包括以下几个步
clownAdam
·
2025-03-03 21:23
SpringCloud面试
spring
cloud
后端
微服务
面试
Redis学习笔记之——学习计划
Redis——RemoteDictionaryServer,开源、基于内存、速度快、key-value...Redis做为一个高性能的键值
存储系统
,广泛应用于缓存、会话存储、分布式锁以及其他需要快速访问的数据场景中
Jack_abu
·
2025-03-03 08:41
redis
redis学习
redis学习计划
Redis的主要数据类型及其应用场景
Redis是一种高性能的键值
存储系统
,支持多种数据类型,每种类型针对不同的应用场景设计。
阿湯哥
·
2025-03-03 05:16
架构
大数据技术学习框架(更新中......)
Hadoop相关HDFS
分布式文件
系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型
小技工丨
·
2025-03-03 04:05
大数据技术学习
大数据
学习
MongoDB快速入门
目录1什么是MongoDB1.1MongoDB的特点2基本概念3安装与配置4MongoDB操作指令连接与数据库操作集合操作文档操作索引操作聚合操作1什么是MongoDBMongoDB是一个基于
分布式文件
存储的开源数据库系统属于
南枝杜鹃
·
2025-03-01 11:23
mongodb
数据库
redis和mysqle辨析
Redis是一个键值
存储系统
,数据以键值对的形式存储。它支持多种数据结构,如字符串、列表、集合、有序集合、散列。Redis的操作通常是基于
C嘎嘎嵌入式开发
·
2025-02-28 13:11
redis
数据库
缓存
Ceph Cookbook: 掌握分布式存储技术的实践指南
本文还有配套的精品资源,点击获取简介:《CephCookbook》是一本面向希望深入学习Ceph分布式
存储系统
的读者的实用指南。本书通过实际案例和操作指导,全面介绍Ceph的核心概念和关键技术。
云山雾村
·
2025-02-28 11:31
深入探讨Ceph:分布式存储架构的未来
在数字化浪潮汹涌澎湃的当下,数据量呈爆发式增长,传统
存储系统
在应对海量数据存储、高并发访问以及灵活扩展等方面,逐渐显得力不从心。
深度Linux
·
2025-02-28 10:50
ceph
分布式
架构
C/C++
Python 实战:构建
分布式文件
存储系统
全解析
Python实战:构建
分布式文件
存储系统
全解析在当今数据爆炸的时代,
分布式文件
存储系统
凭借其高可扩展性、高可靠性等优势,成为了数据存储领域的热门选择。
tekin
·
2025-02-28 00:23
Python网络编程
python
分布式
Python分布式文件存储系统
FUSE,从内核到用户态文件系统的设计之路
JuiceFS就是基于FUSE构建的高性能
分布式文件
系统,充分发挥了FUSE的灵活性和扩展性。为了更好地理解FUSE的设计理念,我们将首先回顾内核文件系统以及网络文件系统(如
·
2025-02-27 17:14
后端运维人工智能
OPPO自研DataFlow架构与实践
例如将不同的日志数据写入到不同的
存储系统
中。如果这些日志数据同步写入到数据库中,则会降低服务的性能。
鲍倩和鲍新春
·
2025-02-27 05:53
架构
分布式
Hive SQL 使用及进阶详解
一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构,它提供了类似于SQL的查询语言HiveSQL(也称为HQL),用于对存储在Hadoop
分布式文件
系统(HDFS)中的大规模数据进行数据查询和分析
小四的快乐生活
·
2025-02-27 03:37
hive
sql
hadoop
Redis 使用场景大揭秘(Redis Usage Scenarios Revealed)
Redis作为一个高性能的内存数据
存储系统
,因其卓越的性能和丰富的数据结构而广泛应用于各类场景。本文将介绍Redis的一些常见使用场景,描述每个场景的需求,并分析使用Redis的优势。
Linux运维老纪
·
2025-02-27 02:31
用心耕耘
开启数据库之门
数据库
redis
缓存
云计算
服务器
运维开发
MongoDB 数据库简介
MongoDB概述MongoDB是一个基于
分布式文件
系统的NoSQL数据库,由10gen公司
wjs2024
·
2025-02-26 17:20
开发语言
MongoDB 复制(副本集)
MongoDB复制(副本集)引言MongoDB是一个高性能、可扩展、易于使用的文档
存储系统
。它以JSON-like的文档存储结构,支持灵活的数据模型。
froginwe11
·
2025-02-26 15:38
开发语言
HDFS是如何存储和管理大数据
HDFS(HadoopDistributedFileSystem,Hadoop
分布式文件
系统)是专为大数据处理而设计的
分布式文件
系统,具有高吞吐量、高容错性等特点,适用于大规模数据存储和管理。
python资深爱好者
·
2025-02-26 11:38
大数据
hdfs
hadoop
以太坊介绍
它使用区块链来从同步和
存储系统
状态,以及称为ether的加密货币来计量和约束执行资源成本。智能合约相当于可以在以
倒霉男孩
·
2025-02-25 21:29
区块链
区块链
Spark----Spark 在不同集群中的架构
Spark注重建立良好的生态系统,它不仅支持多种外部文件
存储系统
,提供了多种多样的集群运行模式。
XiaodunLP
·
2025-02-25 20:22
Spark
云原生时代的
分布式文件
系统设计与实现
Alluxio,一个开源的
分布式文件
系统,应运而生,为大数据和人工智能应用提供了革命性的解决方案。
ITPUB-微风
·
2025-02-25 08:33
云原生
开源分布式
存储系统
在云原生数据库领域的实践与应用
本文深入探讨了Curve项目,一个专为云原生环境设计的开源分布式
存储系统
。文章详细介绍了Curve的块存储架构、其在云原生数据库领域的实际应用,并展望了项目的未来发展方向。
ITPUB-微风
·
2025-02-25 08:33
开源
分布式
云原生
Redis知识深度总结文档
它以内存中的数据结构存储为基础,提供了多种高级功能,使得Redis不仅是一个简单的键值
存储系统
,更是一个功能丰富的数据结构服务器。Redis的数据存储在内存中,因此它的读写
jay丿
·
2025-02-24 22:49
redis
数据库
缓存
MongoDB学习
MongoDB是一个基于
分布式文件
存储的数据库,采用BSON(类似JSON)格式存储数据,支持动态schema(无固定表结构)。核心特性文档模型:数据以键值对形式存储在文档中,类似JSON对象。高
jiugie
·
2025-02-24 19:01
mongodb
数据库
python
jmeter 与大数据生态圈中的服务进行集成
以下为你详细介绍JMeter与大数据生态圈中几种常见服务(HadoopHDFS、Spark、Kafka、Elasticsearch)集成的方法:与HadoopHDFS集成实现思路HDFS是Hadoop的
分布式文件
系统
小赖同学啊
·
2025-02-24 13:40
jmeter专栏
jmeter
大数据
HDFS
分布式文件
系统的架构及特点
一、HDFS架构HDFS采用的是主从(Master/Slave)架构,即一个HDFS通常是由一个Master和多个Slave组成。Master为NameNode主要用于管理HDFSSlave为DataNode主要用于存储文件SecondaryNode用于辅助NameNodeHDFS架构1.1BlockBlock是HDFS文件系统中最小的存储单位,通常称为数据块。在HDFS文件系统中存储的文件会被拆
互联网上的猪
·
2025-02-24 04:40
Hadoop
hdfs
架构
hadoop
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他