分布式文件存储系统第2页

HDFS的设计架构

HDFS是Hadoop生态系统中的分布式文件系统，设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点，适合运行在廉价硬件上。

F_0125·2025-03-09 05:21

MongoDB基本操作

MongoDB是一个基于分布式文件存储的数据

徐诗·2025-03-09 03:12

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN

emmm形成中·2025-03-09 01:19

rclone命令详解

rclone是一个功能强大的开源命令行工具，用于在不同存储系统（如本地磁盘、云存储服务等）之间进行文件同步、复制、移动、删除等操作。以下是对rclone命令的详细解释和实例说明。

网络飞鸥·2025-03-09 01:18

论分布式存储系统架构设计

传统集中式的存储系统架构逐渐暴露出性能瓶颈、可靠性差、扩展性不足等问题，无法满足日益增长的数据存储需求。在这种背景下，分布式存储系统（DistributedStorageSystem）应运而生。

一休哥助手·2025-03-08 21:37

鸿蒙系统分布式文件概述、访问、拷贝

1.分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档

小时代的大玩家·2025-03-08 09:20

Ceph实战（一）-分布式存储介绍与原理架构概述

还有一个重要原因就是我同时要补充kubernetes、rancher专栏必定会涉及到有状态的存储资源抽象（StatefulSet、PV、PVC、StorageClass等），首先绕不开的就是高可用的分布式存储系统

深度视觉机器·2025-03-08 07:57

【代码详解】信道编码——低密度奇偶校验码LDPC

LDPC（低密度奇偶校验码）是一种高效的纠错编码技术，广泛应用于现代通信和存储系统。

禾风hefeng·2025-03-07 21:27

Python的那些事第四十篇：Redis的Python客户端Redis-py

Redis是一个高性能的键值存储系统，广泛用于缓存、消息队列、数据库等领域。redis-py提供了丰富的API，使得在Python中操作Redis变得简单高效。

暮雨哀尘·2025-03-07 12:56

湖仓一体化及冷、热、实时三级存储

其核心思想是兼顾数据湖的存储灵活性和数据仓库的管理与计算能力，使得结构化、半结构化、非结构化数据能够在同一存储系统中高效管理和分析。二、为什么需要湖仓一体？数据湖的缺陷：缺乏强Schema，查询

麦当当MDD·2025-03-07 12:24

存储性能调优：掌握I/O性能调优和缓存策略配置

引言在数字化转型加速的今天，数据已成为企业核心资产，而存储系统的性能直接影响业务响应速度、用户体验和IT基础设施的总体效率。

Morris只会敲命令·2025-03-07 09:38

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式

潜心_守道·2025-03-07 07:17

【区块链+绿色低碳】数字碳链 | FISCO BCOS应用案例

项目采用了关系型数据库MySQL和高性能的键值对存储系统Redis，并将这两种数据库与FIS

FISCO_BCOS·2025-03-06 23:53

ARM V7内存术语

**2020/12/2811:58qing*//**shuyu*/LPAE:大物理地址扩展IPA:中间物理地址PMSA:ProtectedMemorySystemArchitectureVMSA:虚拟存储系统架构

xiaozhiwise·2025-03-06 13:25

阿里云MaxCompute面试题汇总及参考答案

与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi）分布式调度系统工作原理盘古（Pangu）分布式存储系统数据分片策略计算与存储分离架构的资源弹性扩展方案解释

大模型大数据攻城狮·2025-03-06 10:05

hadoop

的核心架构主要包括HDFS（HadoopDistributedFileSystem）和YARN（YetAnotherResourceNegotiator），以及MapReduce计算框架：1.1HDFS（分布式文件系统

百里自来卷·2025-03-06 06:00

深入检索：专业知识检索的高级算法与架构策略

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进

是小旭啊·2025-03-06 05:52

Java 大视界 -- Java 大数据分布式文件系统的性能调优实战（101）

亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-05 18:25

Redis集群部署深度解析：主从、哨兵、分片与Cluster模式实战指南

1.引言Redis作为高性能的键值存储系统，广泛应用于缓存、实时分析、消息队列等场景。然而，单机Redis存在以下局限性：容量瓶颈：受限于单机内存容量。性能瓶颈：单线程模型下，写操作吞吐量受限。

格子先生Lab·2025-03-05 12:51

凤凰架构-演进中的架构

原始分布式时代1、惠普公司=》网络运算架构（NCA）=》远程服务调用的雏形卡内基梅隆大学=》AFS文件系统=》分布式文件系统的最早实现麻省理工学院=》Kerberos协议=》服务认证和访问控制的基础性协议

metazz·2025-03-05 02:37

NFS配置全解析：让文件共享变得如此简单

1NFS简介NFS（NetworkFileSystem）：是一种分布式文件系统协议，允许用户通过网络访问远程文件系统，就像访问本地文件一样。它最初由SunMicro

IT成长日记·2025-03-04 23:44

HarmonyNext实战案例：基于ArkTS的分布式文件共享系统开发

本文将详细介绍如何使用ArkTS语言开发一个分布式文件共享系统，通过实战案例深入讲解其实现原理和代码编写过程。该系统允许用户在不同设备间共享文件，并支持文件的实时同步和访问控制。

·2025-03-04 14:00

快速理解Redis

Redis是一种开源的、基于内存的数据结构存储系统，它可以用作数据库、缓存和消息中间件等。下面是对Redis的详细解析，包括其基本特性、数据结构、应用场景、安装及配置等方面的内容。

黄尚圈圈·2025-03-04 09:57

深入解析Redis：核心特性与应用场景

1.Redis的本质与定位Redis（RemoteDictionaryServer）是一个开源的、基于内存的键值对存储系统，属于NoSQL数据库的范畴。

月落星还在·2025-03-04 09:24

避免Hive和Spark生成HDFS小文件

HDFS是为大数据设计的分布式文件系统，对大数据做了存储做了针对性的优化，但却不适合存储海量小文件。

穷目楼·2025-03-03 22:36

Redis学习归纳总结--包含redis的所有基础知识点

Redisredis是开源的，内存中的数据结构存储系统，他可以用作数据库，缓存和消息中间件它支持多种类型的数据结构，如字符串，散列，列表，突然关机可能导致内存内容丢失，所以redis有磁盘持久化，减少损失

小白白007·2025-03-03 21:26

面试题：你们的服务是怎么做日志收集的？

为了便于集中管理和分析，需要将日志收集到一个中心化的存储系统中。日志收集的流程日志收集通常包括以下几个步

clownAdam·2025-03-03 21:23

Redis学习笔记之——学习计划

Redis——RemoteDictionaryServer，开源、基于内存、速度快、key-value...Redis做为一个高性能的键值存储系统，广泛应用于缓存、会话存储、分布式锁以及其他需要快速访问的数据场景中

Jack_abu·2025-03-03 08:41

Redis的主要数据类型及其应用场景

Redis是一种高性能的键值存储系统，支持多种数据类型，每种类型针对不同的应用场景设计。

阿湯哥·2025-03-03 05:16

大数据技术学习框架（更新中......）

小技工丨·2025-03-03 04:05

MongoDB快速入门

目录1什么是MongoDB1.1MongoDB的特点2基本概念3安装与配置4MongoDB操作指令连接与数据库操作集合操作文档操作索引操作聚合操作1什么是MongoDBMongoDB是一个基于分布式文件存储的开源数据库系统属于

南枝杜鹃·2025-03-01 11:23

redis和mysqle辨析

Redis是一个键值存储系统，数据以键值对的形式存储。它支持多种数据结构，如字符串、列表、集合、有序集合、散列。Redis的操作通常是基于

C嘎嘎嵌入式开发·2025-02-28 13:11

Ceph Cookbook: 掌握分布式存储技术的实践指南

本文还有配套的精品资源，点击获取简介：《CephCookbook》是一本面向希望深入学习Ceph分布式存储系统的读者的实用指南。本书通过实际案例和操作指导，全面介绍Ceph的核心概念和关键技术。

云山雾村·2025-02-28 11:31

深入探讨Ceph：分布式存储架构的未来

在数字化浪潮汹涌澎湃的当下，数据量呈爆发式增长，传统存储系统在应对海量数据存储、高并发访问以及灵活扩展等方面，逐渐显得力不从心。

深度Linux·2025-02-28 10:50

Python 实战：构建分布式文件存储系统全解析

Python实战：构建分布式文件存储系统全解析在当今数据爆炸的时代，分布式文件存储系统凭借其高可扩展性、高可靠性等优势，成为了数据存储领域的热门选择。

tekin·2025-02-28 00:23

FUSE，从内核到用户态文件系统的设计之路

JuiceFS就是基于FUSE构建的高性能分布式文件系统，充分发挥了FUSE的灵活性和扩展性。为了更好地理解FUSE的设计理念，我们将首先回顾内核文件系统以及网络文件系统（如

·2025-02-27 17:14

OPPO自研DataFlow架构与实践

例如将不同的日志数据写入到不同的存储系统中。如果这些日志数据同步写入到数据库中，则会降低服务的性能。

鲍倩和鲍新春·2025-02-27 05:53

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析

小四的快乐生活·2025-02-27 03:37

Redis 使用场景大揭秘（Redis Usage Scenarios Revealed）

Redis作为一个高性能的内存数据存储系统，因其卓越的性能和丰富的数据结构而广泛应用于各类场景。本文将介绍Redis的一些常见使用场景，描述每个场景的需求，并分析使用Redis的优势。

Linux运维老纪·2025-02-27 02:31

MongoDB 数据库简介

MongoDB概述MongoDB是一个基于分布式文件系统的NoSQL数据库，由10gen公司

wjs2024·2025-02-26 17:20

MongoDB 复制(副本集)

MongoDB复制(副本集)引言MongoDB是一个高性能、可扩展、易于使用的文档存储系统。它以JSON-like的文档存储结构，支持灵活的数据模型。

froginwe11·2025-02-26 15:38

HDFS是如何存储和管理大数据

HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。

python资深爱好者·2025-02-26 11:38

以太坊介绍

它使用区块链来从同步和存储系统状态，以及称为ether的加密货币来计量和约束执行资源成本。智能合约相当于可以在以

倒霉男孩·2025-02-25 21:29

Spark----Spark 在不同集群中的架构

Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。

XiaodunLP·2025-02-25 20:22

云原生时代的分布式文件系统设计与实现

Alluxio，一个开源的分布式文件系统，应运而生，为大数据和人工智能应用提供了革命性的解决方案。

ITPUB-微风·2025-02-25 08:33

开源分布式存储系统在云原生数据库领域的实践与应用

本文深入探讨了Curve项目，一个专为云原生环境设计的开源分布式存储系统。文章详细介绍了Curve的块存储架构、其在云原生数据库领域的实际应用，并展望了项目的未来发展方向。