分布式文件系统FastDFS

hadoop

的核心架构主要包括HDFS（HadoopDistributedFileSystem）和YARN（YetAnotherResourceNegotiator），以及MapReduce计算框架：1.1HDFS（分布式文件系统

百里自来卷·2025-03-06 06:00

深入检索：专业知识检索的高级算法与架构策略

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进

是小旭啊·2025-03-06 05:52

Java 大视界 -- Java 大数据分布式文件系统的性能调优实战（101）

亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-05 18:25

凤凰架构-演进中的架构

原始分布式时代1、惠普公司=》网络运算架构（NCA）=》远程服务调用的雏形卡内基梅隆大学=》AFS文件系统=》分布式文件系统的最早实现麻省理工学院=》Kerberos协议=》服务认证和访问控制的基础性协议

metazz·2025-03-05 02:37

NFS配置全解析：让文件共享变得如此简单

1NFS简介NFS（NetworkFileSystem）：是一种分布式文件系统协议，允许用户通过网络访问远程文件系统，就像访问本地文件一样。它最初由SunMicro

IT成长日记·2025-03-04 23:44

避免Hive和Spark生成HDFS小文件

HDFS是为大数据设计的分布式文件系统，对大数据做了存储做了针对性的优化，但却不适合存储海量小文件。

穷目楼·2025-03-03 22:36

大数据技术学习框架（更新中......）

小技工丨·2025-03-03 04:05

FastDFS存储目录迁移方案

1背景生产FastDFS的存储目录为/home/fastdfs。当前的存储情况如下：/home挂载点总磁盘量为4.8GB，可用容量不足1GB。所以计划迁移到/usr挂载点，以解决磁盘空间不足的问题。

甘蓝聊Java·2025-02-28 11:30

FUSE，从内核到用户态文件系统的设计之路

JuiceFS就是基于FUSE构建的高性能分布式文件系统，充分发挥了FUSE的灵活性和扩展性。为了更好地理解FUSE的设计理念，我们将首先回顾内核文件系统以及网络文件系统（如

·2025-02-27 17:14

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析

小四的快乐生活·2025-02-27 03:37

MongoDB 数据库简介

MongoDB概述MongoDB是一个基于分布式文件系统的NoSQL数据库，由10gen公司

wjs2024·2025-02-26 17:20

HDFS是如何存储和管理大数据

HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。

python资深爱好者·2025-02-26 11:38

云原生时代的分布式文件系统设计与实现

Alluxio，一个开源的分布式文件系统，应运而生，为大数据和人工智能应用提供了革命性的解决方案。

ITPUB-微风·2025-02-25 08:33

jmeter 与大数据生态圈中的服务进行集成

以下为你详细介绍JMeter与大数据生态圈中几种常见服务（HadoopHDFS、Spark、Kafka、Elasticsearch）集成的方法：与HadoopHDFS集成实现思路HDFS是Hadoop的分布式文件系统

小赖同学啊·2025-02-24 13:40

HDFS分布式文件系统的架构及特点

一、HDFS架构HDFS采用的是主从（Master/Slave）架构，即一个HDFS通常是由一个Master和多个Slave组成。Master为NameNode主要用于管理HDFSSlave为DataNode主要用于存储文件SecondaryNode用于辅助NameNodeHDFS架构1.1BlockBlock是HDFS文件系统中最小的存储单位，通常称为数据块。在HDFS文件系统中存储的文件会被拆

互联网上的猪·2025-02-24 04:40

docker搭建FastDFS文件系统（最详细版）

https://notes.xiyankt.com博主开源微服架构前后端分离技术博客项目源码地址，欢迎各位starhttps://gitee.com/bright-boy/xiyan-blogdocker安装FastDFS

刘明同学呀·2025-02-23 06:34

私有化部署落地方案～后端

中间件从星云私有化部署整体方案中，可以知道我们采用了MySQL、Redis、ElasticSearch、RabbitMQ和FastDFS这五种中间件组件。

维搭小刘·2025-02-21 10:19

Linux-ISCSI

⏰️创作时间：2025年02月17日19点50分iSCSI协议是没有同步机制的，要想解决同步机制，需要配置集群文件系统或者是分布式文件系统，防止数据不同步的问题iSCSI基于IP协议的技术标准，该技术允许用户通过

DC_BLOG·2025-02-20 20:16

Hadoop之HDFS的使用

HDFS是什么：HDFS是一个分布式的文件系统，是个网盘，HDFS是一种适合大文件存储的分布式文件系统HDFS的Shell操作1、查看hdfs根目录下的内容-lshdfsdfs-lshdfs://hadoop01

想要变瘦的小码头·2025-02-20 20:43

Hadoop管理工具dfsadmin和fsck的使用

Hadoop提供了多个管理工具，其中dfsadmin和fsck是用于管理HDFS（Hadoop分布式文件系统）的重要工具。以下是它们的使用方法和常见命令。

脚本无敌·2025-02-19 16:46

MongoDB sharding

因为Mongo主要是支持海量数据存储的，所以Mongo还自带了一个出色的分布式文件系统GridFS，可以支持海量的数据存储。

tycoon1988·2025-02-19 11:56

HBase简介：高效分布式数据存储和处理

HBase的核心特点包括：分布式存储：HBase使用Hadoop分布式文件系统（HDFS）作为底层存储，数据被分布在集

代码指四方·2025-02-18 03:07

hadoop 1.0 基本概念了解

Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据HDFS：HDFS是一个分布式文件系统。通过一次写入，多次读出来实现。Chukwa：Chukw

fenggfa·2025-02-12 07:48

深入理解Hadoop 1.0.0源码架构及组件实现

该版本包含核心分布式文件系统HDFS、MapReduce计算模型、Common工具库等关键组件。通过分析源码，可深入理解这些组件的设计和实现细节，包括数据复制、任务调度、容错机制以及系统配置管理。

隔壁王医生·2025-02-12 07:14

云存储（OSS、CPFS 和 NAS）

在云存储领域，对象存储服务（OSS）、云分布式文件系统（CPFS）和网络附加存储（NAS）是三种常见的存储解决方案。它们各自具备不同的技术特点和适用场景，选择合适的存储方案能够更好地满足不同业务需求。

HaoHao_010·2025-02-11 18:09

HiveQL命令（三）- Hive函数

ApacheHive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符

BigDataMagician·2025-02-11 12:00

Linux 查看运行了哪些服务

1、service--status-allservice--status-all输出：●fdfs_storaged.service-LSB:FastDFSstorageserverLoaded:loaded

qifengle2014·2025-02-11 08:21

掌握大数据--Hive全面指南

HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统

纪祥_ee1·2025-02-10 22:40

docker搭建fastdfs集群

具体搭建过程参照官方wiki:https://github.com/happyfish100/fastdfs/wiki按照官方wiki,将配置文件做修改并打包,然后自己写成Dockerfile环境:三台虚拟机

随便起个名用·2025-02-10 22:35

深度剖析分布式存储架构

【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的分布式文件系统和分布式键值系统等，较为系统详尽。全文约2万字，可收藏。

罗伯特之技术屋·2025-02-09 07:28

k8s部署go-fastdfs

前置环境：已部署k8s集群，ip地址为192.168.10.1~192.168.10.5，总共5台机器。1.创建provisioner制备器（如果已存在，则不需要）制备器的具体部署方式可参考我的上一篇文章：k8s部署rabbitmq-CSDN博客文章浏览阅读254次，点赞3次，收藏5次。k8s部署rabbitmqhttps://blog.csdn.net/ZZ2713634772/article/

小梦想的博客·2025-02-08 07:35

如何处理大规模数据集中的数据处理：Spark和ApacheFlink

DataProcessing）任务调度（TaskScheduling）HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解1.MapReduce（1）概述（2）算法原理分布式文件系统

AI天才研究院·2025-02-07 01:43

HIVE常见面试题

通过将结构化的数据文件映射成表，并提供类SQL的查询功能，使得用户可以通过编写SQL语句来进行数据分析，而不需要编写复杂的MapReduce程序2.简述hive读写文件机制Hive读写文件机制主要依赖Hadoop的HDFS（分布式文件系统

兔子宇航员0301·2025-02-06 18:59

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。

qq_44801116·2025-02-06 06:10

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。

szjianzr·2025-02-06 03:13

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。

moluxiangfenglo·2025-02-06 01:54

Spark3.1.2单机安装部署

Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。大数据问题场景包含以下三种：复杂的批量数据处理基于历史数据的交

花菜回锅肉·2025-02-04 07:43

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。1：安装由于我的是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2：Client——创建集群连接fromhdfsimport*client=Client("ht

唐僧不爱八戒·2025-02-04 00:50

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文

Stray_Lambs·2025-02-03 14:23

FastDFS实用笔记（Docker 搭建环境 + 整合 SpringBoot）

解决了大容量存储和负载均衡的问题，特别适合中小文件（4KB>文件路径为空…”);return“文件路径不能为空”;}try{StorePathstorePath=StorePath.parseFromUrl(fileUrl);storageClient.deleteFile(storePath.getGroup(),storePath.getPath());}catch(Exceptione){l

字节全栈_kYu·2025-02-03 07:29

HDFS分布式文件系统3-2 shell定期采集数据到HDFS

1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下：#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_

诺特兰德·2025-02-02 03:38

Hive存储系统全面测试报告

Hive的设计初衷是为了简化大数据集的查询和管理，它允许用户通过简单的SQL语句来操作存储在Hadoop分布式文件系统（HDFS）上的大规模数据集。

蚂蚁质量·2025-01-29 13:27

系统设计面试题

文章目录**设计一个短网址服务**：如何将长网址转换为短网址，并支持短网址的生成、存储、解析和重定向等功能**设计一个分布式文件系统**：考虑如何实现文件的存储、访问、备份、容错等功能，以及如何处理大规模数据和高并发访问

慢慢慢时光·2025-01-28 03:14

解决Python中libhdfs.so的共享库找不到的问题

这个错误通常发生在使用Python访问Hadoop分布式文件系统（HadoopDistributedFileSystem，简称HDFS）时，由于缺少libhdfs.so共享库文件而

code_welike·2025-01-26 16:34

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有

绒绒毛毛雨·2025-01-26 01:35

在docker中安装FastDFS容器，并且阿里云服务器配置

1、拉取FastDFS镜像dockerpulldelron/fastdfs2、创建tracker容器dockerrun-dti--network=host--nametracker--privileged

童小纯·2025-01-24 00:53

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。主要是为了解决大数据如何存储的问题，跟一般文件系统不同的是，它可以通过扩展服务器结点来扩充存储量，可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性：一个HDFS集群会包含非常多的结点，HDFS将文件分块存储，并且会保存多个副本到不同的机器节点上以保证数据的安全，而且

Fancs2024·2025-01-23 09:37

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。

狮歌~资深攻城狮·2025-01-22 15:01

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析一、JuiceFS在多云架构中的角色与优势1.JuiceFS简介JuiceFS是一个高性能的分布式文件系统，专为云原生环境设计，支持多种公有云和私有云的对象存储服务

GZM888888·2025-01-17 07:37

MYSQL数据库表的设计

blog.csdn.net/jasonhui512/article/details/53134054页面原型需求分析表结构的设计数据库设计案例elasticSearchpostgresqlmongodbRedisneo4jfastDFSmemcachemavengitsvnluencemybatismybatisplusspringspringMVCspringbootspri

qq_45849275·2025-01-16 18:16

推荐频道