HDFS文件系统

《Linux设备驱动开发详解（第3版）》第12章 Linux块设备驱动

12.2块设备的I/O栈块设备的I/O栈涉及多个层次，从用户空间的系统调用开始，经过VFS（虚拟文件系统）、通用块层，最终到达块设备驱动层。这部分也是理论性较强，直接的代码示例较少。

请向我看齐·2025-03-22 02:50

Sqoop安装部署

ApacheSqoop简介Sqoop（SQL-to-Hadoop）是Apache开源项目，主要用于：将关系型数据库中的数据导入Hadoop分布式文件系统（HDFS）或相关组件（如Hive、HBase）。

愿与狸花过一生·2025-03-21 22:10

对数据库的总结

一、数据库基础1.数据库是一个用于存储和操作数据的文件系统2.关系型数据库：是基于二维表存储的，每个表格由列和行组成，列代表属性，行代表约束，数据的组织和查询更加方便和高效。

·2025-03-21 16:46

java NIO中的FileSystems工具类可以读取本地文件系统，ZIP/JAR等，无需解压处理，还可以复制文件

在JavaNIO（java.nio.file包）中，FileSystems是一个工具类，用于操作和管理文件系统。它提供了静态方法来获取或创建文件系统实例，并支持自定义文件系统实现。

爱的叹息·2025-03-21 11:05

Ceph数据恢复方案–分布式文件系统删除数据的恢复

数据分析：2.1：BlueStore架构2.2分布式存储中元数据概述2.3提取元数据2.3.2：获取meta_data2.3.4.元数据整理2.3.5.计算数据地址3.数据恢复提取总结前言什么是分布式文件系统分布式文件系统

San结构数据恢复·2025-03-21 09:43

【服务器数据恢复】数据中心存储服务器VMware vSAN分布式存储架构数据恢复解析

分布式文件系统（DistributedFileSystem，DFS）是一种能够在多台计算机之间共

海境超备·2025-03-21 08:40

解决npm run dev运行后报错：”Could not read package.json: Error: ENOENT: no such file or directory“

在启动一个项目的前端时，执行npmrundev命令，结果报错如下：根据报错提示："npmerrorerrno-4058"通常是由于文件系统权限问题或文件路径问题导致的。

moz与京·2025-03-21 03:59

简化路径

在Unix风格的文件系统中规则如下：一个点'.'表示当前目录本身。此外，两个点'..'表示将目录切换到上一级（指向父目录）。任意多个连续的斜杠（即，'//'或'///'）都被视为单个斜杠'/'。

liujjjiyun·2025-03-21 00:38

MySQL请求处理全流程深度解析：从SQL语句到数据返回

其核心模块协同工作流程如下：客户端连接管理器查询解析器查询优化器执行引擎存储引擎磁盘存储各层核心职责：连接层：管理客户端连接、权限验证服务层：SQL解析、优化、内置函数实现存储引擎层：数据存储与索引管理（如InnoDB）文件系统层

longdong7889·2025-03-20 15:56

Fastdfs-V5.11使用docker部署集群(X86)

composetracker与storage启动目录层级与配置文件client.confstorage.conf查看集群信息测试测试集群扩容与缩减nginx配置一、Fastdfs介绍FastDFS是一款高性能的分布式文件系统

礁之·2025-03-20 07:11

数据中台（二）数据中台相关技术栈

1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto

Yuan_CSDF·2025-03-20 05:25

努力的搬砖人.·2025-03-20 01:53

Flink读取kafka数据并写入HDFS

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021

王知无(import_bigdata)·2025-03-19 22:59

Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结

一、HDFS命令显示当前目录结构#显示当前目录结构hadoopfs-ls#递归显示当前目录结构hadoopfs-ls-R#显示根目录下内容hadoopfs-ls/创建目录#创建目录hadoopfs-mkdir

dazhong2012·2025-03-19 17:48

HarmonyNext实战：基于ArkTS的跨设备文件同步与冲突解决案例详解

HarmonyOSNext提供了强大的分布式文件系统和冲突解决机制，帮助开发者实现高效、可靠的跨设备文件同步。本文将深入探讨如何在HarmonyOSNext中使用ArkTS实现跨设备文件同步与冲突

·2025-03-19 16:47

【Go基础】Go入门与实践资源帖

系统教程从语法讲起：李文周博客七天快速上手项目Go测试驱动开发博客孔令飞项目开发实战课程，孔令飞图文教程《Go语言高级编程》书籍Go算法刷题模板Go实战项目KV系统crawlab分布式爬虫平台seaweedfs分布式文件系统

小超人冲鸭·2025-03-19 16:41

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？

苍曦·2025-03-19 12:43

基于IBM Tivoli TSM系统构建某局备份系统实施方案

本实施TSM的关键字解释文件备份：指文件级别的数据备份，基于操作系统的文件系统进行备份。数据库备份：指数据库基本的备份。在数据库处于open状态下，对数据库数据进行备份，并保持备份数据的一致性。

jaminwm·2025-03-19 05:37

Spark集群启动与关闭

Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启

陈沐·2025-03-18 23:17

智慧社区2.0

项目亮点1.技术架构层面✅多数据源整合（MySQL+Redis+HDFS+OSS）核心亮点：不仅仅是单一数据库，而是根据数据特性使用MySQL（结构化数据）+Redis（缓存）+HDFS（大数据存储）+

陈陈爱java·2025-03-18 19:53

DeepSeek 3FS 与 JuiceFS：架构与特性比较

近期，DeepSeek开源了其文件系统Fire-FlyerFileSystem(3FS)，使得文件系统这一有着70多年历时的“古老”的技术，又获得了各方的关注。

·2025-03-18 18:07

Hadoop MapReduce 词频统计（WordCount）代码解析教程

程序会统计输入文本中每个单词出现的次数，并将结果输出到HDFS文件系统。

我不是少爷.·2025-03-18 17:07

tiny linux: 内核精简的根文件系统制作

采用busybox制作根文件系统，利用kernelmodelinux补丁，使得busybox运行在内核态。欢迎访问tiny_linux,这里有编译好的内核镜像，根文件系统镜像以及相关脚本，供大家使用。

SunliyMonkey·2025-03-18 15:54

Linux缓冲区续集——手撕fopen、fwrite、fflush、fclose等C库函数

接下来就是设计这四个函数：Mystdio.c重点讲一讲_fflush函数的底层实现原理：所以数据内容的经过如下：总结：执行——测试写好的这4个函数：运行结果:修改测试代码：运行结果:回顾上文，我讲述了关于Linux文件系统中关于缓冲区的含义和理解

橙予清的zzz~·2025-03-18 14:43

centos7安装时采用的默认分区（比如：/dev/sda3的对应挂载点是/），如何对系统扩容？

‌非LVM分区扩容方案‌若/dev/sda3是‌非LVM分区‌且存储重要数据，可通过‌直接扩展分区容量‌+‌调整文件系统‌实现扩容，无需重建LVM或格式化分区‌。

1 Byte·2025-03-18 14:09

hadoop集群关闭命令顺序_启动和关闭Hadoop集群命令步骤

.在master上启动hadoop-daemon.shstartnamenode.2.在slave上启动hadoop-daemon.shstartdatanode.3.用jps指令观察执行结果.4.用hdfsdfsadmin-report

氪老师·2025-03-18 12:55

Flume详解——介绍、部署与使用

它特别擅长将数据从各种数据源（如日志文件、消息队列等）传输到HDFS、HBase、Kafka等大数据存储系统。

克里斯蒂亚诺罗纳尔多阿维罗·2025-03-18 12:23

【操作系统安全】任务5：Windows 文件与文件系统

目录一、引言二、文件系统信息查看2.1磁盘与分区信息2.1.1diskpart工具2.1.2wmic查询2.2文件系统类型检查2.3文件属性查看2.3.1dir命令2.3.2attrib命令三、文件系统权限配置

不羁。。·2025-03-18 11:49

【操作系统安全】任务6：Linux 系统文件与文件系统安全学习指南

目录一、文件系统基础概念二、查看文件系统信息2.1磁盘空间查看2.2分区与挂载管理2.3文件系统类型操作三、文件系统权限配置3.1基础权限管理3.2所有权管理3.3特殊权限设置四、文件操作基础4.1文件创建

不羁。。·2025-03-18 11:47

Java IO 与文件系统：File 类与流操作详解

本文将围绕文件系统、硬盘存储、Java的File类以及InputStream和OutputStream的使用进行详细总结，帮助读者全面掌握JavaIO编程的核心知识。

伤心辞·2025-03-18 05:57

## centos7搭建nfs高可用共享存储

centos7搭建nfs双机热备的高可用共享存储本文通过使用keepalived＋nfs＋rsync，解决了主从服务器双向同步和客户端挂载失效的问题，实现了nfs文件系统双机热备。

weixin_45674361·2025-03-17 21:18

Python如何设置工作目录

在Python编程中，正确设置工作目录是文件系统操作的关键步骤之一。工作目录影响到相对路径的解析，确保程序能正确访问所需的文件和资源。

飞起来fly呀·2025-03-17 20:09

结构型模式之组合模式：让对象构成树形结构

例如，在文件系统中，文件和文件夹之间有着“文件夹包含文件”或“文件夹包含其他文件夹”的关系。

菜就多练少说·2025-03-17 18:54

Linux将剩余空间分配给根目录

这些步骤包括调整LVM逻辑卷和文件系统。1.检查当前的磁盘和分区首先，确认当前的磁盘和分区布局。lsblk2.检查LVM物理卷、卷组和逻辑卷使用pvs、vgs和lvs命令来查看当前的LVM配置。

longerxin2020·2025-03-17 13:46

hive-进阶版-1

以下是内部表和外部表的主要区别：1.数据存储位置内部表：数据存储在Hive的默认存储目录下，通常位于HDFS（HadoopDi

数据牧马人·2025-03-17 10:59

网络华为HCIA+HCIP网络基础

目录通信与网络基础网络类型和网络拓扑网络参考模型和标准协议VRP文件系统命令行试图使用快捷键网工基础命令文件系统基本配置命令通信与网络基础通信，是指人与人、人与物、物与物之间通过某种媒介和行为进行的信息传递与交流

ssr——ssss·2025-03-17 09:50

linux ipc 共享内存,IPC--共享内存

共享内存是存在于内核级别的一种资源，在shell中可以使用ipcs命令来查看当前系统IPC中的状态，在文件系统中/proc目录下有对其描述的相应文件。

云上彩·2025-03-17 08:46

解决U盘提示“使用驱动器H：中的光盘之前需要将其格式化”问题（附详细图文）

此问题通常由文件系统错误、分区表损坏或存储设备异常导致。直接格式化会丢失数据，因此需要通过修复文件系统来解决。

川星弦·2025-03-17 07:36

k8s系统学习路径

•熟悉Linux基础：了解Linux命令行操作、网络、文件系统等。•了解云计算概念：如虚拟化、负载均衡、服务发现、分布式系统等。2.Kubernetes核心概

LCY133·2025-03-17 06:58

【STM32】Fatfs文件系统（1）—结构体配置

1.FatFs结构体配置1.1FunctionConfigurations功能配置FF_FS_READONLY定义FatFs是否工作在只读模式0:读/写。默认值。1：只读。只读模式下，写相关的函数f_write(),f_sync(),f_unlink(),f_mkdir(),f_chmod(),f_rename(),f_truncate(),f_getfree()以及其他和写操作相关的函数都将被移

_Yeps·2025-03-16 17:53

Linux高级进程间通信：UNIX域套接字

它使用文件系统路径作为套接字地址，并通过文件系统来传递数据。UNIX域套接字提供了可靠的、面向连接的通信方式，类

TlScratch·2025-03-16 17:23

MacOS在matlab中使用dir时，总是出现“._”文件的解决方法

_"文件的原因是macOS自动创建隐藏的元数据文件（AppleDouble格式），特别是在文件被复制到非macOS文件系统（如外接硬盘、U盘、网络共享盘）时。（1）为什么会出现"._"文件？

我是水怪的哥·2025-03-16 10:59

【AI热点】MCP协议深度洞察报告

它通过统一的客户端-服务器架构，为AI应用与文件系统、数据库、第三方API等外部资源之间提供标准化、安全的双向通信接口。本文将深入解析MCP协议的基本概念和背景、架构设计（通

碣石潇湘无限路·2025-03-16 03:37

二叉树中两个节点最近公共祖先的查找算法研究

递归算法（适用于普通二叉树）4.2迭代算法（适用于二叉搜索树）4.3代码实现（Python）4.4代码解释五、复杂度分析5.1递归算法复杂度（普通二叉树）5.2迭代算法复杂度（二叉搜索树）六、实际应用6.1文件系统目录结构

cloudman08·2025-03-16 00:48

二、docker 存储

tmpfsmount(仅在linux环境中提供)，其中volumes、bindmounts两种实现持久化容器数据；默认：数据保存在运行的容器中，容器删除后，数据也随之删除；volumes：数据卷，数据存放在主机文件系统

阿无@_@·2025-03-15 19:14

Linux基本指令3

Linux基本指令3目录Linux基本指令3一、Linux文件系统管理二、Linux进程与服务管理三、Linux网络配置与诊断一、Linux文件系统管理1.文件系统概述-定义:Linux文件系统是操作系统用于控制数据存储和检索的方法

N201871643·2025-03-15 12:47

大数据学习（67）- Flume、Sqoop、Kafka、DataX对比

如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦工具主要作用数据流向实时性数据源/目标应用场景Flume实时日志采集与传输从数据源到存储系统实时日志文件、网络流量等→HDFS、HBase

viperrrrrrr·2025-03-15 09:51

VSCode SSHFS 扩展使用教程

https://gitcode.com/gh_mirrors/vs/vscode-sshfs1.项目介绍VSCodeSSHFS是一个用于VisualStudioCode的扩展，允许用户通过SSH协议将远程文件系统挂载为本地

史跃骏Erika·2025-03-15 00:57

简单了解WIndow和Linux的路径含义

相对路径很高兴你能看到这篇文章，同时我的语雀文档也更新了许多嵌入式系列的学习笔记希望能帮到你：https://www.yuque.com/alive-m4b9n1>路径概念路径是用来描述一个文件或目录在文件系统中的位置的方式

alive903·2025-03-14 20:20

磁盘和文件系统

磁盘管理及分区fdisk-l查看系统中的磁盘设备未查找到系统新接入的磁盘扫描重新加入的磁盘ls/sys/class/scsi_host##查询HBA总线编号###echo"---">/sys/class/scsi_host/host0/scan$$echo"---">/sys/class/scsi_host/host1/scan$$echo"---">/sys/class/scsi_host/ho

IT小饕餮·2025-03-14 19:12

推荐频道