分布式集群文件系统

大数据生态守护：Hadoop的深度保护策略

PART1从Hadoop运行原理透视数据保护需求1、Hadoop的定义与范畴Hadoop，狭义而言，是一个专为大数据设计的分布式存储与计算平台，其核心组件包括HDFS（Hadoop分布式文件系统）、MapReduce
云祺vinchin·2025-05-12 08:06

HDFS路径与本地文件系统路径的区别

Hadoop分布式文件系统（HDFS）提供了一个高度可靠的存储系统，用于处理大数据。然而，对于初学者来说，区分HDFS路径和本地文件系统路径可能会有些困惑。
Kkkika·2025-05-12 08:06

day11-Linux系统inode及链接知识及企业按哪里精讲

256字节存储文件的属性信息（大小、用户、时间等），还有指针：指向实际文件内容的地址Linux常见的文件系统：ext4，xfsWindows常见的文件系统：ntfs，fat32创建文件系统时就会生成inode
孙克旭‌·2025-05-12 07:53

RDD 三种创建方式

一.从linux本地文件系统加载数据创建RDD1.需要在linux本地创建文件test.txttouchtest.txt2.打开sparksparkshell3.读取本地文件创建RDDscala>valtest
古月皮皮·2025-05-12 02:50

Java 开发者 Linux 学习指南

目录一、引言：为什么Java开发者必须掌握Linux二、Linux基础：核心概念与常用命令（一）文件系统与目录结构（二）权限体系与用户管理（三）进程管理与监控三、在Linux上安装与配置Java环境（一
禹曦a·2025-05-11 22:27

分区工具fdisk和gdisk

.MBR分区表请使用fdisk分区，GPT分区表请使用gdisk分区语法格式：fdisk[参数]常用参数p分区列表t更改分区类型n创建新分区d删除分区v校验分区u转换单位w保存并退出q不保存并退出创建文件系统
菜菜kai·2025-05-11 20:16

java读写hdfs文件操作_HDFS文件系统简单的Java读写操作

packagecom.cn.hadoop.hdfs;importjava.io.FileInputStream;importjava.io.FileOutputStream;importjava.io.IOException;importjava.net.URI;importjava.net.URISyntaxException;importorg.apache.hadoop.conf.Confi
weixin_39979159·2025-05-11 18:01

【赵渝强老师】在PostgreSQL中使用file_fdw访问外部文件系统

PostgreSQL的file_fdw扩展允许直接从数据库中来访问服务器的文件系统中的文件，而文件的格式要求为text、csv或者binary。下面通过具体的操作来演示如何使用file_fdw扩展。
·2025-05-11 11:05

深入解析Docker底层原理：从Namespace到联合文件系统

引言：容器技术的革命性突破在云计算和DevOps蓬勃发展的时代背景下，Docker作为容器技术的代表，彻底改变了应用程序的构建、交付和运行方式。与传统虚拟机相比，Docker以其轻量级、快速启动和资源高效利用等特性，成为现代云原生架构的基石。本文将从内核级技术出发，深入剖析Docker的底层实现原理。一、Docker核心技术解析1.1LinuxNamespace：进程隔离的魔法Namespace是
一休哥助手·2025-05-11 11:21

postgresql-15 更改默认存储路径

文件系统容量已用可用已用%挂载点devtmpfs4.0M04.0M0%/devtmpfs16G016G0%/dev/shmtmpfs6.3G663M5.6G11%/run/dev/mapper/root70G67G3.9G95
运维潇哥·2025-05-11 02:46

C# 异步编程

异步编程适用场景：1、从网络请求数据2、访问数据库3、读取和写入到文件系统4、执行成本高昂的计算好处：通过使用异步编程，可以避免性能瓶颈并增强应用程序的总体响应能力，不会阻塞线程，增强用户体验。
程序猿多布·2025-05-10 22:50

kafka logs storage

在文件系统中，Partition是目录名，而Segment是文件名。Segment可以通过下面的配置来控制滚动和清理。
predisw·2025-05-10 17:53

探秘数据中台：五大核心平台的功能全景解析

数据源管理：集成多类型数据源（如数据库、API、文件系统
AI科技分享·2025-05-10 12:17

操作系统：计算机世界的基石与演进

抽象构建者：将复杂的硬件细节转化为简洁的编程接口，如将磁盘物理结构抽象为文件系统，将网络通信抽象为套接
不三不四୭·2025-05-10 12:46

云计算-私有云-私有云服务搭建

私有云一、私有云服务搭建(10)IP地址设置，主机名设置，磁盘分区，文件系统挂载，web、ftp、dns、ntp等常用linux服务器安装与配置。
大G哥·2025-05-10 10:35

一文看懂HarmonyOS的Linux内核子集（LOS）

LOS）简介（一）HarmonyOS的诞生背景与发展历程（二）Linux内核子集（LOS）在HarmonyOS中的角色定位三、Linux内核子集（LOS）的技术特点（一）内存管理与进程隔离机制（二）网络与文件系统支持
大雨淅淅·2025-05-10 06:06

Linux 学习笔记1

Linux学习笔记1一、用户和用户组管理用户组操作用户操作二、文件权限管理权限查看权限修改归属权修改三、系统快捷操作四、软件管理包管理工具服务管理五、文件系统操作软链接六、时间管理七、网络管理基础命令端口与进程进程管理八
Li.Yc·2025-05-10 00:00

云计算-私有云-私有云服务搭建

私有云一、私有云服务搭建（10）IP地址设置，主机名设置，磁盘分区，文件系统挂载，web、ftp、dns、ntp等常用linux服务器安装与配置。
·2025-05-10 00:16

docker rm 容器提示这个device or resource busy

容器的文件系统或其他资源仍在被其他进程或容器使用。您可以尝试以下方法解决这个问题：停止容器：首先确保要删除的容器已经停止运行。
qq_33192454·2025-05-09 17:04

【Elasticsearch】将数据预加载到文件系统缓存中

默认情况下，Elasticsearch完全依赖操作系统文件系统缓存来缓存I/O操作。可以设置index.store.preload以便告诉操作系统在打开时将热索引文件的内容加载到内存中。
九师兄·2025-05-09 11:34

ES优化文件系统缓存filesystem cache

想学习架构师构建流程请跳转：Java架构师系统架构设计1windows如何更改FileSystem缓存的大小你可以使用命令行更改文件系统缓存的大小。此操作需要完整地重置缓存，并且它需要管理权限。
赵广陆·2025-05-09 11:31

服务器数据恢复—硬盘坏道导致EqualLogic存储不可用的数据恢复

上层采用VMFS文件系统，存放虚拟机文件，上层一共分了4个卷。磁盘故障导致存储不可用，且设备已经过保。服务器存储数据恢复过程：1、将故障存储上的16块硬盘做好标记后取出。
北亚数据恢复·2025-05-09 09:51

Linux系统学习： 进程、重定向和管道指令：xargs 指令的作用是

我们知道，应用的可执行文件是放在文件系统里，把可执行文件启动，就会在操作系统里（具体来说是内存中）形成一个应用的副本，这个副本就是进程。插一个小知识，以后你再遇到面试题：什么是进程？
DeepSea.QQ·2025-05-09 06:01

HDFS常用shell命令+MapReduce java编程+HBase常用shell命令+Spark python编程(RDD+df)

Sparkpython编程(RDD+df)，本文档纯属个人整理，为了应对大数据期末考试的20分程序填空和20分手撕代码题（一道mapreducejava，一道sparkpython）HDFSShell指令说明文件系统操作命令
菜菜why·2025-05-09 01:25

在大数据时代，数据的采集和分析是关键。本文将结合Python爬虫技术获取数据和使用Pyecharts进行可视化，演示如何抓取网页数据、数据处理，使用Pyecharts绘制图表。

数据存储：爬取的数据可以存储到数据库、文件系统或云存储中。数据处理：爬虫可以对抓取的
att1472·2025-05-09 00:19

存储设备驱动开发：移植Flash的FatFs文件系统以及常见知识点扫盲

目录1.移植与设备驱动开发2.FatFs文件系统移植3.易错点总结在讲具体的文件系统移植之前，我们先来重新梳理一下“移植”与“设备驱动开发”这两个概念。
NJUST_ZHChen·2025-05-08 21:30

Spark和Hadoop之间的区别

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem，HDFS）。
lucky_syq·2025-05-08 20:52

FPGA----基于ZYNQ 7020实现定制化的EPICS通信系统

补充知识点：在PetaLinux系统中，将BOOT.BIN、image.ub和根文件系统（如rootfs.ext4）分开存放在不同的分区是一种常见且推荐的做法。这种分离提供了更大的灵活性和可维护性
发光的沙子·2025-05-08 16:24

Linux文件编程

一、Linux文件的重要性，如何创建、修改一个文件1.Linux一切皆文件文件系统（文件夹/文件)，硬件设备管道数据库Socket等。2.文件操作指令ls-l(显示当前文件夹的文件，以及其属性。
@电子爱好者·2025-05-08 05:20

一文知数据库

一文知数据库1.数据库的概念1.1概述什么是数据库数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作。
王五周八·2025-05-08 01:58

macos 远程开发，实现文件自动同步

具体实现方式可以参考以下内容：1.使用fswatch和rsync实现自动同步fswatch是macOS上用于监控文件系统事件的工具，类似于Linux上的inotify。
Acaibird.·2025-05-07 15:49

Linux内核与模块管理的深入探索

Linux内核与模块管理的深入探索背景简介在Linux操作系统中，内核是整个系统的核心，它负责管理系统资源，包括文件系统、内存、进程、设备和硬件设备。
征途阿韦·2025-05-07 09:46

【大数据】服务器上部署Apache Paimon

Hadoop或对象存储（可选）:如果需要将数据存储到分布式文件系统（如HDFS）或云存储（如AWSS3），请提前配
大数据追光猿·2025-05-07 09:43

Electron 从零开始：构建你的第一个桌面应用

Electron是由GitHub开发的开源框架，底层基于：Chromium：负责UI渲染Node.js：处理文件系统、后端逻辑广受欢迎的桌
2501_91537388·2025-05-07 04:44

关于Python：3. Python标准库和常用模块

os模块os主要是用于与操作系统交互的，比如：文件和目录操作获取系统信息运行系统命令管理环境变量可以理解为：让你的Python代码能够操作"文件系统"、"目录结构"、"系统指令"等资源。
shenyan~·2025-05-07 02:34

硬盘分区丢失≠末日！3步逻辑恢复法+物理修复全流程图解

然而，硬盘分区丢失这一突发状况，往往让用户措手不及：文件系统突然报错、盘符神秘消失、存储空间显示异常……这些症状背后，可能隐藏着分区表损坏、逻辑错误甚至物理故障。
hfhf153·2025-05-07 02:04

Linux操作系统从基础入门到精通：最新企业级开发实战

本文将从零基础出发，系统性地介绍Linux操作系统的核心概念、安装配置、文件系统结构、命令行操作，以及企业级开发中的Shell编程、系统编程和网络编程实战，通过大量代码示例和详细解释帮助读者深入理解并掌握
Android洋芋·2025-05-06 22:11

算法之树的详解（C++）

它们不仅是解决搜索、排序、存储等问题的“秘密武器”，更在数据库索引优化、自然语言处理、文件系统管理等场景中发挥着不可替代的作用。本文将带您深入树结构的奇妙世界，一同领略其精妙设
丰收连山·2025-05-06 20:57

本地连接hive

我们要将相对应集群的三个文件拷贝到本地来,就这三个位置在/etc/hadoop/conf和/etc/hive/conf下第二步:要注意core-site.xml中的fs.defaulfFs这个配置项是默认文件系统的名称
向往太空的鱼·2025-05-06 14:24

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
Ajekseg·2025-05-06 14:52

Linux 中的 accessed 标志

一、引言在Linux操作系统中，文件系统的管理是至关重要的一部分。而“accessed标志”作为文件属性的一个重要组成部分，对于理解文件的访问历史和系统的运行状态有着重要的意义。
Mr_-G·2025-05-06 10:51

HDFS与云计算：部署HDFSonAWSAzure和GCP

Hadoop分布式文件系统（HDFS）作为一种高效、可靠的分布式存储系统，已经被广泛应用于大数据处理。然而，随着云计算的普及，越来越多的企业选择将HDFS部署在云平台上，以利用云计算的弹性和高可用性。
AI天才研究院·2025-05-06 03:36

当 Linux 根分区 (/) 已满时如何释放空间？

根分区（/）是Linux文件系统的核心，包含操作系统核心文件、配置文件、日志文件、缓存和用户数据等。当根分区满载时，系统可能出现无法写入新文件、应用程序崩溃甚至无法启动的情况。
wljslmz·2025-05-05 22:07

Google云计算原理和应用之分布式锁服务Chubby

Chubby是Google设计的提供粗粒度锁服务的一个文件系统，它基于松耦合分布式系统，解决了分布的一致性问题。通过使用Chubby的锁服务，用户可以确保数据操作过程中的一致性。
谢苏大神·2025-05-05 21:31

【数仓重构】基于StarRocks的敏捷数仓

1.StarRocks建表1.1背景在特定的业务场景下，使用了StarRocks构建数仓越来越流行，尤其在云原生的场景下，StarRocks的BE/CN可以远程挂载分布式文件系统，使得存储计算分离，更加弹性
Sonnie0000001（马库斯）·2025-05-05 20:25

大数据存储解决方案：HDFS vs NoSQL全面对比

大数据存储解决方案：HDFSvsNoSQL全面对比关键词：HDFS、NoSQL、大数据存储、分布式文件系统、非关系型数据库、数据模型、扩展性摘要：本文深入对比分析HDFS（分布式文件系统）与NoSQL数据库在大数据存储领域的核心差异
大数据洞察·2025-05-05 20:25

RHCE第五章：NFS服务器

一、NFS（networkfilesystem）网络文件系统：在互联网中共享服务器中的文件资源（用于Linux主机共享文件的协议）。
Forget_8550·2025-05-05 19:16

.NET 8 组件之文件系统组件

随着.NET8的发布，开发者迎来了众多新特性和改进，其中之一就是文件系统组件(FileSystemComponent)。
拾忆4377·2025-05-05 18:13

spark local模式

SparkLocal模式是一种在单台机器上运行Spark应用程序的模式，无需搭建分布式集群，适合开发调试、学习以及运行小规模数据处理任务。
Aaaa小嫒同学·2025-05-05 11:54

Node.js文件系统（fs模块）深度解析：从基础到工程实践

Node.js文件系统（fs模块）深度解析：从基础到工程实践引言：文件操作的前世今生在服务端开发领域，文件系统操作是核心能力之一。
码农捻旧·2025-05-05 09:39
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他