文件系统扩容

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。
moluxiangfenglo·2025-02-06 01:54

node模块查找策略

在路径Y中引入X模块：如果X是核心模块a.返回核心模块b.停止如果X以/开头a.将Y设置为文件系统根目录如果X以./或/或..
小郑T_T·2025-02-05 23:43

物联网下的RTOS开发（四）——数据存储

文章目录数据存储一、存储介质二、物联网场景三、模型设计直接存储可靠性直接存储文件系统应用数据存储在window或者linux下开发程序，程序员往往不会关心文件存储的介质。
别拍我后脑勺·2025-02-05 23:40

OpenCV4，快速入门，第一讲：图像读取与显示

1.2namedWindow-窗口创建1.3imshow-图像显示2.完整工作流程示例3.常见问题处理3.1图像路径错误3.2窗口无法关闭3.3显示图像颜色异常1.读、显API解析1.1imread-图像读取功能：从文件系统加载图像到
智驾·2025-02-05 23:38

inux学习日志前传_基础命令

Linux学习日志_基础命令Linux哲学：测试shell脚本是否有语法错误bash单步执行脚本hwclock（一般使用：hwclock-r读取硬件时间）文件系统：rm:删除cp:copy（默认只复制文件
stevenux·2025-02-05 21:58

find命令学习

-type类型参数f普通文件l符号连接d目录c字符设备b块设备s套接字pFifo2.按时间UNIX/Linux文件系统每个文件都有三种时间戳：访问时间（-atime/天，-amin/分钟）：用户最近一次访问时间
Miqiuha·2025-02-05 21:25

Linux内核源码：ext4 extent详解

在Linux系统的庞大体系中，文件系统就像是一个井然有序的图书馆，而ext4文件系统则是这座图书馆中极为重要的“藏书室”，它负责高效管理和存储数据。
深度Linux·2025-02-05 20:20

Linux系统扩容根 (/) 文件系统空间

[root@localhost~]#df-Th/#查看当前根文件系统使用情况[root@localhost~]#lsblk#查看设备的挂载情况[root@localhost~]#lvdisplay#查看逻辑卷使用情况
JunLan~·2025-02-05 17:58

华为 笔试 4.24 第二题：这一题只通过了36%why

所有的集合都说一遍，包括一些细节，比如ArrayList的扩容机制，Lin育碧源计划初级游戏逻辑开发流程+凉经4.9投
2301_79125431·2025-02-05 16:24

使用 HashMap 时，有哪些提升性能的技巧？

参考答案拆解1.核心优化方向分层解析HashMap的性能优化围绕减少哈希冲突、避免频繁扩容、优化遍历效率三大核心展开，以下是具体技巧：//示例：合理初始化HashMap（预估容量）intexpectedSize
一只蜘猪·2025-02-05 13:57

顺序表ArrayList源码分析

顺序表中的ArrayList源码新增元素add(intindex,Eelement)的时候,用到了位运算右移一位,此时扩容后的数组大小是原来的1.5倍(n+0.5n=1.5n),代码如下:intnewCapacity
汤坤Sunshine·2025-02-05 11:10

MongoDB简介

在数据存储中，最常见的三种存储方案是:在文件系统的文件中直接存储，关系数据库和NoSQL数据库。本篇文章讲的就是第三类:一种叫MongoDB的NoSQL数据库。
白菜4220·2025-02-05 11:39

CDH角色迁移和硬盘扩容

1.概述生产CDH集群硬盘不足，HDFSdatanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。
专注大数据的Lyer·2025-02-05 09:56

深入掌握JavaScript Node.js开发

该压缩包文件可能包含有关Node.js核心概念和模块的资料，比如模块化设计、文件系统操作、HTTP服务器创建、进程和线程管理、网络编
黑泡尖子·2025-02-05 06:08

文件系统详解

文件系统文件类型文件操作文件系统如何存储数据inodeblock(块）superblock一个进程已经被挂载，可执行文件可以删除吗？
TABE_·2025-02-05 01:01

自制文件系统对于wifi的wpa_supplicant移植

最近一些项目原因需要让自制的linuxqt文件系统支持wifi功能，本文将具体进行分析。
Logic_tain·2025-02-04 22:44

Python 高手编程系列二千零五十五：常见约定与实践

文件系统层次结构可能出现在你脑海中最显而易见的约定可能就是关于文件系统层次结构和用户命名。如果你在本书中寻找这方面的建议，那你要失望了。当然，存在一个文件系统层次结构标准（Files
杨琴1·2025-02-04 18:13

【C# 】图像资源的使用

以下是几种常见的使用图像资源的方法：WindowsForms直接加载图像：使用System.Drawing.Image.FromFile()方法可以直接从文件系统加载图像。
wangnaisheng·2025-02-04 17:34

LINUX系统进程管理

进程控制一、进程概述二、进程描述1.进程标识符信息2.进程的调度信息3.进程间通信信息4.进程链接信息5.时间和定时器信息6.文件系统信息7.虚拟内存信息8.处理器特定信息三、进程的相关操作（一）进程标识符相关操作
兜哥·2025-02-04 17:33

Ubuntu20.04 下基于QEMU 的 ARM 开发

uboot2.1编译uboot源码2.2测试uboot程序三、编译&运行kernel3.1编译kernel源码3.2测试kernel内核四、编译&运行busybox4.1编译busybox源码4.2制作文件系统
背 锅 侠·2025-02-04 15:49

ubuntu直接运行arm环境qemu-arm-static

qemu-arm-static嵌入式开发有时会在ARM设备上使用ubuntu文件系统。
张文君·2025-02-04 14:40

MySQL学习Day26——事务基础知识

一、数据库事务概述:事务是数据库区别于文件系统的重要特性之一，事务会让数据始终保持一致性，能通过事务机制恢复到某个时间点，可以保证提交到数据库的修改不会因为系统崩溃而丢失1.查看引擎支持事务的情况:只有
糖JL是我儿·2025-02-04 07:44

Spark3.1.2单机安装部署

Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。大数据问题场景包含以下三种：复杂的批量数据处理基于历史数据的交
花菜回锅肉·2025-02-04 07:43

【JavaSE】文件 IO（操作文件）

文章目录1.操作文件系统File常用属性及方法1.1属性1.2构造方法1.3方法2.操作文件内容——数据流2.1字节流2.2字符流2.2.1Reader2.2.2Writer操作系统会将硬件设备和软件资源都抽象为
Undefined name！·2025-02-04 06:05

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。1：安装由于我的是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2：Client——创建集群连接​fromhdfsimport*client=Client("ht
唐僧不爱八戒·2025-02-04 00:50

公司的k8s集群架构

应用部署模式的演进虚拟化模式容器化模式相比虚拟机和容器容器更加轻量级，启动更快（秒级）容器可移植性更好2.管理大量的容器带来了新的挑战容器编排调度引擎——k8s的好处简化应用部署提高硬件资源利用率健康检查和自修复自动扩容缩容服务发现和负载均衡二
Dragon-wei·2025-02-03 17:50

Hive修复分区

当你在HDFS文件系统中手动添加或删除分区目录，Hive并不会自动识别这些更改。
码农小旋风·2025-02-03 14:27

hive分区和分桶详解

1、分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
CodeShelby·2025-02-03 14:56

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23

游戏Gala—基于星际文件系统的非中心化游戏

如今游戏开发与两年前相比完全不同。今天的游戏是丰富的多媒体和艺术体验的结合，但这种体验深度是有代价的。这些版本中所有令人惊叹的设计、代码和基础架构都需要在存储解决方案中进行改进。随着沉浸式游戏迈向Web3前沿，该领域的开发人员也需要一些工具来组织、分析、归档和部署大量的数据。Galagame是一个能够满足这些需求的解决方案，并且帮助不同的团队和项目开发链上游戏。它的使命是建立一个非中心化的游戏平台
中创算力·2025-02-03 12:09

Linux操作系统在emmc上的分区

有行政区域（启动分区），居民区（根文件系统），商业区（交换空间）等等。就像在城市中一样，维护秩序并防止混乱（也就是文件系
FaYE_zZ·2025-02-03 10:22

linux SD/eMMC 存储架构

Linux向SD卡或emmc写入数据时会经过哪些软件层：在Linux中，向SD卡写入数据时，数据会经过几个层面的处理：1.应用层：这是最上层，包括你使用的文件系统工具，如`dd`、`cp`或其他工具。
hello-linux·2025-02-03 09:17

【漏洞复现】Apache Tomcat条件竞争代码执行漏洞（CVE-2024-50379）

文章目录前言声明一、漏洞描述二、漏洞版本三、环境部署四、漏洞复现五、修复建议前言由于Windows文件系统与Tomcat在路径大小写区分处理上的不一致，当启用了默认servlet的写入功能（设置readonly
李火火安全阁·2025-02-03 09:15

CentOS7部署ceph

CEPH简介不管你是想为云平台提供Ceph对象存储和/或Ceph块设备，还是想部署一个Ceph文件系统或者把Ceph作为他用，所有Ceph存储集群的部署都始于部署一个个Ceph节点、网络和Ceph存储集群
假面生·2025-02-03 04:07

Python3 OS模块中的文件/目录方法说明十四

二.Python3OS模块中的文件/目录方法1.os.statvfs()方法os.statvfs()方法用于返回包含文件描述符fd的文件的文件系统的信息。
崔行舟·2025-02-02 20:05

索引的底层数据结构、B+树的结构、为什么InnoDB使用B+树而不是B树呢

在数据库和文件系统中，B+树被广泛应用于索引和
因特麦克斯·2025-02-02 17:43

Linux基础

一.Linux主要目录介绍：Linux系统的文件系统遵循类似UNIX的目录结构，根目录(/)是最顶层的目录，下面包含了不同的子目录，承载着系统和应用程序的文件。
索然无味io·2025-02-02 16:35

Jetson Nano B01 sd卡启动 以及读取sd卡来扩容（换系统）

一.读取sd卡来扩容：请先确保JetsonNanoB01是可以正常进入EMMC系统的。
yuyuyue249·2025-02-02 14:24

qnx efs文件系统binary修复

进一步提取出efs文件系统但是使用qnxdumpefs命令导出文件系统时发现结构体异常。
MengXP·2025-02-02 10:55

HDFS分布式文件系统3-2 shell定期采集数据到HDFS

1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下：#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
诺特兰德·2025-02-02 03:38

Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

SparkContext上下文环境2-从外部文件数据源读取数据3-执行flatmap执行扁平化操作4-执行map转化操作，得到(word,1)5-reduceByKey将相同Key的Value数据累加操作6-将结果输出到文件系统或打印代码
2401_84181704·2025-02-01 23:09

使用 fdisk 对分区进行扩容

原先磁盘做了分区，并且不是以LVM的方式做的磁盘管理，现在打算将剩下的空余容量全部分配给/data目录sdb8:16020G0disk└─sdb18:17010G0part/data查看原有的数据（这是我提前创建的数据）创建命令：foriin$(seq110);domkdir/data/test_$i;echo"thisisno.$i">/data/test_$i/test.log;donefor
月巴左耳东·2025-02-01 21:24

01.双Android容器解决方案

目录写在前面一，容器1.1容器的原理1.1.1Namespace1.1.2Cgroups（ControlGroups）1.1.3联合文件系统（UnionFileSystem）1.2容器的应用1.2.1微服务架构
高桐@BILL·2025-02-01 13:46

C++，vector：动态数组的原理、使用与极致优化

文章目录引言一、vector的核心原理1.底层数据结构1.1内存布局的三指针模型1.2内存布局示意图2.动态扩容机制2.1动态扩容过程示例3.关键结论4.代码验证内存布局5.总结二、vector的使用方法
智驾·2025-02-01 13:14

更改docker默认数据目录，修改docker默认存储目录/var/lib/docker，docker常用文件系统类型，docker默认数据目录迁移，docker离线下载地址，rsync离线下载及安装

前言作者发现很多讲“更改docker默认数据目录”的文章都没讲重点注意事项，如：复制或备份docker文件时一定要保留对象属性，否则会出现一些不可预知的问题，等。这也是为什么本文标题有提“rsync下载及安装”的原因。其实不使用rsync，使用cp-rp也可以实现环境特别是对内网用户linux系统在内网中，本身没有安装rsync，又不能直接使用yum安装，这里提供相关下载链接1、rsync下载（m
飞火流星02027·2025-02-01 12:08

开发环境搭建-4：WSL 配置 docker 运行环境

在WSL环境中构建：WSL2(2.3.26.0)+OracleLinux8.7官方镜像基本概念说明容器技术利用Linux系统的文件系统（UnionFS）、命名空间（namespace）、权限管理（cgroup
Lilixxs·2025-02-01 09:11

ArrayList，经典永不过时，掌握设计亮点和面试技巧

1核心知识点底层数据存储结构初始化容量扩容机制线程安全时间复杂度2关键代码分析从add方法开始分析publicbooleanadd(Ee){//步骤1ensureCapacityInternal(size
·2025-02-01 05:40

Docker 入门到精通专栏--2.2 容器 (Container)

2.2.1容器的生命周期管理2.2.2启动、停止、删除容器2.2.3查看容器状态与日志总结2.2容器(Container)容器是Docker镜像的运行实例，它提供了一个独立的、隔离的运行环境，包含了自己的文件系统
xiaoheshang_123·2025-02-01 04:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他