【filesystem】

HDFS读写底层源码

一、HDFS客户端读文件流程1、打开HDFS文件：HDFS客户端首先调用DistributedFileSystem.open方法打开HDFS文件，底层会调用ClientProtocal.open方法，返回一个用于读取的
xiaoxiaodu201314·2023-08-20 21:40

hdfs 中chunk_HDFS写文件过程分析

上写文件的过程与我们平时使用的单机文件系统非常不同，从宏观上来看，在HDFS文件系统上创建并写一个文件，流程如下图(来自《Hadoop：TheDefinitiveGuide》一书)所示：具体过程描述如下：Client调用DistributedFileSystem
不喝酒的阿蓝·2023-08-20 21:10

HDFS, 配置项清单

1数据存储dfs.namenode.name.dirfsimage和edits存储目录DetermineswhereonthelocalfilesystemtheDFSnamenodeshouldstorethenametable
Lion...·2023-08-20 21:10

Hdfs 客户端写过程 源码解析

Hdfs客户端读过程；接着来分析一下hdfs客户端写入文件的过程；说道到写文件过程，都会知道写入文件的过程如下示意图：客户端写过程示意图：总体来说，最简单的HDFS写文件大体流程如下：客户端获取文件系统实例FileSyStem
午后的红茶meton·2023-08-20 21:39

HDFS文件格式及压缩

HDFS（HadoopDistributedFileSystem）支持多种文件格式和压缩方式，这些格式和方式可以根据数据类型和处理需求进行选择。
贾斯汀玛尔斯·2023-08-20 04:34

HDFS的小文件影响及解决办法

HadoopDistributedFileSystem(HDFS)是用于存储和处理大规模数据的分布式文件系统。然而，HDFS中的小文件可能会对系统性能和资源利用产生一些影响。
贾斯汀玛尔斯·2023-08-20 04:33

9、.Net Core监听Linux下文件夹变化

官方示例代码：FileSystemWatcher类核心代码：using(FileSystemWatcherwatcher=newFileSystemWatcher()){watcher.Path=args
_千_鸟_·2023-08-19 21:05

Linux/centos上如何配置管理NFS服务器？

安装和启动NFS服务2.1安装NFS服务器2.2启动NFS服务3配置NFS服务器和客户端3.1配置NFS服务器3.2配置NFS客户端4实际示例4.1基本要求4.2案例实现1NFS基础了解NFS（NetworkFileSystem
虫无涯·2023-08-19 18:50

Hadoop之HDFS

HDFS全称HadoopDistributedFileSystem-Hadoop分布式文件系统，是Hadoop项目的核心子项目，对海量数据进行进行存储与管理HDFS存储块为128M现在HDFS的block
lurenjia·2023-08-19 12:34

SquashFS 增加压缩解压lz4支持

一般SquashFS工具是我们逆向固件解包时经常会使用的工具，今天刚好有个SquashFS格式的包是lz4压缩的，发现使用unsquashfs的时候报Filesystemusesunknowncompression
贪嘴·2023-08-19 11:27

df显示磁盘空间满了，实际没有满的处理案例

2.2使用lsof列出持有删除文件的pid2.3kill进程2.4验证1.问题描叙1.1df显示磁盘空间使用已达100%df显示"/"目录使用已达100%[root@pcms-mesdev]#df-hFilesystemSizeUsedAvailUse
老年DBA·2023-08-19 11:40

磁盘管理02

文件系统配置文件/etc/filesystems：系统指定的测试挂载文件系统类型/proc/filesystems：Linux系统已经加载的文件系统类型/lib/modules/2.6.18-274.el5
幽若之灵·2023-08-19 08:47

使用javaAPI对HDFS进行各种操作

Configurationconfiguration=newConfiguration();configuration.set("fs.defaultFS","hdfs://192.168.199.134:9000");//连接到hdfsFileSystemfs
小赖同学啊·2023-08-19 05:49

大数据存储技术选型

大数据存储技术包括以下几种主要技术：分布式文件系统（DistributedFileSystems）：代表技术：HadoopDistributedFileSystem(HDFS)、GoogleFileSystem
冷酷无情小帅哥·2023-08-19 03:41

Linux: 查看CPU、内存和硬盘详细信息

转载他人文章，转载链接出处如下：https://www.cnblogs.com/shixiangwan/p/7066085.htmlhttps://www.runoob.com/linux/linux-filesystem.html
三毛的二哥·2023-08-18 23:19

微信小程序 本地图片和base64图片相互转换

wx.chooseImage===从本地相册选择图片或使用相机拍照wx.getFileSystemManager()===获取全局唯一的文件管理器wx.getFileSystemManager().readFile
AAA_si·2023-08-18 17:54

Disk [admin] not configured, please add a disk config in `config/filesystems.php`.

在config/filesystems.php中添加：'disks'=>[  'local'=>[    'driver'=>'local',    'root'=>storage_path('app'
衫青·2023-08-18 08:58

gitlab 磁盘空间不足问题处理

gitlab通过rpm包安装后，默认存储位置在/var/opt/gitlab/git-data/repositories，通常var分区很小，会打满.磁盘空间：[root@bogonsoft]#df-hTFilesystemTypeSizeUse
晓明兄·2023-08-18 01:22

ansible默认连接客户机的root用户

用户如果要指定用户的话则需要加参数：-uREMOTE_USER#远程用户，默认为root用户例如：ansibletx-ulighthouse-mshell-a"df-h"42.xxx.xxx.xxx|SUCCESS|rc=0>>FilesystemSizeUsedAvailUse
真武丘博渊·2023-08-17 22:49

文件系统考古 3：1994 - The SGI XFS Filesystem

在1994年，论文《XFS文件系统的可扩展性》发表了。自1984年以来，计算机的发展速度变得更快，存储容量也增加了。值得注意的是，在这个时期出现了更多配备多个CPU的计算机，并且存储容量已经达到了TB级别。对于这些设备，仅仅对4.3BSD快速文件系统（或SGIIRIX中称为EFS的修改版本）进行改进已不再足够。（点击此处SGI的基准测试中采用的计算机拥有大型背板和多个控制器（其中一项基准测试采用了
Juicedata·2023-08-17 22:49

文件系统考古4：如何支持多个文件系统

SteveKleiman在1986年撰写了《Vnodes:AnArchitectureforMultipleFileSystemTypesinSunUNIX》一文。
Juicedata·2023-08-17 22:49

hadoop.fs.FileSystem.get导致OOM的原因和解决方案

问题描述在调用HDFS获取文件系统的get接口时，指定用户可能会导致OOM问题，示例代码如下：FileSystemfileSystem=FileSystem.get(uri,conf,"hadoopuser
Miaodawang·2023-08-17 17:56

HDFS原理剖析

一、概述HDFS是Hadoop的分布式文件系统（HadoopDistributedFileSystem），实现大规模数据可靠的分布式读写。
Hello.Reader·2023-08-16 21:21

HDFS基本原理

Hadoop（HDFS）HadoopDistributedFileSystem，分布式文件系统hdfs-architecture.png架构中的基本概念block基本存储单位，一般64M，比数据库中的页要大很多基本的读写单位
流浪山人·2023-08-16 18:33

嵌入式开发 Linux 常用命令系列 9 -- linux df，du, dd 命令的详细介绍

df命令的名称来自“diskfilesystem”的缩写。它显示了每个挂载的文件系统的总空间、已用空间、可用空间以及其在整个文件系统中的使用比率。
CodingCos·2023-08-16 17:40

Linux下部署NFS服务 局域网共享文件夹

NFS一、NFS简介和架构图NFS是NetworkFileSystem的缩写，即网络文件系统。
十九贝勒·2023-08-16 12:58

invalid virtual filesystem overlay file '/[Path]/all-product-headers.yaml

1、运行或者打包时提示如下问题“fatalerror:invalidvirtualfilesystemoverlayfile'/[Path]/all-product-headers.yaml”2、解决问题工程
innepeace·2023-08-16 05:10

Apache Hudi Timeline Server介绍

它有多种好处，第一个用例是提供FileSystemViewapi。Hudi的核心是维护一个TableFileSystemView，它暴露API来获取给定数据集的文件状态，驱动程序和
老鼠扛刀满街找猫@·2023-08-16 04:12

Buffer IO、Direct IO与mmap

1.BufferIO普通的IO读写，一般会经过用户态内存-->PageCache-->FileSystem-->BlockIO。
·2023-08-15 16:53

python 以管理员权限调用cmd命令

一，将要执行的cmd命令放到xx.bat文件里二，创建shell.vbs使系统以管理员权限运行cwd=CreateObject("Scripting.FileSystemObject").GetFile
奇异的喵星人·2023-08-15 16:59

i18n 国际化

通常来Resource接口Resource的实现类UrlResource访问网络资源ClassPathResource访问类路径下资源FileSystemResource访问文件系统资源InputSt
踏遍三十六岸·2023-08-15 15:10

银河麒麟开机出现initramfs问题解决方法

，回车选择3、开机出现initramfs4、解决方法1、打开虚拟机，启动银河系统2、开机，回车选择3、开机出现initramfs4、解决方法（1）进入界面后，输入“exit”（2）出现“Therootfilesystemon
a里啊里啊·2023-08-15 12:35

node.js的四种内置模块

内置模块1、node.js内置模块的概念node.js的内置模块也叫作node.js的核心模块，它是node.js自带的模块，在下载了node.js后就会有的，并不需要从外部引入2、fs内置模块fs是FileSystem
兰de宝贝·2023-08-15 05:00

《HTML5网页开发实例详解》连载（四）HTML5中的FileSystem接口

HTML5除了提供用于获取文件信息的File对象外，还添加了FileSystem相关的应用接口。
weixin_30505043·2023-08-15 01:38

Android 获取自己蓝牙信息，获取所有蓝牙设备.连接蓝牙发送消息，以及控制打印机的常用指令

一.添加权限android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS"tools:ignore="ProtectedPermissions"/
程序员的总结·2023-08-14 20:56

html5 文件写入,免费的HTML5连载来了《HTML5网页开发实例详解》连载（四）HTML5中的FileSystem接口...

HTML5除了提供用于获取文件信息的File对象外，还添加了FileSystem相关的应用接口。
余海晨·2023-08-14 19:25

《HTML5网页开发实例详解》连载（四）HTML5中的FileSystem接口

HTML5除了提供用于获取文件信息的File对象外，还添加了FileSystem相关的应用接口。
nqxcwl·2023-08-14 19:54

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

ubuntu磁盘管理

showpartitioninformation挂载设备在这显示文件系统信息buildfilesystemmkfs-text4/dev/nvme0n1p4命令作用：将/dev/nvme0n1p4格式化为
Learning改变世界·2023-08-14 05:11

PHP原生类

什么是php原生类原生类就是php内置类，不用定义php自带的类，即不需要在当前脚本写出，但也可以实例化的类我们可以通过脚本找一下php原生类');}FilesystemIterator基本和DirectoryIterator
里音日黑·2023-08-14 01:01

HDFS读写文件流程

https://www.cnblogs.com/laowangc/p/8949850.html一、HDFS读取文件流程：image详解读取流程：Client调用FileSystem.open()方法：1FileSystem
alexlee666·2023-08-13 09:15

Flink实战之写Hive性能问题

该问题已经在1.11.3版本中修复，在HiveTableSink中沿用了FileSystemTableSink的TableRollingPolicy，再该policy中每条数据都会调用@Overridepublicboolean
〇白衣卿相〇·2023-08-13 03:00

深入理解Linux内核--虚拟文件

虚拟文件系统(VFS)的作用虚拟文件系统(VirtualFilesystem)也可以称之为虚拟文件系统转换(VirtualFilesystemSwitch,VFS),是一个内核软件层，用来处理与Unix
raindayinrain·2023-08-12 22:53

NVIDIA TX2 NX编译及更新设备树

developer.nvidia.com/embedded/jetson-linux-archive我选择的版本为R32.7.4需要下载3个文件，BSP、根文件系统、BSP源码：解压将Tegra_Linux_Sample-Root-Filesystem_R32.7.4
天下无敌小霸王·2023-08-12 17:26

ubuntu20.04磁盘满了 /dev/mapper/ubuntu--vg-ubuntu--lv 占用 100%

处理过程查看磁盘状况$df-lFilesystem1K-blocksUsedAvailableUse%Mounted
哈哈虎123·2023-08-12 16:58

Redhat Network File System (NFS) Guide

Chapter9.NetworkFileSystem(NFS)9.1.HowNFSWorks9.1.1.RequiredServices9.2.pNFS9.3.NFSClientConfiguration9.3.1
茄肥猫·2023-08-12 08:47

2009年fast大会的best paper:《CA-NFS:A Congestion-Aware Network File System》

CA-NFS:ACongestion-AwareNetworkFileSystemAlexandrosBatsakisNetAppJohnsHopkinsUniversityRandalBurnsJohnsHopkinsUniversityArkadyKanevskyNetAppJamesLentiniNetAppThomasTalpeyNetAppAbstractWedevelopaholist
a7758526·2023-08-12 08:45

FileSystem类的方法使用

由于经常使用FileSystem这个类，但是对这个类的API不是很熟悉导致了一些不必要的麻烦，所以本人翻译了一下这个类。
天心有情·2023-08-12 01:48

07-3_Qt 5.9 C++开发指南_文件目录操作

实例概述2.1实例功能2.2信号发射信息的获取3.QCoreApplication类4.QFile类5.QFileInfo类6.QDir类7.QTemporaryDir和QTemporaryFile8.QFileSystemWatcher
十月旧城·2023-08-11 12:45

Remove Sub-Folders from the Filesystem

Givenalistoffolders,removeallsub-foldersinthosefoldersandreturninanyorderthefoldersafterremoving.Ifafolder[i]islocatedwithinanotherfolder[j],itiscalledasub-folderofit.Theformatofapathisoneormoreconcat
ringawho·2023-08-11 01:38
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他