filesystem

【笔记】HDFS

基本概念HDFS（Hadoopdistributefilesystem）分布式文件系统HDFS的文件被分成块进行存储，HDFS块的默认大小64MB，块是文件存储处理的逻辑单元两类节点NameNode是管理节点
sirenyunpan·2023-03-31 13:19

分布式存储学习——HDFS

简介  HDFS(HadoopDistributedFileSystem)是一种分布式文件系统，属于非结构化的分布式存储类型。
yindarui·2023-03-31 09:37

Hadoop HDFS 写数据详细流程图示

图示：文字：（1）客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
DarkFwin·2023-03-31 09:46

HDFS原理与应用

1HDFS基本介绍一些基本概念：在Hadoop中，HDFS是存储层，YARN是调度层，MapReduce是应用层HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem
Popcorn丶30·2023-03-31 09:10

hdfs html5,HDFS :: Apache Camel

connectOnStartup(common)WhethertoconnecttotheHDFSfilesystemonstartingtheproducer/consumer.Iffalsethentheconnectioniscreatedon-demand.NoticethatHDFSmaytakeuptill15minutestoestablishaconnection
weixin_39593519·2023-03-31 08:23

docker pull mysql 时报错，说空间不足

用指令df-h查看磁盘情况root@mysheep:/var/lib/docker#df-hFilesystemSizeUsedAvailUse%Mountedonudev955M0955M0%/devtmpfs198M1.2M196M1%
CaptainJK·2023-03-31 05:58

大数据技术原理与应用——大数据处理架构 Hadoop

为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（HadoopDistributedFileSystem
linjiayina·2023-03-30 23:47

docker OCI runtime

前者规定了如何运行解压过的filesystembundle。OCI规定了如何下载OCI镜像并解压到OCIfilesystembundle，这样OCIruntime就可以运行OCIbundle了。
weixin_34067102·2023-03-30 21:17

微信小程序把base64的图片保存到手机相册

代码：varsm=wx.getFileSystemManager();console.log('that.data.scene:',that.data
木易早上·2023-03-30 18:05

JavaWeb项目架构之NFS文件服务器

NFS简介NFS（NetworkFileSystem）即网络文件系统。主要功能：通过网络（局域网）让不同的主机系统之间可以共享文件或目录。
kaixin201505·2023-03-30 18:38

HDFS-为什么我们需要HDFS

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。对外部客户机而言，HDFS就像一个传统的分级文件系统。
VVictoriaLee·2023-03-30 14:01

Google File System Google Map Reduce Google BigTable 论文

GoogleFileSystem翻译http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%
宿命与相关·2023-03-30 07:06

树莓派学习笔记（十）文件系统、虚拟文件系统认知

文章目录一、文件系统二、虚拟文件系统（VirtualFileSystem）一、文件系统1.什么是文件系统？文件系统就是操作系统用来明确存储设备上文件的方法和数据结构，即在存储设备上组织文件的方法。
兔兔丫.·2023-03-30 03:40

架构学习笔记（笔记）

1.es1.性能优化的杀手锏：FilesystemCache2.数据预热3.冷热分离4.ElasticSearch中的关联查询5.Document模型设计6.分页性能优化https://mp.weixin.qq.com
seapeak007·2023-03-30 03:20

Node.js基础入门02

node笔记--祈粼consthttp=require('http')consturl=require('url')//处理URLconstfs=require('fs')//fileSystemhttp.createServer
祈粼·2023-03-30 03:10

大数据(一) - hadoop生态系统及版本演化

大数据系列文章汇总链接-更新到15篇HDFS：分布式存储系统（HadoopDistributedFileSystem）：提供了高可靠性、高扩展性和高吞吐率的数据存储服务HDFS源自于Google的GFS
will的成长之路·2023-03-29 20:46

HDFS的高可用机制（HA）与Hadoop联邦机制(Federation)概述

背景分布式文件系统中(HDFS，HadoopDistributedFileSystem)，NameNode在内存中存储着整个文件系统的元数据信息，如文件数据块的地址映射、文件系统的命名空间、文件操作权限等
chaseasheep·2023-03-29 19:51

Hadoop FSDataInputStream 和FSDataOutputStream 用法

操作其实我经常用的也就那几种，记住几种特定适合自己的就行publicstaticvoidtestIOUtils()throwsIOException{Configurationconf=newConfiguration();FileSystemfs
jzjie·2023-03-29 18:40

针对MySQL的Linux性能调优技巧

针对MySQL的Linux性能调优技巧文件系统（Filesystem）1）使用ext4或者xfs文件系统，mount选项使用noatime选项。
程序员面试吧·2023-03-29 14:43

【MSYS2】隐式路径风格转换

Windows风格的路径转换为Unix风格Windows原生工具在特定情况下，MSYS2会自动将“貌似Unix风格的路径”转换为Windows风格参考文档：https://www.msys2.org/docs/filesystem-paths
__XWH1999__·2023-03-29 11:44

linux下查看磁盘分区的文件系统格式

sda1xfs2013801101569122455%/boot/dev/sda2xfs52326401322948390969226%/devtmpfsdevtmpfs98818809881880%/devFilesystemType1K-blocksUsedAvailableUse
董江伟·2023-03-29 03:08

【戴嘉乐】利用IPFS构建自己的去中心化分布式Wiki系统

IPFS全称InterPlanetaryFileSystem，中文名：星际文件系统，是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。
6bca7c813977·2023-03-28 23:42

虚拟机centos7上的hadoop+hbase伪分布安装

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
简单。就好·2023-03-28 20:14

HDFS架构及原理理解

概述HDFS全称是HadoopDistributedFileSystem，也就是Hadoop分布式文件系统，是ApacheHadoop的核心工程。HDFS具有高度容错能力，旨在部署在低成本硬件上。
邢为栋·2023-03-28 19:01

hdfs架构原理

1、HDFS是做什么的HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的
a280966503·2023-03-28 18:58

Flutter 崩溃收集

捕捉async异常1）try/catchFuturemain()async{vardir=newDirectory('/tmp');try{vardirList=dir.list();awaitfor(FileSystemEntityfindirList
熊猫人和熊猫君·2023-03-28 18:46

IOS常用方法

diskOfAllSizeMBytes{CGFloatsize=0.0;NSError*error;NSDictionary*dic=[[NSFileManagerdefaultManager]attributesOfFileSystemForPath
candyLong·2023-03-28 18:44

阿里大数据架构师教你hadoop处理数据和伪分布式安装部署！速看！

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
大数据学习01·2023-03-28 16:45

nfs

networkfilesystem=网络文件系统。也称NFS共享存储nfs可以做啥？通过局域网络实现不同主机系统之间目录共享。
范小雷·2023-03-27 05:21

关于Android6.0手机mount：Read-only file system不能挂载读写的解决

windows环境按照一般流程请看命令手机已经获得root权限，在进入shell后运行mount-orw,remount-text4/dev/block/dm-0提示mount:Read-onlyfilesystem
全栈坟坑·2023-03-27 05:27

分布式文件系统之FastDFS

分布式文件系统是解决这些问题的有效方法之一一、什么是文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连
前端库·2023-03-27 05:11

day34

全称networkfilesystem网络文件系统通过网络存储和组织文件的一种方法或机制。2、为什么要用共享存储？前端所有的应用服务器接收到用户上传的图片、文件、视频，都会统一的放到后端的存储上。
赵庆_be43·2023-03-26 21:36

Linux查看文件的最初创建日期时间crtime

FilecreationtimeisstoredininodeinEXT4filesystem.AnearlierversionofEXTfilessystemsdoesn
风吹路过的云·2023-03-26 13:59

大数据hadoop生态体系之文件处理HDFS(7)

HDFS：（HadoopDistributedFileSystem）分布式文件处理系统，Hadoop生态体系的核心功能之一，主要用于数据文件的分割处理及存储等。
welun·2023-03-26 04:19

自学大数据第九天~hdfs读写以及java api

前几天学习了怎么使用HDFS,今天稍微深入一下,HDFS是怎么工作的;HDFS读取数据的方式:以下是极简的读取数据:客户端读取数据,首先通过DistributefileSystem获取数据的元数据(即元数据存在哪里
CodeMartain·2023-03-25 17:52

Flink Sql读取hdfs目录时, 损坏的文件支持跳过

损坏的文件进行读取失败时不抛出异常,flinksql的封装太多,无法对某个过程做筛选操作,根据官网的提示,可以通过创建META-INF/services/org.apache.flink.core.fs.FileSystemFactory
清蒸三文鱼_·2023-03-25 17:57

2021-07-07《淘宝技术这十年》2003-2013读书笔记

NetworkAttachedStorage，网络附属存储）NetAPP（NetworkAppliance，美国网络存储技术有限公司）RAC（RealApplicationClusters，实时应用集群）NFS（NetworkFileSystem
进击的小索·2023-03-25 02:47

LeetCode 1598. Crawler Log Folder

TheLeetcodefilesystemkeepsalogeachtimesomeuserperformsachangefolderoperation.Theoperationsaredescribedbelow
wenyq7·2023-03-25 00:59

建硬盘分区，pvcreate 报：“Can topen /dev/sdb1 exclusivel...?“；磁盘分区报：设备或资源；RHEL本地存储项目二mkfs.vfat报错

建立硬盘分区，pvcreate时报错："Cantopen/dev/sdb1exclusively.Mountedfilesystem?"dmsetupremoveall清空所有陈旧条目后成功！
软工菜鸡·2023-03-24 19:42

HDFS读流程

1.首先调用FileSystem对象的open方
在远方的你等我·2023-03-24 13:58

企业级NFS网络文件共享服务

NFS是NetworkFileSystem的缩写，中文意思是网络文件系统
qw_xingzhe·2023-03-24 03:00

2018-04-12第一节 unix分时系统的演变

一、PDP-7UnixfilesystemPDP-7Unix的文件系统和今天的已经有所相似，它具有以下三个1）Ani-list：一个i-nodes的线性队列来描述一个文件。
py0ker·2023-03-24 01:05

Hadoop 核心介绍

1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据
EdwinGates·2023-03-24 00:01

磁盘扩容

一、常用命令1.1、查看磁盘挂载与磁盘使用空间[root@es1_node~]#df-ThFilesystemTypeSizeUsedAvailUse%Mountedon/dev/mapper/centos-rootxfs26G1.4G25G6%
Habit_1027·2023-03-23 23:38

SMB2协议特性之oplock与lease（上）

引言当我们在多个操作系统之间共享文件时，常常需要用到网络文件共享协议，常见的有NFS（NetworkFileSystem）和SMB（ServerMessageBlock）协议，它们也是企业级文件存储系统的标准访问协议
大道云行TaoCloud·2023-03-23 20:53

基于Log-Structured的FASS 2.0架构设计

01背景解读在90年代提出的Log-StructuredFileSystem（LFS）思想和NANDFlash简直是天生一对。
大道云行TaoCloud·2023-03-23 19:39

FUSE文件系统

Fuse(filesysteminuserspace),是一个用户空间的文件系统。通过fuse内核模块的支持，开发者只需要根据fuse提供的接口实现具体的文件操作就可以实现一个文件系统。
内核工匠·2023-03-23 18:46

Linux 下修改Docker默认存储路径

操作方案查看磁盘信息,选择一个磁盘空间较大的做为docker的默认安装位置$df-lhFilesystemSizeUsedAvailUse%Moun
yanlong107·2023-03-23 02:59

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。
weixin_30387663·2023-03-23 02:19

初识Linux系统，一切皆文件

目录结构唯一根目录树形绝对路径：从根目录开始表达的路径相对路径：相对于一个指定位置，当前所在的路径硬盘分区至少2个（文件系统分区filesystem，交换内存分区swap）文件系统分区可以有多个空间可以挂载到任一目录
夜墨尘·2023-03-22 12:16
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他