HDFS分布式存储文件系统

论文阅读-Hydra: 用于持久内存和RDMA网络的分散文件系统

然而，现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构，导致访问延迟
向来痴_·2024-02-20 07:26

2024.2.19 阿里云Flink

两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions,logs,iot,clicksTransformation:事件驱动,ETL,批处理Sink:输出HDFS
白白的wj·2024-02-20 07:05

生产环境下，应用模式部署flink任务，通过hdfs提交

前言  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

Zookeeper 集群部署的那些事儿

提供类似于文件系统目录树方式的数据存储，并且可以对书中的节点进行有效管理。从而用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，实现基于数据的集群管理。
牧小农·2024-02-20 06:25

Python专家指南：全面揭示文件操作的核心机制与实战技巧

无论是在日常的数据处理、配置文件管理、大规模数据分析，还是在复杂软件开发、网络通信及分布式存储解决方案中，对文件的操作能力都是程序员必备的基本功。
极客代码·2024-02-20 06:05

Linux第60步_“buildroot”构建根文件系统第2步_配置“buildroot下的busybox”并测试“buildroot”生成的根文件系统

1、查看“buildroot下的busybox”安装路径打开终端输入“ls回车”输入“cdlinux回车/”，切换到到“linux”目录输入“ls回车”，查看“linux”目录下的文件和文件夹输入“cdbuildroot/回车”，切换到到“buildroot”目录输入“ls回车”，查看“buildroot”目录下的文件和文件夹输入“cdbuildroot-2020.02.6/回车”，切换到到“bu
LaoZhangGong123·2024-02-20 05:27

Linux第61步_“buildroot”构建根文件系统第3步_烧写根文件系统到EMMC中_并完善开发板配置

烧录到EMMC测试，还需进一步测试和配置。1、删除rootfs”目录下的“rootfs.tar”压缩包打开第1个终端输入“ls回车”输入“cdlinux/回车”，切换到“linux”目录输入“ls回车”，列出“linux”目录下的文件和文件夹输入“cdnfs/回车”，切换到“nfs”目录输入“ls回车”，列出“nfs”目录下的文件和文件夹输入“cdrootfs/回车”，切换到“rootfs”目录输
LaoZhangGong123·2024-02-20 05:27

Linux第58步_备份busybox生成rootfs根文件系统

备份busybox生成rootfs根文件系统打开终端输入“ls回车”输入“cdlinux/回车”输入“ls回车”，产看“linux”目录下的文件和文件夹输入“cdnfs/回车”，切换到“nfs”目录输入
LaoZhangGong123·2024-02-20 05:23

以内存为核心的开源分布式存储系统

是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。
这次靠你了·2024-02-20 05:26

Linux文件操作类命令 touch | stat | cp | scp | alias | mv | dd | cat | head | tail

改变创建时间touch-d202401011.txt-a改变访问时间-m改变修改时间stat查看元数据信息Blocks是512字节构成的块的个数，是扇区的大小Blocks*512=SizeIOBlock是指文件系统的块的大小一般是
Anemia_·2024-02-20 04:46

HBase——基础概念介绍

HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
zhanglf1016·2024-02-20 04:43

Stm32文件系统FATFS（开始于2021-09-09）

Stm32文件系统FATFS参考资料主要是原子和野火两家的讲解。
点灯的棉羊·2024-02-20 03:42

嵌入式面试：瑞芯微

文章目录一、2024秋招1.1IIC的速率范围：1.2linux驱动子系统汇总：1.3linux关抢占情况汇总：1.4操作或者读写一个文件时，从用户态到内核态再到物理介质的流程(考点：虚拟文件系统)：一
EEer！·2024-02-20 01:40

【Linux】指令 【whereis】

whereis是一个用于查找特定文件在文件系统中的位置的命令。主要查找二进制文件或帮助文件，适用于那些不属于常规文件系统的特殊文件。
giao客·2024-02-20 01:33

如何备份和恢复Docker容器？

一、容器数据的备份与恢复容器数据的备份通常涉及两个方面：文件系统数据的备份和数据库数据的备份。对于文件系统数据，可以通过备份挂载卷（Volumes）或绑定挂载（BindMounts）来
程序媛9688·2024-02-20 00:59

MySQL学习Day16—MySQL的数据目录

一、MySQL8的主要目录结构1.数据库文件的存放路径:/var/lib/mysql/MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件，之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中
A_Tai2333333·2024-02-20 00:53

Linux 基础/子目录分配/文件路径

根目录是整个文件系统的顶层目录，在他下面可以创建其他的目录和文件。Linux中的子目录分配：/bin-基本命令的二进制文件，这些命令可供所有用户使用，无论系统是否处于单用户模式。
Maxcu·2024-02-20 00:43

28. OP-TEE驱动篇----tee_supplicant接口在驱动中的实现

在《22.OP-TEE中TA与CA执行流程-------tee-supplicant（一）》一文中介绍了tee_supplicant主要作用，用来实现secureworld端操作REE侧文件系统，EMMC
漂流的猴子·2024-02-19 23:28

optee UTA加载

流程动态UTA按照存储位置的不同分为REEfilesystemTA：存放在REE侧文件系统里的TA；EarlyTA：被嵌入到opteeos里的在supplicant启动之前就可用了。
Hola_ya·2024-02-19 23:25

操作 Docker 存储卷的常用指令汇总

存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。
会飞的阿喵·2024-02-19 23:12

Docker 在window 2024版笔记 下载 安装 操作 配置

Docker在容器的基础上，进行了进一步的封装，从文件系统、网络互联到进程隔离等等，极大的简化了容器的创建和维护。使得Docker技术比虚拟机技术更为轻便、快捷。
PieroPc·2024-02-19 22:12

linux 磁盘占满查找大文件、挂载磁盘

type为disk），sda又分区为sda1sda2,sdb分区为sdb1sdb2，sda2又分区，能看到centos-home分区对应绑定的目录是/home,sdb1分区绑定的目录是/data查看当前文件系统使用的磁盘使用量即对应目录
科氏加速度·2024-02-19 22:09

Rust之包，箱和模块管理(三)：引用模块树中项目的路径

Windows10Rust1.62.1VSCode1.69.2项目工程这里继续沿用上次工程rust-demo引用模块树中项目的路径为了显示在模块树中何处可以找到一个项目，我们使用了一个路径，就像我们在导航文件系统时使用路径一样
枫★曦·2024-02-19 21:03

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

ClickHouse--07--Integration 系列表引擎

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Integration系列表引擎1HDFS1.1语法1.2示例：2MySQL2.1语法2.2示例：3Kafka3.1语法3.2示例
知行合一。。。·2024-02-19 20:33

嵌入式学习记录18

Linux软件编程:1.Linux:操作系统的内核1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统5.任务调度2.Shell:1.保护Linux内核(用户和Linux内核不直接操作,通过操作Shell
挽梦422·2024-02-19 20:03

GlusterFS：开源分布式文件系统的深度解析与应用场景实践

GlusterFS作为一款开源的、高度可扩展的分布式文件系统，以其独特的无中心元数据设计和灵活的卷管理机制，在众多场景中脱颖而出，为解决大规模数据存储难题提供了强有力的支持。
超逮虾户·2024-02-19 19:20

QEMU-KVM虚拟化：存储

Raw是一种非常简单的格式，它将文件系统中的字节逐字节存储在文
昕友软件·2024-02-19 19:19

[嵌入式系统-26]：RT-Thread -13- 内核组件编程接口 - 文件系统

目录一、RT-Thread文件系统1.1概述1.2如何配置文件系统1.3支持哪些文件系统1.4不同文件系统的比较二、文件系统编程接口2.1概述2.2两种文件系统接口的比较三、POSIX文件操作函数3.1
文火冰糖的硅基工坊·2024-02-19 19:43

学习笔记-磁盘存储管理

2）磁盘分区磁盘在系统中使用都必须先进行分区，然后建立文件系统，才可以存储数据。分区也有助于更有效地使用磁盘空间。每一个分区在逻辑上都可以视为一个磁盘。3）高级格式化磁盘分区在作为系统使用之前还需
他҈姓҈林҈·2024-02-19 19:36

kerberos 合并keytab文件 ktutil

非交互式：printf"%b""rkt/root/keytab/hdfs.keytab\nrkt/root/keytab/hive.keytab\nwkt/root/keytab/merged.keytab
brandblue·2024-02-19 19:51

操作系统-环境搭建

Linux环境搭建网络设置ssh命令下载简介本文将搭建Linux虚拟机,并且使用主机在终端利用ssh命令去远程连接Linux虚拟机搭建Linux虚拟机软件:virtualBox(免费)文件:Linux映像文件系统
JACK SUBWAY·2024-02-19 19:21

【JavaEE】_文件与IO

目录1.文件概述1.1文件的概念1.2文件的存储1.3文件的分类1.4目录结构1.5文件操作1.5.1文件系统操作1.5.2文件内容操作2.Java文件系统操作2.1File类所处的包2.2构造方法2.3
_周游·2024-02-19 18:34

docker （五）-docker存储-数据持久化

存储方式volume卷卷存储在主机文件系统分配一块专有存储区域，由Docker（在Linux上）管理，并且与主机的核心功能隔离。非Docker进程不能修改文件系统的这一部分。
小关暗器·2024-02-19 18:02

Linux系统中 uboot、内核与文件系统之间的关系

前言：最近正在学习Linux，总结了一下Linux系统中uboot、内核与文件系统之间的关系Linux初学者首先要搞清楚的三个文件:引导程序(bootoader):uboot.bin/uboot.imxLinux
玄奕子·2024-02-19 18:39

K8s进阶之路-Pod(创建过程)/Pause/Replicas

基于容器组管理容器（建议一个pod创建一个应用程序容器必须是紧耦合实例放在一起）pause容器：实现容器与容器之间的共享（在容器创建之前，底层都要先创建一个容器叫pause，用来实现对内的网络及ip、文件系统
是芸晗ya·2024-02-19 16:55

c# B树

B树是一种自平衡的树数据结构，通常用于数据库和文件系统等需要大量数据插入、删除和搜索操作的场景。在C#中实现B树可以帮助实现高效的数据存储和检索功能。
彭小彭~·2024-02-19 16:52

c# B+树

B+树是一种自平衡的树数据结构，通常用于数据库和文件系统等需要大量数据插入、删除和搜索操作的场景。与B树不同的是，B+树的内部节点不存储数据，只用作索引，所有的数据都存储在叶子节点上。
彭小彭~·2024-02-19 16:52

2018-06-29

Linux文件系统EXT4的前世今生在GitHub上对编程语言与软件质量的一个大规模研究玩转Elasticsearch的SQL功能多层数据结构，一对多关系，如何用一个查询查询所有的数据？
baitu·2024-02-19 13:50

云计算基础-快照与克隆

快照保存的是状态，备份保存的是副本)快照优点速度快，占用空间小快照工作原理在了解快照原理前，首先需要知道两个概念：索引/数据和差分盘索引和数据（indexnode/datablock）首先要了解，每一个文件系统都是有两部分组成的
比特微联·2024-02-19 13:28

云计算基础-存储基础

存储的特性：数据临时或长期驻留的物理介质需要保证数据能够及时的被读取或者保存需要保证数据完整安全有效什么是文件系统：文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NANDFlash的固态硬盘
比特微联·2024-02-19 13:27

云计算基础-存储虚拟化（深信服aSAN分布式存储）

什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间
比特微联·2024-02-19 13:19

linux卸载提示target is busy，使用fuser命令解决

filesystem或者sockets的进程信息参数-a：显示命令行中指定的所有文件；-k：杀死访问指定文件的所有进程；-i：杀死进程前需要用户进行确认；-l：列出所有已知信号名；-m：指定一个被加载的文件系统或一个被加载的块设备
无敌锅包肉·2024-02-19 13:14

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。
xcagy·2024-02-19 13:07

波奇学Linux:文件系统打开文件

从文件系统来看打开文件计算机系统和磁盘交互的大小是4kb物理内存的4kb，磁盘的4kb文件叫做页帧磁盘数据块的以4kb为单位。
社交达人波奇酱·2024-02-19 12:43

File类与IO流

文章目录计算机I/O体系常见的I/O设备计算机的存储体系软件方面认识OS+文件系统（FileSystem)统一管理文件File类1.1概述1.2判断功能的方法1.3创建删除文件\文件夹方法1.4目录的遍历
库里不会投三分·2024-02-19 12:09

精彩回顾 I DatenLord Hackathon 2023圆满结束！

达坦科技基于其跨云分布式文件系统DatenLord项目，结合AI大模型时代背景，搭建了擂台。我们邀请参赛者为DatenLord的极端场景设计并实现缓存p2p传输和同步模块。
·2024-02-19 12:34

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

U盘变成RAW格式怎么修复？U盘数据如何恢复？

U盘文件系统类型变成RAW怎么办？U盘打不开变成RAW不要慌，按照本文的方法可以轻松恢复U盘数据并且修复RAW错误。U盘文件系统类型是RAW怎么办？U盘类型是RAW是什么意思？
qq_39571617·2024-02-19 11:37
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他