HDFS文件系统

操作系统——文件管理面试问题整理

硬链接和软链接是操作系统用于表示文件之间关系的两种方式，硬链接和原始的文件本质上就是同一个文件，只是名字不同，删除一个硬链接不会影响到原始文件和其他硬链接，硬链接不能跨文件系统，只能在同一个文件系统中创建
迷茫的羔羊羊·2024-02-12 11:32

Linux 文件搜索大师：掌握 find 命令的艺术与示例

find命令是Linux系统中用于搜索文件系统中文件的强大工具。它可以根据各种条件来查找文件，比如文件名、文件类型、文件大小、文件权
斜杆君·2024-02-12 11:48

zk01

zookeeper是由文件系统和通知机制组成官网提供的集群图Zookeeper由2n+1台servers组成，每个server都知道彼此的存在。
矮肥·2024-02-12 11:41

6-12三剑客awk

找出ifconfig命令结果中的1-255之间的数值；ifconfigeth0|egrep-o'[0-9]+'|awk'$1>=1&&$1=1&&$1=5'文件系统容量已用可用已用%挂载点/dev/sda319G2.5G17G13%
张鑫泽_2109·2024-02-12 11:38

2.2

linux目录系统/:根目录，整个文件系统的起点/etc:系统配置文件目录，有系统配置文件，网络配置文件等/home:用户的主目录，每个用户都有主目录，该目录下有用户所有的数据和配置文件/media:外部设备的挂载目录
晴空biu·2024-02-12 08:58

畅购商城(十二)：接入微信扫码支付

好好学习，天天向上本文已收录至我的Github仓库DayDayUP：github.com/RobodLee/DayDayUP，欢迎Star畅购商城(一)：环境搭建畅购商城(二)：分布式文件系统FastDFS
Robod·2024-02-12 07:05

Hadoop-MapReduce-Yarn集群搭建

搭建的部署节点图如下：hdfs和yarn是两个不同概念，两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器，它们的比例是1比1关系的。
qq_2368521029·2024-02-12 07:44

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年·2024-02-12 07:43

Hadoop-HA高可用集群部署

HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。
魔笛Love·2024-02-12 07:13

org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0

上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master~]#hdfsdfs-puttest.txt
橙汁啤酒厂·2024-02-12 05:24

一键DVR视频文件恢复电脑丢失数据

软件可以帮助用户们在恢复视频的证据中来节省团队时间以及金钱，还能够在运行的DVR中，来扫描以及无人值守的一种导出，也就是因为这样用户们还可以在程序恢复那个重要的视频的证据时，就可以专注于其他的一个任务；软件还可以识别出各种DVR文件系统
skycht·2024-02-12 03:58

Java最最最基础的知识点

是一门兼容性很好的语言，跨平台支持的很好，比较常用的有Linux和Windows，所以首先，我将会跟大家分享以下两者的区别Linux与Windows的区别Linux是一个开源的操作系统，与Windows有三大不同点：文件系统不同
可乐教编程·2024-02-12 02:27

Flume总结

1.概述2.角色（source、Channel、sink、event)3.使用（1）监控端口（2）实时读取本地文件到HDFS（3）实时读取目录文件到HDFS（4）Flume与Flume之间数据传递：单Flume
我是嘻哈大哥·2024-02-12 01:56

centos磁盘扩容

centos-root占用了过高问题1.查看其他分区占用情况df-hlimage.png2.扩容根目录的思路如下：如图片中的例子：/home的内存空间比较大，可以分给其他的根目录，将/home文件夹备份，删除/home文件系统所在的逻辑卷
福海鑫森·2024-02-12 00:53

Linux dump命令教程：如何安全快速备份你的文件系统（附实例详解和注意事项）

Linuxdump命令介绍dump命令在Linux中用于备份文件系统到某个存储设备。它备份的是整个文件系统，而不是单个文件。换句话说，它将所需的文件备份到磁带、磁盘或任何其他存储设备以进行安全存储。
我要下东西噢·2024-02-11 23:38

Linux笔记之Docker进行镜像备份与迁移

文章目录Linux笔记之Docker进行镜像备份与迁移1.导出容器文件系统为tar归档文件2.将tar归档文件导入为新的Docker镜像3.运行新的Docker镜像并创建容器1.导出容器文件系统为tar
努力脱单的害羞男孩·2024-02-11 23:31

clickhouse之表引擎

对于ck来说,目前位置包含了以下部分引擎:1.集成外部系统的表引擎,支持方式有kafka,JDBC,ODBC,HDFS等2.合并树家族(最为常用且重要)3.日志
落花流水i·2024-02-11 22:53

如何在Windows平台访问Linux文件系统【ExtFS】

访问Linux文件系统ExtFS将是首选，您可以将extFS存储设备插入PC并访问其内容以进行读取，复制或修改。
听力巴士·2024-02-11 20:59

文件fd【Linux系统编程】

本文是基础IO的第一个部分，基础IO部分将主要讲解以下内容：文件fd文件系统软硬链接操作系统的内存管理以及动静态库。本节重点讲解文件fd，其余内容将在后面的博客更新。
勤奋的懒羊羊～·2024-02-11 20:47

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 18:09

Ubuntu搭建NFS服务

NFS，全称为网络文件系统(NetworkFileSystem)，是一个允许网络中的计算机共享其文件系统的协议。
·2024-02-11 18:56

极限挑战：使用 Go 打造百亿级文件系统的实践之旅

JuiceFS企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。
·2024-02-11 18:49

fsx 简介：适用于 JavaScript 的现代文件系统 API

JavaScript运行时中的文件系统API已经很久没有这么好了，这是我试图做出一个更好的文件系统API的尝试。我们今天拥有的JavaScriptAPI比十年前要好得多。
·2024-02-11 17:49

HBase知识点总结

一、HBase基础HBase是一种建立在Hadoop文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·2024-02-11 17:17

从零开始写 OS 内核 - 虚拟内存初探

启动到实模式GDT与保护模式虚拟内存初探加载并进入kernel显示与打印全局描述符表GDT中断处理虚拟内存完善实现堆和malloc第一个kernel线程多线程切换锁与多线程同步进入用户态进程的实现系统调用简单的文件系统加载可执行程序键盘驱动运行
·2024-02-11 17:46

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 17:41

Linux快速入门

一.Linux的结构目录1.1Linux的目录结构Linux为免费开源的系统，拥有众多发行版，为规范诸多的使用者对Linux系统目录的使用，Linux基金会发布了FHS标准（文件系统层次化标准）。
Duarte·2024-02-11 14:08

Linux基础-文件层次结构

/boot引导Linux系统有关的内核kernel（Linux灵魂）、启动相关的配置文件一定要和/独立划分，需要一个单独的文件系统必须构建在标准分区（分区固定大小）4./var1.存放
Anemia_·2024-02-11 10:42

Linux运行级别 | 管理Linux服务

Linux运行级别级别：0关机1单用户2多用户但是不运行nfs网路文件系统3默认的运行级别，给一个黑的屏幕，只能敲命令4未使用5默认的运行级别，图形界面6重启切换运行级别：initx管理Linux服务systemctl
Anemia_·2024-02-11 10:41

华为OD机试 - 区块链文件转储系统（JS）

题目描述区块链底层存储是一个链式文件系统，由顺序的N个文件组成，每个文件的大小不一，依次为F1,F2,...,Fn。随着时间的推移，所占存储会越来越大。
AsiaFT.·2024-02-11 09:12

【大数据】Flume-1.9.0安装➕入门案例

目录前言一、Flume概述Flume基础架构二、Flume-1.9.0安装➕入门案例1.下载1.9.0解压2.监控端口数据官方案例3.实时读取本地文件（hive.log）到HDFS案例4.实时读取目录文件到
欧叶冲冲冲·2024-02-11 09:34

大数据入门--Flume（一）安装教程与案例

Flume（一）安装教程与案例安装教程案例监控端口数据官方案例(netcat-logger)实时监控单个追加文件(exec-hdfs)进阶版存在的问题实时监控目录下多个新文件(taildir)实时监控目录下多个新文件
许中宝·2024-02-11 09:34

iOS开发逆向之应用重签名（下）

本文主要介绍通过shell脚本进行应用重签名补充知识在利用shell脚本重签名之前，需要了解以下知识：脚本常用命令+权限相关脚本执行相关命令Shell是一种特殊的交互式工具，它为用户提供了启动程序、管理文件系统中文件以及运行在系统上的进程的途径
iOS鑫·2024-02-11 08:43

ZooKeeper分布式锁

ZooKeeper的数据模型类似于文件系统，它的数据结构中的每个数据节点称为znode，可以用它来实现分布式锁。
辞暮尔尔-烟火年年·2024-02-11 08:22

Qnx 文件系统

QNXNeutrinoRTOS提供了丰富的文件系统。与OS中的大多数服务提供过程一样，这些文件系统在内核之外执行;应用程序通过POSIXAPI的共享库实现生成的消息来使用它们。
jackniu_ae28·2024-02-11 08:46

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~·2024-02-11 08:18

Hadoop（三）通过C#/python实现Hadoop MapReduce

MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。
dotNET跨平台·2024-02-11 08:17

ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化

可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题;clickhouse中的数据底层是列式存储clickhouse不仅可以管理自己的数据,也可以读取别人的数据,比如masql,hdfs
晓晓很可爱·2024-02-11 08:15

波奇学Linux：文件重定向和虚拟文件系统

重定向文件描述符所对应的分配规则，从0开始，寻找最小没有使用的数组位置。如图所示，关闭文件描述符的0，新打开的文件描述符为0，而关闭2，文件描述符为2。重定向：文件输出的对象发生改变例子如图，write的参数fd是1，即向显示器文件打印内容，如果close(1)则，1对应新的文件输出的对象由显示器变成新文件log.txt。实现了重定向。本质上是files_struct的数组下标位置指向的file结
社交达人波奇酱·2024-02-11 07:08

【MySQL】数据库的基础——数据库的介绍、MySQL的介绍和架构、SQL分类、MySQL的基本使用、MySQL的存储引擎

数据库是一个文件集合，本质就是一个文件系统，它按照特定
鳄鱼麻薯球·2024-02-11 07:05

Spark编程题

现有100W+条数据存储在hdfs中的userinfo文件夹中的多个文件中,数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数
不愿透露姓名的李某某·2024-02-11 07:09

【Linux】学习-文件的软硬链接

文件的软硬链接在上一篇拓展篇—文件系统中我们介绍过文件元的概念：我们在使用ls-l命令查看文件元信息的时候，有一个硬链接数，说明文件的硬链接数属于文件的属性之一，那么硬链接究竟是什么呢？
那个楠人·2024-02-11 07:19

【Linux】学习-基础IO拓展篇

Linux基础IO拓展篇—详解文件系统理解文件系统在Linux基础IO篇中，我们站在用户的视角对文件进行了理解，主要是针对被打开的文件，那么有没有没有被打开的文件呢？当然有！
那个楠人·2024-02-11 07:17

瑞萨RZ/G2L ARM开发板存储读写速度与网络实测

下面简单测试eMMC的读写速度，这里我们以读写ext4文件系统为例。写入测试：root@okg2l:~#ddif=/dev/zeroof=/testbs
柠檬籽儿啊·2024-02-11 03:37

Linux 存储管理（磁盘管理、逻辑卷LVM、交换分区swap）

目录1.磁盘管理1.1磁盘简介1.2管理磁盘添加磁盘管理磁盘流程三步曲1.查看磁盘信息2.创建分区3.创建文件系统4.挂载mount5.查看挂载信息6.MBR扩展分区7.重启后的影响2.逻辑卷LVM2.1
ML.star·2024-02-11 02:47

MFS 分布式存储

MFS分布式存储MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个副本，然而对于访问MFS的客户端或者用户来说，整个分布式文件系统集群看起来就像一个资源一样
中门对狙·2024-02-11 01:30

2022-01-14 HDC2021技术分论坛：新能力让数据多端协同更便捷，数据跨端迁移更高效！

作者：yijian，终端OS分布式文件系统专家；gongashi，终端OS分布式数据管理专家HarmonyOS作为分布式操作系统，其分布式数据管理能力非常重要。
麻酱不会打麻将·2024-02-11 01:59

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。
管理大亨·2024-02-10 22:27

大数据测试-Hive DML语句与函数使用2

一、HiveSQLDML语法之加载数据HiveSQL-DML-Load加载数据回顾在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir
Yasar.l·2024-02-10 22:55

hadoop-HDFS

架构图在这里插入图片描述2.读写的流程图在这里插入图片描述2.操作1.使用MAVEN集成对应的jar包org.apache.hadoophadoop-common2.7.1org.apache.hadoophadoop-hdfs2.7.12
炽热_3a57·2024-02-10 22:45
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他