hadoop大数据文件系统

Linux文件系统与日志分析

目录一、Linux文件系统1、inode与block2、查看inode号码的命令3、inode包含文件的元信息4、Linux系统文件的三个主要时间属性5、用户通过文件名打开文件时系统内部过程6、inode
不知名汉堡·2024-01-10 21:22

文件下载相关的技术

在一个网页中点击超链接就可以下载zip包，在服务器一般是怎么存放文件数据的，又是以什么样的技术来实现数据传输的在服务器上存放文件数据通常使用一种专门的文件系统来管理和存储文件。
睿智闷骚男·2024-01-10 20:22

SpringBoot2.6.2系列之开发-2

配置自动配置逐步取代自动配置禁用特定的自动配置类SpringBeans和依赖注入使用@SpringBootApplication运行你的应用程序作为打包应用程序运行热插拔开发者工具属性默认值自动重启排除资源禁用重启实时重载全局设置配置文件系统观察程序远程应用程序打包您的生产应用程序开发本节
吕布辕门·2024-01-10 19:37

Linux文件系统与日志管理

目录一、Linux文件系统1、inode与block详解1.1inode和block概述1.2inode表的内容1.3查看文件的inode号码1.4模拟innode号耗尽故障处理2、访问文件的流程3、文件恢复
十七拾·2024-01-10 18:52

你真的了解Zookeeper吗？

Zookeeper简介Zookeeper是一种分布式协调服务，它提供了一个简单的文件系统命名空间和一个基于观察者模式的分布式服务。
码农阿豪·2024-01-10 17:35

linux 小技巧 ：执行 ls -al 命令后第一行出现的total 是什么意思？

可知total代表文件系统块的总数#ls-sltotal124drwxrwxr-x6zhihuizhihui4096Oct2310:29qin_pro4drwxr-xr-x2rootroot4096Nov819
tianyingang·2024-01-10 17:34

LINUX基础第十一章：文件系统与日志服务管理

目录一.LINUX文件系统1.inode表和block（1）inode（2）block2.查看inode号命令3.Linux系统文件三种主要时间属性4.磁盘空间还剩余很多但无法继续创建文件5.inode
渐觉·2024-01-10 17:23

Linux文件系统与日志分析

一.inode与block1.inode和block概述文件数据包括元信息与实际数据元信息：文件的属性、文件大小、权限、时间戳实际数据：文件的内容文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节block（块）连续的八个扇区组成一个block（4K）是文件存取的最小单位inode（索引节点）中文名“索引节点”，也叫i节点用于存储文件源信息2.inode的内容2.1inode包含
小蜜蜂~嗡嗡嗡~·2024-01-10 16:47

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

Linux入门学习笔记

的区别Linux免费开源，Unix收费不开源，Linux是类Unix系统2.Linux配置和Linux的目录结构Linux组成结构：硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用
RoundOff·2024-01-10 14:02

GFS 分布式文件系统

GlusterFS特点●扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。（1）Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和I/O资源都可以独立增加），支持10GbE和InfiniBand等高速网络互联。（2）Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实
偷个月亮吗733·2024-01-10 14:00

Laravel 文件系统及队列处理

队列Laravel队列为不同的后台队列服务提供统一的API，这些队列介质可以是Beanstalk、Redis，也关系型数据库。使用队列的主要目的是将耗时的任务延时处理，比如发送邮件、发送短信，从而大幅度缩短Web请求和响应的时间。队列特点：异步（延时）；削峰（并发）；重试（失败）；队列配置文件存放在config/queue.php文件中，其中包含了同步（本地使用）驱动和null队列驱动，null队
phpnet·2024-01-10 13:07

Docker修改数据目录

在Docker中，可以通过修改Docker的配置文件来指定overlay文件系统的存储路径。
ascarl2010·2024-01-10 12:52

给VMWARE虚拟机分区扩容

给VMWARE虚拟机分区扩容背景：1、给虚拟机添加新的硬盘2、重启linux虚拟机3、创建物理卷4、扩展LVM卷组，给LVM卷组添加新的物理卷5、给home分区扩容6、自动扩展XFS文件系统到最大的可用大小
牛跃2214·2024-01-10 11:55

【服务器数据恢复】FreeNAS+ESXi数据恢复案例

FreeNAS采用了UFS2文件系统，esxi虚拟化系统里有3台虚拟机：其中一台虚拟机安装FreeBSD系统，存放数据库文件；一台虚拟机存放网站数据；一台虚拟机安装Windowsserver系统，存放数据库数据和程序代码
北亚数据恢复·2024-01-10 11:21

云原生周刊：K8sGPT 加入 CNCF | 2024.1.8

KubeClarityKubeClarity是一种用于检测和管理软件物料清单(SBOM)以及容器映像和文件系统漏洞的工具。它扫描运行时K8s集群和CI/CD管道，以增强软件供应链的安全性。
KubeSphere 云原生·2024-01-10 09:15

Zookeeper安装入门并配置为Windows服务开机自动启动

zookeeper=文件系统+监听通知机制2、安装官网下载zookeeper压缩包http://mirrors.hust
新手村张三·2024-01-10 09:29

Linux du和df命令

目录一.df二.du一.df⏹用于显示系统级别，磁盘分区上的可用和已用空间的信息-h：以人类可读的格式显示文件系统大小⏹每秒钟监视当前磁盘的使用情况watch用于周期性的执行特定的命令-n1表示每一秒刷新一次命令执行的结果
fengyehongWorld·2024-01-10 09:22

磁盘操作--分区大于2T的硬盘

一、说明分区大于2TB的硬盘，云上操作，基于linux系统LinuxpartedGPText4或xfs步骤如下：1、分区类型为gpt2、创建主分区3、查看是否对其4、重读分区表5、创建文件系统6、挂载目录二
大侠不留名·2024-01-10 09:00

Linux逻辑卷管理器（PV、VG、LV、PE）

目录PV阶段VG阶段LV阶段文件系统阶段逆向操作（删除LVM）逻辑卷管理器（LogicalVolumeManager），简称LVMLVM的做法是将几个物理的分区（或磁盘）通过软件组合成为一块看起来时独立的大磁盘
魏大橙·2024-01-10 09:56

Linux上对大于2T的硬盘分区

lsblk释义：NAME名称MAJ:MIN主设备号:次设备号RM是否可卸载设备SIZE容量RO是否只读TYPE类型（disk:磁盘,part:主分区,lvm:动态分区）MOUNTPOINT挂载点2、查看文件系统类型
probtions·2024-01-10 09:24

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914：正在使用的编辑日志文件
我很ruo·2024-01-10 08:50

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件
我很ruo·2024-01-10 08:49

hadoop之HDFS文件系统命令操作

ApacheHadoop3.3.4–Overview01.appendToFilehadoopfs-appendToFilelocalfile/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfile1localfile2/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfilehdfs://nn.ex
OnePandas·2024-01-10 08:46

数据结构之AVL Tree

系列文章目录数据结构之B树和B+树数据结构之Radix和Trie数据结构可视化演示链接，也就是视频中的网址文章目录系列文章目录先上演示定义使用场景实时系统中的调度器：文件系统中的索引结构：先上演示AVLTree
小阳小朋友·2024-01-10 08:27

2024 1.9 Spark_SQL , 数据清洗API , 写出操作

目录一.DataFrame详解1.数据清洗API1.去重:2.去除空:3.填充替换:2.SparkSQL的shuffle分区设置3.SparkSQL数据写出操作3.1写出到文件系统3.2写出到数据库一.
白白的wj·2024-01-10 08:53

Android高手笔记 - IO优化

IO基础IO流程：应用程序发送逻辑IO命令给文件系统，文件系统发送物理IO命令给存储设备/磁盘文件系统文件读（read）过程：应用程序调用read()方法，系统会通过中断从用户空间进入内核处理流程，然后经过
今阳说·2024-01-10 08:20

【数据库系统概论】期末复习1

试述文件系统与数据库系统的区别和联系。试述数据库系统的特点。数据库管理系统的主要功能有哪些？试述数据库系统三级模式结构，这种结构的优点是什么？什么叫数据与程序的物理独立性？
不怕娜·2024-01-10 08:11

性能分析与调优: Linux 文件系统观测工具

目录一、实验1.环境2.mount3.free4.top5.vmstat6.sar7.slabtop8.strace9.opensnoop10.filetop11.cachestat二、问题1.Ftrace实例如何实现2.Functiontrace如何跟踪实例3.function_graphTrace如何跟踪实例4.traceevent如何跟踪实例5.未找到命令6.fatrace有何功能一、实验1
cronaldo91·2024-01-10 07:11

ceph之rados设计原理与实现第五章：高效的本地对象存储引擎Bluestore

由于FileStore底层仍然通过操作系统自带的本地文件系统管理磁盘，所以为了能够使用本地文件系统，所有针对RADOS的操作都需要转换成POSIX语义。所以引入了BlueStore直接管理文件。
mxy990811·2024-01-10 07:22

Hadoop体系结构之 HDFS

NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据。HDFS支持文件
Alukar·2024-01-10 05:05

设备树在开发板的系统中的体现

也就说，开发板加载设备树文件，Linux内核启动系统以后，可以在根文件系统里看到设备树的节点信息。在/proc/device-tree/目录下存放着设备树信息。
凌肖战·2024-01-10 05:52

【Linux】根文件系统添加root密码

1.问题量产时，制作根文件系统，并添加root密码。
-凌凌漆-·2024-01-10 05:35

docker学习(八)docker容器的数据管理

数据管理数据卷定义：数据卷使经过特殊设计的目录，可以绕过联合文件系统，为一个或多个容器提供服务。
吃猫的鱼0·2024-01-10 05:57

nodejs学习week01

说明：学习nodejs之气那应该掌握html，css，JavaScript等前端基础技术目录一、什么是nodejs二、nodejs的内部模块1.fs文件系统模块2.path路径模块3.http服务器模块三
飘飘~·2024-01-10 04:57

Boost库

3.文件系统操作：Boost.Filesystem模块
穿过山海爱你·2024-01-10 03:12

可解决 95% 以上问题的Linux命令，能用到退休！

关于Linux看这篇就够了操作系统概述Linux操作系统安装Linux文件系统Linux命令操作Linux权限管理用户和用户组用户操作命令权限操作Linux进程管理Linux其他常用命令大全Linux系统软件安装常用软件安装软件安装常用命令操作系统概述操作系统
GLAB-Mary·2024-01-10 02:11

遇到U盘写保护怎么办

而发生软件写保护时，多数是被木马病毒侵害或者U盘的文件系统发生损坏导致。遇到U盘写保护的问题时：如果U盘里有重要的数据，务必先备份重要数据再进行操作
做咩啊～·2024-01-10 02:40

（22）Linux磁盘的认识&&索引节点inode

然后我们将学习Inode，带着大家理解文件系统，为下一章介绍软硬链接做铺垫。一、磁盘基础知识（Disk）1、什么是文件系统？磁盘级别的文件管理，本质工作和快递驿站的老板做的工作是一样的！
加一zZ·2024-01-10 01:30

（23）Linux的软硬连接

前言：上一章我们讲解了inode，为文件系统收了尾，这几章我们充分地讲解完了文件系统的知识点，现在我们开始开始学习软硬链接了。
加一zZ·2024-01-10 01:29

Linux进程以及计划任务

运行中的程序的一个副本，是被载入内存的一个指令集合，是资源分配的单位硬件资源分配的最小单位进程ID（ProcessID，PID）号码被用来标记各个进程UID、GID语境决定对文件系统的存取和访问权
敢敢936·2024-01-10 00:32

python(17)--文件的输入/输出

文件系统提供了持久性和可扩展性，允许你随着时间的推移添加更多的数据。可读性和可维护性：以文本形式保存数据便于阅读和修改。这对于人类可读的日志文件、配置文件等尤其重要。
码银·2024-01-09 23:48

【学习笔记】尚硅谷Hadoop大数据教程笔记

本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。一、Hadoop入门大数据的特点：Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1.Hadoop概念是一个分布式系统基础架构2.Hadoop优势高可靠高扩展性高效性高容错性3
棉花糖灬·2024-01-09 23:17

《Hadoop大数据技术原理与运用》知识点总结

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
呆小黎·2024-01-09 22:47

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce
WeeeicheN·2024-01-09 22:17

mysql原理--InnoDB的Buffer Pool

1.缓存的重要性对于使用InnoDB作为存储引擎的表来说，不管是用于存储用户数据的索引（包括聚簇索引和二级索引），还是各种系统数据，都是以页的形式存放在表空间中的，而所谓的表空间只不过是InnoDB对文件系统上一个或几个实际文件的抽象
raindayinrain·2024-01-09 22:41

HDFS相关Shell命令

/shuguo.txt/sanguo2）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去hadoopfs-copyFromLocalweiguo.txt/sanguo3）-put：
欲无缘·2024-01-09 22:03

软件测试|Linux 基础教程：创建和删除目录

目录是用于组织文件和其他目录的一种结构，它们是组织文件系统的重要组成部分。本文将介绍如何在Linux系统中创建和删除目录。创建目录在Linux中，可以使用mkdir命令来创建一个新的目录。
程序员潇潇·2024-01-09 22:26

文件系统与日志分析

一、inode表结构2.查看inode号ls-istst二、rsyslog系统日志服务1.日志的种类2.rsyslog前提：需要rsyslog软件和那个软件之间要相互支持三、journalctl日志管理工具1.查看日志journalctl-xesystemctlstatus程序名2.查看指定时间的日志四、实操实操1、修改/etc/rsyslog.conf和/etc/ssh/sshd_config配
MUDXT·2024-01-09 22:15

扩容逻辑卷LVM流程

扩容流程信息采集挂载点及扩容大小扩容的文件系统类型VolumeGroup扩容扩容LVM扩容文件系统回测扩展信息采集挂载点及扩容大小确定挂载点，确定可扩容大小（比如本例89G->890.7G）$lsblksda8
SchopenhauerZhang·2024-01-09 21:21
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他