Hadoop文件系统

在运维工作中，硬盘满了，新买了一块，如何扩容？

当硬盘满了且新增了一块硬盘后，可以通过以下几种方式扩容：直接使用新硬盘如果系统中已经没有多余空间，可以将新增硬盘格式化并挂载到系统中，用于存储数据，详细操作步骤如下：格式化新硬盘：#假设新增硬盘为/dev/sdb，使用XFS文件系统
Dusk_橙子·2025-03-11 03:42

ESP-IDF架构浅析

中间件(Middleware)：如网络栈、文件系统、图形库等功能。FreeRTOS内核
V.Code1024·2025-03-11 01:27

phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180

今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing
添柴程序猿·2025-03-11 00:52

IMX6ULL - Linux根文件系统(rootfs)构建

Author:zzssdd2E-mail:[email protected]一、Ubuntu-base20.04.3Ubuntu官方已经制作好了各架构、各版本的base版根文件系统，只需下载下来做少许改动即可
树 哥·2025-03-10 22:37

Docker之数据卷挂载

临时文件系统（tmpfs）：数据仅存储在内存中（本文不展开）。2.绑定挂载（BindMount）#将宿主机的`/host/path`目录挂载到容器的`/contain
运维实习生~·2025-03-10 17:31

Hadoop的运行模式

Hadoop的运行模式1、本地运行模式2、伪分布式运行模式3、完全分布式运行模式4、区别与总结Hadoop有三种可以运行的模式：本地运行模式、伪分布式运行模式和完全分布式运行模式1、本地运行模式本地运行模式无需任何守护进程
对许·2025-03-10 09:35

开源操作系统不要用exfat ntfs

两个文件系统都是这样，已经亲自实验过了，各种交叉错误，文件错误，乱七八糟的，包括freebsd，Linux为基础的各种系统。这些非开源文件系统，支持并不完美，有很多错误。
suirosu·2025-03-10 06:45

Hadoop的mapreduce的执行过程

一、map阶段的执行过程第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认Splitsize=Blocksize（128M），每一个切片由一个MapTask处理。（getSplits）第二阶段：对切片中的数据按照一定的规则读取解析返回对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）第三阶段：调用Mapp
画纸仁·2025-03-10 01:34

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
dccrtbn6261333·2025-03-10 01:32

【Hadoop】如何理解MapReduce？

MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它的核心思想是将复杂的计算任务分解为两个简单的阶段：Map（映射）和Reduce（归约）。通过这种方式，MapReduce可以高效地并行处理海量数据。一.MapReduce的核心概念1.Map（映射）：将输入数据分割成小块，并对每个小块进行初步处理。输出键值对（key-valuepairs），例如。2.Shuffle和Sort（洗牌
2302_79952574·2025-03-10 00:30

Ubuntu 22.04 LTS 入门教学文档

适用对象：Linux新手、开发者、运维人员目录Ubuntu简介系统安装指南图形界面操作终端基础命令软件包管理用户与权限管理网络配置与管理磁盘与文件系统系统维护与故障排查附录：常用快捷键与资源1.Ubuntu
猴的哥儿·2025-03-10 00:55

LINUX本地磁盘DISK空间扩容

vmware虚拟机本地磁盘空间不足，虚拟机层面扩容原有磁盘/dev/sda从50G到100G，系统层面fdisk划分磁盘分区，创建pv，添加到vg，扩展lv，xfs_growfs刷新文件系统空间。
数据库急诊日记·2025-03-09 21:32

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。
CloudJourney·2025-03-09 21:29

Hadoop介绍：什么是Hadoop？了解Hadoop的应用

一、认识Hadoop框架Hadoop是一个提供分布式存储和计算的开源软件框架，使用Java语言编写，具有高扩展性、高容错性、无共享和高可用（HA）等特点，非常适合处理海量数据。
Zzzxt007·2025-03-09 21:55

Hbase在hdfs上的archive目录占用空间过大

hbase版本：1.1.2hadoop版本：2.7.3Hbase在hdfs上的目录/apps/hbase/data/archive占用空间过大，导致不停地发出hdfs空间使用率告警。
宝罗Paul·2025-03-09 13:50

Hadoop、Spark、Flink Shuffle对比

一、Hadoop的shuffle前置知识：Map任务的数量由Hadoop框架自动计算，等于分片数量，等于输入文件总大小/分片大小，分片大小为HDFS默认值128M，可调Reduce任务数由用户在作业提交时通过
逆袭的小学生·2025-03-09 10:55

【Hadoop】什么是Zookeeper？如何理解Zookeeper？

ZooKeeper是一个开源的分布式应用程序协调服务，可以为分布式应用提供一致性的服务，功能包括：配置维护、名字服务、分布式同步、组服务等等。ZooKeeper的目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。1.Zookeeper的特点最终一致性：Client不论连接到哪个Server,展示给它的都是同一个视图。可靠性：如果某个消息被一台服务器接受，那么它
2302_79952574·2025-03-09 09:46

【Hadoop】详解HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
2302_79952574·2025-03-09 09:13

HDFS的设计架构

HDFS是Hadoop生态系统中的分布式文件系统，设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点，适合运行在廉价硬件上。
F_0125·2025-03-09 05:21

MYSQL备份策略

MySQL备份策略对于数据安全和恢复至关重要按备份类型划分物理备份文件系统级备份：直接复制MySQL的数据文件，适用于简单场景。如在Linux系统下，可使用cp或rsync命令复制整个数据目录。
F_0125·2025-03-09 05:21

大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件

从以Greenplum为代表的MPP（MassivelyParallelProcessing，大规模并行处理）架构，到Hadoop、Spark为代表的批处理架构，再到Storm、Flink为代表的流处理架构
2401_84181942·2025-03-09 03:39

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN
emmm形成中·2025-03-09 01:19

hadoop框架与核心组件刨析（四）MapReduce

MapReduce是一种用于大规模数据处理的编程模型和计算框架，最初由Google提出，后来由ApacheHadoop实现并广泛应用。
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-09 00:42

Linux和Ubuntu的关系

2.Linux内核操作系统的构成：内核、shell、文件系统、应用程序-应用程序：文本编辑器等-文件系统：文件存放在存储设备上的组织方法-shell：用户与内核交互的系统，命令解释器-内核：处理操作系统的请求
cykaw2590·2025-03-09 00:43

【QDir所有函数举例】

它提供了许多函数来操作和查询文件系统。
Qt历险记·2025-03-08 23:51

Qt | 目录和文件路径常用函数大全

02QFileInfo是Qt框架中的一个类，用于获取文件系统中的文件和目录的详细信息。它提供了一系列方法来查询文件的属性，如文件大小、创建时间、最后修改时间、文件权限等。
Qt历险记·2025-03-08 22:10

深入理解 Linux systemd 单元类型及配置详解

深入理解Linuxsystemd单元类型及配置详解在Linux系统中，systemd是一种强大的初始化系统和服务管理工具，它通过**单元（Unit）**来管理服务、文件系统、设备等。
weixin_42587823·2025-03-08 22:04

docker命令整理

对于Linux而言，内核启动后会挂载root文件系统为其提供用户空间支持。Docker镜像相当于是一个root文件系统。分层存储镜像构建时，会一层层构建，前一层是后一层的基础。
耳冉鹅·2025-03-08 13:14

swagger基本使用及常用注解

总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法，参数和模型紧密集成到服务器端的代码，允许API来始终保持同步。作用：1.接口的文档在线自动生成。2.功能测试。
耀辰·2025-03-08 11:03

【Python运维】实现高效的自动化备份与恢复：Python脚本从入门到实践

本篇文章涵盖了文件系统的备份、MySQL数据库的备份与恢复、定期任务的自动化调度等内容。我们将通过大量的
蒙娜丽宁·2025-03-08 10:59

hadoop 运行java程序_原生态在Hadoop上运行Java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。
淇水煮汤·2025-03-08 09:23

hadoop运行java程序命令_使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/hadoop
emi0wb·2025-03-08 09:53

tools:制作根文件系统debian9

首先你先新建一个用于mount的目录mkdir/debian9其次你需要保证主机上有debootstrap以及qemu-user-staticapt-get-yinstalldebootstrapqemu-user-static现在你需要dd命令去生成rootfs.img文件ddif=/dev/zeroof=rootfs.imgbs=1Mcount=1024dd命令的话。bs代表一次读入写入大小。
maze.ma·2025-03-08 09:21

鸿蒙系统分布式文件概述、访问、拷贝

1.分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
小时代的大玩家·2025-03-08 09:20

大数据Hadoop集群运行程序

目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。
赵广陆·2025-03-08 08:37

【Linux系统编程】初识系统编程

系统编程的特点3.系统编程的应用领域4.系统编程的核心概念5.系统编程的工具和技术二、操作系统四大基本功能1.进程管理（ProcessManagement）2.内存管理（MemoryManagement）3.文件系统管理
不被定义的~wolf·2025-03-08 06:51

hadoop框架与核心组件刨析（三）YARN

一、负载均衡的概念负载均衡（LoadBalancing）是一种将工作负载（如网络流量、计算任务或数据请求）分配到多个资源（如服务器、计算节点或存储设备）的技术，目的是优化资源使用、最大化吞吐量、最小化响应时间，并避免单个资源过载。负载均衡广泛应用于计算机网络、分布式系统、云计算等领域。负载均衡的核心目标提高性能：通过将负载分配到多个资源，避免单个资源成为瓶颈，从而提高系统的整体性能。提高可用性：如
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-08 04:46

基于k8s安装jenkins集群

jenkins集群的数据文件放到master节点的/opt/data/k8s/jenkins目录下，以NFS网络文件系统的方式对整个集群共享jenkins创建jenkins-admi
水上冰石·2025-03-08 01:08

elasticsearch 刷新问题

index="x",doc_type='xx',id=xxx,body=xxxx,refresh=True)refresh操作：先将index-buffer中文档（document）生成的segment写到文件系统之中
时代在召唤r·2025-03-07 22:06

centos基础知识

系统监控proc文件系统proc文件系统是一种无存储的文件系统，当读其中的文件时，其内容动态生成，当写文件时，文件所关联的写函数被调用。
铁锅与大鹅·2025-03-07 21:58

Doris 数据集成 Kafka

这是我们Doris数据集成篇的第二篇，前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了，目前使用下来感觉还是很方便的，比起Hadoop
不二人生·2025-03-07 16:29

到底什么是工业操作系统？（3）定义

2、实现对边缘计算机的硬件、内存、CPU、文件系统的管理和调度。3、支持应用程序的安装、运行、管理。4、兼容支持以PC\PLC\DCS\模拟设备\移动终端为代表的各厂家外设，并即插即用和管理。
Wnq10072·2025-03-07 14:22

RMAN备份bug-审计日志暴涨(select action from gv$session)

问题概述/oracle文件系统使用率过大，经过检查是审计日志过大,/oracle目录197G审计日志占用70G，每6个小时产生大量审计日志，日志内容全是'selectactionfromgv$session
CodeBe@r·2025-03-07 14:49

基于TableStore的海量气象格点数据解决方案实战

传统的方案常常采用关系型数据库加文件系统的方式实现这类气象数据的存储和实时查询，这种方案在可扩展性、可维护性和性能上都
阿里云云栖号·2025-03-07 10:50

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式
潜心_守道·2025-03-07 07:17

第五章 nfs服务器

NFS（NetworkFileSystem，网络文件系统）是FreeBSD支持的文件系统中的一种，它允许网络中的计算机（不同的计算机、不同的操作系统）之间通过TCP/IP网络共享资源，主要在unix系列操作系统上使用
Chen_l916·2025-03-07 01:50

容器 /dev/shm 泄漏学习

容器/dev/shm泄漏的介绍在容器环境中，/dev/shm是一个基于tmpfs的共享内存文件系统，通常用于进程间通信（IPC）和临时数据存储。
岳来·2025-03-07 00:35

Azkaban其一，介绍、体系架构和安装

比如：想启动hadoop集群先启动zk集群，再启动hdfs,再启动yarn，再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
出发行进·2025-03-07 00:35

服务器数据拷贝到硬盘软件,硬盘对拷（拷贝） - 轻松搞定硬盘复制！

原始硬盘上的所有内容(包括系统、应用程序、文件/文件夹、文档、视频等)以及所有设置(分区号、文件系统等)都会复制到目标硬盘。
weixin_39928017·2025-03-07 00:01

Go 1.24 新特性一览

可借助os.Root实现安全文件系统操作，运用testing.B.Loop优化基准测试，利用runtime.AddCleanup完善资源管理，还有weak包优化内存、crypto包保障FIPS140-3
·2025-03-06 23:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他