HDFS分布式存储文件系统

HDFS执行balance报错：hdfs balance java.io.IOException: Another Balancer is running.. Exiting

现象：1、大数据Hadoop集群，HDFS扩容后，为了使各节点数据均衡，执行balance操作。2、启动hdfsbalance时，一直出现其他的balance在执行中，其实并没有执行。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

hadoop调优-hdfs配置优化

配置文件hdfs-site.xml生产环境建议优化：dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。·2024-02-08 08:28

hive自定义UDF依赖第三方jar包

上传jar包到HDFS上hdfsdfs-putxxxx.jar/tmp/hive/创建永久函数：createfunctionmy_funas'com.test.TestUDF'usingjar'hdfs
不会吐丝的蜘蛛侠。·2024-02-08 08:28

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。·2024-02-08 08:58

删除和清空Hive外部表数据

外部表和内部表区别未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
SunnyRivers·2024-02-08 08:53

使用 Kubernetes，基础设施层面如何优化？分享一些解决方案

重点内容搭配SmartX自主研发的Kubernetes服务、分布式存储、Kubernetes原生存储等产品，用户既可基于SmartX超融合构筑全栈Kubernetes基础设施，也可选择为部署在裸金属、其他虚拟化平台或混合环境的
志凌海纳SmartX·2024-02-08 07:51

RK3568平台 设备模型sysfs文件系统

一.什么是sysfs文件系统sysfs文件系统是Linux内核提供的一种虚拟文件系统，用于向用户空间提供内核中设备，驱动程序和其他内核对象的信息。
嵌入式_笔记·2024-02-08 07:29

Linux学习笔记（centOS）—— 文件系统

目录一、Linux中的文件打开方式二、目录结构三、相关命令切换目录命令列出当前目录下的文件和目录命令一、Linux中的文件“万物皆文件。”图1.1所有文件打开方式图形化界面左上角的位置→计算机，打开以后就可以看到Linux全部的文件了，与Windows最主要的区别是没有盘符。有些目录图标有向外的箭头，比如bin目录。这表示它并不是直接放在根目录下的，本质是一个文件夹的链接，类似于Windows里的
通大侠·2024-02-08 06:19

sqoop导入数据到hdfs

Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop
鲲鹏猿·2024-02-08 06:40

2024-02-07（Sqoop，Flume）

1.Sqoop的增量导入实际工作中，数据的导入很多时候只需要导入增量的数据，并不需要将表中的数据每次都全部导入到hive或者hdfs中，因为这样会造成数据重复问题。
陈xr·2024-02-08 06:35

小白水平理解面试经典题目LeetCode 71. Simplify Path【Stack类】

71.简化路径小白渣翻译给定一个字符串path，它是Unix风格文件系统中文件或目录的绝对路径（以斜杠‘/’开头），将其转换为简化的规范路径。
心安成长·2024-02-08 06:04

win10-忘记密码后用老毛桃去掉密码

把文件系统格式设置为下图一致的，如NTFS，然后不要勾选快速格式化。这样格式化会很慢，等一会儿。bug：快速格式化之后，初始化U盘时报错，制作时提示UD区分区失败。
陆沙·2024-02-08 05:55

LDM DATA PARTITION动态磁盘、MBR/GPT基本磁盘

文件系统显示为：LDMdatapartition"LDMdatapartition"表示LogicalDiskManager数据分区。
顺漆自然·2024-02-08 05:13

2023大数据必看面试题

1、请讲述HDFS输入文件的具体步骤？
东方同学·2024-02-08 05:38

3.2-媒资管理之MinIo分布式文件系统+上传图片

媒资管理3分布式文件系统3.1什么是分布式文件系统要理解分布式文件系统首先了解什么是文件系统。
ANnianStriver·2024-02-08 04:34

exF2FS: Transaction Support in Log-Structured Filesystem——泛读笔记

在底层文件系统缺乏事务支持的情况下，应用程序使用复杂的协议来确保跨多个文件的事务性更新，产生长序列的写操作和fsync()调用。
妙BOOK言·2024-02-08 03:40

嵌入式学习Day15 Linux杂项

一、Linux操作系统的内核1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统5.任务调度二、Shell1.保护Linux内核(用户和Linux内核不直接操作,通过操作Shell,Shell和内核交互
万兜鍪:>·2024-02-08 02:43

假期day2，进程间通信。（2024/2/3）

一：无名管道1.没有名字的管道文件，数据交流的文件存储在内存中，不在文件系统中显示2.创建管道后，会返回读端和写端的文件描述符，当两个端被关闭后，管道文件消失3.无名管道只适用于亲缘进程的通信，需要在fork
明渐·2024-02-08 01:42

扩展Vagrant虚拟机系统磁盘和根文件系统

文章目录1.VBox镜像导入2.Vagrantfile示例和虚拟机创建3.修改系统磁盘大小4.扩充根文件系统：本文不会介绍如何在你的系统上安装VirtualBox和Vagrant软件，实际上安装他们是很简单的事情
肉啃肉er·2024-02-07 22:54

Oracle Vagrant Box 扩展根文件系统

需求默认的OracleDatabase19cVagrantBox的磁盘为34GB。最近在做数据库升级实验，加之导入AWRdump数据，导致空间不够。因此需要对磁盘进行扩容。扩容方法1：预先扩容此方法参考文档Vagrant,howtospecifythedisksize?。指在VagrantBox尚未创建之前，修改Vagrantfile。首先安装Vagrant插件：vagrant-disksize：
dingdingfish·2024-02-07 22:53

zookeeper实现分布式锁

并且是一个常见的文件系统的树型结构的数据模型，运行在java中。它允许程序通过一个共享的类似于标准文件系统的有组织的分层明明空间分布式处理协调。
风吹过我的心·2024-02-07 22:01

高级IO流（字节流复制文本文件）

案例：分别用字符流和字节流进行图片的复制类InputStream字节输入流java.io包下InputStream是抽象类，若想实现，必须用子类去实现它*子类FileInputStream从文件系统中的某个文件中获取输入字节
卓昂芭比·2024-02-07 21:55

C程序设计(第5版)谭浩强习题解答 第10章 对文件的输入输出

缓冲文件系统中，关键的概念是“文件类型指针”，简称“文件指针”。每个被使用的文件都在内存中开辟一个相应的文件信息区，用来存放文件的有关信息(如文件的名字、文件状态及文件当前位置等)。
FlightSim·2024-02-07 20:39

Mounty挂载NTFS硬盘报错

就是说磁盘在win下面没有安全删除就拔出来了，导致文件系统中有错误区块，所以在M
木白掘金·2024-02-07 20:24

hive之DDl数据定义

1.Hive在HDFS上的默认存储路径Hive的数据都是存储在HDFS上的，默认有一个根目录，在hive-site.xml中，由参数hive.metastore.warehouse.dir指定。
嚄825·2024-02-07 19:32

docker挂载数据卷

数据卷是经过特殊设计的目录，可以绕过联合文件系统（UFS），为一个或者多个容器提供访问，数据卷设计的目的，在于数据的永久存储，它完全独立于容器的生存周期，因此，docker不会在容器删除时删除其挂载的数据卷
会飞的大鱼吃小鱼·2024-02-07 19:22

Taishan服务器装centos7.6系统部署ceph服务出现的慢请求

近期，公司云要适配Taishan服务器，于是在服务器上部署了ceph，用来跑储存，但是在使用ceph上传快文件时，ceph出现大量的慢请求，导致ceph集群用不了，但是，使用对象存储和文件系统，未出现以上情况
LeLiRUi·2024-02-07 19:23

docker gitlab 备份还原

灾难起源起因是服务器root文件系统内存较小，只有50G，经常爆仓。于是乎，就把gitlab整体移动到内存相对较大home文件系统下。这不，转移了，我人直接裂开来。噩耗！！！
我爱盐酥鸡·2024-02-07 18:32

如何使用 Buildah 构建容器镜像

Buildah使容器的文件系统可以直接供构建主机使用。这意味着
weixin_34238633·2024-02-07 18:51

【教程】Linux使用git自动备份和使用支持文件恢复的rm命令

一旦使用rm删除了文件或目录，它们就会从文件系统中永久删除，除非你使用专门的文件恢复工具尝试恢复这些文件。
小锋学长生活大爆炸·2024-02-07 17:40

HDFS 之 数据管理(namespace 和 slaves)

1、namespaceNamespace在HDFS中是一个非常重要的概念，也是有效管理数据的方法。Namespace有很多优点：可伸缩性。使HDFS集群存储能力可以轻松进行水平拓展；系统性能。
Studying！！！·2024-02-07 17:57

HDFS架构 之 服务视图

1、简介为实现以上特性，HDFS包含的各个服务模块都是经过精心设计的，HDFS的服务视图如图。HDFS的服务视图包含三大部分：核心服务、公共服务和拓展服务。2、核心服务1)Namenode。
Studying！！！·2024-02-07 17:27

HDFS架构 之 元数据架构解析

1.1namenode启动流程1.1.1启动流程1、加载fsimage文件FsImage是一种持久化到磁盘上的文件，里面包含了集群大部分的meta数据，持久化的目的主要是为了防止meta数据丢失，也就是在HDFS
Studying！！！·2024-02-07 17:23

大热的区块链到底牛在哪

现在各行业都在布局区块链，包括金融、数字货币、医疗、物流等等，区块链之所以这么牛，其实取决于它的这三个特点：1.分布式存储记录数据存储在多个地方，没有一个固定的中心点，安全指数高，
二呱子·2024-02-07 16:26

MySQL-进阶

连接层：一些客户端和连接服务，完成连接处理、授权认证及相关操作2.服务层：完成大多数核心服务的功能，比如SQL的分析和优化3.引擎层：负责MySQL中数据的存储和提取4.存储层：数据存储层，将数据存储在文件系统上
孜孜不倦fly·2024-02-07 16:20

什么是对象存储系统

与传统文件存储中使用的寻址层次结构不同,对象存储使用平面文件系统,即没有目录树。因此,它提供了无限的规模——对象存储能够存储大量的非结构化数据,如音频、视频、电子邮件、
互联网哪些事情·2024-02-07 15:28

ROS文件系统相关命令(自学二刷笔记)

https://www.bilibili.com/video/BV1Ci4y1L7ZZ讲义链接:Introduction·Autolabor-ROS机器人入门课程《ROS理论与实践》零基础教程一、ROS文件系统相关命令
Galaxy_1229·2024-02-07 15:41

2022-06-28 pg表空间维护

默认提供了两个表空间：pg_default表空间存储用户数据和pg_global表空间存储全局数据.pg的表空间使用方式与MySQL有点类型，可使用文件系统。
koolkite·2024-02-07 15:17

DataX概述

1.概述DataX是阿里开源的的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权·2024-02-07 14:01

阿里云datax工具使用详解

datax介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS
王春星·2024-02-07 14:01

datax安装与使用详解

一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase
jhchengxuyuan·2024-02-07 14:00

Linux——存储管理

文章目录基本分区磁盘简介磁盘分类linux的磁盘命名磁盘的分区方式管理磁盘虚拟机添加硬盘查看磁盘信息磁盘分区流程创建分区创建文件系统挂载mount查看挂载信息剩余空间继续分区MBR如何划分更多的分区为什么只能有
_洋·2024-02-07 11:44

Ubuntu修改用户名及密码

有时候买了一块带Ubuntu的开发板，只在上面做应用开发，之后需要将整个系统重新打包成根文件系统用于生产批量烧录。但是，开发板出厂一般是有自己的用户名和密码的，我们需要定制修改成自己的用户名和密码。
慕诗客·2024-02-07 11:12

LeetCode71(简化路径)

在Unix风格的文件系统中，一个点（.）表示当前目录本身；此外，两个点（..）表示将目录切换到上一级（指向父目录）；两者都可以是复杂相对路径的组成部分。
gerryjia·2024-02-07 11:17

Linux 文件连接：符号链接与硬链接

Linux文件连接：符号链接与硬链接介绍在Linux系统中，文件连接是一个强大的概念，它允许我们在文件系统中创建引用，从而使得文件和目录之间产生联系。
宁子希·2024-02-07 11:54

《Docker极简教程》--Docker基础--基础知识（三）

Namespace在Docker中扮演着至关重要的角色，它允许容器内的进程以及其他系统资源（如网络、文件系统等）在一个独立的Namespace中运行，彼此之间相互隔离，不会相互干扰
喵叔哟·2024-02-07 11:21

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

Linux 文件IO之read() 函数

Linux中最常见的读取文件系统调用是read（）。
voode·2024-02-07 10:05

大数据命令，一文在手，全部都有（送纯净版文档）

比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase.....这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下，具体命令会一一介绍。
大数据左右手·2024-02-07 09:35

Node.js 文件系统

Node导入文件系统模块(fs)语法如下所示：varfs=require("fs");比起同步，异步方法性能更高，速度更快，而且没有阻塞。
ElfACCC·2024-02-07 09:03
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他