hdfs扩容

【大数据处理框架】Hadoop大数据处理框架，包括其底层原理、架构、编程模型、生态圈

首先，我们来了解一下HDFS。HDFS是Hadoop的核心组件之一，它是一个分布式文件系统，将文件分成多个数据块，并存储在集群中的不同节点上，每个数据块的默认
我是廖志伟·2023-11-06 15:41

ubuntu系统根目录磁盘爆满及解决办法

背景：最近经常遇到根目录爆满，系统桌面启动不了的情况，根目录大小为100g分析：第一反应是根目录的分区太小了，需要扩容，但扩容操作复杂有系统环境丢失的风险，想要快速解决这个问题行不通；然后开始找根目录100g
独鹿·2023-11-06 15:07

云盘同步本地文件和QQ聊天记录

360云盘同步本地文件和定时自动备份本地文件；金山快盘可以同步通讯录、短信、通话记录和手机本地文件；（快盘仅适合同步手机信息，快盘扩容太小）百度云用来储存和备份文件。
帅气的弟八哥·2023-11-06 14:12

阿里终面：10亿数据如何快速插入MySQL

假设和面试官明确后，有如下约束10亿条数据，每条数据1Kb数据内容是非结构化的用户访问日志，需要解析后写入到数据库数据存放在Hdfs或S3分布式文件存储里10亿条数据并不是1个大文件，而是被近似切分为100
TNT报社·2023-11-06 13:49

centos7 硬盘扩容

1.进入centos7系统中，打开终端，在终端界面中输入“#df-h”命令，并回车，在终端界面中可以看到原本20G的磁盘，并未扩容。
z6i·2023-11-06 13:05

Jira+confluence搭建文档

系统选择：Centos7Atlassian各产品：安装目录：/data/atlassian数据目录：/data/Atlassian/ApplicationData>>>>>选择挂载一块磁盘，方便以后的迁移扩容备份
Rain丶·2023-11-06 12:27

linux环境下LSI RAID卡在线扩盘和系统分区扩容简易操作

重要提醒---数据安全---备份备份备份！！！一、RAID工具StorcliStorcli管理工具下载https://download.lenovo.com/servers/mig/2022/06/01/55714/lnvgy\_utl\_raid\_mr3.storcli-007.2008.0000.0000-0\_linux\_x86-64.tgzStorcli工具安装tarxvflnvgy\
深科文库·2023-11-06 11:06

Zookeeper监控机制

Zookeeper是有⼀个⼼跳监控机制存在的,⼀般都是每隔2秒就⼼跳⼀下来确认Controller是否还存活,如果不存在的话就会把资源节点让给其他的Controller,这个⼼跳检测机制是⽐较常⻅的,⽐如HDFS
冷艳无情的小妈·2023-11-06 11:23

CleanMyMac X2023Mac电脑空间内存清理工具

对于新近几年的Mac电脑，扩容又不像以前换一块硬盘就好，还好事去问了一圈，对于2016年以后的Mac电脑的扩容建议是：外接一块移动硬盘。或许CleanMyMacX是个不错的选择。
CoCo玛奇朵·2023-11-06 10:52

mapreduce详细工作流程

mapreduce工作流程map任务处理1.1框架使用InputFormat类的子类把输入文件(夹)划分为很多InputSplit，默认，每个HDFS的block对应一个InputSplit。
瞌死在大数据·2023-11-06 09:57

【Hadoop】MapReduce工作流程

MapReducer工作流程读数据1.客户端提交作业任务；2.Job根据作业任务获取文件信息；3.InputFormat将文件按照设定的切片大小（一般切片大小等于HDFS中的Block块大小）进行切片操作
温wen而雅·2023-11-06 09:57

MapReduce详细工作流程

源码链接1.文本job提交------Job源码链接2.FileInputFormat按照块大小（128m）进行切片------切片源码链接3.切片信息，jar包（Job提交到集群运行时），配置信息上传到HDFS
水花一直飞·2023-11-06 09:56

【数据结构与算法】JavaScript实现哈希表

优秀的哈希函数快速计算均匀分布二、初步封装哈希表2.1.哈希函数的简单实现2.2.创建哈希表2.3.put(key,value)2.4.get(key)2.5.remove(key)2.6.其他方法的实现三、哈希表的扩容
itpeilibo·2023-11-06 09:53

云桌面Linux虚拟机磁盘扩容

需求：将虚拟机/目录从49G扩容到59Gstep1:在FC进行磁盘扩容在FC将磁盘调整为60G实验思路：扩容磁盘→将扩容的磁盘写入分区表→创建物理卷→扩展卷组→扩展/目录所在逻辑卷→扩展/目录的文件系统一
咩了个咩咩·2023-11-06 09:45

服务器虚拟机的c盘怎么加,xp虚拟机c盘怎么扩容

xp虚拟机c盘怎么扩容内容精选换一换查看用户创建的集群列表信息。该接口不兼容Sahara。URI格式GET/v1.1/{project_id}/cluster_infos?
月狸·2023-11-06 09:43

linux lvm 扩容磁盘,Linux LVM磁盘空间扩容的新方法

导读传统LVM扩容方法需要增加PV磁盘，扩容多次后，服务器的磁盘数量会越来越多，容易增加日后维护存储和磁盘布局的难度。
武松捶的那只虎·2023-11-06 09:13

虚拟机vcenter如何增加磁盘_vCenter线上操作磁盘扩容

以下截图是生产机器，目前是有一块盘，且根分区是/dev/sda3，因为磁盘不足，需要备份的数据要远远超过此时的空间大小；正常情况下，是可以新增硬盘硬盘作为备份但是作为宿主机下的虚机，因为一些不规范的操作，我们直接在线扩容
落基山·2023-11-06 09:13

vSphere6.7创建Windows Server 2012虚拟机及磁盘扩容

安装步骤VC平台设置1右键主机名，点击“新建虚拟机”2选择“创建新虚拟机”点击“NEXT”3填写虚拟机名称，下面的虚拟机位置先默认不选，点击“NEXT”4选择虚拟机所在的主机，然后点击“NEXT”5下面的是本地存储，点击“NEXT”6默认不用选，直接点击“NEXT”7选择客户机操作系统的版本，我这里的是2012版本的服务器。点击“NEXT”8自定义硬件，CPU4U内存16GB新硬盘200GB，磁盘
莫非冢虎·2023-11-06 09:42

vSphere6.7创建Windows Server 2019虚拟机及磁盘扩容

安装步骤：VC平台配置1找一台要存放虚拟机的主机，点击主机名称IP地址，右键“新建虚拟机”2点击“创建新虚拟机”点击“NEXT”3填写虚拟机名称，随便写，下面的保持默认，然后点击“NEXT”4选择虚拟机所存放的位置，也就是目标资源位置，点击“NEXT”5存储的选择，我这里是本地存储，如果有共享存储的话最好选择在共享存储点击“NEXT”6兼容性这里保持默认7客户机版本我这里选择的是2016其实201
莫非冢虎·2023-11-06 09:42

PD虚拟机增加CentOS虚拟机磁盘空间

mac环境下安装了PD虚拟机，近期由于需求需要，扩容了其中一台CentOS7的磁盘空间。
yahaha我去·2023-11-06 09:39

对虚拟机原有磁盘扩容

对虚拟机原有磁盘扩容，扩容不会导致数据丢失1、先关闭虚拟机、手动去虚拟机的硬盘扩容2、lsblk,df-h查看磁盘容量3、fdisk/dev/sda命令扩展输入P查看分区的start和end的值需要先删除要扩容的分区输入
King Bod·2023-11-06 09:09

Openstack 虚拟机云盘扩容

lsblkNAMEMAJ:MINRMSIZEROTYPEMOUNTPOINTsr011:01470K0romvda253:0010G0disk└─vda1253:105G0part/使用growpart工具扩容分区
JACK-JIE·2023-11-06 09:38

解决虚拟机磁盘满了，无法上传文件，给虚拟机扩容问题

1：问题描述在本地virtualbox创建的虚拟机中，已有了mysql服务，从外部打包了一个数据库，想要导入到这个虚机的数据库中，将这个sql文件上传到虚机时，执行命令df-h发现此时虚拟机的磁盘已经用尽（只怪自己当初创建虚拟机时没有分配更多的磁盘），如下图所示此外，由于磁盘空间用尽，mysql服务也宕机了，且无法启动，报错如下ERROR2002(HY000):Can'tconnecttoloca
落墨画雪·2023-11-06 09:37

centos7系统 虚拟机磁盘动态扩容

使用VBOX给虚拟机Centos7系统扩容先VBOX中关闭虚拟机，设置-》选择存储，新建控制器（SATA）一直下一步，知道最后点击OK保存，重启虚拟机，进入系统。
玄辰星君·2023-11-06 09:06

假如业务正在运行，磁盘怎么进行在线扩容？

假如业务正在运行，磁盘怎么进行在线扩容？1.在虚拟化平台或物理机器上，将目标磁盘扩容。如果是虚拟机，需要先在虚拟化平台上扩容虚拟硬盘，然后在虚拟机中进行磁盘扩容操作。2.确认目标磁盘已经扩容成功。
故辞运维·2023-11-06 09:06

linux在磁盘容量扩容后扩容文件系统

在通过存储端扩容了LUN的容量，或者通过更改虚拟机的硬盘容量增加了磁盘的空间之后，执行以下步骤来扩容文件系统：1）通知操作系统分区表的变化情况#partprobe2）如果文件系统或LV的底层设备是磁盘分区
数语数行·2023-11-06 09:35

虚拟机本地磁盘在线扩容

背景虚拟机本地盘对于host物理机来说就是一个LVM卷，虚拟化（libvirt+kvm_qemu）已经支持虚拟机磁盘在线调整，配合物理机lvm管理工具可实现云场景下虚拟机磁盘在线扩容功能。
李天琦·2023-11-06 08:31

K8s学习笔记——认识理解篇

但容器主要解决的是单个应用程序的部署，实际工作中大家要面对的是成百服务、上千机器的规模部署问题，包括但不限于：跨机器和跨地区的集群调度实例的扩容和收缩负载均衡和服务发现无状
沉下心来学鲁班·2023-11-06 08:53

etcd常用运维命令

Documentation/op-guide/1.常用命令#查看集群member情况etcdctl--endpoints=${exist-advertise-peer-urls}memberlist#动态扩容
7亮·2023-11-06 07:33

Java学习 | ArrayList扩容的扩容问题

先看一个问题：ArrayListlist=newArrayList(20)中的list扩容了几次？答案：扩容了0次，我认为这题考的就是对ArrayList源码有没有了解。
呆呆papa·2023-11-06 06:16

面试题——ArrayList list =new ArrayList(20)中的list扩容多少次

ArrayListlist=newArrayList(20)调用有参的构造，他是直接定义好了初始容量20了，所以并没有去扩容。什么时候会扩容？
邓靖川·2023-11-06 06:16

Java基础题：ArrayList的构造方法

ArrayList的构造方法:ArrayListlist=newArrayList();这是默认创建大小为10的数组，当满了时，每次扩容大小为1.5倍；而ArrayListlist=newArrayList
长不大的大灰狼·2023-11-06 05:13

2021-02-21

13面试问题（2）是否存在i+1{(line.split(",")(3),1)}).reduceByKey(_+_).foreach(println)B、HDFS中有两个文件a.text与b.text,
saluch·2023-11-06 05:43

Hadoopo-MapReduce（数据处理）

以Hadoop分布式文件系统（HadoopDistrributedFileSystem,HDFS）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop，为用户提供了系统底层细节透明的分布式基
qq_42601983·2023-11-06 05:53

ConcurrentHashMap是如何实现线程安全的

`get`操作时的线程安全2.4.扩容操作时的线程安全2.4.1.扩容时的`get`操作2.4.2.多线程协助扩容2.4.3.总结3.什么情况下`ConcurrentHashMap`会进行扩容操作1.前言我们知道
桐花思雨·2023-11-06 05:54

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

hadoop启动时报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
D老歪·2023-11-06 05:23

【基础篇】大数据学习笔记（4）相关名词解释

GFS：GoogleFileSystemGoogle文件系统HDFS：HadoopDsitributedFileSystemHadoop分布式文件系统Zookeeper：分布式应用程序协调服务，是Hadoop
风也醉·2023-11-06 02:54

Lua 基本语法学习笔记（三）

Luatable是不固定大小的，你可以根据自己需要进行扩容。
九本才·2023-11-06 02:54

Apache Doris整体架构、FE元数据管理及数据组织

目录1.Doris整体架构2.FE元数据管理3.Doris数据组织1.Doris整体架构Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFSNN）；BE
国林哥·2023-11-06 02:47

2020-04-21

通过命令-setrep设置HDFS中文件的副本数量[[email protected]]$hadoopfs-setrep10/sanguo/shuguo/kongming.txt这里设置的副本数只是记录在
Map_Reduce·2023-11-06 02:57

BCH硬分叉，灾难还是机遇？

随着比特币用户增加，交易量越来越多，1MB的区块大小使得网络拥堵，交易费暴涨，波哥苦不言堪，成了坚定的改革派，支持扩容，比特币分叉之后，便坚定地站在BCH一方。其
区块链大蚝哥·2023-11-06 02:17

windows 平台上使用 pyarrow 连接 hdfs 详细教程

Indexwindows平台上使用pyarrow连接hdfs详细教程连接教程踩坑记录进入支线：编译hdfs.dll进入支线的支线：编译OpenSSL多个OpenSSL的设置问题意想不到的大坑回到支线，编译
Loasn·2023-11-06 00:24

pyarrow读写hdfs

官方API文档：https://arrow.apache.org/docs/python/index.html1、测试服务器能够正确连接hdfs:>hadoopfs-ls/Found5itemsdrwxrwxrwx-hbasesupergroup02021
影子飞扬·2023-11-06 00:19

pyarrow 实现hdfs和本地文件传输

目录pyarrow实现hdfs和本地文件传输1.安装pyarrow2.相关代码2.1.hdfs->本地2.2.本地->hdfs2.3.一个简单的例子参考文章pyarrow实现hdfs和本地文件传输python
Solarzhou·2023-11-06 00:17

Spark系列—spark简介

具有如下特性：1、高效性体现在内存存储中间计算结果，基于DAG图执行引擎的优化，减少多次中间结果写HDFS开销。
数据小白的进阶之路·2023-11-05 23:19

第四天 让爱照见

孩子说的话，亦是宇宙哥哥爱的表达和传达感恩奇迹30的家人，一直都在成长与扩容
周霞_e85a·2023-11-05 23:08

Centos8中Hadoop3.3.1安装详细过程（含图文）

版本五、安装Hadoop3六、配置hadoop环境变量七、Hadoop伪分布式配置1、Hadoop环境变量设置2、Hadoop配置文件的修改（1）修改配置文件core-site.xml（2）修改配置文件hdfs-site.xml
wat-999·2023-11-05 23:17

关于出现hadoop102拒绝连接

自己通过使用jps查看到hadoop102上没有namenode服务启动然后自己通过使用myhadoop.shstop停止hdfs和yarn(myhadoop.sh是自己编写启动和关闭hdfs和yarn
总会有天明·2023-11-05 22:28

MapReduce开发笔记(使用Eclipse编写执行Hadoop)

这里我们直接在浏览器打开：http://192.168.2.144:50070，如果能访问到HDFS的Web端界面，就可以了。
眼君·2023-11-05 20:08

hbase 数据迁移

在源集群所有机器的hosts中配置目标集群的hostname与ip快照方式hbasesnapshot数据迁移问题不需要提前建表，分区也会自动同步HBase自身也提供了ExportSnapshot的方法可以从HDFS
邵红晓·2023-11-05 20:08
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他