hdfs扩容

MySQL主从架构及读写分离实战

实验目的与环境二、基础环境介绍三、搭建主从集群1、理论基础2、同步的原理3、搭建主从集群3.1配置master主服务器3.2配置slave从服务3.3主从集群测试3.4集群搭建扩展：3.5、GTID同步集群4、集群扩容
Memory_2020·2023-12-24 09:04

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。
zhang35·2023-12-24 08:54

大数据高级开发工程师——Hadoop学习笔记（1）

hadoop用户设置免密登录三台虚拟机安装jdkhadoop集群安装环境部署规划安装包下载查看hadoop支持的压缩方式以及本地库修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml
讲文明的喜羊羊拒绝pua·2023-12-24 08:53

Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

pwd=5ay8Hadoop入门学习笔记（汇总）目录二、在虚拟机里部署HDFS集群2.1.部署node1虚拟机2.2.部署node2和node3虚拟机2.3.初始化并启动Hadoop集群（格
faith瑞诚·2023-12-24 08:23

hadoop大数据学习笔记

或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。
驰宇爱吃鱼·2023-12-24 08:53

Hadoop学习之HDFS——小白入门笔记

（此处的计算机为普通计算机）3.分布式文件系统的多个节点分为两类：名称节点（主节点）：文件、目录的操作（创建、删除、重命名等），数据节点与文件块的映射关系数据节点（从节点）：数据的读取与存储二、HDFS
cainiao22222·2023-12-24 08:52

hive企业级调优策略之CBO,谓词下推等优化

在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFSIO、网络IO
Appreciate(欣赏)·2023-12-24 07:26

【Redis】缓存预热

目录常见缓存Redis客户端设计缓存key缓存预热常见缓存●Redis（分布式缓存）●memcached（分布式）●Etcd（云原生架构的一个分布式存储，存储配置，扩容能力）●ehcache（单机）●本地缓存
程序员iteng·2023-12-24 07:55

Hadoop入门学习笔记——三、使用HDFS文件系统

pwd=5ay8Hadoop入门学习笔记（汇总）目录三、使用HDFS文件系统3.1.使用命令操作HDFS文件系统3.1.1.HDFS文件系统基本信息3.1.2.HDFS文件系统的2套命令体系
faith瑞诚·2023-12-24 07:39

动态数组：扩容与缩容

动态数组：扩容与缩容动态数组是一种动态存储的线性表，所有元素的内存地址都是连续的。很多语言的开发都需要用到数组来存储数据，本文主要是学习了一下实现数组的一些基本方法，以及扩容操作和缩容操作的原理。
YYFast·2023-12-24 06:05

Openwrt 启用未分配的硬盘空间

参考博客利用剩余空间扩容根目录启用未分配空间的过程简述安装cfdisk，openwrt->系统->软件包->搜索cfdisk实体机命令行或者网页端进行操作cfdisk命令进入磁盘分区界面，用键盘的上下方向键切换到
Kasen's experience·2023-12-24 06:26

Java知识总结

java.util包listarraylist初始容量为10，底层(有一个属性)是一个对象数组，add元素时，先确保容量足够，不够就扩容，扩容大小为原来的1.5倍。
modouwu·2023-12-24 06:17

linux系统中LVM磁盘动态扩容方案

LVM动态扩展方案信息确认：磁盘空间确认挂载磁盘的文件系统确认lv卷组信息确认1、确认磁盘已扩容：首先确认物理磁盘（vdb）已成功扩容至500G。
是二狗诶·2023-12-24 04:43

使用 ArrayList 应当避免的坑

大家都知道ArrayList是由数组实现，而数据的长度有限，需要在合适的时机对数组扩容。
初念初恋·2023-12-24 04:34

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。
套马杆的程序员·2023-12-24 04:49

2021年最新PHP 面试、笔试题汇总（一）

用户先进入排队队列，先进先出，判断是否已经在抢购结果队列，如果在，则直接下一个，如果不在，将用户信息加入抢购结果队列，库存-1，等待数据库空闲时，将抢购结果写入数据库前端：面对高并发的抢购活动，前端常用的三板斧是【扩容
it阿布·2023-12-24 02:44

字节跳动面经三

如何扩容？一个位置的链表怎么转移到新的地方
dybaby·2023-12-24 00:29

Hive优化

Hive优化Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。
新鲜氧气·2023-12-23 22:26

【物理应用】基于摩尔库仑准则实现应变软化岩体的围岩-支护相互作用附matlab代码

对于岩石介质尤其是软岩或高地应力作用下的硬岩,大部分都具有应变软化和塑性扩容的特性。目前对岩体应变软化模型理论和数值模拟国内外的研究越来越多,但是关于隧道围岩应变软化的研究还很欠缺。
matlab科研助手·2023-12-23 21:41

go map源码分析(三)-扩容

扩容会建立一个新的buckets，将旧的bucket数据搬迁到新的buckets。在搬迁的过程中，并不会将旧的bucket从oldbucket中删除，而是加上一个已删除的标记。
冰瑧·2023-12-23 21:27

ClickHouse(19)ClickHouse集成Hive表引擎详细解析

文章目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的Hive表在Hive中建表在ClickHouse中建表查询Parquest输入格式的Hive表在Hive中建表在
张飞的猪大数据·2023-12-23 20:37

服务器数据恢复-误操作导致xfs分区数据丢失的数据恢复案例

上层分配了1个lun，安装的linux操作系统，划分两个分区，分区一通过lvm进行扩容，分区二格式化为xfs文件系统。
北亚数据恢复·2023-12-23 20:07

Redis部署-集群

目录集群数据分片算法哈希求余一致性哈希算法哈希槽分区算法redis集群搭建1.创建目录和配置.2.将上述redis节点.构建成集群3.使用客户端连接集群集群模式下的故障转移流程1.故障判定2.故障迁移集群扩容集群广义上的集群
正经程序猿·2023-12-23 20:00

迭代器失效问题

2.可能引起迭代器失效的操作①.插入元素/扩容引起的迭代器指向的元素或者空间发生变化，导致迭代器失效。②.删除元素使得某些元素次序发生变化使得原本指向某元素的迭代器不再指向希望指向的元素。
C1238888·2023-12-23 16:14

浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、NameNode与DataNode之间的心跳检测机制
小小少年Boy·2023-12-23 15:19

MINIO在java中的使用

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品--------引自官网的话。
IT小学僧·2023-12-23 14:48

docker学习（十三、Redis主从扩容、缩容）

文章目录一、扩容1.新建两个节点2.加入集群3.分配槽位4.查看分配槽位后的节点信息5.增加从节点，四主四从完成二、缩容1.删除6388端口的从节点2.分配槽位，将要删除的节点槽位全都分配给一个节点3.
陈年小趴菜·2023-12-23 14:16

docker学习（十一、Redis集群存储数据方式）

分布式存储亿级数据知识）docker学习（十、搭建redis集群，三主三从）docker学习（十一、Redis集群存储数据方式）docker学习（十二、Redis主从容错迁移）docker学习（十三、Redis主从扩容
陈年小趴菜·2023-12-23 14:40

通过HDFS API进行HDFS操作

HDFSJavaAPI位于org.apache.hadoop.fs包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem。
CDHong.it·2023-12-23 14:30

Hadoop _HDFS_API 创建文件夹

在项目中src/main/java目录下，新建一个文件，命名为com.atguigu.hdfs创建文件夹在文件夹里输入代码，创建文件夹客户端代码常用套路1、获取一个客户端对象2、执行相关的操作指令3、关闭资源代码如下
笨鸟先-森·2023-12-23 14:29

Hadoop之HDFS的API操作

1、环境准备1.1、下载window版本的hadoop-3.1.01.2、配置HADOOP_HOME环境变量1.2、配置Path环境变量2、代码演示2.1、创建maven项目，导入pom坐标org.apache.hadoophadoop-client3.1.3junitjunit4.12org.slf4jslf4j-log4j121.7.302.2、日志配置log4j.rootLogger=INF
后端技术那点事·2023-12-23 14:28

Hadoop学习之HDFS（HDFS客户端及API操作）心得

HDFS客户端及API操作：一、准备条件：1.配置环境变量HADOOP_HOME(路径要求非中文)2.验证环境变量，双击winutils.exe（报错可能是缺少微软运行库MSVCR120.dll）3.在
顺其自然的济帅哈·2023-12-23 14:58

大数据—Hadoop（四）_ HDFS_03、客户端API

文章目录1、客户端环境准备1.1idea1.2window依赖2、HDFS的API案例实操2.1HDFS文件上传（测试参数优先级）2.1.1客户端代码常用套路2.1.2普通版2.1.3优化后2.1.4上传文件
大数据之负·2023-12-23 14:58

HDFS的API操作

的环境变量（1）设置MAVEN_HOME为maven文件夹的路径（2）在path中添加“%MAVEN_HOME%\bin”（3）在idea中创建maven项目（注意在编写代码前应修改“pom.xml”，hdfs
七玥a·2023-12-23 14:58

Hadoop中HDFS的API操作、客户端环境准备、配置HADOOP_HOME环境变量

文章目录7.HDFS的API操作7.1客户端环境准备7.1.1下载下面的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）7.1.2配置HADOOP_HOME环境变量7.1.3
Redamancy_06·2023-12-23 14:27

hadoop02_HDFS的API操作

HDFS的API操作1HDFS核心类简介Configuration类：处理HDFS配置的核心类。
程序喵猴·2023-12-23 14:57

大数据---35.HBase 常用的api的具体解释

Hbase是一个分布式的、面向列的开源数据库，HDFS文件操作常有两种方式，一种是命令行方式，即Hbase提供了一套与Linux文件命令类似的命令行工具。
学无止境的大象·2023-12-23 13:00

Linux Centos7 安装NVIDIA 驱动

cat/etc/redhat-release查看系统版本服务器IP系统版本内核GPU内存和硬盘后期扩容10.0.2.125CentOSLinuxrelease7.9.20095.3.10-1.el7.elrepo.x86
Nice night·2023-12-23 13:22

Linux根目录文件很小，但磁盘却满了

刚开始出现这个问题的时候，删除了一些不用的文件腾出一部分空间，再后来没有可以删除的，就对磁盘进行扩容了，但是过了一段时间后扩容的磁盘也满了，就很奇怪到底是什么文件占用了磁盘。
俞兆鹏·2023-12-23 13:13

DBeaver连接hive

1.新建hive连接其中主机填写hive所在节点地址，端口10000为默认，数据库名不填则是默认default数据库，用户名密码填写hadoop集群中能操作hdfs的用户和密码。
sunweiking·2023-12-23 12:38

Java的hashmap

那我就不啰嗦了，本文主要是基于Java8，下面主要以下几个方面学习一下：1）HashMap的数据结构、负载因子2）HashMap的put和get方法3）HashMap的碰撞问题4）HashMap的扩容、
xbmchina·2023-12-23 11:44

【数仓_01】用户行为采集平台

2.1目标数据2.2埋点3、模拟数据3.1使用说明3.2集群日志生成脚本4、用户行为数据采集模块4.1数据通道4.2环境准备4.2.1集群所有进程查看脚本4.3Hadoop项目经验4.3.1项目经验之HDFS
温欣2030·2023-12-23 10:43

【hcie-cloud】【11】华为云Stack资源与服务扩建【云服务扩容、自动化变更平台&公共服务组件、华为云Stack典型高阶服务扩容简介、缩略词】【下】

文章目录扩容工程简介、扩容管理规模、计算资源扩容与减容云服务扩容云服务扩容简介华为云Stack云服务扩容背景华为云Stack可选基础云服务华为云Stack可选网络服务华为云Stack可选高阶服务华为云Stack
҉人间无事人·2023-12-23 08:42

hadoop(十二)——自定义分区Partitioner

我们先来看看DataCount这个程序最终的执行结果是什么样子的，在查看之前我们需要先启动hdfs和ya
文子轩·2023-12-23 08:05

k8s-node一键脚本扩容

k8s的node进行扩容，扩容的机器需要满足以下前提条件1.无密登录配置ssh-keygen-trsa2.hostsname修改，并添加集群列表到/etc/hosts3.注意我的使用的nfs做的持久化存储
远方有海，小样不乖·2023-12-23 06:20

15-高并发-如何扩容

对于一个发展初期的系统来说，不太确定商业模型到底行不行，最好的办法是按照最小可行产品方法进行产品验证，因此，刚开始的功能会比较少，是一个大的单体应用，一般按照三层架构进行设计开发，使用单数据库，缓存也是可选组件，而应用系统和数据库也很可能部署在同一台物理机上，如下图所示。对于这样一个系统，随着产品使用的用户越来越多，网站的流量会增加，最终单台服务器无法处理那么大的流量，此时就需要用分而治之的思想来
Andy技术支援·2023-12-23 04:46

ubuntu分区扩容（基于ubuntu2004）

#查看磁盘分区情况rooy@rooy:~$df-lhFilesystem            Size UsedAvailUse%Mountedonudev               3.9G  0 3.9G 0%/devtmpfs               792M 1.5M 790M 1%/run/dev/mapper/ubuntu--vg-ubuntu--lv 73G 6.4G 63G
tkxu·2023-12-23 03:04

RocketMQ系统性学习-RocketMQ高级特性之消息大量堆积处理、部署架构和高可用机制

那么对于消息堆积的处理，就分为两种情况：事发时处理：扩容消费者（在消费者数量
11来了·2023-12-23 00:33

找回Openwrt分区（扩容）

文章目录概要问题分析解决配置永久生效概要使用一个编译好的Openwrt固件烧写系统启动后，发现用户分区只有812M，但实际上硬件eMMC存储为32G,可以通过修改固件分区表来调整，但是比较麻烦，本文验证一种更为简便的方法来找回消失的eMMc存储。问题分析启动系统后查看分区信息如下：#df-hFilesystemSizeUsedAvailUse%Mountedon/dev/root812M664M9
月光技术杂谈·2023-12-22 22:27

#传播财富文化践行富足人生49～26

谢谢这些锃亮的镜子们，给予我一次次照见、扩容的机会。交点朋友、赚点银子、涨点智慧欢迎有缘的人们一起走……8岁小玩家抽到的这张信息卡牌给第二个十年的推演带来新的转机
冯姐姐爱自由·2023-12-22 20:23
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他