hdfs扩容

MySQL 5.7到8.0数据迁移

第一篇，安装MySQL第二篇，MySQL跨版本导数据的方法及问题第三篇，VMWare虚机磁盘扩容问题及解决第四篇，MySQL主从设置与数据一致
darkdragonking·2023-09-21 12:34

SQOOP2 使用报错分析与解决

项目场景：Hadoop版本：3.1.2SQOOP2版本：1.99.7关系型数据库：Mariadb10.3.15项目目的：使用sqoop2进行从关系型数据库导入HDFS中。
lostar01·2023-09-21 10:42

修炼离线：（三）sqoop插入hbase 报错权限问题

切换hadoop用户：exportHADOOP_USER_NAME=hdfshadoopfs-chown-Rroot:root/方法二：修改权限切换hadoop用户：exportHADOOP_USER_NAME
宇智波云·2023-09-21 10:10

Golang slice 通过growslice调用nextslicecap计算扩容

先来看一段代码code:e:=[]int64{1,2,3}fmt.Println("capofebefore:",cap(e))e=append(e,4,5,6,7)fmt.Println("capofeafter:",cap(e))output:capofebefore:3capofeafter:8为什么容量是8？append了的4个元素，如果是原来的2倍也才6个，小于长度7，所以容量赋值长度7
行者游学·2023-09-21 10:03

一个代码即可删除C盘几十G垃圾

对于C盘经常爆满，最根本的解决方式还是扩容硬盘。以前200多G硬盘的时候，我也是经
DonJuan小涩狼·2023-09-21 10:19

K8s系列之：Pod的扩容和缩容

Pod的扩容和缩容一、手动扩容和缩容模式二、自动扩容和缩容模式在实际生产系统中，经常会遇到某个服务需要扩容的场景，可能会遇到由于资源紧张或者工作负载降低而需要减少服务实例数量的场景。
最笨的羊羊·2023-09-21 09:07

Pod 扩容和缩容

在生产环境下，在面临服务需要扩容的场景时，可以使用Deployment/RC的Scale机制来实现。Kubernetes支持对Pod的手动扩容和自动扩容。
weixin_34162401·2023-09-21 09:06

k8s 读书笔记 - 深入掌握 Pod 扩缩容

Pod扩缩容的应用场景在实际生产环境中通常会遇到某个服务需要扩缩容的场景：某个Service服务资源紧张，需要对其进行扩容。
dotNET跨平台·2023-09-21 09:34

k8s 1.23.10 动态POD扩缩容（HPA ）

再K8S中扩容分为两种：一、Node层面：二、Pods层面：自动扩缩容的方案有哪些KubernetesHPA（HorizontalPodAutoscaling）KubernetesKPA（KnativePodAutoscaler
桑东尼·2023-09-21 09:02

k8s—扩容/缩容

注意：本文k8s的版本，使用的是V1.16.21.手动命令扩容与缩容#kubectlscaledeployment/nginx-pod--replicas=2#nginx-pod是部署应用的名称，可以通过
SSJWWWCX·2023-09-21 09:30

Kubernetes中Pod的扩缩容介绍

Kubernetes中Pod的扩缩容介绍在实际生产系统中，我们经常会遇到某个服务需要扩容的场景，也可能会遇到由于资源紧张或者工作负载降低而需要减少服务实例数量的场景。
242030·2023-09-21 09:58

(二)presto集成Hive

一、集成之前在presto集成Hive之前，要先启动Hive;由于Hive依赖HDFS,并且这里环境其元数据存储在mysql中，故在启动Hive之前要先启动HDFS和Mysql;1、主节点启动hdfs[
郝少·2023-09-21 09:20

测试环境顺便扩容记录

Linux下扩容100g的正确操作https://blog.csdn.net/subfate/article/details/128108103上面的操作是可以的经过实践实现结果https://www.cnblogs.com
hxsln11·2023-09-21 09:40

HashMap的数据结构

代表HashMap对数组容量的使用率为75%，超过该使用率，则数组需要进行扩容。加载因子:存储数据的个数与最大存储量的比值,表示元素填满的程度,元素个数达到容量长度（加载因子=1),进行扩容。
猿究院_xyz·2023-09-21 08:08

Hadoop-3.3.6完全分布式集群安装

Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机IP地址主机名192.168.10.101master192.128.10.102worker1192.168.10.103worker2Step2
m0_63480823·2023-09-21 08:32

HDFS的一些高级特性

一、HDFS的回收站1、默认HBase是禁用回收站2、开启回收站：1）修改配置core-site.xml:fs.trash.interval=0.
陈超Terry的技术屋·2023-09-21 07:53

redis高级

redis阅读完本文要搞懂的东西使用场景数据类型在这里一次罗列所有知识点分布式缓存单节点redis存在的的问题redis是基于内存的，难以满足海量数据存取需求（主从集群）（分片集群存储到不同服务器，动态扩容
pengzn·2023-09-21 06:30

什么是TFS-分布式文件系统

它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时
入秋枫叶·2023-09-21 05:31

大数据学习之Hadoop

一、基础概念Hadoop包含HDFS和MapReduce，HDFS实现分布式存储，MapReduce实现数据分布式计算。HDFS：HDFS是由Namenode和Datanode组成。
我问你瓜保熟吗·2023-09-21 04:40

Hadoop源码阅读（三）：HDFS上传

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：下载源码之后得到hadoop-3.1.3-src.tar.gz压缩包，在当前目录打开PowerShell，使用tar-zxvf指令解压即可，然后使用IDEA打开hadoop-3.1.3-src文件夹
THE WHY·2023-09-21 02:46

Hadoop集群--(2)启动&初体验

1.启动方式要启动Hadoop集群，需要启动HDFS和YARN两个集群注意：首次启动HDFS时，必须对其进行格式化操作。
周凡_07b2·2023-09-21 02:06

第四章：OceanBase集群技术架构（动态扩容和缩容）

动态水平扩展的场景一个三副本的集群，每个Zone都有3000个分区的副本，扩容后，OceanBase自动将1500个分区的副本迁移到新服务器中的资源Unit中。
柯西极限存在准则·2023-09-21 01:50

动态版通讯录的实现——“C”

静态版通讯录——http://t.csdn.cn/d39eN动态通讯录我们设置其初始容量为3，每次扩容2个。我们来回顾一下静态版通讯录的结构。
斌斌斌斌斌~·2023-09-20 23:11

C++--deque（双端队列）模拟实现stack和queue

两端都可以进行插入和删除操作，时间复杂度为O(1)；deque并不是真正的连续空间，而是由一段段连续的小空间拼接而成，分段连续，类似于一个动态的二维数组；与vector相比：头插和删除时，不需要搬移元素，效率特别高，扩容时也
Cling槑·2023-09-20 23:20

java api操作HDFS

如果是使用maven的话，导入如下依赖即可，否则需要在解压好的hadoop文件夹下找到common文件夹和hdfs文件夹下的jar包org.apache.hadoophadoop-client2.8.3
一条IT·2023-09-20 23:27

carbondata表中出现beeline连接问题

carbondata表中出现beeline连接问题简析：【借助问题分析】这个和起的的beeline问题有不同，主要这是链接carbondata的不是连接hive的Q1:[hdfs@ps-device-id-ydsc
不吃饭的猪·2023-09-20 22:07

【生命的分支：揭秘二叉树的神奇编码】

空间不够，需要扩容，扩容有消耗，代价大。空间2倍扩容，如果数据较少，会有空间的浪费问题优点：下标随机访问数据，排序，二分查找效率高。CPU高速缓存命中率比较高。
笨笨胡小巴·2023-09-20 22:35

2023_Spark_实验十一：RDD高级算子操作

//checkpoint ：sc.setCheckpointDir("hdfs://Master:9000/ck") // 设置检查点val rdd=sc.textFile("hdfs://Master
pblh123·2023-09-20 20:34

从非kerberos认证的hadoop集群复制数据到kerberos化集群

kerberos化主机上，先使用kinit命令初始化kerberossessionhadoopdistcp-Dipc.client.fallback-to-simple-auth-allowed=truehdfs
长名字可以让你朋友更容易记住你·2023-09-20 20:02

2023年大数据面试通关文牒系列篇

区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置
AuZn666·2023-09-20 19:42

hive表内部表和外部表的区别

内部表与外部表的区别未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
进击的小恶魔·2023-09-20 17:19

go底层系列-slice底层实现

sliceslice前言热身环节实现原理数据结构使用make创建Slice例如使用数组创建Slice例如Slice扩容例如SliceCopy特殊切片例如编程TipsSlice总结slice前言又称动态数组
您是弟弟·2023-09-20 14:04

数据结构——线性表之顺序表

目录一.线性表二.顺序表实现2.1概念及结构2.2动态顺序表2.2.1初始化与销毁函数2.2.2打印函数2.2.3尾插函数2.2.4尾删函数2.2.5扩容函数2.2.6头插函数2.2.7头删函数2.2.8
玛丽亚后·2023-09-20 14:24

用Python读取xml文件后，裁剪标注图片和扩容数据

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理作者：Gendan原文https://segmentfault.com/a/1190000038690313想要获取更多Python学习资料，了解更多关于Python的知识，可以加Q群630390733踊跃发言，大家一起来学习讨论吧！因为想用yolov5算法训练自己数据集识别数字“
葡萄_ac1c·2023-09-20 14:08

JAVA 集合之 LinkedList 底层实现和原理

底层实现和原理概述LinkedList底层是基于双向链表(双向链表的特点)，链表在内存中不是连续的，而是通过引用来关联所有的元素，所以链表的优点在于添加和删除元素比较快，因为只是移动指针，并且不需要判断是否需要扩容
彭阿三·2023-09-20 11:53

【运维篇】四、服务日志控制

快速创建日志对象4、日志级别更改5、日志输出格式控制6、日志记录到文件1、日志基础日志的作用：编程期调试代码记录日常运营重要信息（峰值流量、平均响应时长……）记录应用报错信息（错误堆栈）运营期记录运维过程数据（扩容
-代号9527·2023-09-20 11:32

第十九课-以太坊扩容方案|《树哥解读以太坊》笔记

关于“扩容”一词，见到过三个说法。一是增加区块的大小，比如把比特币的1M（M，兆）区块大小增大为2M。（本节的1.2是这个说法）。
吉祥在成长·2023-09-20 10:33

记一次数据库删除binlog日志

收到了阿里云给过来的磁盘使用率平均值超过95的警告然后就进去看了一下磁盘空间截图（df-h查看系统中文件的使用情况其实当时只剩700m了吓得我赶紧先去问了一下大神）再附上两个大神的猜测心安理得的做一个舔狗竟然只有这么一点了如果扩容的话首先成本会增加其次
宅本初·2023-09-20 10:46

【Java 集合】常用的Java集合框架体系详解（134）

集合分为两个家族MAP和Collection特点：大小不固定（自动扩容，不用定义长度），启动后可以动态变化，类型也可以选择不固定。集合非常适合做元素的增删操作。
DevínKelly·2023-09-20 10:20

查看es集群状态、创建mapping、索引只读解决方法、查询等

1.ES索引只读原因：磁盘满了（磁盘满后，es会自动变成只读）操作：删除磁盘数据或扩容后，修改索引状态配置修改：方法1：PUThttp://IP:PORT/_settings{"index":{"blocks
不见冬天雪未眠·2023-09-20 08:49

预估扩容所需的容器资源的常见方法

背景我们在很多情况下需要扩充容器来应对访问量的增加，最理想的情况下，我们是通过压测的方式来确定单台容器的最大qps，然后通过新增多少qps来估算需要新增多少台容器的，但是有很多时候，我们都能难通过这么理想的方式扩容
lixia0417mul2·2023-09-20 07:21

ubuntu 里根文件系统的扩容，/dev/ubuntu-vg/ubuntu-lv 文件系统扩充到整个分区

笔者安装了ubuntu服务器版软件，由于系统安装的时候没有划分好磁盘分区，只采用了1000G固态硬盘的200G来安装系统，安装完毕后，用df-h命令查看如下：根文件系统仅占用了196G，而本身硬盘的尺寸为1000G，还有将近800G空间没有分配。用lsblk命令查看硬盘分区信息如下：nvme0n1p3分区有950.8G空间，而ubuntu--vg-ubuntu--lv文件系统实际占用的为196G，
大飞飞鱼·2023-09-20 07:24

阿里云数据盘扩容问题，记录一下

服务器ubuntu16根据文档在线扩容前面步骤没问题，直到扩展文件系统时报错：resize2fs:Deviceorresourcebusywhiletryingtoopen/dev/vdb1Couldn
qq_34221812·2023-09-20 06:03

java微服务 Dubbo面试题/SpringCloud面试题

低成本扩容，弹性伸缩，适应云环境。Q:怎么解决服务调用闭环(循环依赖)？服务分层，设定groupId。比如分为上层服务，中间层服务，底层服务。上层服务可以调用中间层、底层服务，底层服务不允许调用上层
乐之者v·2023-09-20 06:23

开源分布式存储系统（HDFS、Ceph）架构分析

文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCephMonitor分析CephOSD分析
gengduc·2023-09-20 05:25

ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output...

50ERRORtool.ImportTool:Importfailed:org.apache.hadoop.mapred.FileAlreadyExistsException:Outputdirectoryhdfs
我住永安当·2023-09-20 05:16

MatrixDB数据库学习——筑梦之路

MatrixDB简介MatrixDB是全球首款同时支持在线事务处理（OLTP）、在线分析处理（OLAP）和物联网时序应用的超融合型分布式数据库产品，具备严格分布式事务一致性、水平在线扩容、安全可靠、成熟稳定
筑梦之路·2023-09-20 05:55

C盘扩容（微PE工具箱）

C盘扩容（微PE工具箱）1、关闭Bitlocker2、安装微PE3、以D盘分10G给C盘为例3.1安装后重启会出现两个选项电脑系统和PE系统，选择PE系统3.2调成分区空间3.3检查分盘情况并删除PE系统
会点灯的大力水手·2023-09-20 02:07

大数据常用组件总结

Hadoop的核心是YARN,HDFS和MapRe
Mei_ZS·2023-09-20 01:04

基于Storm构建分布式实时处理应用初探

Storm对比Hadoop，前者更擅长的是实时流式数据处理，后者更擅长的是基于HDFS，通过MapReduce方式的离线数据分析计算。对于Hadoop，本身不擅长实时的数据分析处理。
丨程序之道丨·2023-09-20 01:58
上一页 84 85 86 87 88 89 90 91 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他