E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
FlinkSQL源码解析(二)Java SPI机制
现在想更深入的了解,我们书写的sql语句是如何通过connecter属性连接kafka、
hdfs
等,为修改源码新增connector做铺垫。在这里我们先了解下JavaSPI机制。
Yuan_CSDF
·
2023-11-05 19:19
#
Flink源码解析
大数据
flink
python实现循环队列
python实现循环队列python实现循环队列python实现循环队列Front==tail队列为空(tail+1)%c==front队列列满,进行
扩容
浪费一个空间来区分满队列和空队列练习三部曲之一classLoopQueue
*Major*
·
2023-11-05 18:40
阿里云磁盘在线
扩容
踩坑(ubuntu)
问题:阿里云购买磁盘在线
扩容
10GB之后df-h显示:root@ushow-basic-component:~#df-hFilesystemSizeUsedAvailUse%Mountedonudev7.9G07.9G0%
梦过无烟
·
2023-11-05 18:28
尚硅谷redis笔记
Redis技术redis的原子性2.启动前台启动(不推荐)后台启动3.五大数据类型Redis键(Key)3.1字符串(Srting)3.1.1简介3.1.2常用命令3.1.3数据结构预分配
扩容
机制3.2
Fantasy`
·
2023-11-05 17:33
SQL
nosql
java
服务器
数据库
【数据结构与算法】03 - 单向循环链表
由于动态数组有个明显得缺点:可能会造成内存空间的大量浪费(动态数据实现动态
扩容
)。能否做到用多少内存就申请多少内存呢?
itlu
·
2023-11-05 17:56
大数据入门:Hadoop
HDFS
存储原理
在Hadoop生态当中,解决大数据存储,主要依靠就是
HDFS
,再配合数据库去完成。今天的大数据入门分享,我们就来讲讲Hadoop
HDFS
存储原理。1、什么是
HDFS
?
成都加米谷大数据
·
2023-11-05 16:35
大数据-Hive相关知识点介绍
基于一个统一的查询分析层,通过SQL语句的方式对
HDFS
上的数据进行查询、统计和分析。Hive本质是将HQL转化成MapReduce程序Hive的表本质就是Hadoop的目录/文件Hive默认表存放
ziania_cumt
·
2023-11-05 16:12
hive
大数据
【
HDFS
】Client写三副本数据pipeline恢复的一些总结
通过本文可以了解:
HDFS
Client写三副本的pipeline模型pipeline里有节点错误,如何进行恢复?
叹了口丶气
·
2023-11-05 16:42
HDFS全方位实战
hdfs
hadoop
【
HDFS
】客户端写数据时,dataQueue的几处wait方法的调用场景
dataQueue.wait的几处调用点如下:1、DataStreamer#run方法一开始,判断dataQueue如果为空,或者doSleep==true,那么就dataQueue.wait(timeout);2、waitForAllAcks方法里,会dataQueue.wait(sendHeartbeat());waitForAllAcks的作用是等待所有的datapackets都成功地收到a
叹了口丶气
·
2023-11-05 16:12
HDFS全方位实战
hdfs
hadoop
hive3.1.2 笔记 知识点详解(三)导出数据方式 分区表
1导出数据方式1.1exporttb_nameto
HDFS
_PATH1.2如果数据是普通的文本数据在shell客户端使用get下载数据
hdfs
dfs-get/tb_name/filehive端:hive
z小丑八怪r
·
2023-11-05 16:41
hive
大数据
分区表
hive
数据库
大数据
大数据开发笔记(四):Hive分区详解
✨大数据开发笔记推荐:大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识,包括不限于
hdfs
、yarn、mapreduce、hive、sqoop
GoAI
·
2023-11-05 16:08
#
Hive
大数据笔记
分区表
大数据
hive
Hive知识点(五) --内/外/分区表
内部表和外部表1.内外部表区别2.分区表2.1一级分区表2.2二级分区表3.手动在
HDFS
中创建分区目录的修复2.产看分区表1.内外部表区别Hive里面有两种数据:1.data(表数据):存储在
HDFS
2
小维_
·
2023-11-05 16:08
Hive
Hive知识点:索引、分区表、分桶表、抽样查询
索引在指定列上建立索引,会产生一张索引表(Hive的一张物理表),里面的字段包括,索引列的值、该值对应的
HDFS
文件路径、该值在文件中的偏移量;分区表PARTITIONEBY将表中的数据,分散到表目录下的多个子目录
得过且过1223
·
2023-11-05 16:04
#
Hive
数据结构专题笔记
数组空间连续、按照申请的舒徐存储3、数据空间效率低4、操作麻烦所以有了:二、线性表顺序表:顺序存储结构、紧密相连ArrayList要点:add方法:ensureCapacityInternal(检查,不够的话
扩容
czZ__czZ
·
2023-11-05 15:35
数据结构
虚拟机如何
扩容
麒麟操作系统的根文件系统
本文将介绍如何
扩容
Linux服务器的根文件系统,以解决这个常见的问题。
不掉头发的阿水
·
2023-11-05 14:39
虚拟机操作系统
服务器
运维
数据库
2021-02-08a
29.hive/impala/
hdfs
/kudu的区别hive和impala则更偏向于查询分析,需要基于
hdfs
或kuduImpala即可操作
hdfs
上的数据,又可操作kudu上的数据Hive只可操作
hdfs
saluch
·
2023-11-05 11:10
Hadoop
HDFS
体系结构.JPG
HDFS
体系结构2.JPG创建目录hadoopfs-mkdir在
HDFS
中创建"/user"目录hadoopfs-mkdir/user在
HDFS
中创建"/user/hadoop"
寻找灯下黑
·
2023-11-05 10:49
虚拟机磁盘
扩容
对应的盘及分区,是sdb1.这个sdb是直接挂载上去的,当时并没有创建pv所以就不能使用pvlvvg之类的方式去扩盘了扩盘思路:1在虚拟机层面,将硬盘扩大2在操作系统上,使用parted命令,对sdb1进行
扩容
文档搬运工
·
2023-11-05 10:31
OS
linux
【C语言】【数据结构】【顺序表】
size=0;}销毁:voidSLDestroy(SeqList*ps){if(ps->a)free(ps->a);ps->a=NULL;ps->size=ps->capacity=0;}2.顺序表的
扩容
及打印
Legend_6zh
·
2023-11-05 09:51
c语言
数据结构
开发语言
学习
笔记
学习方法
使用 Spark 跨集群同步
HDFS
数据
importorg.apache.log4j.{Level,Logger}importorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.SparkSessionobjectTestFileCopy{defmain(args:Array[String]):
lei_charles
·
2023-11-05 09:09
Jenkins 配合 Kubernetes 实现服务持续集成的实践和建议
Kubernetes本身是一个以服务
扩容
见长的容器编排系统,如果不能跟其它CI/CD工具结合起来,从根本上说还是不能提升开发部署效率,达到持续集成,持续交付的目的,本文以Jenkins配合Kubernetes
Spring_java_gg
·
2023-11-05 09:45
mediasoup-cluster横向
扩容
机制
基于mediasoup实现类似RTMP-CDN的回源机制,从而实现cluster-node的横向
扩容
。mediasoupworker实现了PipeTransport机制。
草根大哥
·
2023-11-05 07:43
mediasoup
横向扩容
cluster
回源
Redis 主从复制(replication)
2、功能读写分离容灾恢复数据备份水平
扩容
支撑高并发3、使用配从(Slave)不配主(Master)4、权限细节mast
KingCruel
·
2023-11-05 07:00
Redis
redis
数据库
缓存
2019-02-20
tHiveConnectiontJava:自己写代码tHiveInputtRowGeneratort
HDFS
OutputtHiveRow查看文件列表!
FlyingPeter
·
2023-11-05 06:27
JDK 1.8 HashMap 与 ConcurrentHashMap
put时,先对键做hash计算,再通过位运算得到它在数组中的位置,通过尾插法添加数据,添加后判断是否红黑树转换以及
扩容
(resize)。
交藤
·
2023-11-05 05:59
The root scratch dir: /tmp/hive on
HDFS
should be writable.(已解决)
因为修正完毕,没有进行完整错误展示,仅展示部分错误内容:Therootscratchdir:/tmp/hiveon
HDFS
shouldbewritable.解决方案:进入到/tmp目录下,使用chmod-R777
Han_Lin_
·
2023-11-05 03:21
pyspark
Spark
Hive
大数据
java.lang.IllegalArgumentException: java.net.UnknownHostException:XXX 已解决
在
HDFS
和Hive在安装过程中出现这样的问题,主要是在
HDFS
的
hdfs
-site.xml中添加相应的参数:dfs.client.failover.proxy.provider.nsorg.apache.hadoop.
hdfs
.server.namenode.ha.ConfiguredFailoverProxyProvider
Han_Lin_
·
2023-11-05 03:21
java
hive
hadoop
Hadoop Hive Spark 之间的关系
HDFS
(HadoopDistributedFileSystem)的设计本质上是为
Jarkata
·
2023-11-05 02:32
初阶数据结构(8)(优先级队列的模拟实现:堆的概念、性质、存储、创建——向下和向上调整、插入与删除、PriorityQueue常用接口介绍、构造、常见方法、
扩容
、top-K问题、堆的排序、对象的比较)
接上次博客:二叉树相关OJ练习题(1、锯齿形层序遍历2、二叉搜索子树的最大键值和3、验证二叉树4、剑指OfferII047.二叉树剪枝)_di-Dora的博客-CSDN博客目录优先级队列(PriorityQueue)优先级队列的模拟实现堆的概念堆的性质堆的存储方式堆的创建堆向下调整向下过程(以大堆为例):向下过程(以小堆为例):建堆(向下调整)的时间复杂度堆的插入与删除堆的插入堆的删除用堆模拟实现
di-Dora
·
2023-11-05 01:49
数据结构初阶
易错知识点
数据结构
java
优先级队列
top-K问题
PriorityQueue
Java对象的比较
【大数据】搭建Hadoop集群,超级详细
目录搭建完全分布式运行模式(开发重点)1.1Hadoop部署1.2配置集群1.3配置历史服务器1.4配置日志的聚集1.5分发Hadoop1.6群起集群1.7Hadoop群起脚本第2章调优2.2.1项目经验之
HDFS
小 源
·
2023-11-05 00:29
hadoop
hdfs
大数据
Hadoop集群搭建(超级详细)
tar.gz(提取码:6k1i)、hadoop-3.1.3.tar.gz(提取码:07p6)1集群规划安装VMware,使用三台Ubuntu18.04虚拟机进行集群搭建,下面是每台虚拟机的规划:主机名IP用户
HDFS
YARNhadoopMaster
阮哈哈哈哈哈
·
2023-11-05 00:26
hadoop
搭建hadoop集群
免登录将公钥复制到其他机器中2,安装环节进入文件夹存放安装包解压更改环境变量更新环境变量验证安装修改配置文件修改core-site.xml文件修改hadoop-env.sh文件修改yarn-env.sh文件修改
hdfs
-site.xml
陆卿之
·
2023-11-05 00:54
服务器
大数据
hadoop
大数据
hdfs
hdfs
小文件使用fsimage分析实例
hdfs
小文件使用fsimage分析实例1小文件来源分析1.1数据主要来源:2处理方案2.1实时计算任务2.2hive做优化,小文件做合并:2.2.1已有数据2.2.2新接入数据做数据合并后在load进
Direction_Wind
·
2023-11-05 00:18
集群分析优化与开发工具
hdfs
性能优化
vector的动态
扩容
机制与下标越界问题
文章目录注意:动态
扩容
并不适用于数组下标越界为什么c++数组下标越界了但是没有报错?
大磕学家ZYX
·
2023-11-04 23:28
CPP语法
容器相关与易错点记录
c++
数据结构
动态顺序表的实现
顺序表的插入:静态顺序表:如果满了,不处理/报错;动态顺序表:如果满了,加入
扩容
机制。
Sasura_321
·
2023-11-04 22:16
数据结构与算法
C语言
数据结构
动态顺序表
动态顺序表(C语言实现)
文章目录:1.顺序表的概念2.静态顺序表的缺点3.动态顺序表3.1结构3.2接口实现3.2.1初始化顺序表3.2.2打印顺序表3.2.3尾插3.2.4尾删3.2.5
扩容
3.2.6头插3.2.7头删3.2.8
茉莉蜜茶v
·
2023-11-04 22:43
数据结构(C语言实现)
c语言
数据结构
开发语言
《动态顺序表》的实现
目录前言:认识线性表:关于顺序表实现动态顺序表:顺序表的动态存储定义:初始化顺序表:顺序表的销毁:尾插:判断是否需要
扩容
:总代码:头插:打印顺序表:尾删:头删:指定下标插入数据:指定下标删除:查找元素下标
无双@
·
2023-11-04 22:41
c语言
算法
数据结构
经验分享
逻辑卷
扩容
失败问题(Device or resource busy while trying to open...)
[root@12309-108test~]#umount/dev/mapper/vgdata-lvdataumount:/dev/mapper/vgdata-lvdata:notmounted[root@12309-108test~]#resize2fs/dev/mapper/vgdata-lvdataresize2fs1.46.4(18-Aug-2021)resize2fs:Deviceorre
巭犇
·
2023-11-04 22:08
故障处理
java
mybatis
数据库
集合里Collection接口(下)
set接口的典型实现类,大多数使用set即可的时候,都会选择该类今天要学习的内容:红色划线的部分Hashset底层是:数组+链表底层也是有数组的,初始长度为16;当使用率超过原来的0.75倍的时候就去
扩容
人世间的烟火
·
2023-11-04 21:35
java
java-ee
开发语言
intellij-idea
学习
Redis集群
目录一,集群及分片算法1.1什么是集群1.2数据分片算法1.哈希求余2.一致性哈希算3.哈希槽分区算法(Redis使用)二,集群的故障处理2.1故障判定2.2故障迁移三,集群
扩容
四,集群缩容一,集群及分片算法
蜡笔小心眼子!
·
2023-11-04 20:09
Redis
redis
数据库
缓存
Hadoop学习总结(Shell操作)
HDFS
Shell参数命令参数功能描述-ls查看指定路径的目录结构-du统计目录下所有文件大小-mv移动文件-cp复制文件-rm删除文件/空白文件夹-put上传文件-cat查看内容文件-text将源文件输出文本格式
Qinqin.J
·
2023-11-04 18:31
hadoop
学习
大数据
HDFS
Yarn HA架构图及架构区别
HDFS
HA架构图
HDFS
HA架构图.jpg1.各组件说明activenn(NameNode)接收client的rpc请求并处理,同时自己editlog写一份,也向JN的共享存储上的editlog写一份
cllblogs
·
2023-11-04 18:36
为Web3生态创新赋能,ETH Hong Kong 2023圆满落幕
摘要:10月22日至24日,由以太坊原生zkEVM
扩容
方案Scroll与Web3技术风投公司NewmanGroup共同举办的首届以太坊香港盛会“ETHHongKong2023”在数码港成功举行,、ABCDE
沉睡者IT
·
2023-11-04 18:20
微信
FXZIT9
Web3.0
web3
区块链
记一次win7的C盘
扩容
由于之前装系统的时候只分配了30G的空间给C盘,很快C盘的空间就不足了……于是想给C盘
扩容
,第一个想法就是重新装系统,但是转念一想会不会有直接
扩容
的办法呢?肯定是有的,如下方案可行。
计算之道
·
2023-11-04 18:43
Windows
windows
【数据结构】手撕顺序表
.顺序表2.1概念及结构2.1.1静态顺序表:使用定长数组存储元素2.1.2动态顺序表:使用动态开辟的数组存储2.2接口实现2.3动态顺序表的实现2.3.1结构2.3.2初始化2.3.3销毁2.3.4
扩容
库库的里昂
·
2023-11-04 16:36
数据结构与算法
数据结构
顺序表
9.17 hive高级语法01
hive高级语法数据库(Database)表的集合,
HDFS
中表现为一个文件夹默认在hive.metastore.warehouse.dir属性目录下如果没有指定数据库,默认使用default数据库createdatabaseifnotexistsmyhivebook
伱来打硪啊
·
2023-11-04 15:43
hadoop
hive
大数据
hdfs
Linux磁盘分区
扩容
磁盘分区主要包含MBR(MasterBootRecord)和GPT(GUIDPartitionTable)两种不同方式:MBR(主引导记录),驱动器上的一个特殊的启动扇区,最大支持2TB,最多支持4个主分区,如果想要更多分区,需要先创建扩展分区,然后在扩展分区中创建逻辑分区。GPT(GUID分区表),驱动器上的每个分区都有一个全局唯一的标识符(globallyuniqueidentifier,GU
贲_WM
·
2023-11-04 15:02
CentOS
linux
磁盘
分区
扩容
Linux系统在线
扩容
磁盘
要增加/dev/mapper/vgdata-lvdata的空间,你需要使用LVM(逻辑卷管理)。下面的步骤会指导你如何增加200G的空间:首先,你需要确认卷组vgdata上是否有足够的未分配空间。你可以使用vgs命令来确认这一点。你的输出显示vgdata卷组有300G的可用空间,所以应该足够。然后,你可以使用lvextend命令来扩展逻辑卷lvdata:lvextend-L+200G/dev/ma
ascarl2010
·
2023-11-04 15:29
Linux系统运维
linux
运维
服务器
Linux磁盘
扩容
的操作
逻辑分区
扩容
(lvm)Lsblk,fdisk-l,pvdisplay(查看卷组名)1.创建分区(fdisk)fdisk/dev/sda#在进入命令环境中,按n键一路按回车,最后一步按w键保存,最后按q键退出输入
幻梦犹心
·
2023-11-04 15:28
linux
linux
centos
运维
虚拟机Linux磁盘
扩容
按照该方式,虚拟机磁盘成功
扩容
注意:有快照的虚拟机无法直接
扩容
,建议先备份,再删除快照,进行
扩容
,以防万一!!!
hai.ye
·
2023-11-04 15:28
Linux
linux
运维
服务器
上一页
54
55
56
57
58
59
60
61
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他