E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
centos系统/dev/mapper/centos-root目录被占满的解决方式
nospaceleftondevice接下来就写下我在备份虚拟机上如何解决根目录被占满的问题:1、查看虚拟机磁盘使用情况df-h可以看到/dev/mapper/centos-root已经快满了,这时候就算启动
hdfs
layman·
·
2023-10-16 20:32
linux
centos
linux
运维
linux逻辑卷
扩容
和缩减的方法
在Linux中,逻辑卷(LogicalVolume)的
扩容
和缩减可以通过逻辑卷管理工具LVM(LogicalVolumeManager)来完成。
Jtti
·
2023-10-16 19:45
linux
运维
服务器
带你了解微服务核心:服务治理之--服务注册和发现
1.背景在微服务架构中,每个微服务通常有多个实例,每个实例具有不同的位置,而且实例会动态变化,比如在负载发生变化时服务会进行
扩容
或缩容,失败或者更新,服务实力的配置变化等,都会导致服务实例地址的变化。
大帅流皮阿
·
2023-10-16 18:47
【C++从0到王者】第三十八站:位图和布隆过滤器
文章目录一、哈希桶的改进1.链表与树结构的结合2.
扩容
使用质数二、位图1.位图的概念2.位图的实现3.位图的其他应用三、布隆过滤器1.布隆过滤器的提出2.布隆过滤器的实现3.布隆过滤器的应用一、哈希桶的改进
青色_忘川
·
2023-10-16 18:04
【C++】
c++
网络协议
开发语言
在shell中判断
hdfs
文件是否存在
fi但是我们想判断
hdfs
上某个文件是否存在咋办呢?Hadoop内置提供了判断某个文件是否存在的命令:[
[email protected]
~]$hadoopfs-help......
尤小闹
·
2023-10-16 16:13
Centos7新硬盘给原有挂载目录进行
扩容
挂载目录进行
扩容
教程教程介绍添加新硬盘分区LVM动态分配取消设置总结教程介绍今天博主介绍一下在centos7如何利用新添加的硬盘给现有的目录进行
扩容
,例如/home目录,这个也是非常实用的举个场景例子小明是公司的一名
Gz-Rangers
·
2023-10-16 15:30
运维
linux
运维
服务器
centos
ShardingSphere读写分离和数据脱敏
分库分表架构:数据分片,目的读写扩展、存储
扩容
。库和表内容不同,根据分片配置进行路由。
biu~biu~biu_
·
2023-10-16 11:48
MySQL
mysql
java
java spark 消费kafka_spark streaming消费kafka数据写入
hdfs
避免文件覆盖方案(java版)
1.写在前面在sparkstreaming+kafka对流式数据处理过程中,往往是sparkstreaming消费kafka的数据写入
hdfs
中,再进行hive映射形成数仓,当然也可以利用sparkSQL
吴羽舒
·
2023-10-16 11:40
java
spark
消费kafka
【数据结构】C语言--顺序表(附完整源码和注释)
顺序表增删改查的实现1.顺序表实现各函数2.顺序表的初始化(SeqListInit)3.顺序表的尾插尾删(SeqListPushBack/SeqListPopBack)(1)尾插(2)尾删4.顺序表的头插头删和
扩容
_poplar_
·
2023-10-16 06:05
数据结构
c语言
学习
链表
hive动态分区shell_大数据学习之hive shell笔记总结
2、启动:需要先启动
hdfs
,如果有需要用到mr的查询时,必须启动yarn3、DDL数据定义语言,主要是用于创建、删除、修改等数据库级别、表级别、索引等等4、创建数据
weixin_39623355
·
2023-10-16 06:00
hive动态分区shell
大数据学习笔记,学习清单
大数据目前技术组件有很多,比如有
hdfs
,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术,主流的开发语言有Java,Scala,Python
平凡天下
·
2023-10-16 06:59
大数据
学习
笔记
大数据--hive学习笔记
特性使用
HDFS
作为数据存储通过MapReduce完成数据运算提供类似SQL的语言(HQL)HQL灵活的可扩展性(UDF、UDAF、UDTF)适合进行离线
TaroLee
·
2023-10-16 06:29
大数据系列
hive
hadoop
大数据
大数据HiveSQL学习笔记二
学习笔记二一、数据库操作1、创建数据库CREATE(DATABASE/SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATION
hdfs
_path
lucky_myj
·
2023-10-16 06:58
大数据
hive
hadoop
【大数据】Hive SQL语言(学习笔记)
一、DDL数据定义语言1、建库1)数据库结构默认的数据库叫做default,存储于
HDFS
的:/user/hive/warehouse用户自己创建的数据库存储位置:/user/hive/warehouse
rexhao_wmh
·
2023-10-16 06:57
大数据
hive
sql
使用Python创建faker实例生成csv大数据测试文件并导入Hive数仓
文章目录一、Python生成数据1.1代码说明1.2代码参考二、数据迁移2.1从本机上传至服务器2.2检查源数据格式2.3检查大小并上传至
HDFS
三、beeline建表3.1创建测试表并导入测试数据3.2
程序终结者
·
2023-10-16 06:56
Hadoop生态
python
hive
大数据
数据仓库
Hadoop未来展望
本文分为技术篇、产业篇、应用篇、展望篇四部分技术篇2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——
HDFS
和MapReduce。
贾诩是也
·
2023-10-16 06:19
Big
DATA
k8s入门之Deployment(五)
Deployment控制器通常用来部署无状态的应用,这样可以在任意的节点上
扩容
或者删除,而不用考虑数据的问题,它可以管理pod对象。
tianxingzhe37
·
2023-10-16 02:02
k8s
kubernetes
k8s
Deployment
4、k8s之deployment
k8s之deploymentDeployment部署应用手动创建一个deploymentdeploy
扩容
通过yaml文件创建Deployment自愈&故障转移能力升级部署方式介绍deploy滚动更新deploy
Life journey
·
2023-10-16 02:32
K8S
个人日记
devops
运维
HDFS
上传、下载流程
HDFS
上传上传过程参考此图在这里插入图片描述 首先,有一个200M文件要上传,那么Client首先要读取这个文件,DistributedFileSystem就是整个集群的抽象封装。
Emeraki
·
2023-10-16 02:25
k8s部署nacos
gitclonehttps://github.com/nacos-group/nacos-k8s.git如果下载不下来可以使用gitee下,文件内容如下所示:naocs-k8s二、部署NFSNacos在K8S拥有自动
扩容
缩容和数据持久特性
我犟不过你
·
2023-10-15 23:12
金山wps golang面试题总结
panic描述一下goroutine的调度机制goroutine什么时候会被回收是否可以无限创建goroutine什么情况会出现goroutine泄漏如何定位goroutine泄漏切片的空间是如何分配的,如何
扩容
科比不来it
·
2023-10-15 23:49
golang
golang
开发语言
后端
一种不同网络环境下HBase数据备份及恢复方法
目录0.引言1.备份方法2数据恢复方法2.1将将备份文件添加到
hdfs
中2.2导入数据到HBase集群3相关参考代码4.小结0.引言HBase在大数据处理中地位至关重要,有的公司会将HBase作为原始数据接入层
莫叫石榴姐
·
2023-10-15 20:06
Hbase
hadoop
hadoop
mapreduce
大数据
Java基础面试-ArrayList和LinkedList的区别
ArrayList:基于动态数组,连续内存存储,适合下标访问(随机访问),
扩容
机制:因为数组长度固定,超出长度存数据时需要新建数组,然后将老数组的数据拷贝到新数组,如果不是尾部插入数据还会涉及到元素的移动
凐滅
·
2023-10-15 17:04
java面试
JAVA
java
面试
开发语言
『C++之STL』双端队列 - deque
vector相比较会相似一些;但是在实际当中,双端队列-deque包含了vector与list的优点;vector(顺序表)支持随机访问,空间连续;尾插尾删效率高,但是头部插入删除以及中间插入删除的开销过大,
扩容
代价高
飙马野郎_
·
2023-10-15 17:12
C++
数据结构
c++
开发语言
stl
Python 字典
目录1字典介绍2字典的创建3字典元素的访问4字典元素添加、修改、删除5序列解包6表格数据使用字典和列表存储,并实现访问7字典核心底层原理(重要)7.1将一个键值对放进字典的底层过程7.2
扩容
7.3根据键查找
LouHerGetUp
·
2023-10-15 14:14
Python
python
Apache doris Datax DorisWriter扩展使用方法
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋
·
2023-10-15 14:25
Centos7通过tiup部署TiDB集群
Centos7通过tiup部署TiDB集群TiDB是PingCAP公司设计的开源分布式关系型数据库,是一款同时支持在线事务处理OLTP与在线分析处理HTAP的融合型分布式数据库产品,具备水平
扩容
或者缩容
星河_赵梓宇
·
2023-10-15 13:46
tidb
运维
数据库
Hadoop基础学习---6、MapReduce框架原理
2、MapTask并行度决定机制数据块:Block是
HDFS
物理上吧数据分成一块一块。数据块是
HDFS
储存数据单位。数据切片:数据切片只是在逻辑上对输出进行分片,并不会在磁盘上将其切分成片进行
星光下的赶路人star
·
2023-10-15 13:23
Hadoop
hadoop
mapreduce
学习
Hadoop:MapReduce概述、WordCount
MapReduce概述MapReduce是Hadoop的两大核心技术之一,
HDFS
解决了大数据存取问题,而MapReduce是对大数据的高效并行编程模型。
瞧德
·
2023-10-15 13:23
Hadoop
hadoop
mapreduce
大数据技术Hive详解
说明:Hive处理的数据存储在
HDFS
;Hive分析数据底层的实现是MapReduce;执行程序运行在Yarn上;1.分布式文件系统
HDFS
存储架构与
wespten
·
2023-10-15 12:04
Hadoop
Hive
Spark
大数据安全
hive
大数据
hadoop
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
前提:Hadoop必須保证在2.2以上,且必須裝有
hdfs
服务。Hadoop安装后续会有相关说明。具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。
风之清扬
·
2023-10-15 12:36
大数据计算-Flink
大数据分析
大数据
flink
使用LVM方式
扩容
磁盘报错:Couldn‘t create temporary archive name.
一、场景以及现象1.使用lvm扩展分区2.PVcreste/dev/sdc1成功3.但是vgextendcl/dev/sdc1失败报错:Couldn'tcreatetemporaryarchivename.二、原因:1.因为磁盘太满了。2.将日志文件删除一些即可。
A ?Charis
·
2023-10-15 10:25
记录学习或工作中遇到的问题
运维
ArrayList
ArrayList集合体系及ArrayList在该体系中的位置ArrayList集合底层原理利用空参构造创建的集合,在底层创建一个默认长度为0的数组添加第一个元素时,底层会创建一个新的长度为10的数组存满时,会
扩容
懒羊羊asd
·
2023-10-15 09:21
java入门笔记
java
开发语言
集合
走进Hive
什么是HiveHadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,构建在分布式
HDFS
系统运行的数据库应用场景大数据集的批处理作用,做离线的数据分析日志分析多维度数据分析海量结构化数据离线分析统计网站一个时间段内的
、小H
·
2023-10-15 09:15
hive
hadoop
数据仓库
走进HBase
什么是Hbase建立在Hadoop之上
HDFS
分布式文件系统,面向列的存储系统列式数据库是针对行数据库而言的,行式数据库是以一行数据作为一个存储单元,而列式数据库是以一列数据为一个存储单元,针对HBase
、小H
·
2023-10-15 09:41
hbase
2018读书摘记:《激荡十年,水大鱼大》吴晓波
1、急速
扩容
的经济规模和不断升级的消费能力,如同恣意泛滥的大水,它在焦虑地寻找疆域的边界,而被猛烈冲击的部分,则同样焦虑地承受着衍变的压力和不适。
鹿微vivian
·
2023-10-15 08:20
大数据框架之Hadoop:
HDFS
(五)NameNode和SecondaryNameNode(面试开发重点)
5.1NN和2NN工作机制5.1.1思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更
yiluohan0307
·
2023-10-15 08:25
大数据框架之Hadoop
hadoop
hdfs
大数据
Hadoop3教程(四):
HDFS
的读写流程及节点距离计算
文章目录(55)
HDFS
写数据流程(56)节点距离计算(57)机架感知(副本存储节点选择)(58)
HDFS
读数据流程参考文献(55)
HDFS
写数据流程数据文件ss.avi是如何从客户端写到
HDFS
的?
经年藏殊
·
2023-10-15 08:55
大数据技术
hdfs
hadoop
大数据
Hadoop3教程(六):
HDFS
中的DataNode
文章目录(63)DataNode工作机制(64)数据完整性(65)掉线时限参数设置参考文献(63)DataNode工作机制DataNode内部存储了一个又一个Block,每个block由数据和数据元数据组成。数据元数据包括数据长度、校验和、时间戳等。在物理的目录里,每个block的数据和数据源数据是分两个文件保存的。DataNode的工作机制如图:DataNode启动后,会向NameNode注册,
经年藏殊
·
2023-10-15 08:55
大数据技术
hdfs
hadoop
大数据
Hadoop 之
HDFS
(NameNode 和 SecondaryNameNode)
文章目录五、NameNode和SecondaryNameNode(重点)5.1NN和2NN工作机制5.2Fsimage和Edits解析5.2.1oiv查看Fsimage文件5.2.2oev查看Edits文件5.3CheckPoint时间设置5.4NameNode故障处理(扩展)5.5集群安全模式5.6NameNode多目录配置五、NameNode和SecondaryNameNode(重点)5.1N
TANCHISE
·
2023-10-15 08:25
Hadoop
hadoop
大数据
hdfs
carbondata优化小姐
一,carbondata高效原因carbondata文件是
hdfs
的列式存储格式查询速度是sparkSQL的10倍,通过多种索引技术和多次pushdown优化,对TB级别数据快速响应高效的压缩,使用轻量级和和重量级压缩组合的方式
不吃饭的猪
·
2023-10-15 08:54
大数据
Hadoop3.x 之
HDFS
NameNode 和 SecondaryNameNode (月薪过万 第七章)
NameNode和SecondaryNameNode机制一、NN和2NN工作机制1、思考2、NameNode工作机制3、分析4、SecondaryNameNode工作二、Fsimage和Edits解析1、Fsimage和Edits概念2、oiv查看Fsimage文件1、查看oiv和oev命令2、基本语法3、案例实操3、oev查看Edits文件1、基本语法2、案例实操三、CheckPoint时间设置
小坏讲微服务
·
2023-10-15 08:51
小坏讲大数据(Hadoop)
第一阶段
hadoop
大数据
HDFS
学习三:NameNode和SecondaryNameNode工作机制
一、NameNode和SecondaryNameNode1.1NN与2NN的工作机制内存中存储元数据,可靠性怎么保证?为防止元数据丢失,会将元数据备份一份:磁盘中的备份元数据存储在FsImage。若是更新内存元数据同时更新Fsimage的话,效率太低,不更新的话,数据一致性怎么保证?内存中元数据更新机制:引入了Edit文件(只进行追加操作,效率很高)。每当元数据有更新或添加元数据时,修改内存中的元
阿星_Alex
·
2023-10-15 08:20
#
Hadoop
hdfs
hadoop
big
data
Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
先上关系图,说白了它们之间其实就是“一主多重”的关系:1、NameNode介绍NameNode:NameNode是
HDFS
的核心。NameNode也称为Master。
奇迹虎虎
·
2023-10-15 08:20
#
Hadoop
hadoop
big
data
hdfs
大数据
分布式
Hadoop-
HDFS
的NameNode和SecondaryNameNode介绍及原理
NameNode和SecondaryNameNodeNN和2NN的工作机制NameNode中的元数据是存储:首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的
魔笛Love
·
2023-10-15 07:47
hadoop
大数据
ArrayList源码探究
表示的是记录当前集合被修改的次数,这个主要是用与多线程判断的一个,与本文无关,重点在于下面的判断,如果最小的容量减去当前集合的长度还大于零了,说明当前的集合长度不满足我们的要求了,调用grow方法进行
扩容
Why__so_serious
·
2023-10-15 07:18
HDFS
EC 对 distcp 的影响
distcp在拷贝一个文件结束后,会对比源文件和目标文件的校验值,判断两者是否一致。其中文件的校验值通过FileSystem.getFileChecksum(Path)API获取,该API本质上是一个针对DataNode的RPC调用,需要DataNode高度配合才能完成。Hadoop3.x引入EC后,由于EC文件和副本文件的布局(layout)不同,所以,即使是同一个文件,在分别使用副本模式和EC
xudong1991
·
2023-10-15 07:36
数据结构:链表(1)
时间复杂度O(N)3.
扩容
之后,有可能会浪费空间。优点:在给定下标进行查找的时候总结:顺序表比较适合进行给定下路查找的场景链表可以完美解决顺序表的缺点链表是什么?
cx努力编程中
·
2023-10-15 06:18
Java数据结构
数据结构
链表
java
算法
宝塔环境挂载阿里云盘(webdav协议)给服务器
扩容
自动备份网站数据!
webdav-aliyundriver本项目实现了阿里云盘的webdav协议,只需要简单的配置一下,就可以让阿里云盘变身为webdav协议的文件服务器。基于此,你可以把阿里云盘挂载为Windows、Linux、Mac系统的磁盘,可以通过NAS系统做文件管理或文件同步,我们可以用这个项目来实现自动备份网站数据,网上很多教程都是不全或者命令都是错的。我这个教程亲测可用,完美实现宝塔自动备份网站,服务器
红客科技
·
2023-10-15 06:25
服务器
docker
运维
宝塔环境使用微软OneDrive云盘免费自动备份网站数据最佳方案!
目前宝塔内用插件自动备份网站数据免费的方案有微软OneDrive:注册就有5.5GB永久空间(通过下面邀请链接注册有5.5GB,直接官网注册是5GB)免费版邀请好友可以
扩容
到15.5GB,用来备份网站数据足够了
红客科技
·
2023-10-15 06:25
microsoft
上一页
69
70
71
72
73
74
75
76
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他