E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
前端要了解的k8s、CI/CD、Devops概念
他将容器进行更多自动化的操作,自动创建、自动重启、自动
扩容
等,这个过程称为容器编排。
wjs0406
·
2024-01-11 11:29
笔记-前端工程化
kubernetes
容器
ci/cd
devops
【详细】双系统 Ubuntu 如何给根目录
扩容
1.分配出一块未分配空间(需要和Ubuntu系统存储分区位于同一个硬盘上)这一步我直接利用windows系统自带的“创建并格式化硬盘分区”功能进行的。如图,在想要切割出来一部分空间的卷上右键,选择压缩卷选项,之后输入空间大小即可在该卷的后面得到一块未分配空间。2.找一个U盘将其制作为系统启动盘首先解释为什么需要用U盘来启动一个新系统进而调整原Ubuntu系统的磁盘容量:这是由于直接在原Ubuntu
leaf_leaves_leaf
·
2024-01-11 10:03
ubuntu
linux
运维
HPA 管理--创建 HPA 规则
要求在default命名空间下使用nginx镜像创建一个名为web的deployment,自定义HPA的伸缩灵敏度,为该deployment创建一个名为web的HPA,
扩容
时立即新增当前9倍数量的副本数
huhy~
·
2024-01-11 10:00
容器云
docker
运维
kubernetes
给esxi中的黑群辉加一块新的直通硬盘
之前装在esxi中的黑群辉直通了一块挂在mini-pcie转sata转接卡上的硬盘,当时只买了4T的盘,现在用了一半了,开始考虑
扩容
了,同时最好还能满足数据安全需求。
纵马横刀pro
·
2024-01-11 10:22
Hbase读写原理
首先Hbase是依赖于
HDFS
和zookeeper的。Zookeeper分担了Hmaster
黑色叉腰魔头
·
2024-01-11 09:55
系统存储架构升级分享
系统网络架构:•部署架构对切量上线的影响-内部管理系统上线对其他系统的读业务无影响•分布式缓存可进行单独
扩容
,与存储及查询功能升级无关•通过缓存层的隔离,系统扩展期间外部系统可保持不变,只对内部管理系统升级
京东云技术团队
·
2024-01-11 09:34
架构
DataX 学习笔记
一.DataX简介1.1DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
十二同学啊
·
2024-01-11 08:39
数据离线同步框架
数据库
big
data
database
(十八)大数据学习之HA
HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.
HDFS
HA/usr/local/hadoop-2.8.4/etc/hadoop
Movle
·
2024-01-11 08:43
win10与ubuntu双系统如何为ubuntu
扩容
,挂载新的硬盘空间
如何为Ubuntu
扩容
(添加新的硬盘空间)?
Code_DZhangTeng
·
2024-01-11 07:43
Linux
C/C++
ubuntu
linux
运维
Ubuntu
ubuntu
Ubuntu
扩充磁盘空间
HDFS
相关API操作
文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档
HDFS
API官方文档:https://hadoop.apache.org/docs
欲无缘
·
2024-01-11 06:56
大数据
hdfs
hadoop
大数据
数据结构之单链表(笔记)
一、顺序表与链表的优缺点顺序表缺陷:1.空间不够了要增容,增容要付出代码;原地
扩容
代价低,异地
扩容
代价高。2.避免频繁
扩容
,满了基本都是扩2倍,可能会导致一定的空间浪费。
我不要麦克风
·
2024-01-11 06:02
数据结构
数据结构
c语言
链表
容器化 | 在 Kubernetes 上部署 RadonDB MySQL 集群
支持一主多从高可用架构,并具备安全、自动备份、监控告警、自动
扩容
等全套管理功能。目前已经在生产环境中大规模的使用,包含银行、保险、传统大企业等。RadonDBMySQLKubernetes支持在K
RadonDB
·
2024-01-11 05:02
mysql
git
数据库
kubernetes
容器
9.2、增量表数据同步
1、数据通道2、Flume配置1)Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到
HDFS
,故其需选用KafkaSource以及
HDFS
Sink,Channel选用FileChannel
施小赞
·
2024-01-11 02:16
数仓架构搭建
增量数据同步
9.1、全量表数据同步
1、数据通道全量表数据由DataX从MySQL业务数据库直接同步到
HDFS
,具体数据流向如下图所示。
施小赞
·
2024-01-11 02:15
数仓架构搭建
全量同步
golang学习-切片
和数组比较来说,非常灵活,支持自动
扩容
。切片是引用类型。切片只是定义没有
扩容
,默认值是nil。
蛋蛋wqt
·
2024-01-11 01:49
golang学习
学习
Oracle学习笔记二
ADDDATAFILE'数据文件存放地址+数据文件名称'size文件大小autoextendon,文件大小最大可设置32G,也就是32768M,最好不要设置32G,电脑配置不好,要跑20分钟左右;(3.设置数据文件自动
扩容
RainbowZ2
·
2024-01-11 01:43
Oracle
数据库
面试题精简(chatGPT解答不一定全对)
扩容
原理?3.有String、StringBuffer和StringBuilder有什么区别?4.数组默认长度?5.每次
扩容
长度?6.hashmap什么场景下进化成红黑树?7.创建线程的方式?
carpe_diems
·
2024-01-11 00:04
java
开发语言
微服务
面试
轻松get压力测试指南
身为后端程序员怎么也要会一点压力测试相关的技术吧,不然无脑上线项目万一项目火了进来大量请求时出现程序执行缓慢,宕机等情况你肯定稳稳背锅,而且这个时候短时间内还没办法解决,只能使用物理
扩容
CPU,内存,更换网络等几种方式来解决问题
秦玖
·
2024-01-10 22:59
压力测试
自动化测试
软件测试
功能测试
windows10+ubuntu20.04双系统中,ubuntu系统显示home空间不足的
扩容
方法
实际上网上有两种
扩容
方法,除了本文的方法外,另一种是在使用启动U盘打开试用ubuntu,应该涉及到nvidia显卡驱动问题故未采用。另一种即本文。
AYu~
·
2024-01-10 20:35
ubuntu
linux
运维
文件下载相关的技术
服务器上的文件系统可以是本地文件系统(如ext4、NTFS等)或分布式文件系统(如
HDFS
、AmazonS3等),具体取决于服务器的架构和需求。
睿智闷骚男
·
2024-01-10 20:22
常识
笔记
Scala操作
HDFS
通过Scala对
HDFS
的一些操作,包括创建目录,删除目录,上传文件,文件读取,删除文件,Append文件等等;importjava.io.
SunnyMore
·
2024-01-10 18:13
【精】彻底理解
HDFS
写文件流程
以及下游节点如何给上游节点发Ack②DFSOutputStream、DataStreamer的原理③Sender、BlockReceiver、PacketResponder的原理作为引子,先从最上游谈起:我们使用
HDFS
API
小北觅
·
2024-01-10 18:22
2018.11.18号
,还是钱有推动力,感觉一下子热闹了,增长了,
扩容
了。3、晚上回家非常不想在街上逢店就进,闲逛,可是既然陪朋
依盈
·
2024-01-10 16:49
大数据学习记录hadoop(2)
四、hadoop之
HDFS
4.1
HDFS
的定义
HDFS
定义:分布式文件系统
HDFS
使用场景:一次写入,多次读写4.2
HDFS
的优缺点优点:1)高容错性(1)数据自动保存多个副本(2)某个副本丢失后,可以自动恢复
不吃海带吃海苔
·
2024-01-10 16:15
栈的模拟实现
栈的模拟实现文章目录栈的模拟实现@[toc]前言一、STL中栈的主要功能二、C语音风格代码1)栈结构体的定义(线性栈)2)初始化函数(STInit)3)栈
扩容
函数(ExpendCapacity)4)压栈函数
螺蛳粉只吃炸蛋的走风
·
2024-01-10 16:26
#
数据结构
c语言
数据结构
栈
stl
c++实现支持动态
扩容
的栈(stack)
1.在栈容量满时自动
扩容
:支持自动
扩容
栈实现:////myStack.hpp//algo_demo////CreatedbyHackerXon2024/1/9.
林鸿群
·
2024-01-10 16:55
C++
c++
算法
开发语言
RDD 特性——RDD 的分区和 Shuffle
的原理分区的作用RDD使用分区来分布式并行处理数据,并且要做到尽量少的在不同的Executor之间使用网络交换数据,所以当使用RDD读取数据的时候,会尽量的在物理上靠近数据源,比如说在读取Cassandra或者
HDFS
我像影子一样
·
2024-01-10 16:14
Spark
大数据
spark
大数据
家政服务行业未来发展,是大事不是小事
同时,6月26日,《国务院办公厅关于促进家政服务业提质
扩容
的意见》(下称《意见》)正式对外发布。发改委当天就《意见》进行了深度解读。
湾区人才
·
2024-01-10 14:29
Linux入门学习笔记
Linux的目录结构Linux组成结构:硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)Hadoop的文件操作系统:
HDFS
RoundOff
·
2024-01-10 14:02
linux学习笔记
linux学习
Hive分区表实战 - 单分区字段
创建国别分区的图书表(三)在本地创建数据文件(四)按分区加载数据1、加载中文书籍数据到`country=cn`分区2、加载英文书籍数据到`country=en`分区(五)查看分区表book全部记录(六)通过
HDFS
howard2005
·
2024-01-10 13:55
数仓技术Hive入门
hive
hadoop
分区表
单分区字段
第39篇:我怎么如此幸运之感恩星球2021-12-3
辛丑年十月廿九星期五南宁晴1.我怎么如此幸运并深深的千恩万谢,早上5点和文均教练推盘,发现自己格局需要
扩容
。文均教练还告诉我如何达成目标。如何与人连接成交。,关键是自己的能量状态。
富而喜悦佳佳姐
·
2024-01-10 13:52
给VMWARE虚拟机分区
扩容
给VMWARE虚拟机分区
扩容
背景:1、给虚拟机添加新的硬盘2、重启linux虚拟机3、创建物理卷4、扩展LVM卷组,给LVM卷组添加新的物理卷5、给home分区
扩容
6、自动扩展XFS文件系统到最大的可用大小
牛跃2214
·
2024-01-10 11:55
linux
vmware
centos
lvm
跨网段主机搭建k8s集群注意事项
记录在工作中踩的坑(一)背景:在工作中遇到需要为k8s集群
扩容
(原集群主机:10.33.44.116/24网段),增加不同网段(10.33.44.208/24)的主机到k8s集群中。
take it down
·
2024-01-10 10:50
k8s
kubernetes
java
容器
超过2t硬盘分区_大于2T的磁盘怎么分区呢?
由于购买了磁盘柜专门用作存储,后来考虑到磁盘容量的动态管理,准备采用LVM进行动态
扩容
管理了。
桃花小鹿
·
2024-01-10 09:32
超过2t硬盘分区
服务器日常维护要素,应该如何做好维护
其中磁盘
扩容
是最常见的,因为服务运行的时间越长,产生的数据最就越大,就
德迅云安全小李
·
2024-01-10 09:23
服务器
运维
深入理解 Hadoop (三)
HDFS
文件系统设计实现
HDFS
FileSystemNameNode端抽象实现
HDFS
磁盘元数据文件解读共有五种格式的文件:edits_0000000000000041912-0000000000000041913:该LogSegment
我很ruo
·
2024-01-10 08:50
大数据
hadoop
hdfs
大数据
深入理解 Hadoop (二)
HDFS
架构演进
HDFS
分布式集群架构设计实现核心设计思路:分而治之的思路,实现分散存储+冗余存储元数据管理核心问题:文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件
我很ruo
·
2024-01-10 08:49
大数据
hadoop
hdfs
架构
hadoop主要文件及目录简介
1.hadoop目录概述hadoop的解压目录下的主要文件如下图所示:其中:/bin目录存放对Hadoop相关服务(
HDFS
,YARN)进行操作的脚本;/etc目录存放Hadoop的配置文件/lib目录存放
我很ruo
·
2024-01-10 08:19
hadoop
hive 基本操作与示例
1.DDL1.1DDL之库操作1.1.1增createdatabase[ifnotexists]库名[comment'库的注释'][location'库在
hdfs
上存放的路径'][withdbproperties
我很ruo
·
2024-01-10 08:49
hive
大数据
hadoop之
HDFS
文件系统命令操作
hadoopfilehadoopfs-appendToFilelocalfile1localfile2/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfile
hdfs
OnePandas
·
2024-01-10 08:46
Hadoop
hadoop
hdfs
大数据
深入理解 Hadoop (四)
HDFS
源码剖析
HDFS
集群启动脚本start-dfs.sh分析启动
HDFS
集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。
我很ruo
·
2024-01-10 08:10
大数据
hadoop
hdfs
大数据
Spark 初级编程实践
一、目的1、掌握使用Spark访问本地文件和
HDFS
文件的方法2、掌握Spark应用程序的编写、编译和运行方法二、平
cwn_
·
2024-01-10 08:28
大数据
spark
大数据
分布式
Kubernetes(K8S)简介
K8s构建在Docker技术之上,为容器化的应用提供资源调度、部署运行、服务发现、
扩容
缩容、负载均衡等一套功能
赵唯一
·
2024-01-10 07:21
云原生技术探秘
kubernetes
容器
云原生
Hadoop体系结构之
HDFS
HDFS
采用主从(Master/Slave)结构模型,一个
HDFS
集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar
·
2024-01-10 05:05
Java大数据学习~Hadoop初识三Yarn模式
在上篇文章中我们简单的学习了
HDFS
简单架构,还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个
HDFS
,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路
·
2024-01-10 05:55
【Java集合篇】HashMap、Hashtable 和 ConcurrentHashMap的区别
✔️默认初始容量和
扩容
机制✔️遍历方式的内部实现上不同✔️三者区别✔️线程安全方面HashMap是非线程安全的。Hashtable中的方法是同步的,所以它是线程安全的。ConcurrentHa
昕宝爸爸爱编程
·
2024-01-10 04:08
#
Java集合类
java
开发语言
ArrayList的
扩容
方式
ArrayList有两种
扩容
方式:有参构造和无参构造方法一、无参构造方法:ArrayListarrayList=newArrayList();add()方法和grow()方法1.add()方法:如果数组初始长度为
猿究院-废柴火鸡
·
2024-01-10 04:23
java
算法
数据结构
远程会议、远程上课卡顿问题解决办法(技术干货)
话说最近疫情景影,两亿人在家开会,钉钉赶紧
扩容
了1万台云服务器。无奈同时登录的用户太多,钉钉还是不小心崩了一下,好在很快就修复。
老率的IT私房菜
·
2024-01-10 03:19
Linux篇之Centos系统下给磁盘根分区进行
扩容
在Centos系统下给根分区进行
扩容
当磁盘根分区不足时检查物理设备是否还有可用空间。如没有可用空间可新增一块硬盘来进行
扩容
根目录。
听说唐僧不吃肉
·
2024-01-10 03:23
Linux
linux
centos
运维
Hadoop集群搭建:4.修改Hadoop的配置文件、节点启动
module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令:vicore-site.xml在该文件的中config范围内编写如下配置fs.defaultFS
hdfs
丶珍视当下
·
2024-01-09 23:38
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他