E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Hdoop学习笔记(HDP)-Part.19 安装Kafka
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:15
hadoop
学习
笔记
kafka
hadoop
Hdoop学习笔记(HDP)-Part.10 创建集群
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
hadoop
学习
笔记
Hdoop学习笔记(HDP)-Part.09 安装OpenLDAP
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:44
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.02 核心组件原理
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.05 Yum源配置
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.07 安装MySQL
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
mysql
hadoop
Hdoop学习笔记(HDP)-Part.08 部署Ambari集群
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
ambari
hadoop
Hadoop Core -
HDFS
, MapReduce, YARN
HadoopCore-
HDFS
,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用:《Hadoop-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak
·
2023-12-02 19:13
大数据
hadoop
big
data
java
Hdoop学习笔记(HDP)-Part.03 资源规划
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:43
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.06 安装OracleJDK
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:43
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.04 基础环境配置
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 18:40
hadoop
学习
笔记
hadoop
HDFS
JAVA API的应用
(简答题)使用
HDFS
的JAVAAPI进行编程:(1)获取自己
HDFS
集群下的所有文件和目录;//获取自己
HDFS
集群下的所有文件和目录;importorg.apache.hadoop.conf.Configuration
星星失眠️
·
2023-12-02 16:28
大数据开发技术
hdfs
java
hadoop
HIVE SQL 、Hive MR参数设置
1、知识点回顾hive数据库是
hdfs
上的文件夹,表也是文件夹,表里的数据是文件hive建表createtable表名(字段1类型1,字段2类型2……)rowformatdelimitedfieldsterminatedby
故里良田
·
2023-12-02 15:39
hbase thrift2 jar包冲突导致启动失败问题排查记录
1、启动命令${HBASE_HOME}/bin/hbase-daemon.shstartthrift22、异常情况hbase-root-thrift2-
hdfs
-test07.yingzi.com.out
Java小田
·
2023-12-02 12:53
hbase
大数据
jar冲突
Java并发容器那么多,应该怎么选?
并发下的Map我们都知道不能再并发场景下使用HashMap,因为在JDK7之前,在并发场景下使用HashMap会出现死循环,从而导致CPU使用率居高不下,而
扩容
是导致死循环的主要原因。
zy_think123
·
2023-12-02 12:34
顺序表&链表(及其相关代码)
而顺序表则是一个数组,只不过它会实时记录自己的长度,当长度不够的时候会自动
扩容
。值得注意的是
扩容
会有不少的消耗,因此我们每次都会
扩容
两倍或1.5倍。顺序表的好处是一个动态的
Herta_
·
2023-12-02 11:10
链表
数据结构
java: 通过URL读取hadoop
HDFS
packagetju;importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;importorg.apache.hadoop.io.IOUtils;importjava.io.InputStream;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLS
amadeus_liu2
·
2023-12-02 11:28
Hadoop
hadoop
java
hdfs
hadoop:通过Configuration读取
hdfs
packagetju;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStream;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.
amadeus_liu2
·
2023-12-02 11:28
Hadoop
hadoop
hdfs
大数据
【Spark数仓项目】需求八:MySQL的DataX全量导入和增量导入Hive
hive1.增量导入的第一种实现方法2.另一种方法是时间字段3.dataX脚本三、利用Python自动生成Datax的json脚本1.创建mysql和hive数据库2.修改python脚本里面的密码(2处)和
hdfs
程序终结者
·
2023-12-02 10:22
spark
mysql
hive
Hive中parquet压缩格式分区表的跨集群迁移记录
文章目录环境与需求集群环境需求描述操作步骤STEP1STEP2STEP3STEP4STEP5STEP6环境与需求集群环境华为FushionInsightA华为FushionInsightB华为集群管理机localHive3.1.0
HDFS
3.3.1
程序终结者
·
2023-12-02 10:17
hive
hadoop
数据仓库
SparkSQL 学习笔记----将RDD转换成DataFrame
一、RDD转换成DataFrame1、为什么要将RDD转换成DataFrame转换成DataFrame之后就可以直接针对
HDFS
等任何可以构建为RDD的数据,进行SparkSQL进行SQL查询了。
PZ~浪味仙
·
2023-12-02 10:46
Spark
SQL
企业真题(泛型、数据结构与集合源码)
jdk7.0新特性:ArrayListlist=newArrayListcomparator=newComparator说说ArrayList的
扩容
机制吧(国*电网)>讲一
轩阁阁主
·
2023-12-02 07:39
数据结构
Hadoop -- hadoop介绍
特性优点hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理hadoop核心组件
hdfs
小陈菜奈-
·
2023-12-02 07:07
Hadoop
hadoop
大数据
Hdoop学习笔记(HDP)-Part.14 安装YARN+MR
十四、安装YARN+MR1.MR中间结果存储权限使用Yarn提交MapReduce任务的时候,中间结果会保存在
HDFS
,/user/username/,如果/user目录下用户目录下不存在,则被创建,当
这啥命啊
·
2023-12-02 07:35
hadoop
学习
笔记
mr
yarn
hadoop
Hdoop学习笔记(HDP)-Part.1 关于HDP
源配置Part.6安装OracleJDKPart.7安装MySQLPart.8部署Ambari集群Part.9安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 07:35
hadoop
学习
笔记
hadoop
重新养育:孩子老错题需要减少重复量||臧玉清
今天完全
扩容
和新的视角——增加专注力。想想也是,比如孩子马虎而犯的错,都是专注力不够完成的。如果提高专注力:重复做一件事,锻炼意志
臧玉清
·
2023-12-02 06:22
CentOS7根分区
扩容
之三
Centos根分区接近100%,如果你的系统使用了全部磁盘,文件系统是ext4,根分区和/home都是逻辑卷,那么在没有额外的磁盘增加情况下,可以从/home卷中切分一部分空间增加到根分区空间。1.卸载homefuser-km/home/umount-v/home2.检查磁盘e2fsck-ff/dev/mapper/centos-home3.调整/dev/mapper/centos-home的磁盘
Cisco_hw_zte
·
2023-12-02 06:18
Liunx运维
centos
CentOS7根分区
扩容
之一
Centos默认根分区50G,很快接近100%,如果你的系统使用了全部磁盘,文件系统是xfs,根分区和/home都是逻辑卷,那么在没有额外的磁盘增加情况下,可以从/home卷中切分一部分空间增加到根分区空间。1.由于xfs格式的分区只能扩大,不能缩小,所以需要对/home分区的文件进行备份,在重建分区后进行恢复。xfsdump-f/root/home.img/home2.卸载home分区fuser
Cisco_hw_zte
·
2023-12-02 06:48
linux
运维
服务器
CentOS7根分区
扩容
之二
Centos根分区快接近100%,如果根分区是逻辑卷,那么可以增加额外的磁盘,通过逻辑卷
扩容
的方式增加到根分区空间。
Cisco_hw_zte
·
2023-12-02 06:15
Liunx运维
centos
如何有效进行数据备份上云
云端存储备份数据能够进行有效管理数据,实现数据的保留和长期的访问与检索,解决传统备份系统初期投资大、
扩容
周期长、运维管理难等问题。
云祺vinchin
·
2023-12-02 05:30
技术分享
Redis7--基础篇6(复制replica)
实现读写分离、容灾恢复、数据备份、水平
扩容
支撑高并发。2.案例演示2.1架构说明一个master,两个slave。
UntifA
·
2023-12-02 05:46
#
redis
redis
CentOS7-
扩容
挂载磁盘
1.1查看新磁盘,可以看到/dev/sdb是新的未挂载的磁盘;[root@localhost~]#fdisk-limage.png1.2硬盘分区,进入fdisk模式进入fdisk模式[root@localhost~]#/sbin/fdisk/dev/sdb输入n进行分区[root@localhost~]#/sbin/fdisk/dev/sdb选择分区类型(p主分区)Command(mforhelp
PHP菜鸡
·
2023-12-02 05:57
hadoop的几个接口
8088接口:MapReduce50070接口:
HDFS
19888接口:jobhistoryseverjob历史服务器端口9000:namenode50090:secondarynamenode
Stephen6Yang
·
2023-12-02 04:03
hadoop
hadoop
Arraylist和Linkedlist的区别
而之所以称为动态数组,是因为Arraylist在数组元素超过其容量大,Arraylist可以进行
扩容
(针对JDK1.8数组
扩容
后的容量是
扩容
前的1.
香山上的麻雀
·
2023-12-02 03:39
记一次线上fullgc排查历程
很不幸,这次项目非常重要,领导很看重,所以得赶紧解决问题,下面就是排查的艰苦历程22:10线上可以报警,出现fullgc问题,初步判断是服务器少了,于是申请堆线上服务器进行
扩容
,
扩容
之后,还是有fullgc
风清扬鍀师傅
·
2023-12-02 03:30
技术文章
供应链
java
后端
HDFS
SecondaryNameNode监控
HDFS
状态的辅助后台程序,合并fsimage与edits。
歌哥居士
·
2023-12-02 02:22
java中数组插入元素
问题描述已知有个升序的数组,要求插入一个元素,该数组顺序依然是升序,//比如:[10,12,45,90],添加23后,数组为[10,12,23,45,90]解决方案://思路数组
扩容
+定位//1.我们先确定添加数应该插入到哪个索引
又见明月清风
·
2023-12-02 01:36
java
4.hadoop集群
扩容
与hive异常处理
异常处理当我们使用sqoop同步数据时候,出现了异常。Errorwritingfile‘/tmp/MYYEBa32’(Errcode:28-NospaceleftondeviceINFOmapreduce.Job:Theurltotrackthejob:http://node3:8088/proxy/application_1681182527108_0002/INFOmapreduce.Job:
想成为数据分析师的开发工程师
·
2023-12-02 00:10
Hadoop大数据分析项目
hadoop
hive
大数据
数据分析
主要分布式文件系统架构对比分析:GFS vs. Tectonic vs. JuiceFS
GFS开创了商品硬件的使用,并影响了大数据领域的Hadoop分布式文件系统(
HDFS
)等系统。Tectoni
沃趣数据库管理平台
·
2023-12-02 00:34
技术专栏
架构
分布式
云原生
数据库
K8s介绍和各组件盘点;搭建一个单机版的k8s
K8s介绍和各组件盘点;搭建一个单机版的k8sKubernetes官网https://kubernetes.io/用官网的话术介绍K8s:Kubernetes(K8s),是用于自动部署、
扩容
、缩容和管理容器化应用程序的开源系统
dumplings。
·
2023-12-02 00:03
Linux相关
kubernetes
容器
云原生
2023年营养保健品市场销售数据分析(京东数据运营-京东数据产品):10月销额同比增长67%
如今,随着健康经济、颜值经济的兴起,越来越多的年轻人加入养生大军,成为营养保健品市场上的一股新力量,带动市场
扩容
。在养生年轻化、人口老龄化等多重因素的驱动下,营养保健品市场增长强劲。
jingcanmou_data
·
2023-12-01 21:20
人工智能
大数据
数据分析
数据挖掘
数据库
VMware虚拟机Linux系统磁盘
扩容
VMware虚拟机Linux系统磁盘
扩容
很多小伙伴使用VMware创建虚拟机,时常会选择默认磁盘大小20G,用着用着才发现20G不够用,服务启动不了。
李昊哲小课
·
2023-12-01 21:59
云计算
大数据
人工智能
linux
服务器
运维
大数据
centos
人工智能
云计算
oracle 表空间
扩容
查看表空间使用情况,直接复制下面sqlselecta.tablespace_name, a.bytes/1024/1024"sumMB", (a.bytes-b.bytes)/1024/1024"usedMB", b.bytes/1024/1024"freeMB", round(((a.bytes-b.bytes)/a.bytes)*100,2)"used%" from(s
__beginner__
·
2023-12-01 20:25
oracle
数据库
大数据基础设施搭建 - Sqoop
文章目录一、上传压缩包二、解压压缩包三、配置环境变量(TODO)四、修改配置文件五、拷贝MySQL驱动六、测试能否连接数据库七、importMySQLto
HDFS
一、上传压缩包官网:http://mirrors.hust.edu.cn
m0_46218511
·
2023-12-01 19:52
大数据基础设施搭建
大数据
sqoop
有趣的小算法
示例:HashMap的
扩容
大小机制。
NEUMaple
·
2023-12-01 18:05
Java算法
算法
java
Java核心知识点整理大全25-笔记
目录25.Hadoop25.1.1.概念25.1.2.
HDFS
25.1.2.1.Client25.1.2.2.NameNode25.1.2.3.SecondaryNameNode25.1.2.4.DataNode25.1.3
希斯奎
·
2023-12-01 17:31
Java
java
开发语言
笔记
textfilestream_Spark从本地文件流式传输到
hdfs
。textFileStream-问答-阿里云开发者社区-阿里云...
我正在尝试将本地目录内容流式传输到
HDFS
。脚本将修改此本地目录,并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到
HDFS
。但是,当我开始流式传输时,没有任何事情发生。
十吾十吾
·
2023-12-01 16:20
textfilestream
openGauss学习笔记-135 openGauss 数据库运维-例行维护-检查openGauss健康状态
注意事项
扩容
新节点检查只
superman超哥
·
2023-12-01 15:34
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
LVM 进行逻辑卷
扩容
术语:物理存储介质(Thephysicalmedia):这里指系统的存储设备:硬盘,如:/dev/hda1、/dev/sda等等,是存储系统最低层的存储单元。物理卷(physicalvolume)PV:物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID),是LVM的基本存储逻辑块,但和基本的物理存储介质(如分区、磁盘等)比较,却包含有与LVM相关的管理参数。卷组(VolumeG
hxysayhi
·
2023-12-01 15:35
VMware Linux(Centos)虚拟机
扩容
根目录磁盘空间
给VMWare虚拟机根目录
扩容
,简单有效!
bloglin99999
·
2023-12-01 15:41
linux
centos
运维
上一页
37
38
39
40
41
42
43
44
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他