E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
[AIGC ~大数据] 深入理解Hadoop、
HDFS
、Hive和Spark:Java大师的大数据研究之旅
在这个充满机遇和挑战的领域中,我深入研究了Hadoop、
HDFS
、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度,系统地介绍这些技术。文章目录是什么?
程序员三木
·
2023-12-17 06:55
AI
大数据
hadoop
AIGC
Hadoop
文章目录1、Hadoop是什么2、Hadoop优势3、Hadoop组成(1)
HDFS
(2)YARN(3)MapReduce架构概述(4)
HDFS
、YARN、MapReduce三者关系(5)大数据技术生态体系
Gong_yz
·
2023-12-17 06:39
大数据
hadoop
分布式
Spark-Streaming+
HDFS
+Hive实战
文章目录前言一、简介1.Spark-Streaming简介2.
HDFS
简介3.Hive简介二、需求说明1.目标:2.数据源:3.数据处理流程:4.
HDFS
文件保存:5.Hive外部表映射:三、实战示例演练
大数据魔法师
·
2023-12-17 06:38
大数据
spark
hdfs
hive
[c++]—string类___深度学习string标准库底层实现(超详细)
标准库成员函数和非成员函数(上)目录构造和析构的实现string→c类型的字符串数组operator[]类对象元素的访问返回字符串的长度迭代器进行遍历访问字符串增❗append()与push_back()❗reserve()
扩容
chlorine5
·
2023-12-17 06:02
c++
c++
开发语言
Kubernetes实战(十四)-k8s高可用集群
扩容
master节点
1单master集群和多master节点集群方案1.1单Master集群k8s集群是由一组运行k8s的节点组成的,节点可以是物理机、虚拟机或者云服务器。k8s集群中的节点分为两种角色:master和node。master节点:master节点负责控制和管理整个集群,它运行着一些关键的组件,如kube-apiserver、kube-scheduler、kube-controller-manager等
alden_ygq
·
2023-12-17 06:47
#
Kubernetes系列
kubernetes
容器
云原生
【Hive】(三)Hive数据导入,导出,分区
动态分区一、导入数据loaddata1、语法loaddata(local)inpath'文件路径'into|overwritetablestudents;local:表示从本地加载数据,不加local则是从
HDFS
cbigchaos
·
2023-12-17 05:02
#
Hive
hive 增加表字段语录_HIVE常用SQL语句及语法
countint,seqnoint,addressstring)rowformatdelimitedfieldsterminatedby'\t';创建字段中含有数组类型,对象类型的表,并查询特殊字段外部表默认存在
HDFS
weixin_39811386
·
2023-12-17 05:32
hive
增加表字段语录
hadoop面试题 5 ---有用
host主机名4配置SSH免密码登录5关闭防火墙6安装JDK6解压hadoop安装包7配置hadoop的核心文件hadoop-env.sh,core-site.xml,mapred-site.xml,
hdfs
-site.xml8
okbin1991
·
2023-12-17 05:00
hadoop
hdfs
大数据
分布式
java
【Hive】【Hadoop】工作中常操作的笔记-随时添加
文章目录1、Hive复制一个表:2、字段级操作3、
hdfs
文件统计1、Hive复制一个表:直接Copy文件createtablenew_tableliketable_name;
hdfs
dfs-get/apps
cbigchaos
·
2023-12-17 05:57
#
Hive
#
Hadoop
hadoop
hive
笔记
大数据
day17_18_java中集合的详解
数组的局限性:长度固定(添加-
扩容
,删除-缩容)元素类型要相同(兼容)二、集合集合:是java中提供的一种容器,可以用来存放多个数据。
fishpool学java
·
2023-12-17 05:33
java
开发语言
idea
数据结构
哈希算法
散列表
链表
hadoop学习大纲
Hadoop集群环境搭建Hadoop集群环境搭建
HDFS
图说
HDFS
基本原理hadoop的shell命令操作javaapi操作
HDFS
HDFS
之namenode管理元数据机制MapReduce初识MapReduceintelij
piziyang12138
·
2023-12-17 00:12
【从零开始学习JAVA集合 | 第一篇】深入解读HashMap源码(含面试题)
目录目录前言:HashMap简介:HashMap的常用常量和变量:HashMap的重要考点:HashMap的存储过程:HashMap的
扩容
过程:HashMap的初始化:常见面试题:总结:前言:HashMap
我是一盘牛肉
·
2023-12-17 00:46
java
学习
数据结构
[Linux] LVS负载均衡群集+NAT部署
群集的作用:对于企业服务的的性能提升一般会有两种方式:纵向扩展:对服务器的CPU内存硬盘等硬件进行升级或者
扩容
来实现的性能上限会有瓶颈,成本昂贵,收效比不高等问题横向扩展:通过增加服务器主机数量来应该高并发的场景群
你请叫我Ikun
·
2023-12-17 00:03
负载均衡
linux
lvs
负载均衡
查看hive表储存在
hdfs
的哪个目录下
查看hive表储存在
hdfs
的哪个目录下使用Hive的DESCRIBEFORMATTED命令。具体步骤如下:打开Hive终端,并连接到Hive数据库。
言之。
·
2023-12-16 22:58
hive
hdfs
hadoop
生态圈再
扩容
!聚铭网络受邀加入车联网安全集智联盟
近日,聚铭网络受邀正式成为车联网安全集智联盟成员单位,助力我国车联网安全创新发展。12月8日,在工业和信息化部网络安全管理局支持下,“铸网-2023”车联网安全演练总结会暨车联网安全集智联盟第一次工作会在吉林长春成功召开,聚铭网络作为联盟成员单位出席会议。“车联网安全集智联盟”于2023年9月22日成立,由工业和信息化部作为业务指导单位,中国信息通信研究院牵头,立足于搭建车联网安全领域引领性、先导
聚铭网络
·
2023-12-16 21:39
网络
安全
汽车
人工智能
【
HDFS
】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定义adjustCrcChannelPosition方法。应用场景在:append,blockrecovery等场景。方法的作用是设置checksum流(datanode上meta文件)的文件指针,来让最后一个checksum被覆写。/***Setsthefilepointerofthechecksumstreamsothatthelastchecksum*willb
叹了口丶气
·
2023-12-16 20:53
HDFS全方位实战
hdfs
hadoop
大数据
【Apache Pinot】Data upload jobtype 粗略分析
背景目前我司大部分实时数据和离线数据都存储在pinot数据库中,离线数据需要通过脚本去生成对应的数据上传到数据库里面,但是其中config中有个jobtype让人有点迷惑,本文简单的做一个概念的整理用处先说一下流程,目前我以
hdfs
彭笳鑫
·
2023-12-16 20:05
数据库
apache
pinot
数据库
olap
大数据
【ONE·C++ || vector (二)】
文章目录总言1、基本框架搭建:成员变量2、对构造函数、析构函数3、增删查改、空间
扩容
3.1、vector::push_back、vector::pop_back3.2、vector::reserve、vector
藏鹤虞渊
·
2023-12-16 19:07
#
【ONE·C++】
c++
openmediavault debian linux安装配置企业私有网盘(三 )——raid5与btrfs文件系统无损原数据
扩容
一些敏感数据不外流时,使用openmediavault自建NAS系统;2、在虚拟化环境中自建NAS系统,用于内网办公,或出差外网办公时,企业内的文件共享;3、虚拟化环境中有可用磁盘资源,用于动态给NAS系统
扩容
weixin_43075093
·
2023-12-16 19:58
debian
运维
服务器
开源
linux
网络
分库分表以后,如何实现
扩容
?
在实际开发中,数据库的
扩容
和不同的分库分表规则直接相关,今天我们从系统设计的角度,抽象了一个项目开发中出现的业务场景,从数据库设计、路由规则,以及数据迁移方案的角度进行讨论。
小小哭包
·
2023-12-16 17:56
数据库
解决方案
数据库
数据库扩容
阿里云磁盘在线
扩容
我们从阿里云的控制面板中给硬盘
扩容
后结果发现我们的磁盘空间并没有改变注意:本次操作是针对CentOS7的#使用df-h并没有发现我们的磁盘空间增加#使用fdisk-l发现确实还有部分空间运行df-h命令查看云盘分区大小
云计算1028
·
2023-12-16 16:28
阿里云
云计算
达梦创建用户与表空间
扩容
创建表空间登录数据库disqlSYSDBA/SYSDBA--检查数据库角色(mode$等于Primary的是主库)selectname,instance_name,status$,mode$fromv$instance;--检查数据库打开状态(status$等于Open表示数据库已打开)selectname,status$fromv$database;达梦数据库中创建表空间时需要手动指定数据文件名
一名数据库爱好者
·
2023-12-16 16:10
数据库
dba
ubuntu
扩容
/dev/mapper/ubuntu--vg-ubuntu--lv磁盘空间
查看磁盘空间sudodf-h使用vgdisplay查看lvm卷信息sudovgdisplay查找FreePE如果还有空间就可以
扩容
比如:FreePE/Sizexxx/
Maguyusi
·
2023-12-16 15:29
编译
编程开发
运维
ubuntu
磁盘扩容
lvm扩容
Sqoop基础理论与常用命令详解(超详细)
文章目录前言一、Sqoop概述1.Sqoop简介2.Sqoop架构(1)SqoopClient(2)SqoopServer(3)Connector(4)Metastore(5)Hadoop/
HDFS
3.
大数据魔法师
·
2023-12-16 15:57
大数据
sqoop
hadoop
hive
Esxi中的AlmaLinux硬盘
扩容
Esxi中的AlmaLinux硬盘
扩容
通过本文能学习到虚拟机中的AlmaLinux硬盘
扩容
本文主要包括3部分内容:1.需要进行
扩容
的原因2.写这篇文章的目的3.
扩容
实操需要进行
扩容
的原因近日,使用Jenkins
Maguyusi
·
2023-12-16 15:25
运维
Esxi
AlmaLinux
硬盘
扩容
KafKa基本原理
协调的分布式消息系统使用日志收集消息系统用户活动跟踪运营指标概念Brokertopicproducerconsumerconsumergrouppartition通信基于tcp协议很多集群信息记录在zk里保证自己的无状态,方便水平
扩容
小淘淘喵的主人
·
2023-12-16 13:59
java
Mapreduce小试牛刀(1)
1.与
hdfs
一样,mapreduce基于hadoop框架,所以我们首先要启动hadoop服务器-----------------------------------------------------
printcsr
·
2023-12-16 12:51
mapreduce
Mapreduce小试牛刀(2)--java api
1.同
hdfs
的javaapi,我们首先要在IDE中建立一个maven项目pom.xml中配置如下:org.apache.hadoophadoop-mapreduce-client-common3.3.4org.apache.hadoophadoop-mapreduce-client-jobclient3.3.4org.apache.hadoophadoop-client3.3.4org.slf4
printcsr
·
2023-12-16 12:51
学习
Hdfs
java API
1.在主机上启动hadoopsbin/start-all.sh这里有一个小窍门,可以在本机上打开8088端口查看三台机器的连接状态,以及可以打开50070端口,查看
hdfs
文件状况。
printcsr
·
2023-12-16 12:21
学习
深入源码解析ArrayList:探秘Java动态数组的机制与性能
文章目录一、简介ArrayList1.1介绍ArrayList的基本概念和作用1.2与数组的区别和优势二、内部实现2.1数据结构:动态数组2.2添加元素:add()方法的实现原理2.3
扩容
机制:ensureCapacity
忆~遂愿
·
2023-12-16 12:44
深入解析源码
java
源代码管理
集合04 Collection (Set) - Java
SetSet基本介绍Set常用方法Set遍历方式HashSet的全面说明练习HashSet的底层机制说明HashSet的
扩容
机制&转成红黑树机制练习1练习2LinkedHashSetLinkedHashSet
aPurpleBerry
·
2023-12-16 11:29
Java
SE
java
数据结构---顺序表
用于测试)概念1.概念及结构顺序表是用一段物理地址连续的存储单元依次存储数据元素的线性结构静态顺序表数组大小定死,太小会不够用,太大会浪费工程中不会采用动态顺序表可以动态变动数组,如果数组大小较小,可以进行
扩容
图梓灵
·
2023-12-16 09:48
数据结构
数据结构
算法
c++
2023Java最常问10道面试题(详解版)
3.String、StringBuffer、StringBuilder区别4.ArrayList的自动
扩容
机制5.什么是深拷贝和浅拷贝?6.强引用、软引用、弱引用、虚引用有什么区别?
但有一人如舒
·
2023-12-16 08:57
java
开发语言
后端
Hive命令操作
linux语句;3.运行
hdfs
命令-->dfs–
hdfs
语句;4.运行sq
xinxinyydss
·
2023-12-16 08:38
hive
hadoop
数据仓库
HashMap学习总结
hash:hash处理后的key的hashcode(两次hash)key:传入的keyvalue:传入的valuenext:下一个Node当数组为空时会调用resize方法初始化size=16,否则会根据
扩容
因子动态
扩容
计算
tianbocheng
·
2023-12-16 07:41
华为云sp2服务器系统根分区
扩容
后重启失败解决
lvm根分区
扩容
概念:PV(物理卷:PhysicalVolumes)VG(物理卷组:VolumeGroup)LV(逻辑卷:LogicalVolumes)R系V10服务器:显示当前LogicalVolumes
烈日下的奔跑
·
2023-12-16 07:24
华为云
服务器
运维
华为大数据开发者教程知识点提纲
一、线下处理1.离线处理方案数据支持:
HDFS
调度:YARN收入:Flume,sqoop,loader处理:Mapreduce,SparkSql,spark,hive(,Flink)2.HadoopNamenode
qq_1418269732
·
2023-12-16 06:08
大数据
【Hive】——DDL(TABLE)
describeformattedstudent;2删除表如果已配置垃圾桶且未指定PURGE,则该表对应的数据实际上将移动到
HDFS
垃圾桶,而元数据完全丢失。
那时的样子_
·
2023-12-16 05:05
hive
hadoop
数据仓库
使用sqoop操作
HDFS
与MySQL之间的数据互传
一,数据从
HDFS
中导出至MySQL中1)开启Hadoop、mysql进程start-all.sh/etc/init.d/mysqldstart/etc/init.d/mysqldstatus2)将学生数据
冬瓜的编程笔记
·
2023-12-16 05:44
大数据
sqoop
hdfs
mysql
【Hadoop-Distcp】通过Distcp的方式进行两个
HDFS
集群间的数据迁移
【Hadoop-Distcp】通过Distcp的方式进行两个
HDFS
集群间的数据迁移1)Distcp工具简介及参数说明2)Shell脚本1)Distcp工具简介及参数说明【Hadoop-Distcp】工具简介及参数说明
bmyyyyyy
·
2023-12-16 05:45
Hadoop
hadoop
hdfs
【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至
HDFS
,再将
HDFS
数据迁移至S3
【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至
HDFS
,再将
HDFS
数据迁移至S31)Shell脚本2)参数说明1)Shell脚本注意:此Shell脚本内置了按照sample_date
bmyyyyyy
·
2023-12-16 05:15
Hadoop
hadoop
hdfs
大数据
【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象
Distcp的方式迁移Hive中的数据至存储对象1)了解Distcp1.1.Distcp的应用场景1.2.Distcp的底层原理2)使用Distcp4)S3可视化App下载4)S3可视化App使用5)跨集群迁移
HDFS
bmyyyyyy
·
2023-12-16 05:14
Hadoop
hadoop
hive
大数据
【Hadoop-OBS-Hive】利用华为云存储对象 OBS 作为两个集群的中间栈 load 文件到 Hive
利用华为云存储对象OBS作为两个集群的中间栈load文件到Hive1)压缩文件2)上传文件到OBS存储对象3)crontab定时压缩上传4)从obs上拉取下来文件后解压缩5)判断对应文件是否存在6)上传至
HDFS
bmyyyyyy
·
2023-12-16 04:04
Hadoop
hadoop
hive
华为云
Spark编程实验一:Spark和Hadoop的安装使用
一、目的与要求1、掌握在Linux虚拟机中安装Hadoop和Spark的方法;2、熟悉
HDFS
的基本使用方法;3、掌握使用Spark访问本地文件和
HDFS
文件的方法。
Francek Chen
·
2023-12-16 04:32
Spark编程基础
spark
hadoop
大数据
pyspark on yarn
直接下载hive组件的客户端配置就可以,它里面包含了
hdfs
和yarn的配置。如下所示:
[email protected]
骑着蜗牛向前跑
·
2023-12-16 03:34
大数据
pyspark
on
yarn
python
大数据
记一次磁盘
扩容
,以及Can‘t open /dev/vdb1 exclusively. Mounted filesystem?报错处理的过程
由于本人的误操作导致无法
扩容
磁盘,卷组也没有了,删除逻辑卷也报错,怎样处理还原磁盘呢;下面是根据本人各种百度找到的处理方法:查看磁盘空间情况,发现挂载的磁盘还在[root@localhost~]#df-hFilesystemSizeUsedAvailUse
xiaohuai吖
·
2023-12-16 02:53
linux
Redis 哈希表中负载因子问题
最近在看Redis设计与实现,发现Redis中的哈希表也是根据负载因子的
扩容
和收缩。
程序员白日梦
·
2023-12-16 02:02
redis
java
redis
十四、YARN核心架构
1、目标(1)掌握YARN的运行角色和角色之间的关系(2)理解使用容器做资源分配和隔离2、核心架构(1)和
HDFS
架构的对比
HDFS
架构:YARN架构:(主从模式)(2)角色解释ResourceManager
弦之森
·
2023-12-16 01:52
Hadoop
hdfs
hadoop
yarn
mapreduce
大数据
基于spark的音乐数据分析系统的设计与实现
收藏关注不迷路文章目录前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录前言本文主要对音乐数据,进行分析,系统技术主要使用,1.对原始数据集进行预处理;3.使用python语言编写Spark程序对
HDFS
QQ2743785109
·
2023-12-16 01:05
spark
python
spark
大数据
分布式
单节点hadoop搭建
tar.gz解压文件,配置HADOOP_HOME编辑文件etc/hadoop/hadoop-env.sh配置JAVA_HOME配置etc/hadoop/core-site.xml文件fs.defaultFS
hdfs
曾阿伦
·
2023-12-16 00:04
hadoop
hadoop
大数据
分布式
上一页
32
33
34
35
36
37
38
39
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他