E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Hive概述
Hive处理的数据存储在
HDFS
,Hive分析数据底层实现是MapReduce,Hive执行程序是运行在yarn上Hive优点:1)操作接口采用类SQL语法,上手容易,避免写MapReduce,减少学习成本
诗云HSY
·
2023-09-07 14:11
ElasticSearch详解
2.3ES使用场景三、ElasticSearch概念、原理与实现3.1搜索引擎原理3.2Lucene倒排索引核心原理倒排索引四、Elasticsearch整体架构4.1集群节点角色4.2数据副本4.3水平
扩容
7B_coder
·
2023-09-07 14:08
elasticsearch
全文检索
一个迷惑性很高的生产故障-Elasticsearch日志rotate导致节点CPU激增
背景ElasticsearchCPU很高的场景很常见,优化读写以及
扩容
即可解决问题。如果只有一个节点CPU高,那可能的情况就比较多了,节点机器异常?读写不均匀?GC过高?forcemerge?
zmc@
·
2023-09-07 14:05
elasticsearch
elasticsearch
大数据
排障
Windows10 + Linux(Ubuntu20.04)双系统扩展Linux磁盘空间
本人计算机是Windows10+Ubuntu20.04双系统,当时给Ubuntu空间只留了50G,现在不够,进行
扩容
。
太阳少阴天
·
2023-09-07 13:18
Ubuntu
磁盘扩容
ubuntu
linux
windows
启动hadoop并测试问题合集
/
hdfs
namenode-format(显示这个就为成功,很长的,慢慢找)==========以上为前提,然后开始遇见问题===========问题1:输入jps的时候说找不到?
Aure_xl
·
2023-09-07 13:45
存档处
hadoop
java
如何查看服务器各项指标的配置-具体指令-服务器配置参数详解-大模型训练推荐配置单服务器和服务器之间显卡直通叠加
扩容
查看服务器配置的指令要查看服务器的各项组件配置,您可以执行以下步骤:操作系统信息:使用命令uname-a(Linux/Unix)或systeminfo(Windows)来查看操作系统的版本和内核信息。CPU信息:在Linux/Unix系统上,运行lscpu命令来查看CPU的详细信息。在Windows系统上,您可以使用wmiccpugetcaption命令来获取CPU型号。内存信息:在Linux/U
愚昧之山绝望之谷开悟之坡
·
2023-09-07 11:09
笔记
术语
AIGC
笔记
AccessControlException: Permission denied: user=root
Numberofreducetasksissetto0sincethere'snoreduceoperatororg.apache.hadoop.security.AccessControlException:Permissiondenied:user=root,access=WRITE,inode="/user":
hdfs
arbalest1080
·
2023-09-07 10:41
hive
Hadoop 集中式的缓存管理demo
参考文献:http://www.infoq.com/cn/articles/
hdfs
-centralized-cachehttps://blog.csdn.net/javastart/article/details
orisonchan
·
2023-09-07 09:52
Centos7 根目录存储空间扩展方法
一、首先通过df-hl命令查看磁盘占用情况,其中根目录已经被占满,此时需要对其进行
扩容
二、针对虚拟机环境的centos7系统根存储空间
扩容
,可利用centos7系统自带工具进行
扩容
点击剩余空间,添加新分区
墨没默
·
2023-09-07 08:31
系统运维
Impala
交互式查询工具Imapala第1部分Impala概念1.1Impala是什么Impala是Cloudera提供的一款开源的针对
HDFS
和HBASE中的PB级别数据进行交互式实时查询(Impala速度快)
BoomLee
·
2023-09-07 07:52
Bigdata
hadoop
mapreduce
big
data
大数据面试题
NameNode:在hadoop的主服务器,在内存中保存整个文件系统的名称空间和文件数据块的地址映射.整个
HDFS
可存储的文件数量受限于NameNode的内存大小.NameNode负责文件元数据的操作.
牛壹壹
·
2023-09-07 07:13
大数据
java
开发语言
Ubuntu
扩容
lvm空间
LVM,所以系统根目录默认占用磁盘大小只有4G,在安装软件时发现磁盘空间4G已经无法满足,/dev/mapper/ubuntu--vg-ubuntu--lv磁盘空间不足报警,所以需要利用LVM对磁盘进行
扩容
一个高效工作的家伙
·
2023-09-07 07:29
linux
ubuntu
数据库
linux
Hadoop的分布式文件存储系统
HDFS
组件的使用
Hadoop的第一个核心组件:
HDFS
(分布式文件存储系统)一、
HDFS
的组成1、NameNode2、DataNode3、SecondaryNameNode4、客户端:命令行/JavaAPI二、
HDFS
Augenstern K
·
2023-09-07 06:56
Hadoop
hadoop
分布式
hdfs
vmware中ubuntu磁盘空间
扩容
教程
文章目录1.查看虚拟机磁盘空间2.在关闭虚拟机状态下删除vmware所有快照内容3.在vmware中扩展磁盘容量(最终需要多大容量就改最大磁盘大小的数字)4.安装磁盘管理软件gparted5.打开磁盘管理软件gparted6.鼠标左键选中extended项7.鼠标右键后点击调整大小/移动(R)8.拖动滑动条中间的向右小箭头至最右侧9.点击调整大小/移动10.鼠标左键选中ext4后重复步骤7、8、9
nil000000
·
2023-09-07 06:07
linux
ubuntu
linux
学习
VMWare中的Ubuntu磁盘大小扩展
虚拟机一般情况下我们会分配大约20G左右的磁盘空间大小,但是在使用的过程中,比如此次在编译android源码所占磁盘空间较大的包的时候,往往发现虚拟机的磁盘空间大小不够用了,这个时候就需要我们进行虚拟机的
扩容
步骤一
余生爱静
·
2023-09-07 06:07
jni
ubuntu
linux
VMware虚拟机扩展Ubuntu的磁盘空间
VMware虚拟机扩展Ubuntu的磁盘空间前言
扩容
步骤1.查看现有磁盘空间2.关闭虚拟机3.vmware拓展磁盘设置4.开机5.安装GParted工具6.使用GParted拓展和格式化磁盘7.确认拓展成功总结前言本文介绍了使用
疯狂飙车的蜗牛
·
2023-09-07 06:03
ubuntu
linux
运维
大数据技术之Hadoop:使用命令操作
HDFS
(四)
目录一、创建文件夹二、查看指定目录下的内容三、上传文件到
HDFS
指定目录下四、查看
HDFS
文件内容五、下载
HDFS
文件六、拷贝
HDFS
文件七、
HDFS
数据移动操作八、
HDFS
数据删除操作九、
HDFS
的其他命令十
何苏三月
·
2023-09-07 05:58
大数据技术
大数据
hadoop
hdfs
java
Hadoop数据压缩
一、概述压缩技术能够有效减少底层存储系统(
HDFS
)读写字节数,提高了网络带宽和磁盘空间的效率。在Hadoop下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要。
南巷的旧猫
·
2023-09-07 05:09
Java:ArrayList源码解析
Java:ArrayList源码解析导言我们都知道ArrayList是一个可以实现自动
扩容
的List类,为了理解ArrayList是如何进行
扩容
的,我们就有必要对ArrayList的源码进行分析。
Tai_Monster
·
2023-09-07 04:13
Java学习笔记
java
开发语言
(二十一)大数据实战——Flume数据采集之复制和多路复用案例实战
数据采集的一个多路复用案例,使用三台服务器,一台服务器负责采集本地日志数据,通过使用ReplicatingChannelSelector选择器,将采集到的数据分发到另外俩台服务器,一台服务器将数据存储到
hdfs
北溟溟
·
2023-09-07 03:59
大数据
大数据
flume
虚拟机
扩容
系统环境centos8,分两步,第一步先在vmware
扩容
,第二部在虚拟机内部
扩容
1.vmware分配磁盘空间2.虚拟机内部
扩容
查看当前磁盘信息,这个是
扩容
之前的,
扩容
完成才会显示新的df-h查看系统分区信息
WuWuII
·
2023-09-07 02:31
vmware
Linux
VMware
Linux
如何将home目录空间扩充到根目录下
目录1、查看查看磁盘使用情况2、
扩容
思路3、卸载并删除/home4、扩大/root逻辑卷5、扩大/文件系统6、重建/home逻辑卷7、创建/home文件系统8、将新建的文件系统挂载到/home目录下9、
喂小鸭
·
2023-09-07 02:54
linux
HDFS
完全分布式集群搭建与配置
HDFS
完全分布式集群搭建与配置介绍
HDFS
前言
HDFS
的概念和特性整体思路准备工作配置过程三台虚拟机都已经完成的步骤hadoop-env.shyarn-env.shcore-site.xml
hdfs
-site.xmlmapred-site.xmlyarn-site.xmlslaves
stupid_gentleman
·
2023-09-07 00:53
hdfs
hadoop
分布式
大数据学习笔记-
HDFS
(三)——集群管理运维
1、
HDFS
数据迁移解决方案1.1迁移方案——数据迁移的使用场景和考量因素场景冷热集群数据同步、分类存储使用频率较高的数据随着时间发展频率变低而迁移集群数据整体搬迁:原A机房搬迁到B机房数据的准实时同步
天码村
·
2023-09-07 00:53
大数据
大数据
hdfs
学习
Hadoop生态圈(八)-
HDFS
动态节点管理
目录前言1.背景2.动态
扩容
、节点上线2.1新机器基础环境准备2.1.1主机名、IP2.1.2Hosts映射2.1.3防火墙2.1.4SSH免密登录2.1.5JDK环境配置2.2Hadoop配置2.2.1DataNode
大Null
·
2023-09-07 00:22
Hadoop生态圈
hadoop
hdfs
查看
HDFS
集群状态
Hadoop集群正常启动后,它默认开放了两个端口9870和8088,分别用于监控
HDFS
集群和YARN集群。
摸摸小油头.
·
2023-09-07 00:22
大数据清洗和处理
hadoop
大数据
java
HDFS
集群启动后,DataNode节点没有挂载上
排错过程安装Impala后,删除掉Impala依赖的Hadoop、Hive等框架后,还是启动自己之前部署的Hadoop、Hive,没有报错,但是通过WEb界面查看,发现集群处于安全模式,然后所有的DataNode节点都没有挂载上(这时候没有注意到DataNode节点没有挂载上)。。。Securityisoff.SafemodeisON.Thereportedblocks0needsaddition
wufabao
·
2023-09-07 00:52
Debug心得
Hadoop
hive
impala
hadoop
hdfs
linux
HDFS
集群节点
HDFS
集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。
橘子疼
·
2023-09-07 00:52
笔记
HADOOP之
HDFS
集群配置
前期准备:免密配置成功,jdk1.8.0_271环境变量配置成功的前提下(免密和jdk没有配置好的看前面的博客)将配置好的jdk1.8.0_271文件夹和hadoop-2.7.6下载解压后的文件夹上传到主节点解压下载的Hadoop压缩包tar-zxvfhadoop-2.7.6.tar.gz解压后得到两个文件在当前(主节点)上建立一个hadoop文件夹,在hadoop文件夹下建立NameNode和D
30+11
·
2023-09-07 00:52
hadoop
hdfs
大数据
HDFS
删除节点
退役旧数据节点目标:掌握
HDFS
在集群中删除掉无效节点的步骤第一步:创建dfs.hosts.exclude配置文件在namenod的cd/export/servers/hadoop-2.6.0-cdh5.14.0
大数据面试指南
·
2023-09-07 00:51
hadoop
HDFS
删除节点
HDFS
集群启动 管理界面缺少 DataNode 节点的解决方法
HDFS
集群搭建并启动成功,1个NameNode节点和2个DataNode节点也运行正常,可以在各自的虚拟机中用jps命令查看正在运行的Java进程,但是通过http://master:50070/dfshealth.html
da2869237372
·
2023-09-07 00:51
Hadoop
HDFS
集群动态节点管理
目录一、动态
扩容
、节点上线1.1背景1.2
扩容
步骤1.2.1新机器基础环境准备1.2.2Hadoop配置1.2.3手动启动DataNode进程1.2.4Web页面查看情况1.2.5DataNode负载均衡服务二
Stars.Sky
·
2023-09-07 00:51
Hadoop
hdfs
数据库
hadoop
Footprint Analytics:多角度理解Layer 2生态:概念、
扩容
方案及代表项目
撰文:Footprint分析师Vincy(
[email protected]
)日期:2021年12月数据来源:FootprintLayer2Dashboard(https://footprint.cool/1ypO)据FootprintAnalytics最新数据显示,第四季度的以太坊Layer2总锁仓量(或TVL)较第三季度增幅600%,于11月25日突破71.7亿美元的峰值。截止当前
Footprint_Analytics
·
2023-09-07 00:50
行业动向
区块链
以太坊
去中心化
vector的
扩容
原理、resize与reserve的区别
不同编译器对vector的
扩容
方式实
Runjavago
·
2023-09-06 20:02
编程技巧
c++
数据结构与算法
c++
算法
开发语言
Go语言最全面试题,拿offer全靠它,附带免积分下载pdf
Go语言是如何实现切片
扩容
的?看
林欣快滚去学习
·
2023-09-06 20:06
golang
pdf
java
hive关联外部表的注意事项
event_day='{YESTERDAY}');ALTERTABLEXXXADDIFNOTEXISTSPARTITION(event_day='{YESTERDAY}')LOCATION'XXX';1.
hdfs
攻城狮Kevin
·
2023-09-06 19:32
Hive
hive
big
data
hadoop
hive mysql 外部表_hive外部表
外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致),删除外部表的同时并不会删除location指定目录下的文件.1.查看
hdfs
Rosie Lau
·
2023-09-06 19:01
hive
mysql
外部表
hive中内部表、外部表、分区表、桶表、拉链表
hive查询的基本原理hive的设计思想是通过元数据解析描述将
HDFS
上的文件映射成表基本的查询原理是当用户通过hql语句对hive中的表进行复杂数据处理和计算时候,默认将其准换为分布式计算mapReduce
李大寶
·
2023-09-06 19:30
大数据
hive
hadoop
数据仓库
spark on ack (ali EMR on ACK) 问题汇总
2、pyspark之前一直使用--archives参数,将
hdfs
上的python环境包下载到drive,execute端执行。
迷茫_小青年
·
2023-09-06 19:13
Java集合面试
HashMap什么情况下会触发
扩容
呢?HashMap与ConcurrentHashMap的区别是什么?HashMap和Hash
豆豆子i
·
2023-09-06 17:21
面试总结
java
面试
python
安卓系列机型--软
扩容
“system分区
扩容
”操作步骤解析 增加系统分区大小
感兴趣的友友要区别
扩容
的概念。软
扩容
与硬
扩容
。硬
扩容
指拆解手机字库。更换大容量的字库来达到硬
扩容
。例如8+64硬
扩容
为8+256等等。所谓的软
扩容
指的是将系统默认的系统分区大小修改分区表增大分区。
安卓机器
·
2023-09-06 17:27
玩机搞机基本常识
刷机技术贴
安卓手机扩容
手机扩容
分区扩容
修改分区大小
hdfs
离开安全模式
大家没有关闭hadoop服务就关机,有些时候某些设备再开启启动就会进入一种安全模式使用下面命令就能离开安全模式正常使用
hdfs
dfsadmin--safemodeleave
超爱慢
·
2023-09-06 15:59
hdfs
hadoop
大数据
Hadoop:Call From wish/192.168.11.1 to wish:9000 failed on connection exception:java.net.ConnectExcep
问题:今天用eclipse连接hadoop
hdfs
时,配置Map/Reduce(V2)master,DFSmaster时出现以下报错信息:解决办法:1、打开Eclipse,依次点击“Window”→“Preferences
躺平的赶海人
·
2023-09-06 15:58
hadoop
windows下hadoop-eclipse 开发环境搭建连接
HDFS
时报error: failure to login错误
在windows下部署hadoop集群,然后用eclipse部署开发环境搭建好后,连接
HDFS
系统时:在文件夹下提示:error:failuretologin错误,连接不上,多方查找下,本地安装的java
躺平的赶海人
·
2023-09-06 15:28
hadoop
hadoop集群下各项配置文件部署,yarn-site.xml、
hdfs
-site.xml等详细版(待持续更新)
一、yarn-site.xml文件配置,下放resourcemanager简称RM参数默认值(default)备注yarn.resourcemanager.hostnameRM的hostnameyarn.resourcemanager.scheduler.address${yarn.resourcemanager.hostname}:8030RM对AM暴露的地址,AM通过地址想RM申请资源,释放资
躺平的赶海人
·
2023-09-06 15:28
hadoop
hadoop
hdfs
yarn
Error: JAVA_HOME is incorrectly set.Please update E:\hadoop\hadoop-2.6.5\conf\hadoop-env.cmd解决探秘
在控制台输入
hdfs
namenode-format后提示Error:JAVA_HOMEisincorrectlyset.PleaseupdateE:\hadoop\hadoop-2.6.5\conf\hadoop-env.cmd
躺平的赶海人
·
2023-09-06 15:28
hadoop
CentOS6安装Hadoop后运行
hdfs
警告Unable to load native-hadoop library for your platform... using builtin-java
情景:安装hadoop后启动运行
HDFS
报错:WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
躺平的赶海人
·
2023-09-06 15:27
hadoop
【大数据Hive】hive 加载数据常用方案使用详解
目录一、前言二、load命令使用2.1load概述2.1.1load语法规则2.1.2load语法规则重要参数说明2.2load数据加载操作演示2.2.1前置准备2.2.2加载本地数据2.2.3
HDFS
逆风飞翔的小叔
·
2023-09-06 15:26
大数据
hive加载数据
hive加载外部数据
hive数据加载
hive
load数据
hive
load
大数据组件系列-Hadoop每日小问
1、谈谈对
HDFS
的理解?
HDFS
这种存储适合哪些场景?
HDFS
即HadoopDistributedFileSystem,Hadoop分布式文件系统。
躺平的赶海人
·
2023-09-06 15:55
hadoop
hadoop
Hadoop之常用端口号
hadoop3.x
HDFS
NameNode内部通常端口:8020、9000、9820
HDFS
NameNode对用户的查询端口:9870Yarn查看任务运行情况的端口:8088历史服务器:19888
HDFS
NameNode
鼠鼠我呀2
·
2023-09-06 12:09
java
linux
服务器
上一页
92
93
94
95
96
97
98
99
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他