E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Windows 配置kerberos访问并启动访问CDH 集群web UI页面
1、问题描述:CDH集群启用HTTPWeb控制台的Kerberos身份验证后,FireFox下HTTP访问
HDFS
、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
大大大大大大太阳
·
2023-10-20 08:14
Kerberos
Kerberos
CDH
web
ui
Windows
CDH启用Kerberos导致
hdfs
,yarn等页面无法访问解决
CDH启用Kerberos,导致namenode和resourcemanager等页面无法访问,访问页面的时候报错Problemaccessing/cluster.Reason解决方案:将
hdfs
/yarn
me凡
·
2023-10-20 08:13
大数据组件
Problem
accessing
/cluster.
Re
CDH
Kerberos
namenode
web无法访问
LINUX动态
扩容
LINUX动态
扩容
一、查看我们的根分区大小是多少df-h显示此目录下磁盘已满二、进一步发现/proc/目录下有很多不知名的进程,占用了系统空间,且删不掉[root@Anwar01proc]#ls11727630333412560367acpidmakcoremodulessoftirqsvmallocinfo10182803063434413503630670asounddriverkeysmou
Anwar_ec28
·
2023-10-20 08:37
大数据开发实战教程目录
2)大数据系统的架构设计及功能目标设计(3)大数据系统程序开发、企业大数据案例分析的内容利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力;本课程重点让学生掌握五个方面的内容:(1)
HDFS
AI_Bao
·
2023-10-20 08:51
课工场
【大数据开发技术】实验06-SequenceFile、元数据操作与MapReduce单词计数
元数据操作与MapReduce单词计数一、实验目标二、实验要求三、实验内容四、实验步骤附:系列文章SequenceFile、元数据操作与MapReduce单词计数一、实验目标熟练掌握hadoop操作指令及
HDFS
Want595
·
2023-10-20 08:48
《
Hadoop大数据开发技术
》
大数据
mapreduce
Hadoop HA集群部署 - A - 详解
HDFS
概述基
仗剑江湖.红尘笑
·
2023-10-20 07:28
㊣
应用架构解析
㊣
hadoop
Hive数据分析案例——汽车销售数据分析
3.2创建外部表(1)在
hdfs
上创建一个空目录work_ca
lambda33
·
2023-10-20 06:20
Hadoop
数据分析
big
data
必看的11个开源项目
SagooIOT-轻量级的物联网平台管理系统Mars3D-三维地球平台软件系统JuiceFS-为云环境设计,兼容POSIX、
HDFS
和S3协议的分布式文件系统fsr-集资产管理系统+监控系统+简单自愈系统为一体的运维管理故障自愈系统
少壮不努力老大敲代码
·
2023-10-20 06:46
开源
Hive编程指南
Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL语言,来查询存储在Hadoop集群中的数据;Hive可以将大多数的查询转换为MapReduce任务;Hive的缺点:Hadoop和
HDFS
weixin_43177696
·
2023-10-20 06:04
大数据经典书籍笔记
hadoop
hive
数据仓库
【数据结构】顺序表
文章目录一、顺序表介绍二、动态顺序表的实现2.1动态顺序表的定义2.2初始化和销毁2.3
扩容
2.4插入2.5删除2.6查找2.7打印2.8主函数三、完整代码"SeqList.h""SeqList.c""
拉普达的城
·
2023-10-20 06:53
数据结构
c语言
顺序表
[go]深入学习Go总结
语法分析类型检查中间代码生成机器码生成类型系统分类底层类型类型相同类型赋值类型强制转换类型方法自定义类型方法方法调用方法调用时的类型转换类型断言接口类型查询数据结构数组初始化访问和赋值切片数据结构初始化追加和
扩容
复制切片拓展表达式
CRAJA
·
2023-10-20 05:13
Go
golang
lvm卷
扩容
给虚拟机的根目录下,添加40G磁盘空间。查询当前磁盘情况~]#df-hFilesystemSizeUsedAvailUse%Mountedon/dev/mapper/centos-root8.0G1.9G6.2G24%/~]#fdisk-lDisk/dev/sda:53.7GB,53687091200bytes,104857600sectors........DeviceBootStartEndB
任总
·
2023-10-20 04:29
LVM设置+添加硬盘+
扩容
+缩容
系统盘:/dev/vda1数据盘:/dev/vdb1在数据盘上建立LVM1.fdisk-l2.fdisk/dev/vdb(在数据盘上创建linux_8e分区)2.12.2同步分区表partprobe或者重启3.pvscan4.pvcreate/dev/vdb15.pvdisplay或pvs6.vgscan7.vgcreateyour_vgname/dev/vdb1例:vgcreatevg1/dev
ittony
·
2023-10-20 04:51
HashMap为什么要先插入再
扩容
JDK1.8
我们知道HashMap的底层是由数组,链表,红黑树组成的,在HashMap做
扩容
操作时,除了把数组容量扩大为原来的两倍外,还会对所有元素重新计算hash值,因为长度扩大以后,hash值也随之改变。
码上得天下
·
2023-10-20 04:19
java基础
java
开发语言
hdfs
orc格式_大数据:Hive - ORC 文件存储格式
一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar),ORC文件格式是一种Hadoop生态圈中的列式存储格式,它的产生早在2013年初,最初产生自ApacheHive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每一个行组内进行按列存储。ORC文件是自描述的,它的元数据
weixin_39854369
·
2023-10-20 03:35
hdfs
orc格式
Java动态生成parquet格式数据并导入Hive
1.Java动态生成Parquet文件本样例是根据动态传参在本地(也可以直接在
HDFS
上)生成Parquet文件,具体原理
Slience_92
·
2023-10-20 03:35
数仓
hive
java
hadoop
parquet
ORC文件存储格式和数据写入过程
配置参数及相关概念ORC文件格式UML类图OrcFilewriter创建OrcFileWriter配置参数相关概念动态数组DynamicIntArray和DynamicByteArray初始化chunk
扩容
wankunde
·
2023-10-20 03:34
hadoop
Java API 写 Hive Orc文件
下面的代码将三行数据:张三,20李四,22王五,30写入
HDFS
上的/tmp/lxw1234/orcoutput/lxw1234.com.orc文件中。
赶路人儿
·
2023-10-20 03:31
java
hadoop
#
hive
hive
orc
Java API连接
HDFS
并创建Orc文件
参考之前文章:JavaAPI操作HA方式下的HadoopstaticStringClusterName="nsstargate";privatestaticfinalStringHADOOP_URL="
hdfs
空山苦水禅人
·
2023-10-20 03:31
大数据
hdfs
java
hadoop
orc文件的读写及整合hive
1.使用datax
hdfs
reader的时候有时候
hdfs
writer的写速度过慢,针对的我之前的splitpk,可以一定程度减少这个耗时,但是他慢就是慢,就好像a干活很慢,你现在用10个a干活,比之前肯定快
cclovezbf
·
2023-10-20 03:00
hive
orc读写
hive
大数据
hadoop
Parquet文件测试(一)——使用Java方式生成Parqeut格式文件并直接入库的Hive中
生成Parquet格式文件并同步到Hive中验证目标Parquet格式是否可以直接将上传到
Hdfs
中的文件,加载到目标数据表中(Hive)。生成Parquet格式文件,并上传到
Hdfs
中。
lyanjun
·
2023-10-20 03:29
Hadoop组件使用记录
hive
hdfs
java
JAVA生成ORC格式文件
一、背景由于需要用到用java生成
hdfs
文件并上传到指定目录中,在Hive中即可查询到数据,基于此背景,开发此工具类ORC官方网站:https://orc.apache.org/二、支持数据类型三、工具开发
数据的小伙伴
·
2023-10-20 03:28
Java
Hive
java
开发语言
hive
hadoop
链表的概念+MySingleList的实现
查找单链表中是否包含关键字key5.得到链表的长度6.头插法7.尾插法8.任意位置插入8.删除结点清空链表顺序存储:顺序表/ArrayList优点:给定下标的时候,查找速度快o(1)缺点:插入和删除时要移动元素o(n)、每次
扩容
会浪费资源由于
翁佳明
·
2023-10-20 02:02
数据结构
链表
数据结构
java
笔记
开发语言
jvm
大数据开发之Hive篇4-Hive数据操作语言
备注:Hive版本2.1.1文章目录一.Hive的DML(数据操作语言)概述二.Load命令2.1数据准备2.2将服务器文件加载到hive表2.3将
HDFS
文件加载到hive表三.INSERTINTOTABLEFROMQuery3.1Insertintoselect
只是甲
·
2023-10-20 01:22
#
Hive
大数据和数据仓库
hive
数据仓库
DML
加载数据
基于Delta Lake的Upserts数据湖方案
导读基于
HDFS
的传统数据存储方案由于
HDFS
等存储平台的限制,只能增加文件不能修改文件中的内容。想要实现某条记录的变更,就需要读取对应的文件并进行重写,效率极低,而且容易引起数据不一致和冲突。
AllenGd
·
2023-10-20 01:50
大数据
大数据
Apache Doris 02|导入数据遇到的问题
1、brokerload数据导入失败loadlabelexample_db.stuscore(datainfile("
hdfs
://devtest4.com:50070/tmp/testdata/stuscore.txt
爱吃鱼的荔果果
·
2023-10-20 00:55
Doris
天猫双十一促销活动都有哪些?2023双十一优惠活动详情一览
1.超级红包:双十一还有订阅红包、
扩容
红包、手速红包等。2.愿望清单:愿望清单的玩法流程如下:创建愿望清单->分享并返还红包->订购并退回红包。3、购物津贴:购物津贴折扣无上限,买得越多折扣越多。
万弧导师
·
2023-10-19 23:51
大数据开发中的秘密武器:探索Hadoop纠删码的奇妙世界
随着大数据技术的发展,
HDFS
作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性,
HDFS
通过复制来实现这种机制。
技术琐事
·
2023-10-19 22:46
hadoop
java
java-ee
后端
spring
Hive篇面试题+详解
Hive的主要功能是将结构化数据映射到Hadoop的分布式文件系统(
HDFS
)上,并提供高级查询和分析功能。2.Hive与传统关系型数据库的区别是什么?
Young_IT
·
2023-10-19 22:39
大数据开发
hadoop
hive
大数据
hadoop 集群
标签:Hadoop搭建分布式集群环境MapReduceYARN
HDFS
分布式环境搭建之环境介绍之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境
大诗兄_zl
·
2023-10-19 21:12
hadoop之旅6-windows本地MapReducer离线单词统计
通过上篇文章hadoop之旅5-idea通过maven搭建
hdfs
环境,相信大家都可以在idea上做hadoop访问
hdfs
文件系统的开发了。一个云盘其实就可以基于这样的系统做出来。
尔以凡
·
2023-10-19 20:30
湖仓一体架构的特性
湖仓一体架构是一种数据架构模式,具有以下特性:统一存储:湖仓一体架构将数据湖和数据仓库合并为一个整体,将结构化数据和非结构化数据存储在同一个存储系统中,如Hadoop分布式文件系统(
HDFS
)或云存储服务
abckingaa
·
2023-10-19 17:55
DB
DB
java 数组排序
packagecom.pl;importjava.util.Arrays;publicclassarray_3{publicstaticvoidmain(String[]args){//数组
扩容
int[
webxscan
·
2023-10-19 15:19
算法
排序算法
java
你真的懂ArrayList吗?
ArrayList底层原理1.ArrayList动态
扩容
的方法?
小白养成记¥
·
2023-10-19 14:49
java
算法
开发语言
Kubernetes(k8s)介绍和系统架构及组件功能
介绍和系统架构及组件功能一k8s介绍具体介绍可自行去官网查看:www.kubernetes.io,这边主要说明k8s是用来干什么的,k8s主要用来自动化部署、扩展和管理容器应用,提供了资源调度、部署管理、服务发现、
扩容
缩容
liaowunonghen
·
2023-10-19 13:00
架构学习篇
虚拟机
扩容
(/dev/mapper/centos-root 空间不足)
root用户后看磁盘占用情况发现/dev/mapper/centos-root盘有62g,#fdisk-l//通过这个命令,查看到剩下的空间添加分区的命令如下fdisk/dev/sda3mnpw虚拟机
扩容
虚
蛋皮皮652
·
2023-10-19 12:36
spark集成hive
ambari版本Version2.7.4.0HDP版本HDP-3.1.4.0hive版本3.1.0spark版本2.3.0集群前提条件:1.Hdp、Spark、Hive都已部署好2.Hive数据层建好,在
Hdfs
jiedaodezhuti
·
2023-10-19 11:13
大数据
spark
hive
大数据
JVM第十三讲:调试排错 - JVM 调优参数
通常这两个配置参数相等,避免每次空间不足,动态
扩容
带
程序员 jet_qi
·
2023-10-19 10:28
深入理解java虚拟机
jvm
JVM调优
G1
GC
垃圾回收
Jvm参数
GC日志
AWS动态
扩容
卷的大小
1、打开ecs管理界面选择实例所在地区(这里选择的是爱尔兰),点击“卷”,选择需要动态
扩容
的卷1569550538571选择一块需要
扩容
的卷,然后点击“操作”、“修改卷”1569549849469修改卷的大小
那达慕zqliu
·
2023-10-19 08:23
spark-shell读取
hdfs
数据
打开spark-shell,输入下面代码(注意“yourPATHin
HDFS
”这里换成自己文件的路径)valtextFile=sc.textFile("
hdfs
://localhost:9000/yourPATHin
HDFS
密言
·
2023-10-19 07:21
分布式框架
spark
Hadoop 文件读取
KeyWords:namenode,datanode,
HDFS
,
HDFS
Client,DistributedFileSystem,FSDataInputStreamHadoop文件读取Hadoop对于文件的读取流程
Grits
·
2023-10-19 07:47
HashMap 核心知识,扰动函数、负载因子、
扩容
链表拆分
HashMap核心知识,扰动函数、负载因子、
扩容
链表拆分上次预习简单实现HashMap扰动函数的意义初始化容量、负载因子初始值的认识
扩容
方法解释链表和红黑树未说明未来的JDK版本(截止JDK18)神奇的对
Jinweb
·
2023-10-19 05:21
☀️☀️基于Spark、Hive等框架的集群式大数据分析流程详述
本文目录如下:基于Spark、Hive等框架的集群式大数据分析流程详述第1章淘宝双11大数据分析—数据准备1.1数据文件准备1.2数据预处理1.3启动集群环境1.4导入数据到Hive中1.4.1把目标文件上传到
HDFS
页川叶川
·
2023-10-19 05:57
Spark学习笔记
Spark
ML学习笔记
SparkSQL学习笔记
spark
hive
big
data
Hadoop集群启动后,缺少namenode或datanode进程
简述:NameNode是
HDFS
的主节点,是负责管理整个
HDFS
集群的,相当于一个团队的老大,若没有启动,则不会进入web界面等。
y215204
·
2023-10-19 04:21
hadoop
大数据
分布式
启动
HDFS
时jps查看不到namenode
这里写自定义目录标题问题描述解决办法总结问题描述使用命令start-dfs.sh启动集群,然后使用jps查看进程时发现没有namenode,SecondaryNameNode、和DataNode正常启动,其他集群的DataNode也是正常启动。然后去/export/server/hadoop-3.3.4/logs查找日志文件,发现日志中的错误信息为:ERRORorg.apache.hadoop.h
道可道 非常道
·
2023-10-19 04:48
hdfs
hadoop
大数据
Hadoop集群配置运行
文章目录前期准备配置JDK环境Hadoop安装配置hadoop-env.shcore-site.xml
hdfs
-site.xmlmapred-site.xmlyarn-site.xmlworkersHadoop
Icy Hunter
·
2023-10-19 04:18
大数据开发技术
hadoop
大数据
java
hadoop启动集群之后没有namenode的一种情况
我的做法是:检查你的hadoop的配置文件是否填写正确,我的hadoop的
hdfs
-site.xml中的主机IP地址未填写正确,导致启动集群服务后namenode启动不上,
hdfs
当然也没法用。
薯条不蘸番茄酱
·
2023-10-19 04:17
hadoop
hdfs
大数据
hadoop集群启动master节点jps后没有namenode解决方案
stop-all.sh2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logscd/usr/local/hadooprm-rftmprm-rflogsmkdirlogs3.重新格式化namenode
hdfs
namenode-format4
1dress
·
2023-10-19 04:17
hadoop
hdfs
大数据
分布式
多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动
多次重新初始化hadoopnamenode-format后,DataNode或NameNode没有启动在搭建完hadoop集群后,需要对主节点进行初始化(格式化)其本质是清理和做一些准备工作,因为此时的
HDFS
Oraer_
·
2023-10-19 04:47
数据仓库
大数据分析
hadoop
hdfs
大数据
hadoop启动后无namenode
一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/
hdfs
/data/current
congsha3684
·
2023-10-19 04:14
大数据
上一页
66
67
68
69
70
71
72
73
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他