E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HADOOP_HOME
hadoop 3.x 无法访问hdfs(50070,8088)的web界面
界面的端口修改hdfs-site,xml中加上如下配置再次启动后,netstat-nltp|grep5070,仍然没有该端口号信息的话说明namenode可能没有成功启动,建议先jps下如果没有再去$
HADOOP_HOME
weixin_30725467
·
2020-07-12 06:21
hadoop项目
:$
HADOOP_HOME
/shar
sunsi_10
·
2020-07-12 00:58
BigData
Hadoop-Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
:Error:Couldnotfindorloadmainclassorg.apache.hadoop.mapreduce.v2.app.MRAppMaster根据报错提示找到hadoop安装目录下$
HADOOP_HOME
Sun-wz
·
2020-07-11 17:47
Hadoop
mac安装配置hive2.0
blog.csdn.net/an342647823/article/details/46048403http://andrewliu.in/2015/04/25/Mac下安装Hive及使用/##配置hadoop2.6.0$$
HADOOP_HOME
铁头乔
·
2020-07-11 14:59
Hadoop
Hive集群搭建
1、下载hive压缩包解压到指定的目录:2、修改配置进入hive配置文件夹添加配置文件 mvhive-env.sh.templatehive-env.shvihive-env.sh配置
HADOOP_HOME
fengchengwu2012
·
2020-07-11 05:20
大数据
hive
Hive-1.2.2安装(本地模式)
Hive-1.2.2安装(本地模式)必要条件Java1.7(Hive1.2及以上版本需要Java1.7或更高版本)Hadoop2.x(推荐),1.x(不支持Hive2.0.0以上版本).配置好环境变量
HADOOP_HOME
chennaihuan0842
·
2020-07-11 03:37
执行hadoop jar命令时报Not a valid JAR
hadoopjar$
HADOOP_HOME
/share/hadoop/common/hadoop-lzo.jar\com.hadoop.compression.lzo.LzoIndexer/user/hive
蔡大远
·
2020-07-11 03:30
其它
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)
大数据入门笔记系列】第五节SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量
HADOOP_HOME
Jack_Roy
·
2020-07-10 22:52
大数据入门笔记
Hadoop
hadoop namenode进程参数调整
修改hadoop-env.sh添加vi$
HADOOP_HOME
/conf/hadoop-env.shexportHADOOP_NAMENODE_OPTS="-Xmx16384m-Xms4096m-Xmn2048m-verbose
wuzhilon88
·
2020-07-10 12:54
hadoop学习
hadoop2.7.7完全分布式及HA步骤安装(二)之真的很扎心的hbase-1.4.9的安装(史上最全)
环境变量exportHBASE_HOME=/usr/local/hbase-1.4.9exportPATH=$HBASE_HOME/bin:$
HADOOP_HOME
/sbin:$ZOOKEEPER_HOME
妹妹叫朕咕咕哒
·
2020-07-10 10:04
hbase
hadoop
win 10 + maven + idea 15 + Hadoop 2.7.3开发环境配置
在win10上配置Hadoop将Hadoop2.7.3直接解压到系统某个位置,以我的文件名称为例,解压到E:\大数据平台\hadoop\hadoop-2.7.3中配置
HADOOP_HOME
以及PATH创建
天空中的一缕微风
·
2020-07-10 02:29
Hadoop
大数据开发--hadoop压缩 snappy测试
摘要: 我们用Apache或者CDH下载下来的hadoop安装包来安装hadoop是不支持snappy压缩的,我们可以查看$
HADOOP_HOME
/lib/native,最开始里面是空的。
夏至1208
·
2020-07-09 22:18
Hadoop
sqoop
flume采集数据到hdfs
说明:flume1.5,hadoop2.21、配置JAVA_HOME和
HADOOP_HOME
说明:
HADOOP_HOME
用于获取flume操作hdfs所需的jar和配置文件,如果不配置,也可以手动拷贝jar
程序小小望
·
2020-07-09 18:01
大数据
大数据学习笔记2--hdfs工作原理及源码分析
windows下配置hadoophadoop安装包解压,路径不要有特殊字符lib和bin直接解压出来的不可用,需要自己重新编译配置环境变量:
HADOOP_HOME
,path中添加:bin目录namenode
程序小小望
·
2020-07-09 18:01
大数据
怎么停止和重新启用hadoop的DataNode
台上.这道过程就是decommission.我们不能直接把那2台停掉,要在停掉之前把数据转移出去.首先建立一个excludes文件.它是一个文本,里面每行就是想要停掉的主机名.这里excludes放在$
HADOOP_HOME
coderplay
·
2020-07-09 14:46
Hadoop Pipes程序运行报错Server failed to authenticate解决方法
这个问题网络上已经给出了解决方法——需要重新编译hadooputils和hadooppipes源码都在$(
HADOOP_HOME
)/src/c++/下,编译hadooputils好编译,但是编译hadooppipes
KelJony
·
2020-07-09 11:26
hadoop,zookeeper,hbase,hive集群的启动
总结一下基本的启动操作命令:1、启动hadoop${
HADOOP_HOME
}/bin/start-all.sh2、启动zookeeper启动之间注意服务器时间的同步:sudontpdate0.cn.pool.ntp.org
zhengwangsun
·
2020-07-09 10:40
大数据
利用Java API对HDFS文件系统进行操作
打开我的电脑中的属性,环境变量,点新建添加
HADOOP_HOME
值为你的hadoop所在的目录(注意不要有中文),最后再把hadoop中的bi
卷曲的葡萄藤
·
2020-07-08 18:20
Hadoop
etc.
Hadoop启动顺序 | jps对应进程 | hadoop | zookeeper | hbase | spark
启动hadoopcd$
HADOOP_HOME
/binstart-all.sh主节点SecondaryNameNodeJpsResourceManagerNameNode从节点NodeManagerDataNodeJps
stone_fall
·
2020-07-08 06:04
hdfs
hadoop常用命令
1.进入
HADOOP_HOME
目录。2.执行shbin/hadoopfs-ls/user/admin/aaron这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
沙漠蚯蚓
·
2020-07-08 04:31
hadoop
Hive中常用的一些配置操作(日志,显示等操作)
文件中配置如下参数:hive.metastore.warehouse.dir自己指定仓库位置(eg:/user/hive/warehouse)添加好参数以后,需要对指定的目录附上用户组的权限,执行以下命令:$$
HADOOP_HOME
z小赵
·
2020-07-08 01:24
Hadoop学习第三天-------HDFS和Yarn命令详解
HDFS文件系统的命令:hdfsdfs(推荐使用)hadoopfshadoopdfs以上文件都在%
Hadoop_HOME
%/bin/目录下主要命令列表:命令名称命令使用命令作用copyFromLocal
非秃程序员
·
2020-07-07 22:08
Hadoop
hadoop和Hbase日志位置
重要日志的位置(是启动服务的用户,是机器的名字)NameNode:$
HADOOP_HOME
/logs/hadoop--namenode-.logDataNode:$
HADOOP_HOME
/logs/hadoop
老K的代码world
·
2020-07-07 21:01
大数据之hbase
hadoop 报错:Error: Could not find or load main class
Error:Couldnotfindorloadmainclass报这个错是因为当前运行的.class文件不在hadoop-env.sh文件中exportHADOOP_CLASSPATH=${
HADOOP_HOME
青志
·
2020-07-07 08:28
Hadoop
hadoop 升级
1.停掉HDFS,备份关键数据2.需要备份的数据主要包括配置文件:${
hadoop_home
}/conf目录下的所有配置文件元数据文件:配置文件hdfs-site.xml中的属性“dfs.name.dir
bitcarmanlee
·
2020-07-07 04:57
hadoop
Linux下的hadoop的伪分布式安装
需要注意的:如果是配置文件都在${
hadoop_home
}/etc/hadoop下面执行命令的目录都在hadoop的安装目录下上传hadoop的压缩包首先安装Linux自带的上传下载文件的工具命令:sudoyuminstall-ylrzsz
时光凉
·
2020-07-06 11:22
大数据
hadoop
yarn
Idea远程连接Hadoop运行MapReduce
二、导入jar包及配置文件导入jar包
HADOOP_HOME
/share/ha
池边的树
·
2020-07-06 05:39
hadoop
window系统下搭建hadoop的运行环境
文章目录一、下载安装所需的资源二、配置1、将下载的hadoop文件解压2、配置环境变量在path中加入%
HADOOP_HOME
%\bin3、文件配置3.1、D:\hadoop\hadoop-3.0.2\
StormEnum
·
2020-07-06 05:34
大数据
Linux安装hadoop和HDFS
weixin_39549656/10313902安装在root目录下的apps目录下#tar-zxvfcentos6.5-hadoop-2.6.4.tar.gz-Capps/更改配置文件配置文件进入$
HADOOP_HOME
仅次于鹰
·
2020-07-06 02:34
大数据相关
使用hadoop C接口编写代码错误集合
C接口github编译:g++hello_world.cpp-I${
HADOOP_HOME
}/include-L${
HADOOP_HOME
}/lib/native-lhdfs-L${JAVA_HOME}
吕白_
·
2020-07-06 01:07
hadoop
HDFS启动
步骤依赖于安装文档中的步骤,见Hadoop的单机安装预制几个重要的脚本文件:假设hadoop的安装目录在
HADOOP_HOME
。重要的脚本文件hadoop-functions.sh。
weixin_34396103
·
2020-07-06 01:23
HDFS和MR的配置和使用
一、分布式HDFS的安装和启动①在$
HADOOP_HOME
/etc/hadoop/core-site.xml文件fs.defaultFShdfs://主机名:9000hadoop.tmp.dir/opt
孙晨c
·
2020-07-05 15:00
window10安装hadoop
hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz然后将该tar.gz解压之本地目录,我的目录是:D:\IDEAProject\hadoop-2.8.22.设置
HADOOP_HOME
sunweijm
·
2020-07-05 13:41
hadoop
大数据技术之Hadoop(HDFS)第3章 HDFS客户端操作
2)配置
HADOOP_HOME
环境变量2)配置Path环境变量4)创建一个Maven工程HdfsClientDemo5)导入相应的依赖junitjunitRELEASEorg.apache.logging.log4jlog4j-core2
尚硅谷铁杆粉丝
·
2020-07-05 11:27
Java
windows下安装Hadoop并配置环境变量
dist/hadoop/common/直接解压,不需要安装,放在自己想要放到的目录底下需要设置的变量有HADOOP_HOMEC:\hadoop\spark-2.3.3-bin-hadoop2.7PATH:%
HADOOP_HOME
斗破大陆wawa
·
2020-07-05 06:50
大数据
hadoop
Windows下安装hadoop本地模式
配置流程一、配置环境变量解压好Hadoop,添加环境变量添加
HADOOP_HOME
系统变量变量名:
HADOOP_HOME
变量值:D:
学不会编程的小男孩
·
2020-07-05 06:49
Hadoop
分布式与云计算
hadoop本地环境测试搭建(windows)
hadoop本地环境测试搭建(windows)1.hadoop环境变量设置解压hadoop压缩包变量名:
HADOOP_HOME
变量值:D:\soft\hadoop-2.5.1path追加:%
HADOOP_HOME
山歌里滴放牛娃
·
2020-07-05 03:22
hadoop
LINUX下单机安装HADOOP+HIVE手册
tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中:exportHADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2exportPATH=$
HADOOP_HOME
iteye_13339
·
2020-07-04 18:47
HADOOP
HIVE
hadoop window 配置总结
hadoophome.配置之后加入winutils工具https://github.com/steveloughran/winutils推荐使用2.7.1不要使用2.2.0(有很多问题)a.增加用户变量
HADOOP_HOME
javafanwk
·
2020-07-04 16:11
Hadoop
Hadoop实践(四)---Hadoop集群运维
1、基础运维1.1启动/停止Hadoop在
Hadoop_HOME
/bin下执行./start-all.sh或者./stop-all.sh命令。
狮锅艺
·
2020-07-04 09:54
Hadoop
Hadoop实践
window 安装Hadoop3.0.0
第二步:将下载hadoop-3.0.0.tar.gz解压至指定文件夹C:\hadoop第三步:配置hadoop涉及环境变量:
HADOOP_HOME
:PATH:第四步:涉及Hadoop配置:1、修改C:/
在奋斗的大道
·
2020-07-04 04:09
hadoop
在window下配置hadoop环境
配置hadoop跟配置jdk类似首先配置HADOOP_HOMEE:\hadoop-2.4.1(按照自己下载解压位置配置)再在path路径下后面添加%
HADOOP_HOME
%\bin;可能这就结束了,但是一般在终端输入
wangdong2017
·
2020-07-04 02:25
mahout中k-means算法运行与查看
运行hadoop命令建立testdata文件夹:$
HADOOP_HOME
/bin/hadoopfs-mkdirtestdata并将该文件放入改文件夹下面$
HADOOP_HOME
/bin/hadoopfs-putsynthetic_control.datatestdata
小亚文
·
2020-07-02 17:53
mahout
聚类
hadoop
hadoop部署
配置免密登录如果是集群模式,localhost替换为其他服务器的ip地址或主机名,所有的服务器之间均需要配置免密登陆$ssh-keygen$ssh-copy-idroot@localhost4.配置${
hadoop_home
璐寒
·
2020-07-02 11:14
hadoop
hadoop
flink on yarn模式下两种提交job方式
确保配置
HADOOP_HOME
环境变量。2、flinkonyarn的交互图解3、flink运行在yarn模式下,有两种任务提交模式,资源消耗各不相同。
b078109
·
2020-07-01 17:58
【Spark篇】---Spark中yarn模式两种提交任务方式
二、具体1、yarn-client提交任务方式配置在client节点配置中spark-env.sh添加
Hadoop_HOME
的配置目录即可提交yarn任务,具体步骤如下:注意client只需要有Spark
L先生AI课堂
·
2020-07-01 11:00
Spark汇总
HIVE环境搭建杂交版
伪分布式1、Hadoop环境配置:环境变量配置:java_home=C:\ProgramFiles\Java\jdk1.8.0_201hadoop_home=D:\hadoop-2.9.2path中添加%
HADOOP_HOME
LEEBELOVED
·
2020-07-01 10:54
SQL
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0013--flink分布式部署008
FlinkOnYarn模式下集群最简部署实战一、配置yarn1.编辑yarn-site.xml1.编辑命令vim${
HADOOP_HOME
}/etc/hadoop/yarn-site.xml2.配置内容
云星数据-大数据团队
·
2020-07-01 03:26
bigdata
cloudcomputing
Hive的beeline连接的方式
hivejdbc配置:hive底层的数据存在hdfs的客户端连接hive的时候连接hdfshdfs需要开启连接权限的1)修改hdfs的配置文件修改的hadoop的连接权限1)hdfs-site.xml$
hadoop_home
浮萍人生丶
·
2020-06-30 17:12
Azkaban成功搭建环境的过程
1、先将下载下来2、将压缩包上传到hadoop的NameNode上3、用tarxvfazkaban-0.10.tar.gz解压4、设置
HADOOP_HOME
环境变量:exportHADOOP_HOME=
Gloria_bing
·
2020-06-30 13:29
Azkaban
Java
学习笔记
hadoop
工作杂记
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他