E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HADOOP_HOME
hadoop的HA安装
tar-zxvfhadoop-2.7.5.tar.gz2.修改环境变量vi/etc/profileexportHADOOP_HOME=/data/hadoop/hadoop-2.7.5exportPATH=$PATH:$
HADOOP_HOME
我在呢呵呵
·
2020-09-13 22:54
开发笔记
HADOOP基本操作命令,及其组件端口
)架构系列文章hadoop的集群部署,可以参考https://blog.csdn.net/luanpeng825485697/article/details/81985602假设Hadoop的安装目录
HADOOP_HOME
数据架构师
·
2020-09-13 22:35
大数据
系列课程
快速学习实战应用
hadoop常用命令
启动Hadoop进入
HADOOP_HOME
目录。执行shbin/start-all.sh关闭Hadoop进入
HADOOP_HOME
目录。
De_Moivre
·
2020-09-13 21:20
Hadoop
Hadoop Streaming 实战: 传递环境变量
常用的环境变量如下:
HADOOP_HOME
计算节点上配
yfk
·
2020-09-13 20:50
Spark-Sql启动报错:Error creating transactional connection factory
将$
HADOOP_HOME
/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。2、运行SparkQL在cd/usr/local/spark,下运行.
午后的红茶meton
·
2020-09-13 20:09
Spark使用
运行Hadoop测试代码
$cd$
HADOOP_HOME
$antjar-test$bin/hadoopjarbuild/hadoop-0.19.1-dc-test.jar//从列表中选择想运行的程序TEST_PROGRAM$bin
malik76
·
2020-09-13 19:26
Hadoop
大数据
java
runtime
hadoop常用命令
启动Hadoop进入
HADOOP_HOME
目录。执行shbin/start-all.sh关闭Hadoop进入
HADOOP_HOME
目录。
驰驰的老爸
·
2020-09-13 19:22
hadoop
运行hadoop的MapReduce示例,在Running job卡住
所有的hadoop机器,${
hadoop_home
}/etc/hadoop/yarn-site.xml有以下配置:yarn.resourcemanager.hostnamemaster
小山丘
·
2020-09-13 18:05
hadoop
mr
大数据实操篇 No.5-Hive 高可用方式集群部署
tar-zxvfapache-hive-1.2.1-bin.tar.gz-C/opt/module/2.2修改conf目录下配置$mvhive-env.sh.templatehive-env.sh$vihive-env.sh2.3配置
HADOOP_HOME
pezynd
·
2020-09-13 18:51
从0到1的大数据探索
hive
hadoop
大数据
sql
hdfs
hadoop stream 参数详解
譬如,$
HADOOP_HOME
/bin/hadoopjar$
HADOOP_HOME
/hadoop-streaming.jar-input
azhao_dn
·
2020-09-13 18:40
hadoop
hadoop 设置 命令全局化
:$
HADOOP_HOME
/bin:$JAVA_HOME/bin:$
口袋里的小龙
·
2020-09-13 18:24
Hadoop
bash: hadoop:command not found
hadoopnamenode-format提示-bash:hadoop:Nosuchfileordirectory这种情况应该是hadoop的bin环境变量没有配置好,修改vim/etc/profile文件export$
HADOOP_HOME
小透明-溶冰
·
2020-09-13 17:37
Hadoop
hadoop客户端运行hdfs的方法出现错误
再Windows上用idea工具编写代码实现客户端操作hdfs命令,(有的电脑)可能会有部分命令不能成功并报错报错原因:fileNotFoundException:找不打
hadoop_home
和hdfs-user-dir
一过人_
·
2020-09-13 16:03
可能遇到的问题及解决方案
hadoop
hadoop常用命令
启动Hadoop进入
HADOOP_HOME
目录。执行shbin/start-all.sh关闭Hadoop进入
HADOOP_HOME
目录。
weixin_34360651
·
2020-09-13 10:57
Unable to load native-hadoop library for your platform... using builtin-java classes where applicab
#vi/etc/profile或者vi~/.bash_profileexportHADOOP_COMMON_LIB_NATIVE_DIR=$
HADOOP_HOME
/lib/nativeexportHADOOP_OPTS
飞鸟zjs
·
2020-09-13 07:05
hadoop
ssh: Could not resolve hostname you: Temporary failure in name resolution
Couldnotresolvehostnameyou:Temporaryfailureinnameresolution”解决办法:在/etc/profile中添加如下信息:exportHADOOP_COMMON_LIB_NATIVE_DIR=$
HADOOP_HOME
炫街舞
·
2020-09-13 07:12
Hadoop/大数据
Hadoop Eclipse 插件编译安装
hadoopeclipse插件的源代码位于$
HADOOP_HOME
/src/contrib/eclipse-plugin下面。
iteye_17458
·
2020-09-13 05:41
hadoop
eclipse
Spark学习笔记@第一个例子wordcount+Eclipse
在弹出的框中,按照下图所示,依次选择“JavaBuildPath”–>“Libraties”–>“AddExternalJARs…”,导入spark依赖的jar包,如下:$SPARK_HOME/lib$
HADOOP_HOME
pigcoffee
·
2020-09-13 05:28
spark
HADOOP_HOME
and hadoop.home.dir are unset.本地运行模式报错解决方案
在Windows系统环境变量中配置HADOOP_USER_NAMEroot变量值写你的linux用户名,我这里是root重启idea!
uvw.
·
2020-09-13 04:31
hadoop
mapreduce
hadoop集群及单节点安装教程
hadoop下载1、安装jdk参考:jdk下载2、下载hadoop,原理同12、环境修改#vi/etc/hostname分别修改三台主机名为:hadoop1、hadoop2、hadoop3添加环境变量:
HADOOP_HOME
shoust
·
2020-09-13 04:10
大数据体系
eclipse配置hadoop运行环境
覆盖进去配置环境变量%
HADOOP_HOME
%\bin将插件文件拷贝到c盘Windows的system32目录下
laughing1997
·
2020-09-12 19:05
大数据
Hadoop之HDFS上测试创建目录、上传、下载文件
1、HDFS上创建目录${
HADOOP_HOME
}/bin/hdfsdfs-mkdir/demo12、上传本地文件到HDFS上${
HADOOP_HOME
}/bin/hdfsdfs-put${
HADOOP_HOME
Little Programmer
·
2020-09-12 03:10
Hadoop
idea 配置spark hive踩坑
1.保证本地装有hadoop,并且保证%
HADOOP_HOME
%\bin\winutils.exechmod777F:\tmp\hive2.SparkSession.builder().appName(
问天海东青
·
2020-09-11 11:46
hadoop 学习记录
CLASSPATH变量中,在~/.bashrc中增加如下几行:exportHADOOP_HOME=/usr/local/hadoop#HADOOP_HOME已经定义则不需要写exportCLASSPATH=$($
HADOOP_HOME
流沙-岁月
·
2020-09-11 10:14
hadoop
Windows搭建spark python开发环境
3、scala、hadoop和spark则从官网下载压缩文件,解压后放到指定的安装目录即可,还需要下载hadoop在windows下使用到的winutils.exe,放到
HADOOP_HOME
/bin目录下
sunrising_hill
·
2020-09-11 10:55
Spark
Hadoop
spark在windows下启动报找不到winutils的错误
spark程序,报以下错误:错误原因是找不到winutils.exe解决方案:在这个网站下载对应hadoop版本的winutils:https://github.com/4ttty/winutils然后建立
HADOOP_HOME
简同学Jan
·
2020-09-11 09:41
大数据
菜鸟进阶(Hive的安装与使用)
tar-zxvfhive-1.2.1.tar.gz3.安装mysql数据库推荐yum在线安装(运行脚本安装)4.配置hive(a)配置HIVE_HOME环境变量viconf/hive-env.sh配置其中的$
hadoop_home
傷 訫
·
2020-09-11 01:52
启动hive出错Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina
Foundclassjline.Terminal,butinterfacewasexpected解决方案:cp/usr/apps/hive/hive‐1.2.1/lib/jline‐2.12.jar$
HADOOP_HOME
C_time
·
2020-09-10 23:17
Hive
hadoop客户端远程调用yarnwindow和Linux版本安装
2.2、在系统环境变量里面的系统设置,添加
HADOOP_HOME
,路径是你解压hadoop-
ly8951677
·
2020-09-10 15:55
大数据
hadoop2 JAVA_HOME is not set and could not be found
$
HADOOP_HOME
/etc/hadoop/yarn-env.sh中添加:--------------------------------上面添加------exportJAVA_HOME=/usr
oO寒枫Oo
·
2020-08-25 17:59
hadoop
idea hadoop 本机编程
本机下载hadoop解压配置hadoop_homepath%
hadoop_home
%bin;%
hadoop_home
%sbin;下载winutils.exewinutils.pdblibwinutils.libhadoop.dllhadoop.exphadoop.libhadoop.pdb
沙漠飘雪
·
2020-08-25 16:57
Hadoop基础知识面试题整理
并配置环境变量(/etc/profile)关闭防火墙配置hosts文件,方便hadoop通过主机名访问(/etc/hosts)设置ssh免密码登录解压缩hadoop安装包,并配置环境变量修改配置文件($
HADOOP_HOME
吴国友
·
2020-08-25 15:25
flume框架案例之抽取文件
k3a3.channels=c3#Describe/configurethesource#源是某个目录使用spooldira3.sources.r3.type=spooldir#抽取的目录$cp-r${
HADOOP_HOME
我不是李寻欢
·
2020-08-24 15:23
Flume
运行Hadoop遇到的问题
Unrecognizedoption:-jvmlocalhost:CouldnotcreatetheJavavirtualmachine.下面是别人的解决方案:(可以修改的地方有两个)第一个(次要的):$
HADOOP_HOME
weixin_30321709
·
2020-08-23 20:53
eclipse或idea中开发spark程序本地运行以及提交集群运行
像配置jdk环境变量一样配置
HADOOP_HOME
到hadoop目录。把%
HADOOP_HOME
%\bin加入path。2、Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。
一笑1874
·
2020-08-22 20:50
spark
spark
idea开发
eclipse开发
远程调用集群运行
本地模式
HDFS-异常大全-《每日五分钟搞定大数据》
dfs.hosts.exclude/data/hadoop/excludes复制代码在/data/hadoop/excludes文件添加要退役的节点ip(可同时退役多个,一个一行)2.配置完后刷新节点#$
HADOOP_HOME
weixin_33895475
·
2020-08-22 19:43
如何在windows上搭建hadoop的客户端
获取hadoop包最简单的方式就是直接将master上的hadoop包下载到本地配置环境变量#新增
HADOOP_HOME
=D:\too
对饮雄黄
·
2020-08-22 16:14
大数据
hadoop
windows客户端
spark 项目 一般常见的一个小错误
Failedtodetectavalidhadoophomedirectoryjava.io.IOException:HADOOP_HOMEorhadoop.home.dirarenotset.解决方法,本地设置一下
hadoop_home
Helen_Cat
·
2020-08-22 11:04
伪分布式部署2018-05-17
tar-xzvfhadoop-2.8.1.tar.gz2、配置环境变量、生效vi/etc/profileexportHADOOP_HOME=/opt/software/hadoop-2.8.1exportPATH=$
HADOOP_HOME
糊涂蟲
·
2020-08-22 01:18
hadoop:未找到命令(bash:hadoop:command not found),配置环境变量
commandnotfoundbash:hadoop:未找到命令解决配置环境变量,根目录下的.bashrc文件exportHADOOP_HOME=/usr/local/hadoopexportPATH:$PATH:$
HADOOP_HOME
poppyCL
·
2020-08-21 20:31
Hadoop单机版安装
环境:centos6.2,jdk7_u45,hadoop2.2.0下载,解压过程就不说了,直接环境配置(包括JAVA_HOME的配置,以及
HADOOP_HOME
的环境变量配置,都略过了)。
天道酬勤厚积薄发
·
2020-08-21 19:09
大数据Hadoop3.1.3——HDFS文件系统的客户端操作(基础)
1、HDFS客户端环境准备1、将Windows依赖hadoop-3.1.0放到指定位置,设置环境变量将bin目录下的hadoop.dll放到下列目录下:2.配置
HADOOP_HOME
环境变量3.配置Path
Caron_xcb
·
2020-08-21 16:19
Hadoop
hadoop安装的时候,提前确认hadoop版本是32位还是64位。
即进入$
hadoop_home
/lib/native,使用file命令#########
levy_cui
·
2020-08-21 14:51
KETTLE不能连接hadoop
不能连接hadoop今天做KETTLE测试发现kettle不能连接hadoop看了一下教程:https://www.jianshu.com/p/258fef7c7dbe发现要更新4个xml文件:文件目录:$
hadoop_home
AsItachi
·
2020-08-21 04:09
Kettle
ETL
HADOOP
个人整理Hive安装手册(1)--后期不断更新
tar-zxvfhive-1.2.1.tar.gz3.安装mysql数据库推荐yum在线安装(运行脚本安装)4.配置hive(a)配置HIVE_HOME环境变量viconf/hive-env.sh配置其中的$
hadoop_home
马小邱
·
2020-08-20 23:56
git
程序员
hive
大数据
数据库
个人整理Hive安装手册(1)--后期不断更新
tar-zxvfhive-1.2.1.tar.gz3.安装mysql数据库推荐yum在线安装(运行脚本安装)4.配置hive(a)配置HIVE_HOME环境变量viconf/hive-env.sh配置其中的$
hadoop_home
马小邱
·
2020-08-20 23:08
git
程序员
hive
大数据
数据库
hdfs常用命令
创建目录hdfsdfs-mkdir/tmp/spark上传本地文件到指定hadoop目录${
HADOOP_HOME
}/bin/hdfsdfs-put${
HADOOP_HOME
}/etc/hadoop/cor
weixing_2006
·
2020-08-20 20:48
hive
hadoop
Eclipse连接Hadoop集群及WordCount实践
/pan.baidu.com/s/1i51UsVN3、Hadoop下载与配置下载解压即可,下载地址:https://pan.baidu.com/s/1i57ZXqt配置环境变量:在系统变量中新建变量:
HADOOP_HOME
陈贤靖
·
2020-08-20 20:14
hadoop
eclipse
wordcount
Eclipse连接Hadoop集群及WordCount实践
/pan.baidu.com/s/1i51UsVN3、Hadoop下载与配置下载解压即可,下载地址:https://pan.baidu.com/s/1i57ZXqt配置环境变量:在系统变量中新建变量:
HADOOP_HOME
陈贤靖
·
2020-08-20 20:14
hadoop
eclipse
wordcount
lzo文件的并行map处理
下面的命令对某个目录里的lzo文件创建index:$
HADOOP_HOME
/bin/hadoopjar$
HADOOP_HOME
/lib/hadoop-lzo-0.4.10.jarcom.hadoop.compression.lzo.Lz
weixin_34102807
·
2020-08-20 19:51
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他