E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HADOOP_HOME
Hive的安装
Hive的安装上传tar包并进行解压安装mysql数据库(推荐使用yum在线安装)配置hive配置HIVE_HOME环境变量viconf/hive-env.sh配置其中的$
hadoop_home
=(这里写
码中小白鼠
·
2019-06-19 20:16
Hive安装
大数据
Linux搭建Hadoop伪分布式环境
jdk-8u201-linux-x64.tar.gzhadoop-3.1.2.tar.gz安装jdk机器免密通讯Hadoop配置解压tar-zxvfhadoop-3.1.2.tar.gz修改配置,在${
HADOOP_HOME
对饮雄黄
·
2019-06-16 09:22
hdfs
伪分布式
搭建外部客户端--------eclipse开发
所在的绝对路径复制上去编辑Path把jdk对应的bin的绝对路径复制上去配置hadoop的环境变量第一步同样需要进入到系统的环境变量中这两个环境变量需要我们自己写的并且需要我们自己加入相对应的路径点击新建,名字要取
HADOOP_HOME
Crazy_Clown
·
2019-06-13 21:18
大数据
大数据知识搭建
开发环境eclipse搭建:1、搭建外部客户端:1.1配置jdk的环境变量1.2配置hadoop的环境变量变量名:
HADOOP_HOME
路径:修改Path%
HADOOP_HOME
%\bin1.3修改系统用户名在系统变量中新建
YJYjhd
·
2019-06-13 21:16
菜鸟进阶大数据第五天(搭建外部客户端)
1、配置环境变量1.1配置jdk的环境变量1.2配置hadoop的环境变量变量名:
HADOOP_HOME
路径:自己HADOOP的地址修改Path%
HADOOP_HOME
%\bin1.3修改系统用户名在系统变量中新建
傷 訫
·
2019-06-13 20:23
一.Windows安装部署hadoop-2.7.5
hadooponwindows-master.zip2.安装Hadoop:下载好Hadoop2.7.5的压缩包之后,解压到目录,放在m:\soft\hadoop-2.7.5配置Hadoop环境变量:Windows环境变量配置
HADOOP_HOME
猪猪侠来了
·
2019-05-21 20:05
MongoDB与Spark分布式系统集成测试
:$JAVA_HOME/bin:$SCALA_HOME/bin:$
HADOOP_HOME
/bin:$SPARK_HOME/b
段智华
·
2019-05-10 17:21
SparkInBeiJing
windows下通过idea连接hadoop和spark集群
###windows下链接hadoop集群1、假如在linux机器上已经搭建好hadoop集群2、在windows上把hadoop的压缩包解压到一个没有空格的目录下,比如是D盘根目录3、配置环境变量
HADOOP_HOME
一寸HUI
·
2019-04-24 10:00
hue之部署集成
安装依赖的环境3.2设置环境变量3.3编译hue3.4设置hue.ini文件($HUE_HOME/desktop/conf/hue.ini)4.Hue集成hadoop4.1修改hadoop配置文件($
HADOOP_HOME
qq_32641659
·
2019-04-17 16:48
hadoop
如何在Windows环境下使用PyCharm开发PySpark
1.安装Python环境Windows搭建python环境请参考2.安装Spark环境官网下载spark并解压3.配置Windows环境
HADOOP_HOME
:D:\bigdata\hadoop-2.8.4SPARK_HOME
SunnyRivers
·
2019-04-03 11:22
python
Spark
hadoop 伪分布式部署(linux) 超详细版
Hadoop配置本地模式下,不需要配置也可以使用,因此伪分布式需要追加如下配置:exportHADOOP_HOME="/usr/local/hadoop-2.7.2"exportPATH=$
HADOOP_HOME
Henry_Lin_Wind
·
2019-03-30 11:45
hadoop
spark问题
hadoopwinutils.exe可已下载相应版本的winutils.exe到hadoop\bin地址:https://github.com/4ttty/winutils并配置环境变量classpath:%
HADOOP_HOME
BoomOoO
·
2019-03-26 15:00
hadoop修改hadoop.tmp.dir
这是你需要修改${
hadoop_home
}/etc/hadoop/core-site.xml文件,添加一个名字为"hadoop.tmp.dir"的p
HBinz
·
2019-03-11 16:42
window环境运行hadoop
需要你的电脑已经安装并配置过jdk安装包以及依赖下载地址:https://download.csdn.net/download/kahhy/10997785解压之后需要在本地配置Hadoop的环境变量
HADOOP_HOME
蓝-锋
·
2019-03-05 16:32
Windows 10 平台使用 Eclipse 运行官方 WordCount 示例
1.Hadoop下载并配置环境变量
HADOOP_HOME
=D:\ProgramFiles\hadoop-3.2.0PATH中追加:%
HADOOP_HOME
%\bin2.winutils下载地址:https
春泥村雨
·
2019-02-26 14:46
hadoop异常处理之nameNode进程无法启动,报org.apache.hadoop.hdfs.server.common.InconsistentFSStateException
1、问题重启hadoop时,控制台正常打印日志,但是jps显示无namenode进程,查询namenode日志,日志在:
HADOOP_HOME
/logs/目录下,报如下错误:2019-02-1919:55
qq_32641659
·
2019-02-23 17:52
hadoop
使用JDBC操作Hive
首先启动Hive的远程服务:hiveserver2&所需jar包的pom文件如下:org.apache.hivehive-jdbc2.3.0为了避免在程序运行时出现以下错误:修改hadoop配置文件$
HADOOP_HOME
曲健磊
·
2019-02-16 22:39
【hive】
Hadoop 2.7.7部署(一)——部署HDFS
系统:Centos7JDK:v1.8在master上操作:添加Hadoop环境,修改/etc/profile文件添加:
HADOOP_HOME
=/usr/local/src/hadoopPATH=$PATH
天天乐见
·
2019-01-31 18:45
大数据组件
Linux之Hadoop伪分布式安装
的安装包到服务器上去2.安装hadoop至app文件下tar-zxcfhadoop-2.4.1.tar.gz-Capp/3.修改配置文件(1)在Hadoop目录的etc配置文件中hadoop文件下进行修改配置操作cd$
HADOOP_HOME
绣花针
·
2019-01-27 18:01
Linux
linux安装hadoop
.编辑配置文件vim/etc/profile添加如下字段#HADOOP_HOMEexportHADOOP_HOME=/opt/module/hadoop-2.7.2exportPATH=$PATH:$
HADOOP_HOME
你的泡芙
·
2019-01-23 16:40
大数据平台搭建
Hadoop伪集群模式搭建
/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz解压tar-zxvfhadoop-2.9.2.tar.gz配置PATHvim/etc/profile添加:
HADOOP_HOME
SilentHeartDZ
·
2019-01-23 12:09
hadoop
大数据
Hadoop 三种配置形态共存
1.创建三个配置目录,内容等同于hadoop目录${
hadoop_home
}/etc/local${
hadoop_home
}/etc/pesudo${
hadoop_home
}/etc/full2.创建符号连接
一只小菜鸟(* ̄︶ ̄)
·
2019-01-21 14:19
Hadoop
三种形态共存
Hadoop
Hadoop学习第二天-------Hadoop集群搭建
一、下载Hadoop安装包,我这里用到的是tar.gz格式的安装包,大家可以从官网自行下载二、修改Hadoop配置文件Hadoop设计的配置文件有以下七个并且都在$
HADOOP_HOME
/etc/hadoop
非秃程序员
·
2019-01-11 13:57
Hadoop
Failed to locate the winutils binary in the hadoop binary path 报错解决
WINDOWS10环境下单机下调试pyspark代码,在没有配置
HADOOP_HOME
的环境变量,会产生ERRORShell:397-Failedtolocatethewinutilsbinaryinthehadoopbinarypathjava.io.IOException
lepton126
·
2019-01-07 10:22
编程
运维
知识点
flink on yarn 集群环境部署
的配置目录修改配置启动yarn效果图HA设置yarn增加配置设置flink-conf.yml效果图错误记录内存申请不足设置yarn的配置目录vim/etc/profile添加exportHADOOP_CONF_DIR=$
HADOOP_HOME
quxiuchengdev
·
2019-01-03 22:07
bigdata
实时
Flink
win10 安装单机版 pyspark
1需要安装spark和hadoop(python3.6需要spark2.1以上版本)两者作相同处理:解压之后,还需要完成SPARK_HOME和bin环境变量相关配置;
HADOOP_HOME
和bin环境变量的配置
蕾姆233
·
2018-12-29 16:40
spark
Ubuntu16.04 在docker中搭建hadoop集群的配置与测试
hadoop集群的配置参照https://blog.csdn.net/weixin_42051109/article/details/82744993这里补充几点1.需要配置Slave名字修改$
HADOOP_HOME
eastlife1212
·
2018-12-26 23:09
hadoop
big
data
HDFS命令参考
在$
HADOOP_HOME
/bin/hadoopfs里有更多的命令,/bin/hdfsdfs可以列出所有可以在fsshell系统上运行的命令。
老子跑的动
·
2018-12-16 16:28
大数据
Idea连接远程centos操作HDFS
192.168.236.135:9000");try{fs=FileSystem.get(conf);}catch(IOExceptione){e.printStackTrace();}}解决方案:win系统需要配置
HADOOP_HOME
年轻的学子
·
2018-12-11 16:43
hdfs
hadoop
Hadoop相关配置文件-命令
Hadoop相关配置文件-命令HadoopShell命令hadoop格式化hadoopnamenode-format启动hadoop$
HADOOP_HOME
/sbin/start-all.sh进入安全模式
__Simon_
·
2018-12-05 19:54
大数据
[1] Hive3.x 安装与debug
1下载安装hive3.1.1下载地址修改hive-env.sh如:
HADOOP_HOME
=/Users/xxx/software/hadoop/hadoop-2.7.4exportHIVE_CONF_DIR
hjw199089
·
2018-11-29 20:03
[1]Hive
大数据调错系列之hadoop在开发工具控制台上打印不出日志的解决方法
(1)在windows环境上配置
HADOOP_HOME
环境变量(2)在eclipse上运行程序(3)注意:如果eclipse打印不出日志,在控制台上只显示1.log4j:WARNNoappenderscouldbefoundforlogger
爱码学院
·
2018-11-22 17:03
大数据
分析
调错
linux中
HADOOP_HOME
和JAVA_HOME清除掉但是依然有效解决方案!!!!
场景:在平时我们学习或者开发的时候有时候会遇到当我们升级jdk的时候会发现升级之后依然还是以前的版本(
HADOOP_HOME
也是一样)然我很苦恼!!!然后从大佬那里听来了一个有效的解决方案!!
忘川风华录
·
2018-11-21 09:52
Linux
Linux配置java环境变量和hadoop环境变量
79exportPATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexportHADOOP_HOME=/opt/module/hadoop-2.7.2exportPATH=$PATH:$
HADOOP_HOME
大数据修行
·
2018-11-15 10:28
在Redhat7中安装Hadoop
training/设置Hadoop的环境变量:vi~/.bash_profileHADOOP_HOME=/root/training/hadoop-2.7.3exportHADOOP_HOMEPATH=$
HADOOP_HOME
Ipanda1994
·
2018-10-30 21:25
大数据学习
hive-2.3.3安装指北
hive2.3.3检修环境hive2.3.3mysql5.61安装上传解压2配置配置HIVE_HOME环境变量viconf/hive-env.sh配置其中的$
hadoop_home
配置元数据仓库到mysqlvihive-site.xmljavax.jdo.option.ConnectionURLjdbc
source
·
2018-10-29 00:00
hive
python调用远程spark资源
*-encoding:UTF-8-*-#@auther:hx#@datetime:2018-03-01frompysparkimportSparkContextimportosos.environ['
HADOOP_HOME
古月剑法
·
2018-10-24 16:16
python
python
spark
eclipse 操作 hadoop的hdfs准备工作
HDFSHA集群后,我们来配置客户端,用来操作HDFSHA集群首先我们选择一台客户机,任意选择,只要能与集群通信即可,这里就使用真机将集群中配置好的hadoop安装包拷贝到真机上配置hadoop的环境变量和参数
HADOOP_HOME
For_ZZHacker
·
2018-10-18 12:40
hadoop生态圈
hdfs
通过eclipse操作HDFS集群
1.准备环境配置本机的
HADOOP_HOME
替换bin目录修改用户名,在环境变量中增加HADOOP_USER_NAME导入jar包安装插件,方便在eclipse中操作HDFS集群。
dmbds20
·
2018-10-16 19:33
HDFS
API
2018年第41周-sparkSql搭建及配置
dist/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz需下载-hadoop-2.7版本的spark,不然要自己加很多依赖进spark目录修改配置复制\$
HADOOP_HOME
黄小数
·
2018-10-15 00:00
spark
eclipse操作HDFS
eclipse操作HDFS1.配置hadoop环境变量①在系统变量里添加
HADOOP_HOME
,value为hadoop安装路径②在path中添加%
HADOOP_HOME
%\bin2.将hadoop的插件放入
CodeTravell
·
2018-10-13 23:15
大数据学习日记
eclipse操作HDFS
eclipse操作HDFS1.配置hadoop环境变量①在系统变量里添加
HADOOP_HOME
,value为hadoop安装路径②在path中添加%
HADOOP_HOME
%\bin2.将hadoop的插件放入
CodeTravell
·
2018-10-13 23:15
大数据学习日记
搭建HDFS集群的客户端并利用eclipse控制HDFS
使用eclipse控制HDFS填坑在本机下配置
HADOOP_HOME
操作权限问题hdfs依赖的jar包导入到工程中,tomcat启动不起来了Permissiondenied错误HDFS的联邦机制HDFS
Andrea_null
·
2018-10-12 21:44
九.centos下hive和hadoop以及mysql的安装,集成和配置
下载完成之后通过命令进行解压tar-zxvfxxx.tar.gz然后配置在根目录下的.bashrc文件中exportHADOOP_HOME=/root/hadoop/hadoopexportPATH=${
HADOOP_HOME
飞翔的小宇宙
·
2018-10-12 17:33
hadoop
hive安装指南
下载apache-hive-2.3.3-bin.tar.gz2.解压,进入目录,根据模板文件,重新生成新的hive-env.sh,hive-site.xml3.编辑hive-env.sh主要是这两个参数
HADOOP_HOME
csdn侠
·
2018-10-10 10:04
hive
windows下sqoop环境搭建要正确安装hadoop
一开始我是根据Windows下部署HBase的步骤进行安装,里面说把
HADOOP_HOME
设置成hadoop-common-2.2.0-bin-master的路径上,这个暂时没有问题,hbase可以正常启动
allen_jinjie
·
2018-09-20 15:45
big
data
Ubuntu16.04安装Hadoop+Spark+pyspark大数据python开发环境
java-archive-javase8-2177648.htmlUbuntu配置jdk运行环境exportHADOOP_HOME=/usr/local/hadoopexportCLASSPATH=$($
HADOOP_HOME
青年夏日
·
2018-09-09 15:56
编程
大数据
Spark
Hadoop
pyspark
启动Hadoop时一直提示输入密码
[root@whbin]#sh$
HADOOP_HOME
/sbin/start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.shStartingnamenodeson
H.King
·
2018-09-06 16:08
hadoop
linux
Hadoop基础认识之WordCount
其中分布式计算MapReduce最基础实例Wordcount如下所示:依赖jar包$
HADOOP_HOME
/share/hadoop/common$
HADOOP_HOME
/share/hadoop/common
Joy_cj
·
2018-09-04 15:33
大数据开发
Hadoop基础认识之WordCount
其中分布式计算MapReduce最基础实例Wordcount如下所示:依赖jar包$
HADOOP_HOME
/share/hadoop/common$
HADOOP_HOME
/share/hadoop/common
Joy_cj
·
2018-09-04 15:33
大数据开发
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他