HADOOP_HOME

MapReduce Streaming

例如：$HADOOP_HOME/bin/hadoopjar$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.2.
maninglwj·2016-06-21 11:57

MapReduce Streaming

��ܡ�HadoopStreaming�������ǣ�����ʹ���κο����г����ű���ΪMapper��/��Reducer��������ִ��MapReduce��ҵ�����磺$HADOOP_HOME
·2016-06-21 11:57

在win7的idea访问centos部署的hadoop2.7.1问题集锦

文件格式化$HADOOP_HOME/bin/hdfsnamenode-format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1
zhongmin2012·2016-06-15 16:00

在win7的idea访问centos部署的hadoop2.7.1问题集锦

文件格式化$HADOOP_HOME/bin/hdfsnamenode-format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1
zhongmin2012·2016-06-15 16:00

在win7的idea访问centos部署的hadoop2.7.1问题集锦

文件格式化$HADOOP_HOME/bin/hdfsnamenode-format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1
zhongmin2012·2016-06-15 16:00

hadoop单点运行方式

Hadoop的单节点集群运行的启动步骤1.安装教程请查看博客《hadoop安装》；2.格式化HDFS：$HADOOP_HOME/bin/hdfsnamenode-forma
zhongmin2012·2016-06-03 15:00

hadoop单点运行方式

Hadoop的单节点集群运行的启动步骤1.安装教程请查看博客《hadoop安装》；2.格式化HDFS：$HADOOP_HOME/bin/hdfsnamenode-forma
zhongmin2012·2016-06-03 15:00

hadoop2.5集群迁移namenode

3、修改$HADOOP_HOME/etc/hadoop/下的配置文件：co
djd已经存在·2016-05-25 17:45

详述执行map reduce 程序的步骤（本地执行MR、服务器上执行MR）

1、本地环境执行MR程序的步骤：   （1）在windows下配置hadoop的环境变量   （2）拷贝debug工具(winutils)到HADOOP_HOME/bin   （3）从源码中拷贝org.apache.hadoop.io.nativeio.NativeIO.java
u013226462·2016-05-11 12:00

hadoop hdfs常用命令

启动Hadoop进入HADOOP_HOME目录。执行shbin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。
ch18255112191·2016-05-07 23:00

Yarn Client模式下启动Spark的配置问题

HADOOP_HOME：设置hadoop的安装目录；HADOOP_CONF_DIR：设置hadoop配置文件的目录；YARN_C
ZyZhu·2016-05-06 14:14

flume搭建

exportJAVA_HOME=/usr/java/jdk1.8.0_77 exportHADOOP_HOME=/lj/hadoop-2.2.0 exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME
JackLi31742·2016-05-05 23:00

第89课 SparkStreaming Kafaka 准备---安装Zookeeper

:$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$HIVE_HOM
duan_zhihua·2016-04-23 19:00

第87课：Flume推送数据到SparkStreaming案例实战和内幕源码解密--flume安装篇

:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$FLUME_HOME/bin
duan_zhihua·2016-04-22 22:00

如何查看Hadoop是32位还是64位

即进入$hadoop_home
pmos·2016-04-21 15:00

ERROR：格式化hdfs后，datanode只启动了一个

问题描述：使用dfs-format格式化hdfs之后，出现datanode只启动了一个的错误（原来有3个datanode，2个namenode）现场还原：先查看一下namenode中/$HADOOP_HOME
u014726937·2016-04-18 09:00

Ubuntu安装hadoop2.7.1----伪分布搭建

先上传hadoop的安装包到服务器上去/home/hadoop/注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.1配置hadoop第一个：
幸运六叶草·2016-04-16 21:13

Ubuntu安装hadoop2.7.1----伪分布搭建

先上传hadoop的安装包到服务器上去/home/hadoop/   注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop   伪分布式需要修改5个配置文件   3.1配置hadoop
AnneQiQi·2016-04-16 21:00

MR程序的几种提交运行模式

windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行   ----配置path：D:\hadoop-2.7.2\bin   ----配置hadoop_home
zengmingen·2016-04-15 16:00

HADOOP的本地库（NATIVE LIBRARIES）介绍

目前在Hadoop中，本地库应用在文件的压缩上面：zlibgzip在使用这两种压缩方式的时候，Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。
u014726937·2016-04-15 11:00

HADOOP -- 配置Tip 配置hadoop.tmp.dir

打开${hadoop_home}\logs\hadoop-grid-namenode-hdnode1m.log出现如下错误：2012-10-
liyongke89·2016-04-05 16:00

Hadoop深入面试问答题

etc/profile）2)关闭防火墙3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME
山的那边是什么_·2016-03-30 22:18

hadoop源代码分析（一）从wordCount开始，剖析mapreduce的运行机制

1、提交mapreduce作业，执行命令:hadoopjartest.jar2、查看$HADOOP_HOME目录下bi
kopshome·2016-03-27 13:15

hadoop2.7.1配置备忘

1、hadoop-env.sh#开启自动同步代码，当重启master时，master机器上的hadoop代码同步到各台slaves上 exportHADOOP_MASTER=master:$HADOOP_HOME
kevin6216·2016-03-25 11:00

Hadoop启动时出现Warning: $HADOOP_HOME is deprecated.警告

一．问题描述。   当启动Hadoop时出现Warning:$HADOOP_HOMEisdeprecated.警告。如下图   二．问题分析。   该问题是在执行start-all.sh脚本时。因此可进入start-all.sh脚本查找与此警告相关的信息。再次脚本中会分别调用hadoop-config.sh、start-dfs.sh、start-mapred.sh。如下图       分别进入以上
u014432433·2016-03-25 09:00

hadoop 升级

1.停掉HDFS，备份关键数据2.需要备份的数据主要包括  配置文件：${hadoop_home}/conf目录下的所有配置文件  元数据文件：配置文件hdfs-site.xml中的属性“dfs.name.dir
bitcarmanlee·2016-03-16 16:00

新手的第一次Hadoop2.6.3分布式安装

问题：新人吃亏问题，由于三个linux系统是不同时期安装，所以里面文件目录比较混乱，结果在安装hadoop时候每一个节点的hadoop目录不一致，结果启动时候发现未找到其他节点的hadoop_home，
anq17·2016-03-10 15:30

07_Warning $HADOOP_HOME is deprecated.去除办法

Warning$HADOOP_HOMEisdeprecated.去除办法警告的出现：解决方案：第一种：去除【/etc/profile】文件中【exportHADOOP_HOME=/opt/modules/hadoop-1.2.1】，并且使其生效，命令如下：#source/etc/profile出现的原因：在hadoop-config.sh脚本中，有如下代码片段：第二种如果要解决这个问题，只要让上述
YouxiBug·2016-03-04 15:00

Hadoop 7、MapReduce执行环境配置

解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件（下载地址：http://pan.baidu.com/s/1mhrsQyG）2、在windows下配置hadoop的环境变量 HADOOP_HOME
拉斐尔[Raphael]·2016-02-27 22:00

win7搭建为伪分布式hadoop

window7下安装hadoop[32位]1.下载hadoophadoop-2.2.0.tar.gz解压2.配置环境变量hadoop3.修改%HADOOP_HOME%\etc\hadoop的hadoop-env.shexportJAVA_HOME
泡海椒·2016-02-27 11:00

Hadoop 伪分布式安装

hadoop -g hadoop  添加用户将编译好的hadoop文件上传至工作目录，我这里是/opt目录hadoop也要设置环境变量，使用vi/etc/profile命令编辑添加如下内容：export HADOOP_HOME
DJeeker·2016-02-24 15:00

大数据 IMF传奇行动 如何 搭建 8台设备的 hadoop分布式集群

RH2285设备2CPU8核16线程48G内存380G硬盘1.配置Hadoop的全局环境变量输入名称#vi/etc/profile打开profile文件，按i可以进入文本输入模式，在profile文件的最后增加HADOOP_HOME
段智华·2016-02-07 14:05

大数据 IMF传奇行动 如何 搭建 8台设备的 hadoop分布式集群

设备2CPU8核16线程48G内存 380G硬盘1.配置Hadoop的全局环境变量输入名称#vi/etc/profile打开profile文件，按i可以进入文本输入模式，在profile文件的最后增加HADOOP_HOME
duan_zhihua·2016-02-07 14:00

使用hadoop mapperreduce来统计大文件的行数

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.1.jar -files count.sh -input /input/CHANGES.txt
z_jordon·2016-01-30 20:00

Hadoop基本操作指令

启动与关闭 启动Hadoop 1.进入HADOOP_HOME目录。 2.执行shbin/start-all.sh   关闭Hadoop 1.进入HADOOP_HOME目录。
u012965373·2016-01-30 19:00

MapReduce-Join中级优化-hadoop自带datajoin的解决方法

接着上一篇《MapReuce-Join操作-初级优化》这一篇博客继续说明MapReduce对于Join的操作，这里使用hadoop包中自带的datajoin包来处理，如果是hadoop1.x则包在${HADOOP_HOME
doegoo·2016-01-29 14:00

Spark on Yarn 集群运行要点

/conf/spark-env.shexportHADOOP_HOME=/share/apps/hadoop exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
Man_华·2016-01-20 15:00

Hadoop伪分布式搭建-（3）

安装hadoop2.4.1（或其他更高版本）注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.0上传hadoop并解压到指定目录同jdk一样
戴暉戴暉·2016-01-19 17:15

yarn安装部署

1、配置yarn-site.xml参数详情参考 http://www.cnblogs.com/yinchengzhe/p/5142659.html配置如下：2、配置mapred-site.xml在${HADOOP_HOME
一寸相思万千劫·2016-01-19 17:00

hadoop2.6.0 Win7 环境下myeclipse插件安装

配置环境变量HADOOP_HOME为hadoop-2.6.0解压路径，path添加%HADOOP_HOME%/bin;配置完重启电脑。
Linn_y·2016-01-16 16:00

在启动hadoop的时候，总是有警告Warning: $HADOOP_HOME is deprecated

警告看着总是别扭，所有没有警告才能更好。警告如下Warning:$HADOOP_HOMEisdeprecated在每次启动的时候，或者关闭的时候就会出现，说这个已经过时。。。。很烦，所以只能去掉了。具体如下，进入到hadoop的bin目录，找到hadoop-config.sh修改profile文件，使配置生效在重新启动hadoop警告减除OK!!!注意：以上用到的比如hadoop_start是配置
hsl_1990_08_15·2016-01-14 14:00

hadoop单机版搭建过程

编译后的包并解压到/hadoop目录下mkdir /hadoop解压tar  -zxvf  hadoop.2.7.0.tar.gz -C /hadoop   l 配置hadoop注意：hadoop2.x的配置文件$HADOOP_HOME
sqh201030412·2016-01-11 23:00

hadoop安装简要介绍和常用命令备忘

一、hadoop本机安装：1）复制文件hadoop,jdk2）配置变量java_home,path,hadoop_home,conf/hadoop-env.sh中的JAVA_HOME3）运行如下命令测试安装是否成功
黄国甫·2016-01-04 11:00

Hadoop 集群使用问题

hbase集群节点必须采用域名服务器做双向解析采用hbasejava客户端访问hbase使用hbasejava客户端的程序应当将hadoop本地库加入java参数中-Djava.library.path=$HADOOP_HOME
从前·2015-12-22 13:00

hadoop伪分布式搭建

profileexportJAVA_HOME=/usr/java/jdk1.7.0_55exportHADOOP_HOME=/itcast/hadoop-2.7.1exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME
2207872494·2015-12-18 23:00

hadoop之远程debug

1.添加配置jps查看进程的时候，得到的进程名称就是类的名称，这个类并且有main方法需要在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程#
2207872494·2015-12-18 23:00

Flink on Yarn运行机制

如果读取上述的变量失败了，那么将会选择hadoop_home的环境变量，都区成功将会尝试加载$HADOOP_HOME/etc/hado
超大的雪童子·2015-12-17 00:00

使用myeclipse 创建Hadoop项目之读取hdfs中的文件

1.搭建好hadoop集群及配置好myeclipse开发环境之后，新建hadoop项目2.输入项目的名称3.myeclipse会自动根据HADOOP_HOME加载所有的jar，并且自动添加到项目的build
sixtrees·2015-12-08 19:00

ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n

阅读更多今天使用flume采集apacheaccesslog到hive表中，然后使用hiveQL进行日志分析，出现错误：需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME
sungang_1120·2015-12-08 13:00

ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n

 今天使用flume采集apacheaccesslog到hive表中，然后使用hiveQL进行日志分析，出现错误：  需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME
sungang_1120·2015-12-08 13:00
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他