E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
$HADOOP_HOME
通过管道向 hadoop put 文件
它仅支持这样的put命令:cd $
HADOOP_HOME
bin/hadoop fs -put localfile $hdfsFile bin/hadoop fs -put localfiles $
chjjunking
·
2011-11-01 10:00
hadoop
linux
unix
shell
File
Hadoop源代码修改编译执行
Linux可以参照着来弄(之前必须安装有jdk,ant,cygwin,并且配置好环境变量,使得cmd命令行下可以执行相应的命令) 1.首先到官网上把该版本的tar包下载下来,并解压到$
HADOOP_HOME
jostey
·
2011-11-01 09:00
linux环境变量设置
在配置hadoop集群的过程中,需要设置
HADOOP_HOME
等环境变量,一般的做法是修改/etc/profile或者是~/.bash_profile文件,然后运行source/etc/profile
azhao_dn
·
2011-10-31 18:00
linux
hadoop
集群
服务器
安装pig时遇到的问题
下载pig-0.8.1的安装包,解压到安装路径后,设置好HADOOP_CONF_DIR 和
HADOOP_HOME
,然后运行bin/pig出现错误,错误信息如下:ERRORorg.apache.pig.Main-ERROR2999
azhao_dn
·
2011-10-31 14:00
hadoop
集群
pig
header
Hadoop Streaming 编程
它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如: 采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer) $
HADOOP_HOME
yeshuqiang
·
2011-10-31 10:00
hadoop
在Hadoop集群中动态增加和减少机器
增加机器: 1、将新增加的机器配置文件配好 2、将新增加的机器主机名/IP添加到Master机器中的$
HADOOP_HOME
$/conf/slaves文件中 3、在新增加的机器中输入以下命令
x-rip
·
2011-10-26 18:00
hadoop
hadoop实战之动态添加节点
并且已经有了两个slave节点fkongnix1和fkongnix2,这里需要动态添加一个新的节点fkongnix3.对于hadoop分布式模式环境的搭建可以参考 hadoop学习之分布式模式1.修改${
HADOOP_HOME
kongxx
·
2011-10-22 13:00
hadoop
hadoop实战之动态添加节点
修改${
HADOOP_HOME
aijuans8
·
2011-10-22 13:00
hadoop
hadoop实战之伪分布式模式
可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行,这种运行方式的配置和操作如下:关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式这里仍假定${
HADOOP_HOME
kongxx
·
2011-10-20 19:00
java
linux
hadoop
测试
input
output
hadoop实战之伪分布式模式
可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行,这种运行方式的配置和操作如下: 关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式 这里仍假定${
HADOOP_HOME
aijuans8
·
2011-10-20 19:00
hadoop
HADOOP的本地库(NATIVE LIBRARIES)介绍
目前在Hadoop中,本地库应用在文件的压缩上面:zlibgzip在使用这两种压缩方式的时候,Hadoop默认会从$
HADOOP_HOME
/lib/native/Linux-*目录中加载本地库。
hewy0526
·
2011-10-18 16:00
java
hadoop
ant
语言
Path
library
centos fuse-dfs安装记录
/wiki.apache.org/hadoop/MountableHDFS和http://savagegarden.iteye.com/blog/11707522,installant1.83,cd$
HADOOP_HOME
clarklij
·
2011-09-16 09:21
Hadoop
centos fuse-dfs安装记录
wiki.apache.org/hadoop/MountableHDFS 和 http://savagegarden.iteye.com/blog/1170752 2, install ant 1.8 3, cd $
HADOOP_HOME
1553482
·
2011-09-16 09:00
centos
lzo文件的并行map处理
下面的命令对某个目录里的lzo文件创建index:$
HADOOP_HOME
/bin/hadoop jar$
HADOOP_HOME
/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo
li_qinshan
·
2011-09-13 18:40
职场
休闲
lzo
云计算/虚拟化学习
lzo文件的并行map处理
下面的命令对某个目录里的lzo文件创建index: $
HADOOP_HOME
/bin/hadoop jar$
HADOOP_HOME
/lib/hadoop-lzo-0.4.10.jar com.hadoop.compre
li_qinshan
·
2011-09-13 18:40
职场
lzo
休闲
并行map
hadoop grep问题
提交作业 [root@localhost yinjie]>hadoop jar $
HADOOP_HOME
/hadoop-examples-*.jar grep -Dmapred.job.queue.name
yyj0531
·
2011-08-31 17:12
hadoop
职场
grep
acl
休闲
hadoop grep问题
提交作业[root@localhost yinjie]>hadoop jar $
HADOOP_HOME
/hadoop-examples-*.jar grep -Dmapred.job.queue.name
yyj0531
·
2011-08-31 17:12
职场
ACL
休闲
hadoop
运行Hadoop测试代码
$ cd $
HADOOP_HOME
$ ant jar-test $ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar //从列表中选择想运行的程序TEST_PROGRAM
benson76
·
2011-08-28 17:00
hadoop
ubuntu安装hive
从机器上拷贝hive包(因为我在windows上已经下载,并且安装不成功),解压; 然后export
HADOOP_HOME
和HIVE_HOME 安装成功。 bin/hive即可。
ouyida3
·
2011-08-24 15:00
ubuntu
ubuntu安装hive
从机器上拷贝hive包(因为我在windows上已经下载,并且安装不成功),解压; 然后export
HADOOP_HOME
和HIVE_HOME 安装成功。 bin/hive即可。
ouyida3
·
2011-08-24 15:00
ubuntu
使用hbase的Bulk Load
1.首先配置$
HADOOP_HOME
下的conf/hadoop-env.sh文件,修改其中的HADOOP_CLASSPATH为如下exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH
李梦蛟
·
2011-08-17 15:00
hive资料整理系列 六 hive 配置
hive-config.sh,添加jdk支持 Java代码 export JAVA_HOME=/usr/local/jdk export HIVE_HOME=/data/soft/hive export
HADOOP_HOME
wf1982
·
2011-07-28 18:00
java
jdk
xml
测试
input
HADOOP基本操作命令
假设Hadoop的安装目录
HADOOP_HOME
为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入
HADOOP_HOME
目录。2.
clouderyu
·
2011-07-27 16:00
Hadoop集群中添加机器和删除机器
本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$
HADOOP_HOME
/conf/slaves文件,在其中添加需要加入集群的新机器
clouderyu
·
2011-07-27 14:42
Hadoop
Hadoop集群中添加机器和删除机器
本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$
HADOOP_HOME
/conf/slaves文件,在其中添加需要加入集群的新机器
clouderyu
·
2011-07-27 14:00
hive hiveconf 配置
hadoop fs -count -q 配置环境变量: # hadoop env export
HADOOP_HOME
= export HADOOP_CONF_DIR= # hive
bupt04406
·
2011-07-26 00:00
hive
解析 bin/hadoop 文件
$
HADOOP_HOME
/bin/hadoop文件是Hadoop主要shell脚本,它提供格式化HDFS、恢复namenode、HDFS Shell、任务提交等诸多功能,它的执行语句在最后一行
heipark
·
2011-07-25 11:00
hadoop
在Hadoop集群中添加机器和删除机器
本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$
HADOOP_HOME
/conf/slaves文件,在其中添加需要加
hjwang1
·
2011-07-08 11:00
hadoop
集群
HP
dell
hive执行查询出现:Error while making MR scratch directory - check filesystem解决办法
进入 $
hadoop_home
vi conf/core-site.xml 之前的配置是hdfs://192.168.10.145:9060 但是在hive命令行下面查询一直出错:错误信息如下: FAILED
p_x1984
·
2011-07-07 15:00
Directory
hive执行查询出现:Error while making MR scratch directory - check filesystem解决办法
进入 $
hadoop_home
vi conf/core-site.xml 之前的配置是hdfs://192.168.10.145:9060 但是在hive命令行下面查询一直出错:错误信息如下: FAILED
p_x1984
·
2011-07-07 15:00
Directory
hadoop的wordcount例子
hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:bin/hadoop fs -mkdir /tmp/wordcount 2、通过copyFromLocal命令把
hadoop_home
zz_19830103
·
2011-07-06 17:00
wordcount
Fedora 15 Hadoop单机配置方法
3、配置环境变量 export JAVA_HOME=/soft/java/jdk1.6.0_26 export JRE_HOME=/soft/java/jdk1.6.0_26/jre export
HADOOP_HOME
isiqi
·
2011-06-23 11:00
hadoop
hadoop安装要点
然后把hadoop的包解压到该目录下,最终的目录结构为:/home/bofang/hadoop/hadoop-0.20.2/bin,设/home/bofang/hadoop/hadoop-0.20.2为
HADOOP_HOME
bofang
·
2011-06-17 09:00
xml
hadoop
通过fuse使greenplum外部表能使用HDFS上的文件
1、首先进入$
HADOOP_HOME
/fuse-dfs目录下,执行如下命令通过FUSE把HDFS挂在到本地目录上.
wh62592855
·
2011-06-02 17:00
hadoop
table
null
encoding
GreenPlum
磁盘
使用Ganglia监控Hadoop
使用Ganglia监控hadoop,配置起来非常简单,只需要修改$
HADOOP_HOME
/conf/hadoop-metrics.properties文件,把相关的配置段修改为下面的示例: #
li_qinshan
·
2011-06-01 14:40
职场
休闲
ganglia
监控hadoop
Hadoop监控
awk算术运算一例:统计hdfs上某段时间内的文件大小
计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小,并换算成GB: $
HADOOP_HOME
/bin/hadoop fs -du/user/hdfs/s3/ifocus/*
li_qinshan
·
2011-04-27 16:31
职场
awk
休闲
awk算术运算脚本
让hadoop远程调试飞
hadoop几乎所有的进程的启动最终全部依靠$
HADOOP_HOME
/bin/hadoop脚本实现,开始就简单的在需要的地方添加JDWP的debug选项,做的多了,感觉不够自动化,简单修改了一下hadoop
aliveTime
·
2011-04-25 22:00
mapreduce
hadoop
command
File
archive
translation
hadoop退服节点
在
HADOOP_HOME
下新建一个文件,例如slaves.ex,在里面添加需要退服的名称节点的IP地址,一行一个。
亦梦亦真
·
2011-04-14 10:00
apache
html
hadoop
xml
Web
hadoop退服节点
在
HADOOP_HOME
下新建一个文件,例如slaves.ex,在里面添加需要退服的名称节点的IP地址,一行一个。
亦梦亦真
·
2011-04-14 10:00
apache
html
hadoop
xml
Web
hadoop 重启后safemode问题
如果需要强制推出safemode,需运行:${
hadoop_home
}/bin/hadoopdfsadmin-safemodeleave 强制退出safemode 至于强制推出的后果,暂
aliveTime
·
2011-04-13 15:00
hadoop
HADOOP实践101:在Hadoop集群中添加机器和删除机器
本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$
HADOOP_HOME
/conf/slaves文件,在其中添加需要加入集群的新机器
逖靖寒
·
2011-04-12 11:00
Hadoop节点热拔插
登录到新节点,执行: cd $
HADOOP_HOME
&& bin/hadoop-daemon.sh start datanode bin/h
p_x1984
·
2011-04-07 12:00
mapreduce
hadoop
xml
F#
Hadoop节点热拔插
登录到新节点,执行: cd $
HADOOP_HOME
&& bin/hadoop-daemon.sh start datanode bin/h
p_x1984
·
2011-04-07 12:00
mapreduce
hadoop
xml
F#
Hive安装
第一步,修改bin目录下的hive-config.sh文件 export HIVE_HOME=/home/dream-victor/hive-0.6.0--指向自己的hive安装目录 export
HADOOP_HOME
victorzhzh
·
2011-03-23 10:00
jdk
hadoop
ext
定时将数据导入到hive中
应用crontab定时将数据导入到hive中:在调用/bin/hive -f 'loadData.sql' 的时候,报错:Cannot find hadoop installation: $
HADOOP_HOME
085567
·
2011-03-16 13:00
sql
hadoop
F#
脚本
Hadoop基本操作
假设Hadoop的安装目录
HADOOP_HOME
为/home/admin/hadoop。启动与关闭启动Hadoop1.进入
HADOOP_HOME
目录。
wf1982
·
2011-03-01 15:00
mapreduce
hadoop
jar
command
Class
2010
Hadoop的本地库(Native Libraries)介绍
目前在Hadoop中,本地库应用在文件的压缩上面:zlibgzip在使用这两种压缩方式的时候,Hadoop默认会从$
HADOOP_HOME
/lib/native/Linux-*目录中加载本地库。
逖靖寒
·
2011-02-17 15:00
Hadoop使用公平调度策略
如果没有应该从$
HADOOP_HOME
/contrib/fairscheduler目录下,把那个jar包(我在这里是hadoop-f
tinyid
·
2011-02-11 12:00
Hadoop安装部署(3)
HADOOP_HOME
变量可以设定也可以不设定,如果不设定,
HADOOP_HOME
默认的是bin目录的父目录,即本文中的/home/dbrg/HadoopInstall/hadoop。我的是这样设置
cookey77
·
2011-02-09 16:31
hadoop
安装
职场
休闲
Hadoop安装部署(3)
HADOOP_HOME
变量可以设定也可以不设定,如果不设定,
HADOOP_HOME
默认的是bin目录的父目录,即本文中的/home/dbrg/HadoopInstall/hadoop。我的是这样设置
cookey77
·
2011-02-09 16:31
安装
职场
休闲
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他