一、所需要用到的资源
hadoop1.2.1:http://download.csdn.net/detail/caihongshijie6/8692365
jdk:http://pan.baidu.com/s/1c0m4SSC
二、步骤
本文的环境是VMWare+ubuntu12.04
1、修改root用户的密码
sudo passwd root
此后然后提示完成密码的设置
2、先把在windows下下载好的hadoop1.2.1的压缩包和jdk的压缩包拖到到VMware中。
需要注意的是拖进去的文件存储在Desktop目录下,例如我的就在以下路径:/home/ubuntu/Desktop
我们执行一下 ll命令可以看到以下界面:
在Desktop目录下我们可以很轻松的就找到了我们拖进来的那两个文件。
3、解决ssh没有启动的问题
运行 ps -e | grep ssh,查看是否有sshd进程。如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server
以root的身份通过apt-get install openssh-server命令安装即可
安装完成后,执行以下命令
ssh-keygen
4、解压hadoop的压缩包和jdk的压缩包
解压hadoop压缩包:tar -xzvf hadoop-1.2.1-bin.tar.gz
解压jdk压缩包:tar -xzvf jdk-7u40-linux-i586.gz
例如解压jdk压缩包后,Desktop目录下就多了一个名为jdk1.7.0_40的目录。
如下图所示:
5、移动解压后的目录。
在这次实验中移动到/opt这个目录下
移动解压后的hadoop的目录:mv hadoop-1.2.1 /opt
移动解压后的jdk的目录:mv jdk1.7.0_40/ /opt
6、进入修改hadoop-env.sh文件
切换到conf目录下:cd /opt/hadoop-1.2.1/conf
打开hadoop-env.sh文件:vi hadoop-env.sh
在里面的合适位置上添加以下代码:
export JAVA_HOME=/opt/jdk1.7.0_40
export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$PATH:/opt/hadoop-1.2.1/bin
添加后的效果如下所示:
保存退出hadoop-env.sh文件。
7、使配置生效
source hadoop-env.sh
8、检测是否安装成功
运行命令:hadoop version
如果安装成功会提示以下信息:
如果没有安装成功,会提示:hadoop: command not found
9、运行一下hadoop给我们提供的小例子
新建一个文件夹名为input的文件夹,用于存储输入的数据:root@ubuntu:/opt/hadoop-1.2.1# mkdir input4
进入input4,在里面编写一个1.txt,1.txt的内容如下:
hello
hadoop
hello
world
good
morning
hjd
who
are
you
保存并退出1.txt文件。
运行测试
输入命令:root@ubuntu:/opt/hadoop-1.2.1# hadoop jar hadoop-examples-1.2.1.jar wordcount input4 output7
切换到保存运行结果的文件夹:cd output7
查看运行结果,运行结果应该是类似以下的结果: