大家好,我是Stefan,今天开始为大家带来详细的Hadoop学习教程,大家可以按照我的教程步骤一步一步步入云计算的开发行列,好了,废话不多说,我们开始第一篇:Hadoop环境搭建。
万事开头难,这话不是吹的。很多人在最初的环境搭建就出现了问题,而每个人的平台又有所差异,就更加导致了问题的出现概率,这里我尽可能涉及到多种情况,我本机用的时Mac OS 10.9.2,搭建的过程和用Ubuntu和CentOS等Linux平台是一样的过程。
(一)首先,我们需要去官网上下载Hadoop安装包,地址,这里我选择的是hadoop-2.2.0.tar.gz,进入Hadoop2.0 时代,没有理由不跟上时代的潮流。我下载到本地Download目录下,解压 tar -zxf hadoop-2.2.0.tar.gz。
(二)我们需要安装java环境,由于我是mac系统,下载eclipse过程中已经自动一键安装了java环境,如果不知道是否安装了java环境,可以在终端输入:java -version查看,如看到如下:
java version "1.6.0_65" Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode)则证明java环境已经安装好,如果没有安装java环境的孩纸可以下载jdk进行安装,这一步比较简单,这里就不赘诉了。同样要将jdk设置为系统默认jdk,然后设置JAVA_HOME环境。
(三)以上两个步骤做好了之后,接下来要设置SSH免密码登入。由于Hadoop集群动辄成百上千的规模,如果每台机器都需要密码登入的话,那么工作量是相当庞大的,所以我们需要设置ssh验证秘钥登入,这样不需要手动输入密码。首先我们安装ssh,Ubuntu可以使用诸如:sudo apt-get install ssh来安装,我的mac系统下已经默认安装过ssh了,所以不需要安装;接下来设置免密码登录,终端中输入以下命令:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa这时会在、User/yourName/.ssh文件夹下生成 id_dsa和id_dsa.pub两个私钥和公钥,接下来我们需要把公钥追加盗授权的key文件(authorized_key)中,输入如下命令:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys这条命令的作用就是将id_dsa.pub里面的信息写到authorized_key的最后面,现在免密码登入已经配置完成。
在测试前,mac系统的用户还需要注意一点,ssh远程登入默认是disable的,我们首先需要开启它。在设置中
找到共享选项
然后在共享面板中选中远程登录
然后我们修改一下.ssh文件夹的权限:终端里敲
chmod -R 700 ~/.ssh/
现在我们可以用ssh登录了,我们测试一下,在终端里敲
ssh -version
显示
OpenSSH_6.2p2, OSSLShim 0.9.8r 8 Dec 2011 Bad escape character 'rsion'.
ssh localhost显示
The authenticity of host '127.0.0.1 (127.0.0.1)' can't be established. RSA key fingerprint is 0b:41:26:f6:9e:d6:b4:79:e9:26:0c:6d:7f:b4:b4:81. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '127.0.0.1' (RSA) to the list of known hosts. Last login: Sat Mar 29 14:56:15 2014 from localhost第一次登入需要输入yes来确定秘钥是正确的,最后一句话证明我们已经登入成功了~
今天的Hadoop学习就到这里,感谢大家的关注,我会持续更新我的博客,给大家带来更多有关Hadoop的学习教程。
转载请注明出处:http://blog.csdn.net/guoshenglong11/article/details/22430755