hadoop的伪分布式在centos下安装

虽然自己搞hadoop也有一段时间了，但是在和网友交流过程中，发现很有朋友对hadoop安装的还是有很大的问题，网上的博客也是乱的一塌糊涂，对新手造成很大的误解，所以自己写篇博客分享给网友，同时也加强自己记忆吧。。。

hadoop版本:   http://archive.cloudera.com/cdh5/cdh/5/    

crtl+F   搜索我们需要的版本

准备  ： hadoop（hadoop-2.6.0-cdh5.7.0.tar.gz）的版本 ， xshell（工具任意）， 简单的linux命令操作， jdk（1.7以上）  个人使用的是centos系统（新手可以加我qq问我要镜像）：干净简洁

一个简单干净的contos的环境就准备好了

1 ： 新建contos用户 

(新增了hadoop用户 ;设置hadoop用户的密码)

2：root用户修改新建用户权限

i按键是进入编辑状态 ;编辑好按esc  ，wq是保存退出  ,wq!保存并强制退出

3: 切换到hadoop用户

新建链接 ，登录刚新建的hadoop用户和密码

新建一个文件夹 ： mkdir app

上传hadoop版本，打开xshell的窗口 ，传输新建文件

上传到app下 ，解压 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz

解压ok ，

配置hadoop和jdk的环境，

   sudo vim /etc/profile

验证java环境（jdk我是放在usr/local下的，此处没有演示，不会的可以百度下，很简单）

java ，java-version  

此处还需要配置hadoop的java环境，因为hadoop的程序也是跑在jvm之上的：

进入 hadoop-2.6.0-cdh5.7.0/etc/hadoop 这个文件夹下

vim hadoop-env.sh 

就是你jdk的安装环境 ;(ps:   pwd可查看当前路径)

验证hadoop环境

环境验证ok，配置下ip

sudo vim /etc/hosts

配置好之后： source  /etc/hosts

然后再修改 ：sudo vim /etc/sysconfig/network

在source  /etc/sysconfig/network 

这个是contos重启才能生效

我们开始配置hadoop的配置文件了

先配置core-site.xml  （hadoop-2.6.0-cdh5.7.0/etc/hadoop）

这个tmp需要自己创建，如果自己不创建系统启动会给你创建.

在配置hdfs-site.xml  （一个副本） vim hdfs-site.xml

hadoop就配置结束了。。。。

然后安装ssh免密登录

     ssh-keygen -t rsa   密码就按ENTER结束，就是没有密码

 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  复制秘钥验证

验证一下

这就登录上了，下次再登录就不要密码了

然后就是格式化namenode

启动命令在 hadoop文件的bin下

./hadoop namenode -format

namenode格式化成功,（ps： 第一次启动需要格式化，下次就不需要呀）

然后进入 hadoop/sbin目录下

./start-dfs.sh 

启动好用jps验证下就ok了， 三个进程缺一不可 

如果出现错误可以去hadoop文件下的logs中查看日志

然后也可以看web界面

如果查看不到也可以是你本地hosts文件问题（个人qq：664283422 有问题可以咨询我）