hadoop伪分布式集群在centos上的搭建
前置条件：
1.centos系统
2. 普通用户hyxy
3. 用户目录 ~ 下新建一个 soft 文件夹（用于存放安装的文件）
4. jdk1.8 版本安装包，hadoop2.7.3 版本安装包
5. 修改主机名为master （必须切换为root用户）
a. 切换为root用户
$>su root
b. 修改/etc/sysconfig/network 文件
$>vim /etc/sysconfig/network
【HOSTNAME=master】
c. 修改/etc/hosts 文件
$>vim /etc/hosts
追加内容 【本机ip 主机名】例如：【192.168.x.x master】
安装过程：
1.解压jdk安装包到~/soft文件夹下，配置环境变量
a. 解压jdk
$>tar -zxvf jdk.XXX
b. 生成软连接
$>ln -s jdk.xxx jdk（在soft中）
c. 配置环境变量
$>vim ~/.bash_profile
文件后追加：
export JAVA_HOME=/home/hyxy/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
d. 使环境变量生效，测试是否安装成功
$>source ~/.bash_profile //source的文件只会在当前的终端中生效，重启后才真正一直可用(后面还有需要重启的内容)
$>java -version //测试安装成功
2.配置SSH免密码登录
a. 生成密钥
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
【-t表示生成密钥的算法，-P后是设置密码（默认空），-f表示密钥的生成位置】
b. 把公钥 id_rsa.pub 的内容加进认证库 authorized_keys
$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
c. 修改~/.ssh的权限为 700，~/.ssh/authorized_keys的权限为 600
$>chmod 700 ~/.ssh
$>chmod 600 ~/.ssh/authorized_keys
c.验证免密码登录
$>ssh master
3.安装hadoop，配置hadoop
a.解压 hadoop2.7.3 安装包到~/soft
$>tar -zxvf hadoop2.7.3
b. 生成软连接
$>ln -s hadoop2.7.3 hadoop（在soft中）
c. 配置环境变量
$>vim ~/.bash_profile
文件后追加：
export HADOOP_HOME=/home/hyxy/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
d. 使环境变量生效，测试是否安装成功
$>source ~/.bash_profile //source的文件只会在当前的终端中生效，重启后才真正一直可用
$>hdfs //测试安装成功
e. 配置hadoop中的~/soft/hadoop/etc/hadoop/hadoop-env.sh
$>vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
找到其中jdk变量的引用，修改为【export JAVA_HOME=/home/hyxy/soft/jdk】
（因为hadoop默认配在ubuntu上，引用jdk的写法与centos不同，所以需要重写）
f.配置hadoop中的 ~/soft/hadoop/etc/hadoop/core-site.xml
$>vim $HADOOP_HOME/etc/hadoop/core-site.xml
在文件中添加：
fs.defaultFS hdfs://localhost:9000
g.配置hadoop中的 ~/soft/hadoop/etc/hadoop/hdfs-site.xml
$>vim $HADOOP_HOME/etc/hadoop/core-site.xml
在文件中添加：
dfs.replication 1
h.关闭防火墙和SELinux（切换为root用户）
i. 格式化节点
$>hdfs namenode -format
j. 运行hadoop，判断是否成功安装
$>start-dfs.sh //运行hadoop
$>jps //查看有几个，如果成功，应该有DataNode，NameNode，SecondaryNameNode，Jps 4个
打开浏览器，地址栏输入 ip:50070，看是否在hadoop网页上。