Hadoop 伪分布式安装

在远程服务器创建hadoop用户

groupadd hadoop  添加一个组
useradd hadoop -g hadoop  添加用户

将编译好的hadoop文件上传至工作目录，我这里是/opt目录

hadoop也要设置环境变量，使用vi /etc/profile命令编辑添加如下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

同样也要执行source /etc/profile使配置文件生效,然后执行命令使用命令chown -R hadoop:hadoop hadoop/将其所有者改为hadoop

修改hadoop的配置文件

1. 修改hadoop目录下的conf/hadoop-env.sh文件

　加入java的安装路径export JAVA_HOME=/opt/java/jdk

2. 把hadoop目录下的conf/core-site.xml文件修改成如下：

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data/tmp</value>
    </property>

3. 把hadoop目录下的conf/ hdfs-site.xml文件修改成如下：

//因为是伪集群所以值是1,如果是集群，就是几台的值
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

4. 把hadoop目录下的conf/ mapred-site.xml文件修改成如下：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

运行hadoop

1. 格式化分布式文件系统

bin/hdfs namenode -format

2. Start NameNode daemon and DataNode daemon

sbin/start-dfs.sh

3.执行jps如果包含一下进程就是启动成功了：

3200 SecondaryNameNode
3271 JobTracker
3370 TaskTracker
3002 NameNode
3106 DataNode
5687 Jps

启动成功之后可以用浏览器访问（NameNode后台）：localhost:50070/

运行YARN

修改mapred-site.xml内容如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Start ResourceManager daemon and NodeManager daemon：

sbin/start-yarn.sh

启动成功之后可以用浏览器访问（ResourceManager后台）：localhost:8088/

官方文档：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html