hadoop伪分布式安装步骤

可以参考hadoop官网：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html

1.jdk安装

可以参考
cnetos7下卸载openjdk和安装jdk1.8

2.安装ssh

sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 下载并解压hadoop

下载：直接去cdh网站下载
解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app

4.hadoop配置文件的修改(hadoop_home/etc/hadoop)

hadoop-env.sh

    export JAVA_HOME=/usr/local/java/jdk1.8.0_161（jkd 的安装路径）

etc/hadoop/core-site.xml:

    
        fs.defaultFS
        hdfs://node1:8020
    
    
        hadoop.tmp.dir
        /root/app/tmp
    

etc/hadoop/hdfs-site.xml:

    
        dfs.replication
        1
    

5. 启动hdfs

1.执行

 $ bin/hdfs namenode -format (格式化文件系统：仅第一次启动时执行即可，不要重复执行，重复执行后会导致datanode启动不了，因为namenode和datanode的clousterID不同)

2.启动

 $ sbin/start-dfs.sh

3.验证是否启动成功
一种方式：用 jps命令查看进程：
7364 NameNode
7876 SecondaryNameNode
7559 DataNode
另外的方式：
在浏览器中输入：http://node1:50070 可以查看hdfs的信息：

hdfs管理页面.png

6.停止hdfs

$ sbin/stop-dfs.sh

yarn搭建

1.etc/hadoop/mapred-site.xml:

mapreduce.framework.name
yarn

2.etc/hadoop/yarn-site.xml:

yarn.nodemanager.aux-services
mapreduce_shuffle

启动

$ sbin/start-yarn.sh

停止

$ sbin/stop-yarn.sh

提交mapreduce 作业到 yarn 上运行：

#hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 所在目录
/root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
#执行命令
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3