在CentOS中部署Hadoop伪集群

在CentOS中部署Hadoop伪集群

• 前提

1. 安装CentOS 6或7的64位版本
2. 配置到主机名和ip地址
3. 新建链接，添写主机名和ip地址；填写用户名和密码

• 准备

1. 使用root用户，关闭防火墙

  Centos6：

  # service iptables stop    关闭防火墙

  # chkconfig iptables off    禁止防火墙启动

1. 新建用户：

  # useradd bigdata        添加用户

  # echo 123456 | passwd bigdata --stdin      修改密码

1. 新建用户：

  # mkdir -p /opt/bigdata/conf

  # mkdir -p /opt/bigdata/core

  # mkdir -p /opt/bigdata/data

# mkdir -p /opt/bigdata/logs

# ll /opt/                   查看目录

# chown -R bigdata:bigdata /opt/bigdata      改变目录的属主

（再新建连接）

1. 安装jdk

4.1 安装

解压到/opt/bigdata/core/jdk目录

  $ cd /opt/bigdata/core    进入这个目录

  $ ll    查看当前目录

  $ tar zxvf jdk-8u151-linux-x64.tar.gz   压缩该文件

  $ mv jdk-8u151 jdk      将该文件改名

4.2 配置环境变量

编辑/opt/bigdata/conf/bigdata_env.sh 文件如下：

  $ vi /opt/bigdata/conf/bigdata_env.sh     进入该环境

  export JAVA_HOME=/opt/bigdata/core/jdk   加入下面这两句

  export PATH=$PATH_HOME/bin

    

      $ vi ~/.bashrc    建立文件与脚本之间的联系

      $ source ~/.bashrc   使环境变量生效

      $ echo $JAVA_HOME      检验java是否可以使用

4.3 验证jdk

      # java -version

1. 部署zookeeper

5.1 安装zookeeper

$ cd /opt/bigdata/core     进入core目录下

$ ll                     查看该目录

    $ tar zxvf zookeeper-3.4.13.tar.gz    压缩该文件

$ mv zookeeper-3.4.13 zookeeper    将该文件改名

5.2 配置环境变量

$ vi /opt/bigdata/conf/bigdata_env.sh    进入该环境

export  ZOOKEEPER_HOME=/opt/bigdata/core/zookeeper   加入下面这两句

export  PATH=$PATH:$ZOOKEEPER_HOME/bin

    $ source ~/.bashrc     使环境变量生效

    $ echo $ZOOKEEPER_HOME      检验zookeeper是否可以使用

5.3 配置 zookeeper

$ cd /opt/bigdata/core/zookeeper/conf/    切换到该目录

$ ll      查看目录  

$ cp zoo_sample.cfg zoo.cfg   生成zoo.cfg

$ vi zoo.cfg     编辑

（将文件dataDir改换路径为/opt/bigdata/data/zookeeper

添加dataLogDir=/opt/bigdata/logs/zookeeper）

5.4 启动并验证 zookeeper

$ zkServer.sh start

$ zkServer.sh status   查看启动后的状态

1. 部署 hadoop

6.1配置hadoop环境变量

$ cd /opt/bigdata/conf/     回到该目录

$ ll     查看目录

$ vi bigdata_env.sh       进入该环境

export  HADOOP_HOME=/opt/bigdata/core/hadoop

export  PATH=$PATH:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    $ source ~/.bashrc     使环境变量生效

$ hadoop version      检验hdoop是否可以使用

6.2 配置 hdfs

6.2.1 修改core-site.xml配置

$ cd /opt/bigdata/core/hadoop/       进入该目录

$ ll          查看该目录下的文件

$ cd etc/hadoop/     进入该文件

$ ll  *site*       查看需要配置的文件

$ vi core-site.xml      进入配置环境

     fs.default.name

     hdfs://centos:8020

6.2.2 修改hdfs-site 配置

     $ vi hdfs-site.xml       进入配置环境

     

        dfs.namenode.name

        /opt/bigdata/data/dfs/name

        namenode 存放 name table(fsimage) 本地目录

   

      

      

        dfs.namenode.edits.dir

        /opt/bigdata/data/dfs/edit

       namenode 存放 transaction file(edits) 本地目录

   

      

      

        dfs.datanode.data.dir

  /opt/bigdata/data/dfs/data

 namenode 存放 block本地目录

      

      (可以不配置)

6.2.3 格式化namenode，并启动hdfs

     hdfs namenode -format

     hadoop-deamon.sh start namenode

     hadoop-deamon.sh start datanode

6.2.4 验证hdfs

     $ hadoop fs -ls /

     $ hadoop fs -mkdir -p /tmp/in

 $ hadoop fs -put /etc/hosts /tmp/in

6.3 配置yarn

6.3.1 修改 mapred-site 配置

     $ cp mapred-site.xml.template mapred-site.xml

 $ vi mapred-site.xml               进入mapred文件

           mapreduce.framework.name

     yarn

        

6.3.2 修改yarn-site 配置

$ vi yarn-site.xml                 进入yarn文件

           yarn.resourcemanager.hostname

     localhost

        

        

           yarn.nodemanader.aux-services

     mapreduce_shuffle

6.3.3 启动yarn

      $ yarn-daemon.sh start resourcemanager

  $ yarn-daemon.sh start nodemanager

      $ jps     查看

      $ netstat -ltnp      查看端口（）

6.3.4 测试 wordcount

      $ hadoop jar /opt/bigdata/core/hadoop

/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar

wordcount /temp/in /temp/out

$ hadoop fs -cat /temp/out/part-r-00000   检查结果是否有问题