玩转大数据计算之Hadoop

Hadoop版本：我们采用目前主流的版本：2.7.3

Hadoop介绍：目前最流行的分布式计算平台。

Hadoop安装：
Hadoop官方文档提供了3种安装模式：

• 单机安装：Hadoop所有服务都在一个JVM进程运行
• 单机伪分布式安装：Hadoop服务都在一台机器上每个独立JVM进程运行
• 完全分布式安装：在多个物理机或虚拟机分别安装Hadoop相关服务
  这里我们将采用单机伪分布式安装模式，官方安装文档链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

1.配置ssh无密登录本机

执行如下命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

最后执行：

ssh localhost

如果没有提示输入密码就成功了，ssh原理自己google一下吧。
2.准备安装包

• 安装包下载地址：
  http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
• 拷贝安装包到目录/Users/****
  /apps，执行解压缩命令：

tar zxvf hadoop-2.7.3.tar.gz

3.创建hadoop相关目录

• tmp目录：mkdir -p /Users/****/apps/data/hadoop/tmp
• 数据块目录: mkdir -p /Users/****/apps/data/hadoop/hdfs/data
• namenode元文件目录：mkdir -p /Users/**** /apps/data/hadoop/hdfs/namenode

4.配置环境变量

vim ~/.bash_profile

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_71.jdk/Contents/Home/"
export M2_HOME=/Users/****/apps/apache-maven-3.3.9
export HADOOP_HOME=/Users/****/apps/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin:$HADOOP_HOME/bin

执行source使bash_profile文件修改立即生效：

source ~/.bash_profile

5.配置Hadoop相关文件

• 配置hadoop-env.sh的JAVA_HOME

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

注释源文件中的：

#export JAVA_HOME=${JAVA_HOME}

添加：

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_71.jdk/Contents/Home/"

• 配置yarn-env.sh的JAVA_HOME

vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

在文件最末尾添加：

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_71.jdk/Contents/Home/"

• 配置core-site.xml

vim $HADOOP_HOME/etc/hadoop/core-site.xml

修改内容为：

      
        
          fs.default.name
          hdfs://localhost:9000
          HDFA的URI
        

       
         hadoop.tmp.dir
        /Users/****/apps/data/hadoop/tmp
        namenode临时文件夹
        
     

• 配置hdfs-site.xml

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

修改内容为：

      
        
          dfs.name.dir
          /Users/****/apps/data/hadoop/hdfs/namenode
          
         namenode名字空间元数据存储目录
         
        

        
         dfs.data.dir
          /Users/****/apps/data/hadoop/hdfs/data
          datanode数据块的存储目录
        

        
          dfs.replication
          1
          数据块副本个数，单机部署修改为1
      
      

• 配置yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

修改内容为：

        yarn.nodemanager.aux-services
        mapreduce_shuffle

 

• 配置mapred-site.xml

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

修改内容为：

      
        
          mapreduce.framework.name
          yarn
        

      

6.启动Hadoop

• 进入Hadoop安装目录：

  
  
  

  hadoop-1.png
• 格式化namenode

bin/hdfs namenode -format

• 启动NameNode和DataNode服务

sbin/start-dfs.sh &

• 启动ResourceManager 和 NodeManager服务

sbin/start-yarn.sh &

我们也可以通过：

sbin/start-all.sh &

一次启动NameNode、DataNode、ResourceManager和NodeManager。

最后我们执行jps命令查询Hadoop相关服务是否正确启动：

hadoop-2.png

如果看到上图的5个进程就代表安装成功了

• 使用hdfs和mapreduce
  查看hdfs目录结构：

bin/hdfs dfs -ls /

hadoop-3.png

• 创建一个hdfs目录：

bin/hdfs dfs -mkdir /ad_log/

hadoop-4.png

• 再查看一下hdfs目录：

bin/hdfs dfs -ls /

hadoop-5.png

7.Hadoop的几个Web服务

• Namenode信息，地址：http://localhost:50070/
  打开后可以看到Hadoop服务的全局信息：

hadoop-6.png

在这个页面的最后一个菜单下可以进入到HDFS：

hadoop-7.png

点击Browse the filesystem就进入了HDFS:

hadoop-8.png

我们可以看到刚才所创建的目录ad_log

• yarn的集群管理页面，地址：http://localhost:8088/cluster