Centos hadoop-2.7.7安装

安装过程参考了林子雨教程Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 (xmu.edu.cn)http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/#more-190

以下都是一步一步进行安装的！

..........................................................................................................................................................

装好了 CentOS 系统之后，在安装 Hadoop 前还需要做一些必备工作

创建hadoop用户

 首先在终端中输入 su ，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop:

su                 # 以 root 用户登录

useradd -m hadoop -s /bin/bash         # 创建新用户hadoop

 接着使用如下命令修改密码，按提示输入两次密码，密码随意指定，若提示“无效的密码，过于简单”则再次输入确认就行）；

passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署；

visudo

如下图，找到 root ALL=(ALL) ALL 这行（应该在第90行，可以先按一下键盘上的 ESC 键，然后输入 :90 (按一下冒号，接着输入90，再按回车键)，可以直接跳到第90行 ），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab），如下图所示

 添加上一行内容后，先按一下键盘上的 ESC 键，然后输入 :wq！ (输入冒号还有wq！，这是vi/vim编辑器的强制保存方法)，再按回车键保存退出就可以了。

最后，退出root用户，登录hadoop用户

su hadoop    (网上找的，但我觉得不行。最简单粗暴的方法就是关机，然后登录的时候用hadoop登录最好）

 （如果已经是 hadoop 用户，且在终端中使用 su 登录了 root 用户，那么需要执行 exit 退出 root 用户状态）

安装SSH、配置SSH无密码登陆

 清屏  ：clear

使用 hadoop 用户登录后，还需要安装几个软件才能安装 Hadoop。

CentOS 使用 yum 来安装软件，需要联网环境，首先应检查一下是否连上了网络。(检查是否有网可以看看能不能登上百度网站：  ping www.baidu.com      阻断程序用ctrl+c

 一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验：rpm -qa | grep ssh

如果返回的结果如下图所示，包含了 SSH client 跟 SSH server，则不需要再安装

 接着执行如下命令测试一下 SSH 是否可用：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了

 但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先输入 exit 退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

1. exit      # 退出刚才的 ssh localhost
2. cd ~/.ssh/     # 若没有该目录，请先执行一次ssh localhost
3. ssh-keygen -t rsa       # 会有提示，都按回车就可以
4. cat id_rsa.pub >> authorized_keys         # 加入授权
5. chmod 600 ./authorized_keys      # 修改文件权限

 

 ~的含义

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示

安装Java环境

我们还是需要通过 yum 进行安装 JDK，安装过程中会让输入 [y/N]，输入 y 即可： 

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

通过上述命令安装 OpenJDK，默认安装位置为 /usr/lib/jvm/java-1.8.0-openjdk（该路径可以通过执行 rpm -ql java-1.8.0-openjdk-devel | grep '/bin/javac' 命令确定，执行后会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了）。OpenJDK 安装后就可以直接使用 java、javac 等命令了。

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

vim ~/.bashrc

 在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

 接着还需要让该环境变量生效，执行如下代码：

source ~/.bashrc    # 使变量设置生效

设置好后我们来检验一下是否设置正确：

1. echo $JAVA_HOME      # 检验变量值
2. java -version
3. $JAVA_HOME/bin/java -version      # 与直接执行 java -version 一样

如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样，如下图所示：

 安装 Hadoop 2

 将下载好的hadoop传入虚拟机（我用fz不能传到hadoop用户下，只能传到root用户下）

 我们选择将 Hadoop 安装至 /usr/local/ 中：

cd /usr/local/

sudo tar -zxf  ./hadoop-2.7.7.tar.gz -C /usr/local            # 解压到/usr/local中

sudo mv ./hadoop-2.7.7/ ./hadoop              # 将文件夹名改为hadoop

sudo chown -R hadoop:hadoop ./hadoop             # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

 cd ./hadoop

./bin/hadoop version

 Hadoop单机配置(非分布式)

 Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

1. cd /usr/local/hadoop
2. mkdir ./input
3. cp ./etc/hadoop/*.xml ./input      # 将配置文件作为输入文件
4. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
5. cat ./output/*            # 查看运行结果

 

注。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

若运行出错，如出现如下图提示：

运行Hadoop实例时可能会报错

若出现提示 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”，该 WARN 提示可以忽略，不会影响 Hadoop 正常运行（可通过编译 Hadoop 源码解决，解决方法请自行搜索）。

若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”，这需要执行如下命令修改 hosts 文件，为你的主机名增加IP映射：

1. sudo vim /etc/hosts

Shell 命令

主机名在终端窗口标题里可以看到，或执行命令 hostname 查看，如下图所示，在最后面增加一行 “127.0.0.1 dblab”：

设置主机名的IP映射

保存文件后，重新运行 hadoop 实例，若执行成功的话会输出很多作业的相关信息，最后的输出信息如下图所示。作业的结果会输出在指定的 output 文件夹中，通过命令 cat ./output/* 查看结果，符合正则的单词 dfsadmin 出现了1次：

Hadoop例子输出结果

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。

1. rm -r ./output

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

 Hadoop伪分布式配置

 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：

 vi ~/.bashrc

！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

1. # Hadoop Environment Variables
2. export HADOOP_HOME=/usr/local/hadoop
3. export HADOOP_INSTALL=$HADOOP_HOME
4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
5. export HADOOP_COMMON_HOME=$HADOOP_HOME
6. export HADOOP_HDFS_HOME=$HADOOP_HOME
7. export YARN_HOME=$HADOOP_HOME
8. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
9. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

 

  保存后，执行如下命令使配置生效：

source ~/.bashrc

 

这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml 【我用vi 来修改配置文件】

vi  /usr/local/hadoop/etc/hadoop/core-site.xml        [我直接这么输入打开的是一个新文件，所以可以先cd 到那个目录下】      cd /usr/local/hadoop/etc/hadoop    然后再    vi ./core-site.xml

将当中的

修改为下面配置：

    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    

 

 

同样的，修改配置文件 hdfs-site.xml：

vi ./hdfs-site.xml

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

 

 配置完成后，执行 NameNode 的格式化:cd 到/usr/local/hadoop/下

./bin/hdfs namenode -format

 

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。（偷的图，我的图只找到一个）

  

 接着开启 NaneNode 和 DataNode 守护进程：

./sbin/start-dfs.sh

若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可。 

 

 启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

 

 可以通过查看启动日志分析启动失败原因：（Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 (xmu.edu.cn)http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/#more-190）

 运行Hadoop伪分布式实例

 上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：

./bin/hdfs dfs -mkdir -p /user/hadoop

  

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

 

复制完成后，可以通过如下命令查看 HDFS 中的文件列表：

./bin/hdfs dfs -ls input

 

 

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

./bin/hdfs dfs -cat output/*

  

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

若要关闭 Hadoop，则运行

./sbin/stop-dfs.sh

 启动YARN

 （伪分布式不启动 YARN 也可以，一般不会影响程序执行）

“有的读者可能会疑惑，怎么启动 Hadoop 后，见不到书上所说的 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。”

YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。

上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：（在/usr/local/hadoop/下）

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再进行编辑    vi ./etc/hadoop/mapred-site.xml 

    
        mapreduce.framework.name
        yarn
    

 

接着修改配置文件   vi ./etc/hadoop/yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
        

 

然后就可以启动 YARN 了（需要先执行过   ./sbin/start-dfs.sh）：

 

./sbin/start-yarn.sh      $ 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，
                                               才能在Web中查看任务运行情况

 

开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示 

关闭 YARN 的脚本如下：

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

...................................................................................................................................................................................................................................................................................................................... 

[启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster，如下图所示。

开启YARN后可以查看任务运行信息

但 YARN 主要是为集群提供更好的资源管理与任务调度，然而这在单机上体现不出价值，反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。]