搭建Hadoop环境之单机模式

安装前的准备：

1. 需要JDK环境
2. 防火墙关闭
3. 创建独立用户
4. 设置主机名称
5. 修改hosts地址映射

准备工作：

1. 先规划安装目录，再/opt下创建software和app目录，software用于存放上传的源文件，app是软件的安装路径，上传文件可以使用 yum install lrzsz 安装 rz 命令来上传文件。
2. 安装JDK。先把安装包上传至/opt/software下，然后使用 tar -zxvf /opt/software -C /opt/app 命令解压文件，解压至/opt/app下。
3. 配置环境变量。在/etc/profile里配置环境变量，在里面加入下面两行代码：

export JAVA_HOME=/opt/app/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin:

4. 配置完后可以使用source /etc/profile来实环境变量生效，然后使用java -version来查看jdk的版本信息。
5. 关闭防火墙。临时关闭防火墙：service iptables stop。永久关闭防火墙：chkconfig iptables off。
6. 修改seLinux。编辑/ect/sysconfig/selinux，使SELINUX=disabled。
7. 修改主机名。临时修改：hostname + 新的主机名，如：hostname mylinux。永久修改：编辑/etc/sysconfig/network，使hostname=新的主机名。
8. IP绑定hostname。编辑/etc/hosts，加入地址映射，如：192.168.90.11 mylinux。

安装Hadoop

1. 创建独立用户hadoop，使用useradd hadoop。
2. 修改独立用户的密码 passwd hadoop。
3. 编辑visudo设置hadoop 权限。
4. 切换到hadoop用户下进行解压Hadoop文件 ，之前必须要为hadoop用户设置sudo 权限。
5. 修改Hadoop源文件的用户和用户组的权限：sudo chown -R hadoop:hadoop Hadoop源文件路径。
6. 解压Hadoop的源文件：sudo tar -zxvf /opt/software/hadoop2.7 -C /opt/app/hadoop/2.7。

配置Hadoop环境

编辑/opt/app/hadoop2.7/etc/hadoop/hadoop-env.sh，增加JAVA_HOME安装路径。

export JAVA_HOME=/opt/app/jdk1.8.0_181

然后尝试使用/opt/app/hadoop2.7/bin/hadoop命令看能否提示出hadoop命令。
运行官方实例：

/opt/app/hadoop2.7/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

在以上示例中，需要提供输入的路径文件夹， 例如 input , 需要拷贝计算的文件
按照以上的案例格式运行mapreduce 看是否成功，查看output 目录输出结果 。

part-r-00000 输出结果的文件 _SUCCESS 标记文件没有内容 代表任务运行成功

对于之前的操作，数据是存在本地文件系统上。