在ubuntu下搭建hadoop环境（单机配置）

电脑系统版本：windows7（32位）

VMware版本：VMware10

1、安装ubuntu

版本：16.04.1-desktop-i386

安装完之后，需要重启系统，重启时可能会出现

piix4_smbus : Host SMBus controller not enabled！的提示，这是因为装入i2c-piix4模块所导致，解决方法就是在 /etc/modprobe.d/blacklist.conf的末尾添加blacklist i2c_piix4

重启时还有可能出现

intel_rapl:not valid rapl domains found in package 0 ！的提示，解决方法是在/etc/modprob.e/blacklist.conf的末尾添加blacklist intel_rapl

2、安装jdk

jdk版本：jdk-8u121-linux-i586（后缀名是 tar.gz）

在/usr中新建java目录

进入到java目录中（jdk的tar包也放到这里），使用tar命令解压缩到当前目录

使用vi ~/.bashrc来配置环境变量

注意：上面这张图片中的路径根据实际情况来编辑

配置好环境变量之后，使用source ~/.bashrc 来让配置的内容生效

然后，输入 java -version，如果出现下图中的内容，则说明已经安装好了

3、安装hadoop

   1）创建hadoop用户组

        addgroup hadoop

    2）创建hadoop用户，并将其加入到hadoop用户组当中

        adduser -ingroup hadoop hadoop

        回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码

    3）为hadoop用户添加权限

        使用 vi /etc/sudoers 来为hadoop用户添加和root用户一样的权限

4）安装hadoop

        版本：hadoop-2.5.2（后缀名是tar.gz）

        在/usr中新建hadoop目录

        进入到hadoop目录中（hadoop的tar包也放到这里），使用tar命令解压缩到当前目录

        使用vi ~/.bashrc来配置

               在文件末尾追加下面内容，然后保存，关闭编辑窗口。

                   #HADOOP VARIABLES START

                   export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

                   export HADOOP_INSTALL=/usr/local/hadoop

                   export PATH=$PATH:$HADOOP_INSTALL/bin

                   export PATH=$PATH:$HADOOP_INSTALL/sbin

                   export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

                   export HADOOP_COMMON_HOME=$HADOOP_INSTALL

                   export HADOOP_HDFS_HOME=$HADOOP_INSTALL

                   export YARN_HOME=$HADOOP_INSTALL

                   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

                   export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

                   #HADOOP VARIABLES END

        使用source ~/.bashrc 来让配置的内容生效

    5）编辑 usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh

        修改该文件中的JAVA_HOME

    6）WordCount测试

         单机模式安装完成，下面通过执行hadoop自带实例WordCount验证是否安装成功

         /usr/hadoop/hadoop路径下创建input文件夹    

       mkdir input

       拷贝README.txt到input    

       cp README.txt input

       执行WordCount

       bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行结果：

执行 cat output/*，查看字符统计结果