大数据学习笔记第一课-Windows下hadoop环境搭建（2019-01-09）

    作为一个有6年工作经验的蜘蛛人，已经记不清爬了多少网站的多少数据了，见识到各种各样的数据，在此期间听到看到不少大数据相关的知识点，却又对它们一知半解，故此决定把这些相关技术系统学习一遍并留下学习脚印。

一、下载相关文件

    1.JDK下载

    2.Hadoop-2.7.6下载（更多版本下载地址）

    3.Windows下安装Hadoop工具下载，提取码：84wg

二、JDK安装

    1.JDK安装方法

        注：JDK安装路径不能包含空格，否则hadoop找不到JDK

三、hadoop配置

    1.解压hadoop到任意目录（我的是放在F:\hadoop目录下）

    2.配置环境变量：同JDK环境变量配置

        我的电脑：右键->属性->高级系统设置->环境变量->系统变量下新建HADOOP_HOME->Path环境变量中配置%HADOOP_HOME%\bin;

        配置完成后点击确定生效

    3.修改hadoop配置文件

        3.1.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”下的core-site.xml文件

   

        hadoop.tmp.dir

        /F:/hadoop/workplace/tmp

   

   

        dfs.name.dir

        /F:/hadoop/workplace/name

   

   

        fs.default.name

        hdfs://localhost:9000

   

        3.2.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件

   

      mapreduce.framework.name

      yarn

   

   

      mapred.job.tracker

      hdfs://localhost:9001

   

        3.3.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的hdfs-site.xml文件

   

        dfs.replication

        1

   

   

        dfs.data.dir

        /F:/hadoop/workplace/data

   

        3.4.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的yarn-site.xml文件

   

      yarn.nodemanager.aux-services

      mapreduce_shuffle

   

   

      yarn.nodemanager.aux-services.mapreduce.shuffle.class

      org.apache.hadoop.mapred.ShuffleHandler

   

        3.5.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的hadoop-env.cmd文件，修改JAVA_HOME为jdk安装目录

set JAVA_HOME=D:\Java\jdk1.8.0_131

        3.6.将下载的hadooponwindows.zip压缩包解压，将bin目录中全部文件复制到F:\hadoop\hadoop-2.7.6\bin中，替换全部已存在文件

四、运行hadoop环境

    1.打开cmd窗口，执行hdfs namenode -format

    2.打开cmd窗口，进入F:\hadoop\hadoop-2.7.6\sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。

至此，hadoop就启动成功，可以愉快的玩耍啦！！！