Hadoop 3.1.2 Windows单节点安装与使用

1. 下载

• hadoop下载
  
  

2. 解压与配置

• 以管理员身份解压
• 添加环境变量
  
• 用户变量path添加
  
• 修改 etc/Hadoop/Hadoop-env.cmd，配置JAVA_HOME地址，路径不能有空格

  JAVA_HOME=G:\Java\jdk1.8.0_181
  

• 修改 etc/hadoop/core-site.xml
• data文件夹不用先创建
• hadoop.http.staticuser.user 设置和windows管理员相同的用户名比较方便

  <property>
      <name>fs.defaultFSname>
      <value>hdfs://localhost:9000value>
  property>
  <property>
  	<name>hadoop.tmp.dirname>
  	<value>G:\hadoop-3.1.2\datavalue>
  property>
  <property>
  	<name>hadoop.http.staticuser.username>
  	<value>hadoopvalue>
  property>
  

• 修改 etc/hadoop/hdfs-site.xml
• dfs.namenode.name.dir 默认 file://${hadoop.tmp.dir}/dfs/name
• dfs.datanode.data.dir 默认 file://${hadoop.tmp.dir}/dfs/data
• 在windows下文件路径和linux不同，所以再单独配置

<property>
	<name>dfs.replicationname>
	<value>1value>
property>
<property>
	<name>dfs.http.addressname>
	<value>localhost:9870value>
property>
<property>
    <name>dfs.namenode.name.dirname>
    <value>G:\hadoop-3.1.2\data\dfs\namevalue>
property>
<property>
    <name>dfs.datanode.data.dirname>
    <value>G:\hadoop-3.1.2\data\dfs\datavalue>
property>

• 修改 etc/hadoop/mapred-site.xml，设置为yarn运行

  <property>
      <name>mapreduce.framework.namename>
      <value>yarnvalue>
  property> 
  

• 修改 etc/hadoop/yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
property>
<property>
    <name>yarn.nodemanager.env-whitelistname>
 	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOMEvalue>
property>

• 替换掉原bin文件夹，根据hadoop版本下载windows上二进制文件

3. 运行

• 管理员身份运行cmd，否则启动datanode会报错，权限不足

  hdfs namenode -format
  start-all.cmd
  

• hdfs web http://localhost:9870
• yarn web http://localhost:8088

4. 测试

• 在hdfs创建文件夹hdfsTest，hdfsTest下创建input，上传input.txt
• 以管理员身份运行cmd，在hadoop目录下运行

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /hdfsTest/input /hdfsTest/output

参考：
Hadoop-On-Window
Windows10下配置大数据开发环境（1） - 安装Hadoop