win11安装hadoop3.3.2(当前最新版本)

前提Java已经安装

安装准备

下载链接:链接
win11安装hadoop3.3.2(当前最新版本)_第1张图片

解压

  • 将hadoop 到自己想要解压的路径下(这我解压到D盘下)
    win11安装hadoop3.3.2(当前最新版本)_第2张图片

修改配置文件

  1. 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml

core-site.xml

<configuration>
	<property>
	    <name>fs.default.namename>
	  <value>hdfs://localhost:9000value>
	 property>
	 <property>
	  <name>hadoop.tmp.dirname>
	  <value>/D:/hadoop-3.3.2/data/tmpvalue>
	 property>
configuration>

hdfs-site.xml

<configuration>

    <property>
	   <name>dfs.replicationname>
	   <value>1value>
    property>
    <property>
        <name>dfs.namenode.name.dirname>
        <value>/D:/hadoop-3.3.2/data/namenodevalue>
    property>
   	<property>
        <name>dfs.datanode.data.dirname>
        <value>/D:/hadoop-3.3.2/data/datanodevalue>
    property>
	
    <property> 
      <name>dfs.permissionsname> 
      <value>falsevalue> 
    property>
configuration>

mapred-site.xml

<configuration>
 <property>
       <name>mapreduce.framework.namename>
       <value>yarnvalue>
   property>
configuration>

yarn-site.xml

<configuration>
    <property>
    	<name>yarn.nodemanager.aux-servicesname>
    	<value>mapreduce_shufflevalue>
   property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.classname>  
		<value>org.apache.hadoop.mapred.ShuffleHandlervalue>
   property>

    <property>
        <name>yarn.nodemanager.resource.memory-mbname>
        <value>1024value>
    property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcoresname>
        <value>1value>
    property>

configuration>
  1. 修改 workers 为 localhost
  2. 修改hadoop-env.cmd

set JAVA_HOME=D:\java\jdk\jdk11

替换lib目录下的文件

win11安装hadoop3.3.2(当前最新版本)_第3张图片
如果您双击 winutils.exe 文件闪退,不报错,就说明没有任何问题

配置hadoop环境变量

win11安装hadoop3.3.2(当前最新版本)_第4张图片

格式化hadoop

打开命令行窗口
输入:hadoop namenode -format 看到成功的单词即可

进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行

win11安装hadoop3.3.2(当前最新版本)_第5张图片
看到这三个进程即可

注意: 启动可能会报时间错误,需要复制share文件夹下的时间jar到下图bin目录下即可
win11安装hadoop3.3.2(当前最新版本)_第6张图片
win11安装hadoop3.3.2(当前最新版本)_第7张图片

访问web页面

hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870

http://localhost:9870/

win11安装hadoop3.3.2(当前最新版本)_第8张图片

http://localhost:8088/

win11安装hadoop3.3.2(当前最新版本)_第9张图片
至此hadoop3.2.2版本 已完成

你可能感兴趣的:(Hadoop,hadoop)