大数据开发之windows安装hadoop教程

第一步 安装JDK

第二步 安装Hadoop

  1. 下载hadoop地址:http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 大数据开发之windows安装hadoop教程_第1张图片2. 下载hadoop-winutils https://github.com/cdarlint/winutils
    大数据开发之windows安装hadoop教程_第2张图片

将红色方框里面的文件复制到hadoop-3.2.2\bin目录中,hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。

第三步 配置hadoop

  1. 配置环境变量:
    新增系统变量 HADOOP_HONE
    大数据开发之windows安装hadoop教程_第3张图片
    编辑系统变量中的Path
    大数据开发之windows安装hadoop教程_第4张图片
  2. 进入hadoop安装文件夹下的etc/hadoop文件夹,修改以下文件内容:

(1)core-site.xml








<configuration>
    <property>
        <name>fs.default.namename>
        <value>hdfs://localhost:9000value>
    property>
configuration>

(2)hdfs-site.xml








<configuration>
    
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
	 <property>
        <name>dfs.namenode.name.dirname>
          
        <value>file:/G:/hadoop/data/dfs/namenodevalue>
    property>
    <property>
        <name>dfs.datanode.data.dirname>
         
        <value>file:/G:/hadoop/data/dfs/datanodevalue>
    property>
	 <property>
        <name>dfs.http.addressname>
        <value>0.0.0.0:50070value>
    property>
	  <property>
        <name>dfs.permissionsname>
         
        <value>falsevalue>
    property>
configuration>

(3)mapred-site.xml







<configuration>
   <property>
      <name>mapreduce.framework.namename>
      <value>yarnvalue>
    property>

configuration>

(4)yarn-site.xml



<configuration>
  <property>
     <name>yarn.nodemanager.aux-servicesname>
     <value>mapreduce_shufflevalue>
   property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
     <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
   property>
configuration>

第四步:进入cmd控制台输入:hdfs namenode -format

大数据开发之windows安装hadoop教程_第5张图片

第五步:控制台进入sbin文件夹,输入:start-all.cmd

出现如下四个界面说明启动成功
大数据开发之windows安装hadoop教程_第6张图片

第六步:浏览器输入:http://localhost:8088

大数据开发之windows安装hadoop教程_第7张图片

第七步:浏览器输入:http:localhost:50070

大数据开发之windows安装hadoop教程_第8张图片

至此,hadoop安装成功!!!

第七步:停止hadoop, 控制台进入sbin文件夹,输入:stop-all.cmd

你可能感兴趣的:(大数据开发教程,hadoop,大数据)