【hadoop】在Mac m1下搭建安装hadoop环境（亲测有效版）

概述

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

参考的是 https://blog.51cto.com/u_15294985/5147881 这个链接里的流程，但是有些配置信息还是有所不同，要按照本地的hadoop存放路径在xml里进行配置。

配置流程

1. 配置ssh环境

ssh localhost

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

2. 安装hadoop

装openjdk

brew install java

装hadoop

brew install hadoop

hadoop version

3. 配置xml文件

进入hadoop的目录

cd /opt/homebrew/Cellar/hadoop/3.3.2/libexec/etc/hadoop

修改xml里的信息可以用vim

vim xxx

用i修改，用:wq保存

修改core-site.xml

        
    fs.defaultFS
    hdfs://localhost:8020
  
 
  
  
    hadoop.tmp.dir
    file:/opt/homebrew/Cellar/hadoop/tmp
  

修改hdfs-site.xml

新建文件夹

mkdir xxx

        
                dfs.replication
                1
        
        
        
                dfs.permissions
                false    
        
        
        
                dfs.namenode.name.dir
                file:/usr/local/Cellar/hadoop/tmp/dfs/name
        
        
        
                dfs.datanode.data.dir
                file:/usr/local/Cellar/hadoop/tmp/dfs/data
        

修改mapped-site.xml

  
    
    mapreduce.framework.name
    yarn
  
  
     mapred.job.tracker
     localhost:9010
  
  
  
  
     yarn.app.mapreduce.am.env
     HADOOP_MAPRED_HOME=/opt/homebrew/Cellar/hadoop/3.3.2/libexec
  
  
     mapreduce.map.env
     HADOOP_MAPRED_HOME=/opt/homebrew/Cellar/hadoop/3.3.2/libexec
  
  
     mapreduce.reduce.env
     HADOOP_MAPRED_HOME=/opt/homebrew/Cellar/hadoop/3.3.2/libexec

 

启动和关闭

1. 启动

cd /opt/homebrew/Cellar/hadoop/3.3.2/libexecs/sbin

./start-dfs.sh

2. 在浏览器里输入 http://localhost:9870/
3. 停止

./stop-yarn.sh