Mac Hadoop 安装使用

安装前准备

1. 查看是否安装了java，hadoop需要java
   命令 java -version
   
   这是安装过的

2. 配置一下自身的环境，执行ssh localhost 如果没有权限，进入系统偏好设置 --> 共享 --> 勾选远程登录，并设置允许访问：所有用户。然后输入密码，在这里我设置的是免密登陆，如果下面配置免密不行的话，直接用密码登陆就行不影响的，免密登陆设置步骤：

• ssh-keygen -t rsa Press enter for each line 提示输入直接按回车就好
• cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• chmod og-wx ~/.ssh/authorized_keys
• chmod 750 $HOME
  依次执行命令即可

安装

1. 下载文件到local/hadoop，我是这个目录，下载地址：hadoop下载

2. 解压之后设置环境变量

• 查看是否有~/下是否有.bash_profile文件，若没有输入touch ~/.bash_profile 创建文件
• 打开文件：vim ~/.bash_profile
• 配置地址export HADOOP_HOME=/Users/lx/local/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
• 保存退出
• 设置变量立即生效命令：source ~/.bash_profile
• 查看设置变量设置是否成功：hadoop version
  

3. 文件配置
   配置hadoop-env.sh
   路径hadoop-3.1.3/etc/hadoop/hadoop-env.sh
   配置JAVA_HOME(java路径)和HADOOP_PREFIX(hadoop路径)
   查看java路径which java
   
   配置core-site.xml

   <configuration>
           <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost:9000</value>
           </property>
   
   </configuration>
   

   配置hdfs-site.xml

   <configuration>
       <property>
               <name>dfs.http.address</name>
               <value>0.0.0.0:50070</value>
       </property>
   </configuration>
   

   配置mapred-site.xml

   <configuration>
       <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
       </property>
   </configuration>
   

   配置yarn-site.xml

   <property>
               <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>
   </property>
   

4. 安装HDFS
   hadoop-3.1.3/bin/hadoop namenode -format
   
   安装成功：
   
5. 启动hadoop
   切换到/hadoop-3.1.3目录下

• 启动NameNode和DataNode的守护进程：sbin/start-dfs.sh
  

• 启动ResourceManager和NodeManager的守护进程：sbin/start-yarn.sh
  

访问 http://localhost:8088/

访问 http://localhost:50070/

6. 停止Hadoop
切换到/hadoop-3.1.3目录下
$ sbin/stop-yarn.sh
$ sbin/stop-dfs.sh